Contents 平台 Menu 平台 Expand 平台 Light mode 平台 Dark mode 平台 Auto light/dark, in light mode 平台 Auto light/dark, in dark mode 平台 跳到正文
BentoML
Light Logo Dark Logo
BentoML

入门指南

  • Hello world
  • 自适应批量处理
  • 模型组合
  • 异步任务队列
  • 打包部署
  • 云部署

通过示例学习

  • 概述
  • LLM 推理:vLLM
  • 代理:函数调用
  • 代理:LangGraph
  • LLM 安全:ShieldGemma
  • RAG:文档摄取与搜索
  • Stable Diffusion XL Turbo
  • ComfyUI:将工作流部署为 API
  • ControlNet
  • MLflow
  • XGBoost

使用 BentoML 构建

  • 创建在线 API 服务
  • 定义输入和输出类型
  • 加载和管理模型
  • 使用 GPU
  • 调用 API 端点
  • 并行处理请求
  • 定义运行时环境
  • 运行分布式服务
  • 配置模板参数
  • 配置生命周期钩子
  • 挂载 ASGI 应用
  • 流式响应
  • 定义 WebSocket 端点
  • 添加 Gradio 用户界面
  • 可观测性
    • 监控
    • 日志
    • 指标
    • 追踪
  • 自定义错误响应
  • 测试 API 端点

使用 BentoCloud 进行扩展

  • 部署
    • 创建部署
    • 配置部署
    • 管理部署
    • 调用部署端点
    • 批量推理作业
    • 构建 CI/CD 流水线
  • 扩展
    • 并发和自动扩展
  • 管理 Secrets
  • 管理 API 令牌
  • 使用 Codespaces 开发
  • 管理
    • 管理用户
    • 自备云环境
    • 配置备用实例

参考

  • BentoML
    • Bento 和模型 API
    • BentoML SDK
    • Bento 构建选项
    • BentoML CLI
    • 客户端 API
    • 框架 API
      • Diffusers
      • ONNX
      • Scikit-Learn
      • Transformers
      • Flax
      • TensorFlow
      • TorchScript
      • XGBoost
      • 可序列化模型
      • PyTorch
      • LightGBM
      • MLflow
      • CatBoost
      • fast.ai
      • EasyOCR
      • Keras
      • Ray
      • Detectron
    • 配置
    • 批量推理
    • 异常
    • 容器 API
    • 类型
  • BentoCloud
    • 部署详情
    • BentoCloud CLI
    • BentoCloud API
返回顶部
查看此页面
编辑此页面

BentoML¶

本节包含详细的 API 规范。使用它们可以深入了解 BentoML API 并了解它们提供的所有选项。

  • Bento 和模型 API
  • BentoML SDK
  • Bento 构建选项
  • BentoML CLI
  • 客户端 API
  • 框架 API
  • 配置
  • 批量推理
  • 异常
  • 容器 API
  • 类型
下一页
Bento 和模型 API
上一页
配置备用实例
版权所有 © 2022-2025, bentoml.com
使用 Furo 制作