Contents 平台 Menu 平台 Expand 平台 Light mode 平台 Dark mode 平台 Auto light/dark, in light mode 平台 Auto light/dark, in dark mode 平台 跳到内容
BentoML
Light Logo Dark Logo
BentoML

入门

  • Hello world
  • 自适应批量处理
  • 模型组合
  • 异步任务队列
  • 打包用于部署
  • 云端部署

通过示例学习

  • 概述
  • LLM推理:vLLM
  • 代理:函数调用
  • 代理:LangGraph
  • LLM安全:ShieldGemma
  • RAG:文档摄取与搜索
  • Stable Diffusion XL Turbo
  • ComfyUI:将工作流部署为API
  • ControlNet
  • MLflow
  • XGBoost

使用 BentoML 构建

  • 创建在线API服务
  • 定义输入和输出类型
  • 加载和管理模型
  • 使用GPU
  • 调用API端点
  • 并行处理请求
  • 定义运行时环境
  • 运行分布式服务
  • 配置模板参数
  • 配置生命周期钩子
  • 挂载ASGI应用
  • 流式响应
  • 定义WebSocket端点
  • 使用 Gradio 添加UI
  • 可观测性
    • 监控
    • 日志记录
    • 指标
    • 追踪
  • 自定义错误响应
  • 测试API端点

使用 BentoCloud 进行扩展

  • 部署
    • 创建部署
    • 配置部署
    • 管理部署
    • 调用部署端点
    • 批量推理作业
    • 构建CI/CD管道
  • 扩展
    • 并发和自动伸缩
  • 管理密钥
  • 管理API令牌
  • 使用 Codespaces 进行开发
  • 管理
    • 管理用户
    • 自带云
    • 配置备用实例

参考

  • BentoML
    • Bento 和 模型API
    • BentoML SDK
    • Bento 构建选项
    • BentoML CLI
    • 客户端API
    • 框架API
      • Diffusers
      • ONNX
      • Scikit-Learn
      • Transformers
      • Flax
      • TensorFlow
      • TorchScript
      • XGBoost
      • Picklable 模型
      • PyTorch
      • LightGBM
      • MLflow
      • CatBoost
      • fast.ai
      • EasyOCR
      • Keras
      • Ray
      • Detectron
    • 配置
    • 批量推理
    • 异常
    • 容器API
    • 类型
  • BentoCloud
    • 部署详情
    • BentoCloud CLI
    • BentoCloud API
回到顶部
查看此页面
编辑此页面

框架API¶

注意

此页面包含所有框架的API参考。有关特定框架的更多信息,请参阅 框架API

Diffusers
Diffusers
ONNX
ONNX
Scikit-Learn
Scikit-Learn
Transformers
Transformers
Flax
Flax
TensorFlow
TensorFlow
XGBoost
XGBoost
Picklable 模型
Picklable 模型
PyTorch
PyTorch
LightGBM
LightGBM
MLflow
MLflow
CatBoost
CatBoost
fast.ai
fast.ai
Keras
Keras
Detectron
Detectron
EasyOCR
EasyOCR
Ray
Ray
下一页
Diffusers
上一页
客户端API
版权所有 © 2022-2025, bentoml.com
使用 Furo 制作