隐藏导航侧边栏

隐藏目录侧边栏

切换网站导航侧边栏

切换目录侧边栏

快速入门

Hello world
自适应批处理
模型组合
异步任务队列
打包部署
云端部署

通过示例学习

概述
LLM 推理：vLLM
Agent：函数调用
Agent：LangGraph
LLM 安全：ShieldGemma
RAG：文档摄取与搜索
Stable Diffusion XL Turbo
ComfyUI：将工作流部署为 API
ControlNet
MLflow
XGBoost

使用 BentoML 构建

创建在线 API 服务
定义输入和输出类型
加载和管理模型
使用 GPU
调用 API 端点
并行处理请求
定义运行时环境
运行分布式服务
配置模板参数
配置生命周期钩子
挂载 ASGI 应用
流式响应
定义 WebSocket 端点
使用 Gradio 添加 UI
可观测性
切换可观测性导航
- 监控
- 日志记录
- 指标
- 跟踪
自定义错误响应
测试 API 端点

使用 BentoCloud 扩展

部署
切换部署导航
扩缩容
切换扩缩容导航
- 并发和自动扩缩容
管理密钥
管理 API 令牌
使用 Codespaces 进行开发
管理
切换管理导航

参考

BentoML
切换 BentoML 导航
- Bento 和模型 API
- BentoML SDK
- Bento 构建选项
- BentoML CLI
- 客户端 API
- 框架 API
  切换框架 API 导航
  - Diffusers
  - ONNX
  - Scikit-Learn
  - Transformers
  - Flax
  - TensorFlow
  - TorchScript
  - XGBoost
  - 可 pickle 的模型
  - PyTorch
  - LightGBM
  - MLflow
  - CatBoost
  - fast.ai
  - EasyOCR
  - Keras
  - Ray
  - Detectron
- 配置
- 批量推理
- 异常
- 容器 API
- 类型
BentoCloud
切换 BentoCloud 导航

查看此页面

编辑此页面

切换目录侧边栏

概念¶

版权所有 © 2022-2025, bentoml.com

使用 Furo 制作