隐藏导航侧边栏

隐藏目录侧边栏

切换网站导航侧边栏

切换目录侧边栏

入门

Hello world
自适应批量处理
模型组合
异步任务队列
打包以便部署
云部署

通过示例学习

概述
LLM 推理：vLLM
Agent：函数调用
Agent：LangGraph
LLM 安全：ShieldGemma
RAG：文档摄取和搜索
Stable Diffusion XL Turbo
ComfyUI：将工作流部署为 API
ControlNet
MLflow
XGBoost

使用 BentoML 构建

创建在线 API 服务
定义输入和输出类型
加载和管理模型
使用 GPU
调用 API 端点
并行处理请求
定义运行时环境
运行分布式服务
配置模板参数
配置生命周期钩子
挂载 ASGI 应用
流式响应
定义 WebSocket 端点
使用 Gradio 添加 UI
可观测性
切换可观测性导航
- 监控
- 日志
- 指标
- 追踪
自定义错误响应
测试 API 端点

使用 BentoCloud 进行扩展

部署
切换部署导航
扩展
切换扩展导航
- 并发和自动扩展
管理 Secrets
管理 API Token
使用 Codespaces 进行开发
管理
切换管理导航

参考

BentoML
切换 BentoML 导航
- Bento 和模型 API
- BentoML SDK
- Bento 构建选项
- BentoML CLI
- Client API
- Framework APIs
  切换 Framework APIs 导航
  - Diffusers
  - ONNX
  - Scikit-Learn
  - Transformers
  - Flax
  - TensorFlow
  - TorchScript
  - XGBoost
  - 可序列化模型
  - PyTorch
  - LightGBM
  - MLflow
  - CatBoost
  - fast.ai
  - EasyOCR
  - Keras
  - Ray
  - Detectron
- 配置
- 批量推理
- 异常
- 容器 API
- 类型
BentoCloud
切换 BentoCloud 导航

切换目录侧边栏

设置 CPU 和 GPU 资源¶

Copyright © 2022-2025, bentoml.com

使用 Furo 制作