Contents 平台 Menu 平台 Expand 平台 Light mode 平台 Dark mode 平台 Auto light/dark, in light mode 平台 Auto light/dark, in dark mode 平台 跳到主要内容
BentoML
Light Logo Dark Logo
BentoML

快速入门

  • Hello world
  • 自适应批量处理
  • 模型组合
  • 异步任务队列
  • 打包用于部署
  • 云部署

通过示例学习

  • 概览
  • LLM 推理: vLLM
  • 智能体: 函数调用
  • 智能体: LangGraph
  • LLM 安全: ShieldGemma
  • RAG: 文档摄取和搜索
  • Stable Diffusion XL Turbo
  • ComfyUI: 将工作流部署为 API
  • ControlNet
  • MLflow
  • XGBoost

使用 BentoML 构建

  • 创建在线 API 服务
  • 定义输入和输出类型
  • 加载和管理模型
  • 使用 GPU
  • 调用 API 端点
  • 并行处理请求
  • 定义运行时环境
  • 运行分布式服务
  • 配置模板参数
  • 配置生命周期钩子
  • 挂载 ASGI 应用
  • 流式响应
  • 定义 WebSocket 端点
  • 使用 Gradio 添加 UI
  • 可观测性
    • 监控
    • 日志记录
    • 指标
    • 追踪
  • 自定义错误响应
  • 测试 API 端点

使用 BentoCloud 扩展

  • 部署
    • 创建部署
    • 配置部署
    • 管理部署
    • 调用部署端点
    • 批量推理作业
    • 构建 CI/CD 流水线
  • 扩展
    • 并发和自动扩展
  • 管理 secrets
  • 管理 API token
  • 使用 Codespaces 进行开发
  • 管理
    • 管理用户
    • 自备云环境 (BYOC)
    • 配置备用实例

参考资料

  • BentoML
    • Bento 和模型 API
    • BentoML SDK
    • Bento 构建选项
    • BentoML CLI
    • 客户端 API
    • 框架 API
      • Diffusers
      • ONNX
      • Scikit-Learn
      • Transformers
      • Flax
      • TensorFlow
      • TorchScript
      • XGBoost
      • 可 Pickle 的模型
      • PyTorch
      • LightGBM
      • MLflow
      • CatBoost
      • fast.ai
      • EasyOCR
      • Keras
      • Ray
      • Detectron
    • 配置
    • 批量推理
    • 异常
    • 容器 API
    • 类型
  • BentoCloud
    • 部署详情
    • BentoCloud CLI
    • BentoCloud API
返回顶部
Copyright © 2022-2025, bentoml.com
由 Furo 制作