Contents 平台 Menu 平台 Expand 平台 Light mode 平台 Dark mode 平台 Auto light/dark, in light mode 平台 Auto light/dark, in dark mode 平台 跳到内容
BentoML
Light Logo Dark Logo
BentoML

入门

  • Hello world
  • 自适应批处理
  • 模型组合
  • 异步任务队列
  • 打包部署
  • 云端部署

通过示例学习

  • 概述
  • LLM 推理:vLLM
  • Agent:函数调用
  • Agent:LangGraph
  • LLM 安全:ShieldGemma
  • RAG:文档摄取与搜索
  • Stable Diffusion XL Turbo
  • ComfyUI:将工作流部署为 API
  • ControlNet
  • MLflow
  • XGBoost

使用 BentoML 构建

  • 创建在线 API 服务
  • 定义输入和输出类型
  • 加载和管理模型
  • 使用 GPU
  • 调用 API 端点
  • 并行处理请求
  • 定义运行时环境
  • 运行分布式服务
  • 配置模板参数
  • 配置生命周期钩子
  • 挂载 ASGI 应用
  • 流式响应
  • 定义 WebSocket 端点
  • 使用 Gradio 添加 UI
  • 可观测性
    • 监控
    • 日志
    • 指标
    • 追踪
  • 自定义错误响应
  • 测试 API 端点

使用 BentoCloud 进行扩展

  • 部署
    • 创建部署
    • 配置部署
    • 管理部署
    • 调用部署端点
    • 批处理推理任务
    • 构建 CI/CD 流水线
  • 扩展
    • 并发和自动扩展
  • 管理密钥
  • 管理 API 令牌
  • 使用 Codespaces 进行开发
  • 管理
    • 管理用户
    • 自带云
    • 配置备用实例

参考

  • BentoML
    • Bento 和模型 API
    • BentoML SDK
    • Bento 构建选项
    • BentoML CLI
    • 客户端 API
    • 框架 API
      • Diffusers
      • ONNX
      • Scikit-Learn
      • Transformers
      • Flax
      • TensorFlow
      • TorchScript
      • XGBoost
      • 可序列化模型
      • PyTorch
      • LightGBM
      • MLflow
      • CatBoost
      • fast.ai
      • EasyOCR
      • Keras
      • Ray
      • Detectron
    • 配置
    • 批处理推理
    • 异常
    • 容器 API
    • 类型
  • BentoCloud
    • 部署详情
    • BentoCloud CLI
    • BentoCloud API
回到顶部
查看此页
编辑此页

RAG:文档摄取与搜索¶

检索增强生成 (RAG) 系统允许您从外部知识库检索相关信息,并使用这些信息来增强 LLM 生成的响应。这种方法有助于提高 LLM 响应的准确性和相关性,特别是在处理需要最新或事实信息的领域时。

更多信息,请参阅RAG 教程,了解如何使用 BentoML 通过开源模型创建 RAG 应用。

下一页
Stable Diffusion XL Turbo
上一页
LLM 安全:ShieldGemma
版权所有 © 2022-2025, bentoml.com
使用 Furo 制作