概览

本节提供了一系列精选示例项目的教程，以帮助您了解如何在不同场景下使用 BentoML。请参阅以下列表，查看 BentoML 示例项目的完整集合。浏览不同类别，找到最符合您需求的示例。

LLMs

使用 BentoML 和 vLLM 部署与 OpenAI 兼容的 LLM API 服务

• DeepSeek R1 Distill of Llama 3.3 70B

• Llama 3.2 11B Vision

• Pixtral 12B

• Mistral Small 24B

• 查看 BentoVLLM 项目，了解更多支持的模型。

定制您的 LLM 推理运行时

• vLLM

• TensorRT-LLM

• LMDeploy

• MLC-LLM

• SGLang

• Hugging Face TGI

• Triton Inference Server

复合 AI 系统

使用 BentoML 构建和扩展复合 AI 系统

• Agent：函数调用

• Agent：LangGraph

• 多 Agent：CrewAI

• LLM安全：ShieldGemma

• RAG：LlamaIndex

• 电话呼叫 Agent

• 多 LLM 路由

图像和视频

使用 BentoML 提供文本到图像和图像到图像模型的服务

• 将 ComfyUI 工作流作为 API

• Stable Diffusion 3.5 Large Turbo

• Stable Diffusion 3 Medium

• Stable Diffusion XL Turbo

• ControlNet

• 查看 BentoDiffusion 项目，了解更多示例

音频

使用 BentoML 提供文本到语音和语音到文本模型的服务

• ChatTTS

• XTTS

• 带有流式端点的 XTTS

• WhisperX

• Bark

• Moshi

计算机视觉

使用 BentoML 提供计算机视觉模型的服务

• YOLO：目标检测

• ResNet：图像分类

• EasyOCR：光学字符识别

嵌入

使用 BentoML 构建嵌入推理 API

• SentenceTransformers

• CLIP

• ColPali

自定义模型

使用 BentoML 提供自定义模型的服务

• MLflow

• XGBoost

其他

• 用于图像字幕和 VQA（视觉问答）的 BLIP 推理 API

• 提供 Moirai 服务：将时间序列预测作为服务