部署详情

部署详情指Bento部署的属性,例如其元数据、状态、监控指标和修订记录。您可以在创建部署时设置其中一些属性,也可以在创建后根据需要编辑其中一些属性。

演练场

属性

描述

表单

使用表单与部署交互,该表单包含为服务端点定义的相同参数。

Python

提供用于创建Python客户端以与部署交互的代码。

CURL

提供用于与部署交互的CURL命令。

结果

显示部署的输出。

已授权/未授权

仅当您启用授权时可用。点击它以输入授权令牌。

副本

属性

描述

服务名称

BentoML服务的名称。

实例类型

服务运行所在的实例。

状态

服务副本的状态,指示其是否正在运行或需要您的关注。可能的状态包括运行中待定失败

启动时间

服务部署的时间。

副本ID

服务副本的唯一标识符。

操作

根据分配给您账户的角色可以执行的操作

  • 日志:检查Pod副本中不同容器的日志。您可以使用顶部的下拉菜单在容器之间切换。

  • 终端:进入Pod副本的不同容器执行命令。您可以点击显示文件管理器来上传文件到容器或从容器下载文件。

  • 调试:使用临时调试容器排查问题。您可以点击显示文件管理器来上传文件到容器或从容器下载文件。

日志

属性

描述

高级搜索

使用高级过滤器搜索日志。支持正则表达式。

组件

需要显示日志的组件。

最大行数

显示的最大日志条目数。

日志量

显示选定期间日志条目量的直方图,直观展示与部署操作相关的活动级别和潜在异常。

时间

每条日志条目记录的时间戳。

唯一标签

提供日志上下文的标签,例如节点、集群和部署名称。

换行

长行换行以提高可读性。

美化JSON

格式化JSON日志条目使其更易于阅读。

去重

过滤掉重复的日志条目。选项包括“无”、“精确”、“数字”和“签名”,提供了识别和移除重复日志的不同方法。

显示结果

按时间顺序对日志条目进行排序,可按最新或最旧排序。

下载

下载文本或JSON格式的日志。

注意

日志标签集成了Grafana Loki。更多信息请参阅Loki文档

监控

属性

描述

副本数量

显示部署中活动副本的数量。

请求分位响应时间

显示不同分位(例如 P95)的响应时间,让您了解用户可能遇到的响应速度范围。包括总响应时间以及按API端点分类的响应时间。

请求量

跟踪部署随时间的请求数量,有助于理解需求和流量模式。包括总请求量以及按API端点分类的请求量。

请求成功率(非 4xx/5xx 响应)

表示成功处理且未出现客户端 (4xx) 或服务器端 (5xx) 错误的请求比例。包括总成功率以及按API端点分类的成功率。

进行中请求量

跟踪当前正在处理但尚未完成的请求数量。此指标对于了解服务器的实时负载非常重要,有助于识别瓶颈或潜在的性能问题。

CPU使用率

显示部署的CPU使用率,包括总使用率以及按单个组件分类的使用率。

内存使用率

显示随时间推移使用的内存量,包括总使用量以及按单个组件分类的使用量。

GPU使用率

显示部署的GPU使用率,包括总使用率以及按单个组件分类的使用率。

GPU内存使用率

显示GPU上的内存使用情况,提供关于GPU任务内存密集度的洞察。包括总使用量以及按单个组件分类的使用量。

GPU内存带宽使用率

显示GPU内存的带宽使用率,提供关于内存被访问的密集程度和数据传输速率的数据。包括总使用量以及按单个组件分类的使用量。

修订版本

属性

描述

修订版本ID

分配给部署每个修订版本的唯一标识符。

Bento

用于创建部署的Bento。

创建者

创建此Bento部署的用户。

创建时间

Bento部署最初创建的日期和时间。

操作

可以在每个修订版本上执行的操作。例如,您可以将部署回滚到特定版本。