KServe：一个健壮且可扩展的云原生模型服务器

作者：开源云中文社区 2022-04-08 11:40:51

云计算

云原生 随着模型服务成为MLOP的核心构建块，像KServe这样的开源项目变得非常重要。KServe的可扩展性使其能够使用现有和即将出现的运行时，从而成为一个独特的模型服务平台。

10多年专注成都网站制作，成都定制网站，个人网站制作服务，为大家分享网站制作知识、方案，网站设计流程、步骤,成功服务上千家企业。为您提供网站建设,网站制作,网页设计及定制高端网站建设服务,专注于成都定制网站,高端网页制作,对石雕等多个行业，拥有多年设计经验。

如果你熟悉Kubeflow，你就会知道KFServing是平台的模型服务器和推理引擎。去年9月，KFServing项目经历了一次转型，变成了KServe。

除了名称变更之外，KServe现在是从Kubeflow项目毕业的独立组件。这种分离允许KServe发展为一个单独的、云原生推理引擎，部署为一个独立的模型服务器。当然，它将继续与Kubeflow紧密集成，但它们将被视为独立的开源项目来处理和维护。

KServe是由谷歌、IBM、彭博社、Nvidia和Seldon合作开发的，是Kubernetes的开源云原生模型服务器。最新版本0.8的重点是将模型服务器转换为一个独立的组件，并对分类法和命名法进行了更改。

让我们了解KServe的核心功能

模型服务器用于机器学习模型，就像应用程序用于编写二进制代码一样。两者都为部署提供运行时和执行上下文。KServer作为模型服务器，为机器学习和大规模的学习模型提供了基础。

KServe可以部署为传统的Kubernetes部署，也可以部署为支持零扩展的无服务器部署。对于无服务器，它利用了面向无服务器的Knative Serving的优势，具有自动缩放功能。Istio用作入口，向API使用者公开服务端点。Istio和Knative服务的结合实现了令人兴奋的场景，例如模型的蓝/绿和金丝雀部署。

Kserve架构图

RawDeployment模式允许你在不使用Knative服务的情况下使用KServe，它支持传统的缩放技术，如水平pod自动缩放(HPA)，但不支持缩放到零。

KServe架构

KServe model server有一个控制平面和一个数据平面。控制平面管理并协调负责推理的自定义资源。在无服务器模式下，它与Knative资源协调管理自动缩放。

KServe控制平面的核心是管理推理服务生命周期的KServe控制器。它负责创建服务、入口资源、模型服务器容器、模型代理容器，用于请求/响应日志记录、批处理，以及从模型存储中提取模型。模型存储是在模型服务器上注册的模型的存储库。它通常是一种对象存储服务，如Amazon S3、谷歌云存储、Azure Storage或MinIO。

数据平面管理针对特定模型的请求/响应周期。它有一个预测器、转换器和解释器组件。

AI应用程序向预测器端点发送REST或gRPC请求。预测器充当调用transformer组件的推理管道，transformer组件可以执行入站数据(请求)的预处理和出站数据(响应)的后处理。或者，可能会有一个解释器组件，为托管模型带来AI解释能力。KServe鼓励使用可互操作和可扩展的V2协议。

数据平面还具有端点，用于检查模型的就绪性和运行状况。它还公开了用于检索模型元数据的API。

支持的框架和运行时

KServe支持广泛的机器学习和深度学习框架。深度学习框架和运行时与现有的服务基础设施(如TensorFlow Serving、TorchServe和Triton推理服务器)配合使用。KServe可以通过Triton 托管TensorFlow、ONNX、PyTorch和TensorRT运行时。

对于基于SKLearn的经典机器学习模型，XGBoost、Spark MLLib和LightGBM KServe依赖于Seldon的MLServer。

KServe的可扩展框架使其能够插入任何遵守V2推理协议的运行时。

使用ModelMesh的多模式服务

KServe为每个推理部署一个模型，将平台的可扩展性限制在可用的CPU和GPU上。当在昂贵且稀缺的计算资源GPU上运行推理时，这种限制变得很明显。

通过多模式服务，我们可以克服基础设施的限制——计算资源、最大pod和最大IP地址。

ModelMesh Serving由IBM开发，是一个基于Kubernetes的平台，用于实时服务ML/DL模型，针对高容量/密度用例进行了优化。与管理流程以最佳利用可用资源的操作系统类似，ModelMesh优化部署的模型以在集群内高效运行。

通过跨部署的pod集群智能管理内存中的模型数据，以及随着时间的推移对这些模型的使用，系统最大限度地利用了可用的集群资源。

ModelMesh Serving基于KServe v2数据平面API进行推理，这使得它可以部署为类似于NVIDIA Triton推理服务器的运行时。当一个请求到达KServe数据平面时，它被简单地委托给ModelMesh Serving。

ModelMesh Serving与KServe的集成目前处于Alpha阶段。随着这两个项目的成熟，将有一个更紧密的集成，使混合和匹配两个平台的功能和能力成为可能。

随着模型服务成为MLOP的核心构建块，像KServe这样的开源项目变得非常重要。KServe的可扩展性使其能够使用现有和即将出现的运行时，从而成为一个独特的模型服务平台。

标题名称：KServe：一个健壮且可扩展的云原生模型服务器
转载来于：http://www.shufengxianlan.com/qtweb/news5/481605.html

网站建设、网络推广公司-创新互联，是专注品牌与效果的网站制作，网络营销seo公司；服务项目有等

广告

声明：本网站发布的内容（图片、视频和文字）以用户投稿、用户转载内容为主，如果涉及侵权请尽快告知，我们将会在第一时间删除。文章观点不代表本网站立场，如需处理请联系客服。电话：028-86922220；邮箱：631063699@qq.com。内容未经允许不得转载，或转载时需注明来源： 创新互联