数据结构
网络
关系数据库管理系统
操作系统
Java
MS Excel
iOS
HTML
CSS
Android
Python
C 编程
C++
C#
MongoDB
MySQL
Javascript
PHP
物理学
化学
生物学
数学
英语
经济学
心理学
社会学
服装设计
法律研究MLOps 工具、最佳实践和案例研究
MLOps 是一组流程和方法，旨在确保机器学习系统的可扩展和可靠部署。为了减少技术债务，MLOps 使用软件工程最佳实践，例如自动化测试、版本控制、敏捷概念的应用和数据管理。
使用 MLOps，可以自动化机器学习和深度学习模型在大型生产环境中的部署，同时提高质量并简化管理流程。在本文中，您将了解一些有助于您完成此工作的工具和最佳实践。
MLOps 最佳实践
以下是 MLOps 的最佳实践 -
机器学习生命周期的第一步是确定业务问题，并确定如何使用机器学习来解决它。有一些可量化的 KPI 来衡量业务在多大程度上实现了其目标。需要将一般的业务问题转换为模型可以追求的性能指标。
MLOps 需要现代的工作实践和组织变革。这将随着时间的推移以及组织结构和流程的发展而发生。这包括流程更改，例如使用 DevOps 进行部署或增加团队成员。
选择 ML 模型可能具有挑战性。在确定特定模型之前，需要测试几个不同的模型并记录结果。跟踪这些模型非常重要，也许可以通过为每个模型创建单独的 Git 分支来实现。在尝试为生产选择最佳模型时，这有助于进行比较和选择。
在模型部署后，跟踪其性能以确保其按预期工作至关重要。一旦我们启动了机器学习模型，很多事情都可能出错。通过监控模型来发现输入和目标变量之间的数据变化是有帮助的。
模型在训练期间以及部署后使用时都需要系统资源，包括 CPU、GPU、I/O 和内存。通过了解系统在各个阶段的需求，您的团队可以优化试验成本并最大化预算。
MLOps 工具
执行任何最佳实践都很好，但是您需要一个特定的平台来执行此类任务。以下是一些可能对您的 MLOps 之旅有帮助的流行 MLOps 工具 -
Neptune - 它是一个建模工具，充当 MLOps 的元数据存储库，有助于研究和生产团队更好地组织 ML 元数据。它提供了一个中心位置来收集、记录、存储、显示、比较和查询在整个机器学习生命周期中生成的所有元数据。该程序允许跟踪实验、模型注册表、监控机器学习运行以及用于简单跟踪的强大仪表板。
KFServing - 它是一个构建在 Kubernetes 之上的模型服务工具。KFServing 标准化了 ML 操作并为推理请求提供了 API。它提供了一个简单但全面的故事来提供生产 ML 推理。它与各种机器学习框架兼容，包括 Tensorflow、XGBoost、ScikitLearn 和 ONNX。它还抽象了服务器配置、网络、健康监控和自动扩展的复杂性。
Luigi - 它是由 Spotify 开发的编排工具。它是一个基于 Python 的执行框架。它提供了一个工具箱，其中包含许多工作模板，这对团队很有帮助。为了加强操作的原子性和可靠的数据管道，该工具箱包含用于 HDFS 和本地文件的系统抽象。此外，它还通过强大的架构提供各种工具和实用程序，例如 A/B 测试分析、内部仪表板和外部报告，以支持复杂的作业管道。
MLFlow - 它是一个建模工具，提供更好的灵活性和可扩展性，以支持个人和大型企业。任何语言、ML 库和现有代码都与 MLflow 兼容。它使您能够与他人共享您的机器学习代码，并使用 Docker 和 Conda 提供用于可重复运行的结构。为了有效地管理 MLflow 模型的整个生命周期，使用了一个集中的模型存储库、用户界面和一组 API。
DVC - 它是一个数据工具，具有敏捷性、数据版本控制、可重复性和共享效率等功能，DVC 工具使 ML 项目的数据版本管理变得更简单。借助此实验工具，可以有效地组织和访问大数据。它使用 Git 标签、分支和指标简化了实验管理，以选择最佳版本并监控实验进度。
MLOps 案例研究
以下是 MLOps 的重要案例研究 -
为了有效地将订单分配给众多客户并确定他们的最佳路线，Instacart 使用机器学习来解决路径优化问题。这 篇文章 解释了整个流程和结构。
光学字符识别和单词检测是像文档扫描仪这样的简单应用程序的两个独立部分。此外，端到端系统需要额外的训练和调整阶段。每个都需要一个单独的生产管道。该团队收集数据的努力，包括创建他们自己的数据注释平台，也在此 文章 中进行了详细介绍。
这 篇文章 提供了 Uber 端到端工作流程、Uber 使用机器学习的领域以及团队的设置方式的出色概述。Uber 在其生产中广泛使用机器学习。
截至 2018 年，Netflix 拥有超过 1.2 亿用户，其中一半位于美国以外。在这 篇文章 中，他们讨论了他们的一些技术挑战以及他们如何使用机器学习来解决这些挑战，包括如何预测网络质量、发现设备异常以及分配资源以进行预期缓存。
316 次查看
