- 机器学习基础
- ML - 首页
- ML - 简介
- ML - 入门
- ML - 基本概念
- ML - 生态系统
- ML - Python 库
- ML - 应用
- ML - 生命周期
- ML - 技能要求
- ML - 实现
- ML - 挑战与常见问题
- ML - 局限性
- ML - 现实生活中的例子
- ML - 数据结构
- ML - 数学
- ML - 人工智能
- ML - 神经网络
- ML - 深度学习
- ML - 获取数据集
- ML - 分类数据
- ML - 数据加载
- ML - 数据理解
- ML - 数据准备
- ML - 模型
- ML - 监督学习
- ML - 无监督学习
- ML - 半监督学习
- ML - 强化学习
- ML - 监督学习与无监督学习
- 机器学习数据可视化
- ML - 数据可视化
- ML - 直方图
- ML - 密度图
- ML - 箱线图
- ML - 相关矩阵图
- ML - 散点矩阵图
- 机器学习统计学
- ML - 统计学
- ML - 平均值、中位数、众数
- ML - 标准差
- ML - 百分位数
- ML - 数据分布
- ML - 偏度和峰度
- ML - 偏差和方差
- ML - 假设
- ML中的回归分析
- ML - 回归分析
- ML - 线性回归
- ML - 简单线性回归
- ML - 多元线性回归
- ML - 多项式回归
- ML中的分类算法
- ML - 分类算法
- ML - 逻辑回归
- ML - K近邻算法（KNN）
- ML - 朴素贝叶斯算法
- ML - 决策树算法
- ML - 支持向量机
- ML - 随机森林
- ML - 混淆矩阵
- ML - 随机梯度下降
- ML中的聚类算法
- ML - 聚类算法
- ML - 基于质心的聚类
- ML - K均值聚类
- ML - K中心点聚类
- ML - 均值漂移聚类
- ML - 层次聚类
- ML - 基于密度的聚类
- ML - DBSCAN聚类
- ML - OPTICS聚类
- ML - HDBSCAN聚类
- ML - BIRCH聚类
- ML - 亲和传播
- ML - 基于分布的聚类
- ML - 凝聚层次聚类
- ML中的降维
- ML - 降维
- ML - 特征选择
- ML - 特征提取
- ML - 后向消除法
- ML - 前向特征构建
- ML - 高相关性过滤器
- ML - 低方差过滤器
- ML - 缺失值比率
- ML - 主成分分析
- 强化学习
- ML - 强化学习算法
- ML - 利用与探索
- ML - Q学习
- ML - REINFORCE算法
- ML - SARSA强化学习
- ML - 演员-评论家方法
- 深度强化学习
- ML - 深度强化学习
- 量子机器学习
- ML - 量子机器学习
- ML - 使用Python的量子机器学习
- 机器学习杂项
- ML - 性能指标
- ML - 自动工作流
- ML - 提升模型性能
- ML - 梯度提升
- ML - 自举汇聚（Bagging）
- ML - 交叉验证
- ML - AUC-ROC曲线
- ML - 网格搜索
- ML - 数据缩放
- ML - 训练和测试
- ML - 关联规则
- ML - Apriori算法
- ML - 高斯判别分析
- ML - 成本函数
- ML - 贝叶斯定理
- ML - 精度和召回率
- ML - 对抗性
- ML - 堆叠
- ML - 轮次
- ML - 感知器
- ML - 正则化
- ML - 过拟合
- ML - P值
- ML - 熵
- ML - MLOps
- ML - 数据泄露
- ML - 机器学习的货币化
- ML - 数据类型
- 机器学习 - 资源
- ML - 快速指南
- ML - 速查表
- ML - 面试问题
- ML - 有用资源
- ML - 讨论
机器学习 - 生命周期
机器学习生命周期是构建端到端机器学习项目或ML解决方案的迭代过程。随着数据量的不断增长，构建机器学习模型是一个持续的过程。机器学习专注于通过使用真实世界数据训练模型来提高系统的性能。为了使机器学习项目取得成功，我们必须遵循一些明确的步骤。机器学习生命周期为我们提供了这些明确的步骤或阶段。
什么是机器学习生命周期？
机器学习生命周期是一个迭代过程，从业务问题到机器学习解决方案。它被用作开发机器学习项目以解决问题的指南。它为我们在开发ML解决方案的每个阶段提供指导和最佳实践。
机器学习生命周期是一个涉及从问题识别到模型部署和监控的多个阶段的过程。在开发ML项目时，生命周期中的每个步骤都会通过这些阶段多次重新访问。端到端机器生命周期过程中涉及的阶段/阶段如下：
- 问题定义
- 数据准备
- 模型开发
- 模型部署
- 监控和维护
让我们详细讨论机器学习生命周期过程的上述阶段：
问题定义
机器学习生命周期的第一步是识别要解决的问题。这是一个至关重要的步骤，它帮助你开始为问题构建机器学习解决方案。识别问题的过程将建立对输出可能是什么、任务范围及其目标的理解。
由于此步骤为构建机器学习模型奠定了基础，因此问题定义必须清晰简洁。
此阶段涉及了解业务问题，定义问题陈述，并确定机器学习模型的成功标准。
数据准备
数据准备是一个通过执行数据探索、特征工程和特征选择来准备数据以供分析的过程。数据探索涉及可视化和理解数据，而特征工程则涉及从现有数据中创建新特征。特征选择涉及选择将用于训练机器学习模型的最相关特征。
数据准备过程包括收集数据、预处理数据以及特征工程和特征选择。此阶段通常还包括探索性数据分析。
让我们讨论机器学习生命周期过程的数据准备阶段中涉及的每个步骤：
1. 数据收集
在分析问题陈述后，下一步将是收集数据。这涉及从各种来源收集数据，这些数据作为机器学习模型的原材料提供。在收集数据时考虑的一些功能包括：
- 相关性和实用性 - 收集的数据必须与问题陈述相关，并且必须足够有用以有效地训练机器学习模型。
- 质量和数量 - 收集数据的质量和数量将直接影响机器学习模型的性能。
- 多样性 - 确保收集的数据是多元化的，以便模型可以针对多种场景进行训练以识别模式。
数据可以从各种来源收集，例如调查、现有数据库以及Kaggle等在线平台。来源可能是主要数据，包括专门为问题陈述收集的数据，而次要数据则包括现有数据。
2. 数据预处理
收集到的数据通常可能是非结构化的和杂乱无章的，这会导致其对结果产生负面影响，因此预处理数据对于提高机器学习模型的准确性和性能非常重要。必须解决的问题包括缺失值、重复数据、无效数据和噪声。
此数据预处理步骤也称为数据整理，旨在使数据更易于使用和更适合分析。
3. 数据分析
在所有数据都排序后，就该了解收集到的数据了。对数据进行可视化和统计汇总以获得见解。
各种工具（如Power BI、Tableau）用于可视化数据，这有助于理解数据中的模式和趋势。此分析将有助于在特征工程和模型选择中做出选择。
4. 特征工程和选择
“特征”是单个可衡量的量，最好在训练机器学习模型时观察到。“特征工程”是创建新特征或增强现有特征以准确理解数据中模式和趋势的过程。
特征选择涉及挑选与问题陈述一致且更相关的特征的过程。特征工程和选择过程用于减少数据集的大小，这对于解决数据增长问题非常重要。
模型开发
在模型开发阶段，使用准备好的数据构建机器学习模型。模型构建过程包括选择合适的机器学习算法、算法训练、调整算法的超参数以及使用交叉验证技术评估模型的性能。
此阶段主要包括三个步骤：模型选择、模型训练和模型评估。让我们详细讨论这三个步骤：
1. 模型选择
模型选择是机器学习工作流程中的一个关键步骤。选择模型的决定取决于基本特征，例如数据的特征、问题的复杂性、预期的结果以及它与定义的问题的匹配程度。此步骤会影响模型的结果和性能指标。
2. 模型训练
在此过程中，算法被馈送预处理数据集以识别和理解指定特征中的模式和关系。
通过调整参数来持续训练模型将提高预测率并提高准确性。此步骤使模型在现实世界场景中变得可靠。
3. 模型评估
在模型评估中，使用一组评估指标来评估机器学习模型的性能。这些指标衡量模型的准确性、精确率、召回率和F1分数。如果模型未达到预期的性能，则调整模型以调整超参数并提高预测准确性。这种持续的迭代对于使模型更准确和可靠至关重要。
如果模型的性能仍然不令人满意，则可能需要返回到模型选择阶段，并继续进行模型训练和评估以提高模型的性能。
模型部署
在模型部署阶段，我们将机器学习模型部署到生产环境中。此过程涉及将经过测试的模型与现有系统集成，以使其可供用户、管理人员或其他目的使用。这也涉及在真实场景中测试模型。
在部署之前必须检查的两个重要因素是：模型是否可移植，即能够将软件从一台机器转移到另一台机器；以及模型是否可扩展，即模型无需重新设计即可保持性能。
监控和维护
机器学习中的监控涉及用于衡量模型性能指标和检测模型中问题的技术。检测到问题后，需要使用新数据重新训练模型或修改模型架构。
有时，当在设计模型中检测到的问题无法通过使用新数据进行训练来解决时，该问题就变成了问题陈述。因此，机器学习生命周期从重新分析问题到开发改进的模型开始。
机器学习生命周期是一个迭代过程，可能需要重新访问之前的阶段以提高模型的性能或满足新的需求。通过遵循机器学习生命周期，数据科学家可以确保其机器学习模型有效、准确并满足业务需求。