- 机器学习基础
- ML - 首页
- ML - 简介
- ML - 入门
- ML - 基本概念
- ML - 生态系统
- ML - Python 库
- ML - 应用
- ML - 生命周期
- ML - 必备技能
- ML - 实现
- ML - 挑战与常见问题
- ML - 局限性
- ML - 现实案例
- ML - 数据结构
- ML - 数学
- ML - 人工智能
- ML - 神经网络
- ML - 深度学习
- ML - 获取数据集
- ML - 分类数据
- ML - 数据加载
- ML - 数据理解
- ML - 数据准备
- ML - 模型
- ML - 监督学习
- ML - 无监督学习
- ML - 半监督学习
- ML - 强化学习
- ML - 监督学习 vs. 无监督学习
- 机器学习数据可视化
- ML - 数据可视化
- ML - 直方图
- ML - 密度图
- ML - 箱线图
- ML - 相关矩阵图
- ML - 散点矩阵图
- 机器学习统计学
- ML - 统计学
- ML - 均值、中位数、众数
- ML - 标准差
- ML - 百分位数
- ML - 数据分布
- ML - 偏度和峰度
- ML - 偏差和方差
- ML - 假设
- 机器学习中的回归分析
- ML - 回归分析
- ML - 线性回归
- ML - 简单线性回归
- ML - 多元线性回归
- ML - 多项式回归
- 机器学习中的分类算法
- ML - 分类算法
- ML - 逻辑回归
- ML - K 近邻算法 (KNN)
- ML - 朴素贝叶斯算法
- ML - 决策树算法
- ML - 支持向量机
- ML - 随机森林
- ML - 混淆矩阵
- ML - 随机梯度下降
- 机器学习中的聚类算法
- ML - 聚类算法
- ML - 基于中心点的聚类
- ML - K 均值聚类
- ML - K 中值聚类
- ML - 均值漂移聚类
- ML - 层次聚类
- ML - 基于密度的聚类
- ML - DBSCAN 聚类
- ML - OPTICS 聚类
- ML - HDBSCAN 聚类
- ML - BIRCH 聚类
- ML - 亲和传播
- ML - 基于分布的聚类
- ML - 凝聚层次聚类
- 机器学习中的降维
- ML - 降维
- ML - 特征选择
- ML - 特征提取
- ML - 向后剔除法
- ML - 前向特征构建
- ML - 高相关性过滤器
- ML - 低方差过滤器
- ML - 缺失值比率
- ML - 主成分分析
- 强化学习
- ML - 强化学习算法
- ML - 利用与探索
- ML - Q 学习
- ML - REINFORCE 算法
- ML - SARSA 强化学习
- ML - 演员-评论家方法
- 深度强化学习
- ML - 深度强化学习
- 量子机器学习
- ML - 量子机器学习
- ML - 使用 Python 的量子机器学习
- 机器学习杂项
- ML - 性能指标
- ML - 自动工作流
- ML - 提升模型性能
- ML - 梯度提升
- ML - 自举汇聚 (Bagging)
- ML - 交叉验证
- ML - AUC-ROC 曲线
- ML - 网格搜索
- ML - 数据缩放
- ML - 训练和测试
- ML - 关联规则
- ML - Apriori 算法
- ML - 高斯判别分析
- ML - 成本函数
- ML - 贝叶斯定理
- ML - 精确率和召回率
- ML - 对抗性
- ML - 堆叠
- ML - 轮次
- ML - 感知器
- ML - 正则化
- ML - 过拟合
- ML - P 值
- ML - 熵
- ML - MLOps
- ML - 数据泄露
- ML - 机器学习的货币化
- ML - 数据类型
- 机器学习 - 资源
- ML - 快速指南
- ML - 速查表
- ML - 面试问题
- ML - 有用资源
- ML - 讨论
机器学习 - 简介
机器学习简介
我们正生活在“数据时代”，这个时代拥有更强大的计算能力和更多的存储资源。这些数据或信息日益增多，但真正的挑战在于如何理解所有这些数据。企业和组织正试图通过利用来自数据科学、数据挖掘和机器学习的概念和方法来构建智能系统。其中，机器学习是计算机科学领域最令人兴奋的领域之一。称机器学习为提供数据意义的算法的应用和科学，并不过分。
什么是机器学习？
机器学习 (ML) 是人工智能的一个子领域，它使机器能够从数据中学习，而无需明确编程。
在机器学习中，算法开发是核心工作。这些算法在数据上进行训练，以学习隐藏的模式并根据其学习到的内容进行预测。整个算法训练过程称为模型构建。
机器学习是如何工作的？
机器如何从模型中学习的机制主要分为三个部分：
决策过程 - 根据提供给模型的输入数据和输出标签，它将产生关于识别模式的逻辑。
成本函数 - 它是预期值和预测值之间误差的度量。这用于评估机器学习的性能。
优化过程 - 通过调整训练阶段的权重，可以最小化成本函数。算法将重复评估和优化过程，直到误差最小化。
机器学习的必要性
目前，人类是地球上最聪明、最先进的物种，因为他们能够思考、评估和解决复杂问题。另一方面，人工智能仍处于起步阶段，在许多方面尚未超越人类智能。
那么问题是，为什么要让机器学习呢？这样做的最合适的理由是“根据数据做出高效且大规模的决策”。
最近，组织正在大量投资于人工智能、机器学习和深度学习等新技术，以从数据中获取关键信息，执行各种现实世界的任务并解决问题。我们可以称之为机器做出的数据驱动型决策，特别是为了自动化流程。
这些数据驱动的决策可以代替编程逻辑，用于无法内在地进行编程的问题。事实是我们离不开人类智慧，但另一方面，我们都需要以高效的方式在大规模解决现实世界的问题。这就是机器学习的必要性产生的原因。
机器学习的历史
机器学习的历史可以追溯到 1959 年，当时阿瑟·塞缪尔发明了一个程序，该程序计算跳棋中每一侧的获胜概率。
好吧，机器学习几十年来的发展始于一个问题：“机器能够思考吗？”然后是 1960 年到 1970 年间神经网络的兴起。机器学习继续通过贝叶斯网络和决策树学习等统计方法发展。
深度学习的革命始于 2010 年代，当时自然语言处理、卷积神经网络和语音识别等任务不断发展。如今，机器学习已经成为一项革命性的技术，已成为从医疗保健到金融和交通等所有领域的组成部分。
机器学习方法
机器学习模型主要可以分为以下四种类型：
- 监督机器学习
- 无监督机器学习
- 半监督机器学习
- 强化机器学习
让我们详细探讨以上每种机器学习类型。
监督机器学习
在监督机器学习中，算法在标记数据上进行训练，这意味着为每个输入都提供了正确的答案或输出。然后，算法使用这些标记数据对新的、未见过的数据进行预测。
无监督机器学习
在无监督机器学习中，算法在未标记数据上进行训练，这意味着没有为每个输入提供正确的输出或答案。相反，算法必须自行识别数据中的模式和结构。
半监督机器学习
半监督机器学习是一种机器学习技术，它是监督学习和无监督学习的结合，因为它使用大部分未标记数据集和少量标记数据来训练算法，优选用于分类和回归任务。
强化机器学习
在强化机器学习中，算法通过接收奖励或惩罚形式的反馈来学习，这些反馈基于其行为。然后，算法使用此反馈来调整其行为并提高性能。
机器学习用例
机器学习已经成为我们生活中不可或缺的一部分。它广泛应用于各个行业，尤其是在涉及处理海量数据的行业。机器学习的一些用例包括
推荐系统
它们是软件引擎，旨在根据用户的喜好、之前与应用程序的互动等向用户推荐商品。这有助于增强用户体验，从而增加企业的销售额。
语音助手
它是一种数字助手，它基于语音识别、语言处理算法和语音合成来聆听特定的语音命令，并以用户询问的相关信息进行回应。
欺诈检测
它是识别系统或组织内异常活动的过程，主要用于金融领域以识别欺诈性交易。算法经过训练以监控交易、行为和模式，以识别可报告并进一步调查的可疑活动。
医疗保健
机器学习广泛应用于医疗保健领域，用于诊断疾病、提高医学影像的准确性和个性化患者治疗。
机器人流程自动化 (RPA)
也称为软件机器人，RPA 使用智能自动化技术来执行重复的手动任务。
无人驾驶汽车
拥有能够自动驾驶的汽车的想法将技术提升到了另一个水平。尽管这些技术背后的算法和技术堆栈非常先进，但核心是机器学习。最常见的例子是特斯拉汽车，它们经过充分测试和验证。
计算机视觉
这侧重于使计算机能够识别和理解图像和视频。它们试图执行和自动化复制人类能力的任务，例如面部识别。
机器学习的优势
- 自动化 - 利用机器学习，可以无缝地完成每个任务，尤其是重复性任务，从而节省人类的时间和精力。例如，聊天机器人的部署改善了客户体验并减少了等待时间。而人工座席可以专注于处理创造性和复杂问题。
- 提升用户体验和决策制定 - 机器学习模型可以分析和洞察大型数据集，从而辅助决策制定。机器学习还可以实现产品和服务的个性化，从而增强客户体验。算法会分析客户偏好和过往行为，推荐能够提升零售体验和用户体验的产品。
- 广泛的应用性 - 这项技术拥有广泛的应用范围。从医疗保健和金融到商业和营销，机器学习几乎应用于所有行业，以提高生产力。
- 持续改进 - 机器学习算法的设计理念是持续学习，从而提高准确性和效率。每次模型重新训练数据，决策都会得到改进。
机器学习的缺点
- 数据获取 - 机器学习中最关键也是最困难的任务是收集数据。每种机器学习算法都需要相关、无偏见且质量良好的数据。更好的数据将带来更好的机器学习模型性能。
- 结果不准确 - 机器学习的另一个主要挑战是算法生成结果的可信度。
- 出错的可能性 - 机器学习依赖于数据和算法两个方面。这两个方面中的任何不准确或偏差都可能导致错误和不准确的结果。例如，如果训练数据集很小，则算法无法完全理解模式，从而导致偏差和不相关的预测。
- 维护 - 机器学习模型必须持续维护和监控，以确保其随着时间的推移保持有效和准确。
机器学习中的挑战
尽管机器学习取得了进步，但仍有一些挑战和局限性需要解决。
- 数据隐私 - 机器学习模型高度依赖于数据。有时，这些数据可能是个人信息。在考虑隐私和安全问题的同时，收集的数据应仅限于模型所需的数据。这也需要在使用敏感数据与保护个人隐私之间取得平衡。关键任务包括有效的匿名化、数据保护和数据安全。
- 对就业的影响 - 机器学习承担了可以自动化的角色和任务，例如数据录入和客户服务等领域的工作。同时，它也创造了与数据准备和算法开发相关的工作机会，例如数据科学家、机器学习工程师等等。机器学习推动人力资源转向数据驱动的决策和创造力。
- 偏见和歧视 - 在隐私考虑方面，一些敏感属性（如种族和性别）必须受到保护，避免被不当使用，防止歧视。
- 伦理考量 - 有助于评估这些机器学习算法对个人、社会和各个行业的影响。这些伦理的目的是建立一些指导方针，以维护透明度、问责制和社会责任。
机器学习算法与传统编程
机器学习算法和传统编程之间的区别在于它们如何被编程来处理任务。以下表格列出了基于不同标准的一些比较。
| 标准 | 机器学习算法 | 传统编程 |
|---|---|---|
| 解决问题的方法 | 计算机通过在大型数据集上训练模型来学习。 | 以手动编程的代码形式向计算机提供明确的规则供其遵循。 |
| 数据 | 它们高度依赖于数据，数据决定了模型的性能。 | 它们对数据的依赖较少，因为输出取决于编码的逻辑。 |
| 问题的复杂性 | 最适合复杂问题，例如图像分割或自然语言处理，这些问题需要识别数据中的模式和关系。 | 最适合具有明确结果和逻辑的问题。 |
| 灵活性 | 它非常灵活，可以适应不同的场景，特别是由于模型可以通过新数据重新训练。 | 它的灵活性有限，因为更改需要手动完成。 |
| 结果 | 机器学习的结果是不可预测的，因为它取决于训练数据、模型以及许多其他因素。 | 如果已知问题和逻辑，则可以准确预测传统编程的结果。 |
机器学习与深度学习
深度学习是机器学习的一个子领域。它们之间的实际区别在于算法的学习方式。
在机器学习中，计算机使用算法从大型数据集中学习，以执行预测和推荐等任务。而深度学习则使用类似人脑的复杂算法结构。
与机器学习模型相比，深度学习模型在解决复杂问题方面的有效性更高。例如，自动驾驶汽车通常使用深度学习开发，它可以通过图像分割识别“掉头”标志，而如果使用机器学习模型，则需要选择标志的特征，然后使用分类器算法进行识别。
机器学习与生成式AI
机器学习和生成式AI是不同的分支，具有不同的应用。机器学习用于预测分析和决策制定，而生成式AI则专注于创建内容，包括基于现有模式的逼真图像和视频。
机器学习的未来
机器学习无疑将成为下一代技术变革的推动力量。自动化机器学习和合成数据生成是新兴的发展，使机器学习更加易于访问和高效。
一项采用机器学习的重要技术是量子计算。它利用量子力学的现象来创建同时表现出多种状态的系统。这些先进的量子算法用于高速处理数据。AutoML是另一项将自动化与机器学习相结合的技术。它可能包括从原始数据到开发可部署模型的每个阶段。
多模态AI是一种人工智能系统，用于有效地解释和分析多感官输入，包括文本、语音、图像和传感器数据。生成式AI是机器学习的另一个新兴应用，专注于创建模仿现有模式的新内容。其他一些对机器学习产生影响的新兴技术包括边缘计算、机器人技术等等。
如何学习机器学习？
入门机器学习可能看起来令人生畏，但借助合适的资源和指导，它可以成为一段有益的经历。以下是机器学习入门的分步指南 -
步骤 1 - 学习机器学习基础知识
在深入学习机器学习之前，了解基础知识非常重要。这包括学习数据类型、统计学、算法以及Python等编程语言。网上有很多课程、书籍和教程可以帮助你入门。
步骤 2 - 选择机器学习框架
一旦你对机器学习有了基本的了解，就可以选择一个框架了。有很多流行的机器学习框架可用，包括TensorFlow、PyTorch和Scikit-Learn。每个框架都有自己的优点和缺点，因此选择一个与你的目标和专业知识相符的框架非常重要。
步骤 3 - 使用真实数据进行练习
学习机器学习的最佳方法之一是使用真实数据进行练习。你可以在Kaggle或UCI机器学习库等网站上找到公开可用的数据集。使用真实数据进行练习将帮助你了解如何清理、预处理和分析数据，以及如何为不同类型的问题选择合适的算法。
步骤 4 - 构建自己的项目
随着你获得更多机器学习经验，开始构建自己的项目非常重要。这将帮助你应用所学知识，并进一步发展你的技能。你可以从简单的项目开始，例如构建推荐系统或情感分析工具，然后随着你对流程越来越熟悉，再转向更复杂的项目。
步骤 5 - 参与机器学习社区
加入机器学习社区（例如在线论坛或聚会）是与其他对该领域感兴趣的人建立联系的好方法。你可以向他人学习，分享自己的经验，并获得项目反馈。这可以帮助你保持动力和参与度，并持续学习和成长。