- 机器学习基础
- ML - 首页
- ML - 简介
- ML - 入门
- ML - 基本概念
- ML - 生态系统
- ML - Python库
- ML - 应用
- ML - 生命周期
- ML - 必备技能
- ML - 实现
- ML - 挑战与常见问题
- ML - 限制
- ML - 真实案例
- ML - 数据结构
- ML - 数学
- ML - 人工智能
- ML - 神经网络
- ML - 深度学习
- ML - 获取数据集
- ML - 分类数据
- ML - 数据加载
- ML - 数据理解
- ML - 数据准备
- ML - 模型
- ML - 监督学习
- ML - 无监督学习
- ML - 半监督学习
- ML - 强化学习
- ML - 监督学习与无监督学习
- 机器学习数据可视化
- ML - 数据可视化
- ML - 直方图
- ML - 密度图
- ML - 箱线图
- ML - 相关矩阵图
- ML - 散点矩阵图
- 机器学习统计学
- ML - 统计学
- ML - 均值、中位数、众数
- ML - 标准差
- ML - 百分位数
- ML - 数据分布
- ML - 偏度和峰度
- ML - 偏差和方差
- ML - 假设
- ML中的回归分析
- ML - 回归分析
- ML - 线性回归
- ML - 简单线性回归
- ML - 多元线性回归
- ML - 多项式回归
- ML中的分类算法
- ML - 分类算法
- ML - 逻辑回归
- ML - K近邻算法 (KNN)
- ML - 朴素贝叶斯算法
- ML - 决策树算法
- ML - 支持向量机
- ML - 随机森林
- ML - 混淆矩阵
- ML - 随机梯度下降
- ML中的聚类算法
- ML - 聚类算法
- ML - 基于中心点的聚类
- ML - K均值聚类
- ML - K中心点聚类
- ML - 均值漂移聚类
- ML - 层次聚类
- ML - 基于密度的聚类
- ML - DBSCAN聚类
- ML - OPTICS聚类
- ML - HDBSCAN聚类
- ML - BIRCH聚类
- ML - 亲和传播
- ML - 基于分布的聚类
- ML - 凝聚层次聚类
- ML中的降维
- ML - 降维
- ML - 特征选择
- ML - 特征提取
- ML - 向后消除法
- ML - 前向特征构建
- ML - 高相关性过滤
- ML - 低方差过滤
- ML - 缺失值比率
- ML - 主成分分析
- 强化学习
- ML - 强化学习算法
- ML - 利用与探索
- ML - Q学习
- ML - REINFORCE算法
- ML - SARSA强化学习
- ML - 演员-评论家方法
- 深度强化学习
- ML - 深度强化学习
- 量子机器学习
- ML - 量子机器学习
- ML - 使用Python的量子机器学习
- 机器学习杂项
- ML - 性能指标
- ML - 自动工作流程
- ML - 提升模型性能
- ML - 梯度提升
- ML - 自举汇聚 (Bagging)
- ML - 交叉验证
- ML - AUC-ROC曲线
- ML - 网格搜索
- ML - 数据缩放
- ML - 训练和测试
- ML - 关联规则
- ML - Apriori算法
- ML - 高斯判别分析
- ML - 成本函数
- ML - 贝叶斯定理
- ML - 精度和召回率
- ML - 对抗性
- ML - 堆叠
- ML - 轮次
- ML - 感知器
- ML - 正则化
- ML - 过拟合
- ML - P值
- ML - 熵
- ML - MLOps
- ML - 数据泄露
- ML - 机器学习的商业化
- ML - 数据类型
- 机器学习 - 资源
- ML - 快速指南
- ML - 速查表
- ML - 面试问题
- ML - 有用资源
- ML - 讨论
机器学习数学
机器学习是一个跨学科领域，涉及计算机科学、统计学和数学。特别是，数学在开发和理解机器学习算法方面起着至关重要的作用。本章将讨论机器学习必不可少的数学概念，包括线性代数、微积分、概率论和统计学。
线性代数
线性代数是处理线性方程及其在向量空间中表示的数学分支。在机器学习中，线性代数用于表示和操作数据。特别是，向量和矩阵用于表示和操作机器学习模型中的数据点、特征和权重。
向量是有序的数字列表，而矩阵是数字的矩形数组。例如，向量可以表示单个数据点，而矩阵可以表示数据集。线性代数运算（例如矩阵乘法和求逆）可用于转换和分析数据。
以下是突出了其在机器学习中重要性的一些重要的线性代数概念：
- 向量和矩阵 - 向量和矩阵用于表示数据集、特征、目标值、权重等。
- 矩阵运算 - 加法、乘法、减法和转置等运算用于所有机器学习算法。
- 特征值和特征向量 - 这些在与降维相关的算法（如主成分分析 (PCA)）中非常有用。
- 投影 - 超平面和到平面的投影的概念对于理解支持向量机 (SVM) 至关重要。
- 分解 - 矩阵分解和奇异值分解 (SVD) 用于提取数据集中重要信息。
- 张量 - 张量用于深度学习中表示多维数据。张量可以表示标量、向量或矩阵。
- 梯度 - 梯度用于查找模型参数的最佳值。
- 雅可比矩阵 - 雅可比矩阵用于分析机器学习模型中输入和输出变量之间的关系。
- 正交性 - 这是在主成分分析 (PCA)、支持向量机 (SVM) 等算法中使用的核心概念。
微积分
微积分是处理变化率和累积的数学分支。在机器学习中，微积分用于通过找到函数的最小值或最大值来优化模型。特别是，广泛使用的优化算法梯度下降法是基于微积分的。
梯度下降是一种迭代优化算法，它根据损失函数的梯度更新模型的权重。梯度是损失函数相对于每个权重的偏导数的向量。通过迭代地沿负梯度方向更新权重，梯度下降试图最小化损失函数。
以下是机器学习必不可少的一些重要的微积分概念：
- 函数 - 函数是机器学习的核心。在机器学习中，模型在训练阶段学习输入和输出之间的函数。您应该学习函数的基础知识，包括连续函数和离散函数。
- 导数、梯度和斜率 - 这些是理解优化算法（如梯度下降）如何工作的核心概念。
- 偏导数 - 这些用于查找函数的最大值或最小值。通常用于优化算法。
- 链式法则 - 链式法则用于计算具有多个变量的损失函数的导数。您可以在神经网络中看到链式法则的主要应用。
- 优化方法 - 这些方法用于查找最小化成本函数的参数的最佳值。梯度下降是最常用的优化方法之一。
概率论
概率论是处理不确定性和随机性的数学分支。在机器学习中，概率论用于对不确定或可变的数据进行建模和分析。特别是，高斯分布和泊松分布等概率分布用于对数据点或事件的概率进行建模。
贝叶斯推理是一种概率建模技术，也广泛用于机器学习。贝叶斯推理基于贝叶斯定理，该定理指出，给定数据的假设概率与给定假设的数据概率乘以假设的先验概率成正比。通过根据观察到的数据更新先验概率，贝叶斯推理可以进行概率预测或分类。
以下是机器学习必不可少的一些重要的概率论概念：
- 简单概率 - 它是机器学习中的一个基本概念。所有分类问题都使用概率概念。SoftMax 函数在人工神经网络中使用简单概率。
- 条件概率 - 像朴素贝叶斯分类器这样的分类算法是基于条件概率的。
- 随机变量 - 随机变量用于为模型参数分配初始值。参数初始化被认为是训练过程的开始。
- 概率分布 - 这些用于查找分类问题的损失函数。
- 连续和离散分布 - 这些分布用于对机器学习中的不同类型的数据进行建模。
- 分布函数 - 这些函数通常用于对线性回归和其他统计模型中的误差项的分布进行建模。
- 最大似然估计 - 它是用于分类问题的一些机器学习和深度学习方法的基础。
统计学
统计学是处理数据的收集、分析、解释和呈现的数学分支。在机器学习中，统计学用于评估和比较模型、估计模型参数和检验假设。
例如，交叉验证是一种统计技术，用于评估模型在新数据（未见数据）上的性能。在交叉验证中，数据集被分成多个子集，模型在每个子集上进行训练和评估。这允许我们估计模型在新数据上的性能，并比较不同的模型。
以下是机器学习中一些重要的统计概念：
- 均值、中位数、众数 − 这些度量用于理解数据的分布并识别异常值。
- 标准差、方差 − 这些用于理解数据集的变异性并检测异常值。
- 百分位数 − 这些用于总结数据集的分布并识别异常值。
- 数据分布 − 指的是数据点在一个数据集中是如何分布或分散的。
- 偏度和峰度 − 这是机器学习中概率分布形状的两个重要度量。
- 偏差和方差 − 它们描述了模型预测中误差的来源。
- 假设检验 − 它是一个可以利用数据进行检验和验证的初步假设或想法。
- 线性回归 − 它是监督机器学习中最常用的回归算法。
- 逻辑回归 − 它也是一个重要的监督学习算法，主要用于机器学习。
- 主成分分析 − 主要用于机器学习中的降维。