数据结构
网络
关系数据库管理系统 (RDBMS)
操作系统
Java
Microsoft Excel
iOS
HTML
CSS
Android
Python
C语言编程
C++
C#
MongoDB
MySQL
Javascript
PHP
物理学
化学
生物学
数学
英语
经济学
心理学
社会学
服装学
法学正则化——它能解决什么问题？
简介
数据模型将数据项与其自身以及模型原始目的所需的功能之间的关系进行分组和标准化。用于机器学习模型训练和评估的数据有可能构建一个或一组解决方案。正则化技术避免了那些架构对最终数据变化特别敏感的定义不明确的模型。数据或数据输入过程中的错误或问题可能会导致解决方案精度降低。通过改变流程以考虑错误和未来约束，可以生成高度准确和有用的模型。
正则化
它指的是通过提供附加信息来防止模型过拟合的一种方法。
Explore our latest online courses and learn new skills at your own pace. Enroll and become a certified expert to boost your career.
过拟合
你的机器学习模型有时在训练数据上得分很高，但在测试数据上得分很低。在处理新的数据集时，会引入输出噪声，这意味着模型无法预测结果，因此被称为过拟合。
偏差
它是模型为使函数更容易理解而做出的假设。基本上，它指的是训练数据的误差率。当误差率很大时，我们称之为高偏差，如果误差率很小，我们称之为低偏差。
方差
方差是训练数据集和测试数据集误差率之间的差异。当误差之间的差距很小时，方差就低，而当差距很大时，方差就高。通常，我们希望用较低的方差来泛化我们的模型。
算法
Lasso回归
岭回归
Dropout回归
数据增强回归
提前停止回归
Lasso回归
可以将权重值降低到零。这会通过加快激活函数作用于数据的速度来影响输出。L1正则化是模型压缩的一种有用方法。在压缩模型时，了解权重的总大小将始终保持正值，甚至可能为零是有益的。正则化参数 lambda 的确定取决于哪个值提供最佳结果。使用L1正则化，可以创建稀疏模型。由于标准不可微分，因此可能需要算法来更改基于梯度的学习模型。
岭回归
L2正则化被称为“权重衰减”。通过这种方法，通过减小权重的规模来避免过拟合。这种方法基于这样的假设：随着权重因子的增加，错误的可能性也会增加。降低权重值的目的是降低错误的可能性。与L1正则化相比，权重的值不能为0。权重乘以正则化参数（lambda）的平方根。随着lambda值的增加，它将具有递减的权重。为了检查结果并选择lambda的理想值，交叉验证方法用于正确估计未知数据的输出。
Dropout回归
Dropout正则化完全任意地排除各种神经网络节点以及输入和输出链接。每个节点都提供输入、输出、传递函数和加权输入的链接。每个节点都对神经网络的输出有影响。每个网络中都可以找到多个节点。丢弃后，节点将完全从网络中排除。丢弃的节点在每个循环中都会发生变化，从而改变结果。由于其可靠性和积极的结果，Dropout通常在工作场所使用。它可以有效地同时训练具有不同拓扑结构的多个神经网络。Dropout带来了诸如嘈杂的训练环境之类的挑战。鉴于Dropout重复稀疏激活，网络必须学习稀疏表示。在训练期间通过随机子采样对层输出进行采样，这降低了网络的容量。
数据增强回归
数据增强通过翻转、镜像、旋转等方式从现有的训练集中生成新的训练集，正则化人为地增加了原始训练数据集的大小。如果数据集不够大，甚至无法产生准确的结果，则可以使用数据增强来提高模型的准确性。为了解释各种情况，可以增加模型的数据集。
提前停止正则化
提前停止正则化在验证误差达到最低水平时停止训练。梯度下降用于正则化模型。验证误差检查模型输出是否准确地描述数据并量化变量之间的关系。当验证误差停止减小并开始增加时，它是过拟合的标志。数据被分成测试集，并评估每个集合的网络性能。完成之后，只保留性能最佳的模型。
结论
正则化是通过提供附加信息来防止模型过拟合的一种方法。L1正则化是模型压缩的一种有用方法。在压缩模型时，了解权重的总大小将始终保持正值，甚至可能为零是有益的。Dropout正则化完全任意地排除各种神经网络节点以及输入和输出链接。通过减小权重的规模来避免过拟合。即使数据集不够大，无法产生准确的结果，也可以使用数据增强来增加原始训练数据集的大小。
311 次浏览
