Scikit Learn - LASSO

LASSO（最小绝对收缩和选择算子）

LASSO 是一种正则化技术，它执行 L1 正则化。它通过添加等效于系数绝对值之和的惩罚项（收缩量）来修改损失函数。

$$\displaystyle\sum\limits_{j=1}^m\left(Y_{i}-W_{0}-\displaystyle\sum\limits_{i=1}^nW_{i}X_{ji} \right)^{2}+\alpha\displaystyle\sum\limits_{i=1}^n| W_i|=loss_{-}function+\alpha\displaystyle\sum\limits_{i=1}^n|W_i|$$

sklearn.linear_model. Lasso 是一种线性模型，添加了正则化项，用于估计稀疏系数。

参数

下表列出了Lasso模块使用的参数：

序号	参数及描述
1	alpha − float，可选，默认值 = 1.0 Alpha，乘以 L1 项的常数，是决定我们希望对模型进行多少惩罚的调整参数。默认值为 1.0。
2	fit_intercept − 布尔值，可选。默认值 = True 此参数指定应将常数（偏差或截距）添加到决策函数中。如果设置为 false，则计算中不会使用截距。
3	tol − float，可选此参数表示优化的容差。*tol值和更新将进行比较，如果发现更新小于 tol，则优化检查对偶间隙以确定最优性，并继续直到它小于tol*。
4	normalize − 布尔值，可选，默认值 = False 如果此参数设置为 True，则回归前将对回归量 X 进行标准化。标准化将通过减去均值并除以 L2 范数来完成。如果*fit_intercept = False*，则此参数将被忽略。
5	copy_X − 布尔值，可选，默认值 = True 默认情况下，它为 true，这意味着 X 将被复制。但如果将其设置为 false，则 X 可能会被覆盖。
6	max_iter − int，可选顾名思义，它表示共轭梯度求解器采用的最大迭代次数。
7	precompute − True\|False\|array-like，默认值 = False 使用此参数，我们可以决定是否使用预先计算的 Gram 矩阵来加速计算。
8	warm_start − bool，可选，默认值 = false 将此参数设置为 True，我们可以重用先前对 fit 的调用的解决方案作为初始化。如果我们选择默认值，即 false，它将擦除先前的解决方案。
9	random_state − int，RandomState 实例或 None，可选，默认值 = none 此参数表示生成的伪随机数的种子，该种子在对数据进行洗牌时使用。以下是选项： int − 在这种情况下，random_state是随机数生成器使用的种子。 RandomState 实例 − 在这种情况下，*random_state是随机数生成器。 None* − 在这种情况下，随机数生成器是 np.random 使用的 RandonState 实例。
10	selection − str，默认值 = ‘cyclic’ Cyclic − 默认值为 cyclic，这意味着特征默认情况下将按顺序循环。 Random − 如果我们将 selection 设置为 random，则每次迭代都会更新一个随机系数。

属性

下表列出了Lasso模块使用的属性：

序号	属性及描述
1	coef_ − array，shape(n_features,) 或 (n_target, n_features) 此属性提供权重向量。
2	Intercept_ − float \| array，shape = (n_targets) 它表示决策函数中的独立项。
3	n_iter_ − int 或 array-like，shape (n_targets) 它给出坐标下降求解器为达到指定的容差而运行的迭代次数。

序号

属性及描述

coef_ − array，shape(n_features,) 或 (n_target, n_features)

此属性提供权重向量。

Intercept_ − float | array，shape = (n_targets)

它表示决策函数中的独立项。

n_iter_ − int 或 array-like，shape (n_targets)

它给出坐标下降求解器为达到指定的容差而运行的迭代次数。

实现示例

以下 Python 脚本使用 Lasso 模型，该模型进一步使用坐标下降作为算法来拟合系数：

from sklearn import linear_model
Lreg = linear_model.Lasso(alpha = 0.5)
Lreg.fit([[0,0], [1, 1], [2, 2]], [0, 1, 2])

输出

Lasso(alpha = 0.5, copy_X = True, fit_intercept = True, max_iter = 1000,
   normalize = False, positive = False, precompute = False, random_state = None,
   selection = 'cyclic', tol = 0.0001, warm_start = False)

示例

现在，拟合完成后，模型可以预测新值，如下所示：

Lreg.predict([[0,1]])

输出

array([0.75])

示例

对于上述示例，我们可以使用以下 Python 脚本获取权重向量：

Lreg.coef_

输出

array([0.25, 0. ])

示例

类似地，我们可以使用以下 Python 脚本获取截距的值：

Lreg.intercept_

输出

0.75

示例

我们可以使用以下 Python 脚本获取获取指定容差的总迭代次数：

Lreg.n_iter_

输出

我们可以更改参数的值以从模型中获得所需的输出。

打印页面