Scikit Learn - 异常检测

---

---

在这里，我们将学习什么是 Sklearn 中的异常检测以及它如何用于识别数据点。

异常检测是一种用于识别数据集中与其余数据不太匹配的数据点的技术。它在商业中有很多应用，例如欺诈检测、入侵检测、系统健康监控、监控和预测性维护。异常值（也称为离群值）可以分为以下三类：

• 点异常 - 当单个数据实例相对于其余数据被认为是异常时发生。

• 上下文异常 - 此类异常是特定于上下文的。如果数据实例在特定上下文中异常，则会发生这种情况。

• 集体异常 - 当一系列相关数据实例相对于整个数据集而不是单个值而言是异常时发生。

方法

可以使用两种方法，即离群点检测和新奇性检测，进行异常检测。有必要了解它们之间的区别。

离群点检测

训练数据包含远离其余数据的离群点。此类离群点定义为观察值。这就是为什么离群点检测估计器总是尝试拟合具有最集中训练数据的区域，同时忽略异常观察值的原因。它也称为无监督异常检测。

新奇性检测

它关注的是检测训练数据中未包含的新观察值中的未观察到的模式。在这里，训练数据没有被离群点污染。它也称为半监督异常检测。

Scikit-learn 提供了一组 ML 工具，可用于离群点检测和新奇性检测。这些工具首先通过使用 fit() 方法如下在无监督的情况下从数据中实现对象学习：

estimator.fit(X_train)

现在，新观察值将使用 predict() 方法如下被分类为内点（标记为 1）或离群点（标记为 -1）：

estimator.fit(X_test)

估计器将首先计算原始评分函数，然后预测方法将对该原始评分函数使用阈值。我们可以借助score_sample方法访问此原始评分函数，并通过contamination参数控制阈值。

我们还可以定义decision_function方法，该方法将离群点定义为负值，将内点定义为非负值。

estimator.decision_function(X_test)

用于离群点检测的 Sklearn 算法

让我们首先了解什么是椭圆包络。

拟合椭圆包络

该算法假设常规数据来自已知分布，例如高斯分布。对于离群点检测，Scikit-learn 提供了一个名为covariance.EllipticEnvelop的对象。

此对象将稳健的协方差估计拟合到数据，从而将椭圆拟合到中心数据点。它忽略中心模式之外的点。

参数

下表包含sklearn.covariance.EllipticEnvelop方法使用的参数：

属性

下表包含sklearn.covariance.EllipticEnvelop方法使用的属性：

实现示例

import numpy as np^M
from sklearn.covariance import EllipticEnvelope^M
true_cov = np.array([[.5, .6],[.6, .4]])
X = np.random.RandomState(0).multivariate_normal(mean = [0, 0], cov=true_cov,size=500)
cov = EllipticEnvelope(random_state = 0).fit(X)^M
# Now we can use predict method. It will return 1 for an inlier and -1 for an outlier.
cov.predict([[0, 0],[2, 2]])

输出

array([ 1, -1])

隔离森林

对于高维数据集，一种有效的离群点检测方法是使用随机森林。scikit-learn 提供了ensemble.IsolationForest方法，该方法通过随机选择特征来隔离观察值。之后，它会在所选特征的最大值和最小值之间随机选择一个值。

在这里，隔离样本所需的分割次数等于从根节点到终止节点的路径长度。

参数

下表包含sklearn.ensemble.IsolationForest方法使用的参数：

属性

下表包含sklearn.ensemble.IsolationForest方法使用的属性：

实现示例

下面的 Python 脚本将使用sklearn.ensemble.IsolationForest方法在给定数据上拟合 10 棵树。

from sklearn.ensemble import IsolationForest
import numpy as np
X = np.array([[-1, -2], [-3, -3], [-3, -4], [0, 0], [-50, 60]])
OUTDClf = IsolationForest(n_estimators = 10)
OUTDclf.fit(X)

输出

IsolationForest(
   behaviour = 'old', bootstrap = False, contamination='legacy',
   max_features = 1.0, max_samples = 'auto', n_estimators = 10, n_jobs=None,
   random_state = None, verbose = 0
)

局部异常因子

局部异常因子 (LOF) 算法是另一种有效的算法，用于对高维数据执行离群点检测。scikit-learn 提供了neighbors.LocalOutlierFactor方法，该方法计算一个分数（称为局部异常因子），反映观察值的异常程度。该算法的主要逻辑是检测其密度与其邻居相比明显较低的数据样本。这就是为什么它会根据其邻居测量给定数据点的局部密度偏差的原因。

参数

下表包含sklearn.neighbors.LocalOutlierFactor方法使用的参数：

属性

下表包含sklearn.neighbors.LocalOutlierFactor方法使用的属性：

实现示例

下面给出的 Python 脚本将使用sklearn.neighbors.LocalOutlierFactor方法从与我们的数据集对应的任何数组构建 NeighborsClassifier 类。

from sklearn.neighbors import NearestNeighbors
samples = [[0., 0., 0.], [0., .5, 0.], [1., 1., .5]]
LOFneigh = NearestNeighbors(n_neighbors = 1, algorithm = "ball_tree",p=1)
LOFneigh.fit(samples)

输出

NearestNeighbors(
   algorithm = 'ball_tree', leaf_size = 30, metric='minkowski',
   metric_params = None, n_jobs = None, n_neighbors = 1, p = 1, radius = 1.0
)

示例

现在，我们可以使用下面的 Python 脚本询问此构建的分类器中距离[0.5, 1., 1.5]最近的点：

print(neigh.kneighbors([[.5, 1., 1.5]])

输出

(array([[1.7]]), array([[1]], dtype = int64))

一类SVM

一类SVM由Schölkopf等人提出，是一种无监督的异常检测方法。它在高维数据中也非常高效，并且可以估计高维分布的支持向量。它在Sklearn.svm.OneClassSVM对象中的支持向量机模块中实现。为了定义边界，它需要一个核函数（最常用的是RBF）和一个标量参数。

为了更好地理解，让我们使用svm.OneClassSVM对象拟合我们的数据：

示例

from sklearn.svm import OneClassSVM
X = [[0], [0.89], [0.90], [0.91], [1]]
OSVMclf = OneClassSVM(gamma = 'scale').fit(X)

现在，我们可以按如下方式获取输入数据的score_samples：

OSVMclf.score_samples(X)

输出

array([1.12218594, 1.58645126, 1.58673086, 1.58645127, 1.55713767])