如果一个属性具有关联的小（有限）数量的可能值，则该属性是离散的，而连续属性被认为具有大量（无限）的可能值。换句话说，离散数据属性可以被视为范围为有限组的函数，而连续数据属性是范围为无限完全有序组（通常为区间）的函数。离散化的目的是通过将它们划分为几个区间来减少连续属性可能取值的数量。解决离散化问题有两种方法。一种是量化每个属性... 阅读更多

广义示例是实例区域的矩形范围，称为超矩形，因为它们是高维的。在定义新实例时，必须转换距离函数以能够计算到超矩形的距离。当正确定义了一个新示例时，它通过将其与同一类的最近示例直接合并来进行泛化。最近的示例可以是单个实例或超矩形。在这种方法中，将生成一个覆盖先前实例和新实例的新超矩形。超矩形扩展到包围新实例。最后，如果预测错误... 阅读更多

径向基函数 (RBF) 网络是一种流行的前馈网络类型。它有两层（不包括输入层），并且在隐藏单元实现计算的方法上与多层感知器形成对比。每个隐藏单元本质上定义了输入空间中的一个特定点，以及基于其点与实例（这仅仅是另一个点）之间的距离，针对给定实例的输出或激活。这两个点越接近，激活就越好。这是通过利用非线性变换函数将距离修改为相似性度量来实现的。钟形高斯... 阅读更多

十折交叉验证是衡量特定数据集上学习方案错误率的标准方法；为了获得可靠的结果，需要进行 10 次十折交叉验证。有两种方法是留一法交叉验证和自助法。留一法交叉验证留一法交叉验证是开放的 n 折交叉验证，其中 n 是数据集中实例的数量。每个实例依次被排除在外，学习方案在所有剩余实例上进行训练。它是根据它在剩余实例上的正确性来计算的——根据成功或失败分别为 1 或 0。数据集每一组的 n 个判断的结果取平均值，... 阅读更多

决策树是一种类似流程图的树结构，其中每个内部节点表示对属性的测试，每个分支定义测试的结果，叶节点描述类或类分布。树中最大的节点是根节点。构建决策树的问题可以递归地定义。首先，选择一个属性放在根节点，并为每个可能的值创建一个分支。这将示例集划分为子集，每个值一个。该过程可以针对每个分支递归地重复，只使用这些实例... 阅读更多

学习最简单的结构是简单的记忆或死记硬背。因为一组训练实例已被记住，所以在遇到一个新实例时，会检查内存中与新实例最相似的训练实例。唯一的问题是如何阐明相似之处。首先，这是一种完全不同的描述从一组实例中提取的“知识”的方法——它存储实例本身，并通过将类未知的新实例与类已知的当前实例关联来工作。与其尝试制定规则，不如直接从实例本身工作。... 阅读更多

判别分析方法依赖于两个主要假设来出现分类分数——首先，它认为某些类别的预测器测量值来自多元正态分布。当这个假设合理地建立时，判别分析是一个比其他分类方法（包括逻辑回归）更强大的工具。结果表明，如果数据是多元正态的，则判别分析比逻辑回归有效 30%，它需要少 30% 的记录才能达到相同的结果。已经表明，这种方法对偏离正态性的抵抗力相对较强，因为预测器可以是非正态的... 阅读更多

k-近邻算法是一种分类方法，它不假设类成员 (Y) 和预测器 X1、X2、…、Xn 之间关系的结构。这是一种非参数方法，因为它不包含对假定函数形式（包括线性回归中假定的线性形式）中参数的估计。此方法从数据集中数据预测器值的相似性中提取数据。k-NN 方法的优点在于其完整性和对参数假设的需要。在存在大型训练集的情况下，这些方法表现得特别好，当每个... 阅读更多

k-近邻算法是一种分类方法，它不假设类成员 (Y) 和预测器 X1、X2、…、Xn 之间关系的结构。这是一种非参数方法，因为它不包括对假定函数形式（包括线性回归中假定的线性形式）中参数的估计。此方法从数据集中数据预测器值的相似性中提取数据。k-近邻方法中的概念是识别训练数据集中与需要分类的新数据相同的 k 条记录。它可以... 阅读更多

数据挖掘中一个常见的问题是利用回归方程预测因变量的值，当它可以有几个变量可供选择作为此模型中的预测器时。另一个考虑因素是支持包含多个变量，以期出现以前隐藏的关系。例如，一家公司发现购买椅子和桌子腿防磨保护器的客户信用风险较低。在将所有可能的变量都放入模型之前，有几个理由需要谨慎行事。设置完整的预测器可能成本很高或不可行... 阅读更多