度量可以组织成三个元素,包括分布式、代数式和整体式。它取决于使用的聚合函数的类型。分布式 - 如果聚合函数可以以如下所示的分布式方式计算,则该函数为分布式。假设数据被独立地划分为 n 个集合。它可以使用该服务对每个分区进行计算,从而得到 n 个聚合值。如果使用该函数对 n 个聚合值进行计算的结果与使用该函数对整个数据集(不进行分区)进行计算的结果相同,则该函数可以以分布式方式进行计算。例如,count() 可以 ... 阅读更多
基于熵的离散化是一种监督的、自顶向下的分裂方法。它在计算和保留分割点(用于分离属性范围的数据值)时探索类分布数据。它可以离散化一个统计属性 A,该方法选择具有最小熵的 A 值作为分割点,并递归地划分结果区间以出现在分层离散化中。具体的离散化形成 A 的概念层次结构。令 D 包含由一组属性和一个类标签属性描述的数据元组。类标签属性支持每个元组的类数据。基于熵的离散化的基本方法是 ... 阅读更多
属性子集选择通过删除不相关或冗余的属性(或维度)来减少数据集的大小。属性子集选择的目的是发现一组最小的属性,以便数据类的后续概率分布尽可能接近使用所有属性获得的原始分布。对于 n 个属性,有 2n 个可能的子集。对属性的最优子集进行穷举搜索可能非常昂贵,特别是当 n 和数据类的数量增加时。因此,探索减少搜索空间的启发式方法通常用于属性子集选择。这些方法 ... 阅读更多
Web 挖掘定义了使用数据挖掘技术提取有益模式趋势和数据的过程,通常在 Web 的帮助下,通过处理来自基于 Web 的记录和服务、服务器日志和超链接的数据。Web 挖掘旨在通过对数据进行分组和分析来发现 Web 信息中的设计,从而获得重要的见解。Web 挖掘可以广泛地视为将适应性数据挖掘方法应用于 Web,而数据挖掘则表示将算法应用于固定到知识发现过程中的大部分结构化数据以查找模式。Web 挖掘有各种应用,例如 ... 阅读更多
PageRank 是一种客观且机械地对网页进行评分的方法,同时关注人类兴趣。网页搜索引擎必须应对缺乏经验的客户和操纵传统排名服务的网页。一些计算网页可复制性的评估方法对操纵免疫力不足。任务是利用 Web 的超链接结构来生成每个网页的全局重要性排名。此排名称为 PageRank。Web 的机制依赖于一个大约有 1.5 亿个节点(网页)和 17 亿条边(超链接)的图。如果网页 A 和 B 链接到... 阅读更多