大数据分析 - 方法论

在方法论方面，大数据分析与传统的实验设计统计方法有显著区别。分析始于数据。通常，我们以能够回答业务专业人员问题的方式对数据进行建模。这种方法的目标是预测响应行为或了解输入变量如何与响应相关。

通常，统计实验设计会先设计实验，然后获取结果数据。这使得能够在独立性、正态性和随机化的假设下生成适合统计模型的数据。大数据分析方法从问题识别开始，一旦定义了业务问题，就需要一个研究阶段来设计方法。但是，一些通用准则几乎适用于所有问题。

下图展示了大数据分析中常用的方法论：

大数据分析方法论

大数据分析的方法如下：

定义目标

明确分析的目标和目的。你寻求什么见解？你试图解决什么业务问题？这一阶段对于引导整个过程至关重要。

数据收集

从各种来源收集相关数据。这包括来自数据库的结构化数据，来自日志或JSON文件的半结构化数据，以及来自社交媒体、电子邮件和文档的非结构化数据。

数据预处理

此步骤包括清理和预处理数据，以确保其质量和一致性。这包括处理缺失值、删除重复项、解决不一致性以及将数据转换为可用的格式。

数据存储和管理

将数据存储在合适的存储系统中。这可能包括传统的SQL数据库、NoSQL数据库、数据湖或Hadoop分布式文件系统(HDFS)等分布式文件系统。

探索性数据分析 (EDA)

此阶段包括识别数据特征、查找模式和检测异常值。我们经常使用直方图、散点图和箱线图等可视化工具。

特征工程

创建新特征或修改现有特征以提高机器学习模型的性能。这可能包括特征缩放、降维或构建组合特征。

模型选择和训练

根据问题的性质和数据的特性选择相关的机器学习算法。如果有标记数据，则训练模型。

模型评估

使用准确率、精确率、召回率、F1分数和ROC曲线来衡量训练模型的性能。这有助于确定用于部署的最佳性能模型。

部署

在生产环境中部署模型以供实际使用。这可能包括将模型与现有系统集成、创建用于模型推理的API以及建立监控工具。

监控和维护

根据变化的业务需求或数据特性调整分析流程。

迭代

大数据分析是一个迭代过程。分析数据，收集反馈，并根据需要更新模型或过程，以随着时间的推移提高准确性和有效性。

大数据分析中最重要的任务之一是统计建模，即监督和非监督分类或回归问题。在清理和预处理用于建模的数据后，请使用适当的损失度量仔细评估各种模型。模型实施后，进行进一步评估并报告结果。预测建模中的一个常见陷阱是仅实施模型而从未衡量其性能。