大数据分析 - 概述

---

---

什么是大数据分析？

Gartner将大数据定义为：“大数据是高容量、高速率和/或高多样性的信息，需要具有成本效益的创新信息处理形式，以增强洞察力、决策和流程自动化。”

大数据是指传统计算方法无法计算和管理的大量数据集的集合。这是一个广泛的术语，指的是当今数字世界中企业和政府生成的大量复杂数据集。它通常以PB或TB为单位衡量，并源于三个主要来源：交易数据、机器数据和社交数据。

大数据包含用于存储、访问、分析和可视化数据的数据、框架、工具和方法。先进的技术通信渠道，如社交网络和强大的设备，创造了不同的数据创建方式、数据转换方式以及对行业参与者的挑战，因为他们必须找到新的方法来处理数据。将从不同来源检索的大量非结构化原始数据转换为对组织有用的数据产品，构成了大数据分析的核心。

大数据分析的步骤

大数据分析是一个强大的工具，有助于发现大型和复杂数据集的潜力。为了更好地理解，让我们将其分解为关键步骤：

数据收集

这是第一步，其中数据从不同的来源收集，例如社交媒体、传感器、在线渠道、商业交易、网站日志等。收集的数据可能是结构化的（预定义的组织，例如数据库）、半结构化的（例如日志文件）或非结构化的（文本文档、照片和视频）。

数据清洗（数据预处理）

下一步是通过去除错误并使其适合分析来处理收集的数据。收集的原始数据通常包含错误、缺失值、不一致和噪声数据。数据清洗包括识别和纠正错误，以确保数据的准确性和一致性。预处理操作还可以包括数据转换、规范化和特征提取，以准备数据进行进一步分析。

总的来说，数据清洗和预处理包括替换缺失数据、纠正不准确之处和删除重复项。这就像筛选宝藏一样，将石头和碎屑分开，只留下珍贵的宝石。

数据分析

这是大数据分析的关键阶段。使用不同的技术和算法来分析数据并得出有用的见解。这可能包括描述性分析（总结数据以更好地理解其特征）、诊断性分析（识别模式和关系）、预测性分析（预测未来趋势或结果）和规范性分析（根据分析提出建议或决策）。

数据可视化

这是使用图表、图形和交互式仪表板以可视化形式呈现数据的一步。因此，数据可视化技术用于使用图表、图形、仪表板和其他图形格式直观地描绘数据，使数据分析见解更清晰、更易于采取行动。

解释和决策

一旦完成数据分析和可视化并获得见解，利益相关者就会分析结果以做出明智的决策。这些决策包括优化公司运营、提升客户体验、创建新产品或服务以及指导战略规划。

数据存储和管理

一旦收集到数据，就必须以一种能够轻松检索和分析的方式进行存储。传统的数据库可能不足以处理大量数据，因此许多组织使用分布式存储系统（如Hadoop分布式文件系统（HDFS））或基于云的存储解决方案（如Amazon S3）。

持续学习和改进

大数据分析是一个持续收集、清洗和分析数据以发现隐藏见解的过程。它帮助企业做出更好的决策并获得竞争优势。

大数据的类型

大数据通常分为三种不同的类型。如下所示：

• 结构化数据
• 半结构化数据
• 非结构化数据

让我们详细讨论每种类型。

结构化数据

结构化数据具有专用数据模型、定义明确的结构和一致的顺序，并且其设计方式使得人和计算机都可以轻松访问和使用。结构化数据通常以定义良好的表格形式存储，即以行和列的形式存储。例如：MS Excel、数据库管理系统 (DBMS)

半结构化数据

半结构化数据可以被描述为另一种类型的结构化数据。它继承了结构化数据的一些特性；但是，这种类型的大部分数据缺乏特定的结构，并且不遵循诸如RDBMS之类的数据库模型的正式结构。例如：逗号分隔值 (CSV) 文件。

非结构化数据

非结构化数据是一种不遵循任何结构的数据类型。它缺乏统一的格式并且不断变化。但是，它有时可能包含数据和时间相关信息。例如：音频文件、图像等。

大数据分析的类型

一些常见的大数据分析类型如下：

描述性分析

如果数据集与业务相关，描述性分析会给出类似于“我的业务中发生了什么？”的结果。总的来说，这总结了之前的事件，并有助于创建报告，例如公司的收入、利润和销售数字。它还有助于制表社交媒体指标。它可以进行全面、准确、实时的数据和有效可视化。

诊断性分析

诊断性分析确定数据中的根本原因。它回答的问题类似于“为什么会发生这种情况？”一些常见的例子包括深入分析、数据挖掘和数据恢复。组织使用诊断性分析是因为它们提供了对特定问题的深入见解。总的来说，它可以深入挖掘根本原因，并能够隔离所有混杂信息。

**例如** - 来自在线商店的报告显示销售额下降，即使人们仍在将商品添加到购物车中。可能有几件事导致了这种情况，例如表单加载不正确、运费过高或提供的付款方式不足。您可以使用诊断数据来找出原因。

预测性分析

这种类型的分析查看过去和现在的数据来预测未来会发生什么。因此，它回答的问题类似于“未来会发生什么？”数据挖掘、人工智能和机器学习都用于预测性分析，以查看当前数据并预测未来会发生什么。它可以预测诸如市场趋势、客户趋势等。

**例如** - Bajaj Finance必须遵守的规则，以确保其客户免受虚假交易的侵害，由PayPal设定。该公司使用预测性分析来查看其所有过去付款和用户行为数据，并制定一个可以发现欺诈的程序。

规范性分析

规范性分析能够制定战略决策，分析结果回答“我需要做什么？”规范性分析与描述性分析和预测性分析一起工作。大多数情况下，它依赖于人工智能和机器学习。

**例如** - 规范性分析可以帮助公司最大化其业务和利润。例如，在航空业中，规范性分析应用一组算法，根据客户需求自动更改航班价格，并由于恶劣天气条件、位置、假期季节等原因降低票价。

大数据分析的工具和技术

一些常用的大数据分析工具如下：

Hadoop

用于存储和分析大量数据的工具。Hadoop 使处理大数据成为可能，它是一个使大数据分析成为可能的工具。

MongoDB

用于管理非结构化数据的工具。它是一个专门设计用于存储、访问和处理大量非结构化数据的数据库。

Talend

用于数据集成和管理的工具。Talend 的解决方案包包含数据集成、数据质量、主数据管理和数据治理的完整功能。Talend 与 Hadoop、Spark 和 NoSQL 数据库等大数据管理工具集成，使组织能够高效地处理和分析海量数据。它包含用于与大数据技术交互的连接器和组件，允许用户创建用于摄取、处理和分析大量数据的 数据管道。

Cassandra

用于处理数据块的分布式数据库。Cassandra 是一个开源的分布式 NoSQL 数据库管理系统，它在多个商品服务器上处理海量数据，确保高可用性和可扩展性，而不会牺牲性能。

Spark

用于实时处理和分析大量数据。Apache Spark是一个强大而通用的分布式计算框架，它为大数据处理、分析和机器学习提供了一个单一平台，使其在电子商务、金融、医疗保健和电信等行业广受欢迎。

Storm

这是一个开源的实时计算系统。Apache Storm是一个强大而通用的流处理框架，允许组织大规模地处理和分析实时数据流，使其适用于银行、电信、电子商务和物联网等行业的各种用例。

Kafka

这是一个用于容错存储的分布式流平台。Apache Kafka是一个通用且强大的事件流平台，允许组织创建可扩展、容错和实时的数管道和流应用程序，以有效地满足其数据处理需求。