敏捷数据科学 - 敏捷数据处理

本章我们将重点介绍结构化、半结构化和非结构化数据之间的区别。

结构化数据

结构化数据指的是以 SQL 格式存储在具有行和列的表中的数据。它包含一个关系键，映射到预先设计的字段。结构化数据在大规模应用中使用。

结构化数据仅占所有信息数据 5% 到 10%。

半结构化数据

半结构化数据包括不驻留在关系数据库中的数据。它们包含一些组织属性，使分析更容易。它包括将它们存储在关系数据库中的相同过程。半结构化数据库的示例包括 CSV 文件、XML 和 JSON 文档。NoSQL 数据库被认为是半结构化的。

非结构化数据

非结构化数据占数据量的 80%。它通常包括文本和多媒体内容。非结构化数据的最佳示例包括音频文件、演示文稿和网页。机器生成的非结构化数据的示例包括卫星图像、科学数据、照片和视频、雷达和声纳数据。

以上金字塔结构特别关注数据量及其分布比例。

准结构化数据介于非结构化数据和半结构化数据之间。在本教程中，我们将重点关注半结构化数据，这对敏捷方法论和数据科学研究很有益处。

半结构化数据没有正式的数据模型，但具有明显的、自描述的模式和结构，这是通过其分析开发出来的。