- BigQuery 教程
- BigQuery - 首页
- BigQuery - 概述
- BigQuery - 初始设置
- BigQuery 与本地 SQL 引擎
- BigQuery - Google Cloud Console
- BigQuery - Google Cloud 层级结构
- 什么是 Dremel?
- 什么是 BigQuery Studio?
- BigQuery - 数据集
- BigQuery - 表格
- BigQuery - 视图
- BigQuery - 创建表格
- BigQuery - 基本 Schema 设计
- BigQuery - 修改表格
- BigQuery - 复制表格
- 删除和恢复表格
- BigQuery - 填充表格
- 标准 SQL 与传统 SQL
- BigQuery - 编写第一个查询
- BigQuery - CRUD 操作
- 分区和聚类
- BigQuery - 数据类型
- BigQuery - 复杂数据类型
- BigQuery - STRUCT 数据类型
- BigQuery - ARRAY 数据类型
- BigQuery - JSON 数据类型
- BigQuery - 表格元数据
- BigQuery - 用户自定义函数
- 连接到外部数据源
- 集成计划查询
- 集成 BigQuery API
- BigQuery - 集成 Airflow
- 集成连接的表格
- 集成数据传输
- BigQuery - 物化视图
- BigQuery - 角色和权限
- BigQuery - 查询优化
- BigQuery - BI 引擎
- 监控使用情况和性能
- BigQuery - 数据仓库
- 挑战与最佳实践
- BigQuery 资源
- BigQuery - 快速指南
- BigQuery - 资源
- BigQuery - 讨论
BigQuery - Google Cloud 层级结构
在继续之前,了解与 BigQuery 及其相关流程相关的基本概念和词汇非常重要。
首先,重要的是要理解,即使云计算提供了几乎无限的处理能力,BigQuery 用户在需要执行以下活动时也会遇到问题:
- 执行计算量大的 SQL 操作,例如交叉连接或笛卡尔积。
- 尝试运行大型查询而未指定目标表。
- 在使用高峰时段运行大型查询(如果作为企业用户使用 BigQuery)。
- 按需或“临时”查询可能会导致死锁,尤其是在与计划流程争夺执行时隙时。
Google Cloud 层级结构
如果您预计将在 BigQuery 中创建和填充数据源,请务必注意 Google Cloud 的层级结构:
- 组织
- 项目
- 数据集
- 表格
1. 组织层
除非您是帐户所有者、高管或决策者,否则您不太可能需要担心组织层。可以将其视为包含您在导航 BigQuery Studio 和在 SQL 环境中编写 SQL 查询时遇到的其他元素的实体。
2. Google Cloud 组织中的多个项目
任何 Google Cloud 组织都可以拥有多个项目。有时,公司或企业用户(我们将有意避免使用“组织”一词以避免混淆)会创建不同的项目来分离暂存和生产环境。
其他时候,这些高级用户会创建不同的项目以更好地控制潜在的敏感数据,例如个人身份信息 (PII) 和机密收入信息。
无论哪种情况,当您开始使用 BigQuery 时,您将创建或获得权限以访问 BigQuery,作为具有特定权限和角色范围的用户。
3. 项目中的数据集和表格
在项目中,最重要的是要记住数据集和表格。为了澄清,数据集包含一个或多个表格。为了在技术讨论中保持准确性,请尽量避免互换使用这些术语。
您将在数据集中看到的其他元素包括:
- 例程
- 模型
- 视图
这些其他数据元素将在后续章节中更详细地讨论。
广告