BigQuery - 挑战与最佳实践

作为一种云计算工具，BigQuery 也并非没有挑战。在本简短章节中，我们试图突出BigQuery面临的一些显著挑战。

从业务角度看 BigQuery

从业务角度来看，关于 BigQuery 的最大障碍之一是确保领导层能够接受测试、适应或扩展平台以满足特定组织的需求。

• 许多企业满足于依赖本地数据存储，并不考虑云存储选项。
• 或者更糟糕的是，企业甚至可能根本不认为任何形式的数据仓库是其大数据存储的可行解决方案。
• 业务领导者可能会将 BigQuery 的可变成本视为潜在的资源浪费，特别是如果他们的组织中有许多开发人员、工程师、架构师和最终用户依赖于存储在 BigQuery 中并从中查询的数据。

从用户角度看 BigQuery

从用户的角度来看，BigQuery 有一定的学习曲线。

• 提供的两种 SQL 版本，标准 SQL 和 传统 SQL，意味着那些使用过其他 SQL 方言的人可能会混淆需要启用哪种模式来运行给定的查询或使用特定函数。
• 当尝试将基于 BigQuery 的数据仓库与外部连接（如 Google 表格或 BigQuery API）集成时，使用 BigQuery 进行开发可能具有挑战性。
• 尽管 BigQuery 在执行时间前后都能提供对消耗的资源和其他性能指标的可见性，但 BigQuery 的错误日志可能含糊不清，从而导致故障排除时感到沮丧——特别是对于新手开发人员。

BigQuery 最佳实践

为了避免或克服这些挑战，有必要了解并实施 BigQuery 的最佳实践。充分利用 BigQuery 需要了解 Google Cloud Platform、云计算和 SQL 一般知识。

为了减少收到意外的高额月账单的可能性，请启用监控并经常查看按 BigQuery 过滤的账单和使用情况信息板。

不要不断地临时增加插槽，而应促使开发人员在代码层面思考和实施最佳实践。这可能包括：

• 通过避免诸如“SELECT *”之类的宽泛查询来减少处理的数据范围
• 选择高效的 SQL 查询设计模式以优化查询操作
• 避免计算密集型查询，例如那些使用通配符引用和过度元数据读取的查询
• 使用可用的工具，例如 BigQuery 的 BI 引擎，来识别有问题的操作，并在必要时提高性能
• 通过只允许用户使用 WHERE 子句进行查询来指定大型表的查询限制

掌握平台和 SQL 知识的用户将能够构建、扩展和推广该平台，并将 BigQuery 的强大功能添加到他们的个人技能和组织技术堆栈中。