作业控制有哪些服务?


作业控制有各种各样的服务,如下所示:

作业定义 - 创建操作流程的第一步是找到一种方法将一系列步骤定义为作业,并指定作业之间的某些关系。这是编写数据仓库结构的地方。

在某些情况下,如果给定表的加载量下降,则会影响您基于该表加载表的能力。例如,如果客户表未正确更新,则加载未进入客户表的新客户的销售事实存在风险。

作业调度 - 操作环境需要提供标准功能,例如基于时间和事件的调度。仓库加载持续基于某些上游系统事件,例如成功完成总账结账或将销售调整强力应用于昨天的销售图表。这包括监控数据库标志、测试文件延续性、比较创建日期等功能。

监控 - 没有哪个自尊的系统人员会容忍一个黑盒调度系统。负责运行加载的人员需要尽可能多地了解正在发生的事情。系统需要提供有关加载处于哪个步骤、何时启动、花费多长时间等信息。

在手工制作的仓库中,这可以通过让每个步骤写入日志记录或表来实现,如下所述。一个现成的系统必须支持更直观的方式来了解正在发生的事情。如果它共享计算资源,更精细的系统还将告知我们数据分阶段期间系统上还在运行什么其他内容,提供与每个进程的平均时间进行比较的报告等。

日志记录 - 这意味着收集有关整个加载过程的信息,而不仅仅是当前正在发生的事情。日志信息提供在作业实施期间发生错误时恢复和重建流程的功能。

通知 - 此功能的重要性与用户数量及其对仓库的依赖性密切相关。如果您没有多个用户,并且他们没有养成依赖仓库在他们需要时可用,那么可以等到早上发现加载失败并重新启动它。

错误处理 - 它必须规划加载过程中不可恢复的错误,因为它们一定会发生。您的系统应该预料到这一点,并提供崩溃恢复、停止和重新启动功能。首先,查找工具并设计您的提取以最大限度地减少崩溃的影响。例如,加载过程应该一次提交相对较小的记录集,并跟踪已提交的内容。由于事务大小对不同的 DBMS 具有性能影响,因此应调整集合的大小。

更新于:2022年2月9日

270 次浏览

开启您的职业生涯

完成课程获得认证

开始学习
广告