验证与确认
仿真分析师面临的真正问题之一是验证模型。只有当模型准确地代表实际系统时,仿真模型才有效,否则无效。
验证和确认是任何仿真项目中验证模型的两个步骤。
验证是比较两个结果的过程。在此过程中,我们需要将概念模型的表示与实际系统进行比较。如果比较结果为真,则有效,否则无效。
确认是比较两个或多个结果以确保其准确性的过程。在此过程中,我们必须将模型的实现及其相关数据与开发人员的概念描述和规范进行比较。
验证与确认技术
有各种技术用于执行仿真模型的验证与确认。以下是一些常见技术:
执行仿真模型确认的技术
以下是执行仿真模型确认的方法:
利用编程技能在子程序中编写和调试程序。
使用“结构化走查”策略,其中不止一个人阅读程序。
跟踪中间结果并将其与观察到的结果进行比较。
使用各种输入组合检查仿真模型输出。
将最终仿真结果与分析结果进行比较。
执行仿真模型验证的技术
步骤 1 - 设计一个具有高有效性的模型。这可以通过以下步骤实现:
- 在设计过程中,必须与系统专家讨论模型。
- 模型必须在整个过程中与客户互动。
- 输出必须由系统专家监督。
步骤 2 - 在假设数据上测试模型。这可以通过将假设数据应用于模型并对其进行定量测试来实现。还可以进行敏感性分析,以观察当输入数据发生重大变化时结果变化的影响。
步骤 3 - 确定仿真模型的代表性输出。这可以通过以下步骤实现:
确定仿真输出与实际系统输出的接近程度。
可以使用图灵测试进行比较。它以系统格式呈现数据,只有专家才能解释。
可以使用统计方法将模型输出与实际系统输出进行比较。
模型数据与真实数据的比较
模型开发完成后,我们必须将其输出数据与实际系统数据进行比较。以下是执行此比较的两种方法。
验证现有系统
在这种方法中,我们使用模型的真实世界输入将其输出与实际系统的真实世界输入的输出进行比较。这个验证过程很简单,但是,在执行时可能会遇到一些困难,例如,如果输出要与平均长度、等待时间、空闲时间等进行比较,则可以使用统计检验和假设检验进行比较。一些统计检验包括卡方检验、Kolmogorov-Smirnov检验、Cramer-von Mises检验和矩检验。
验证首次模型
假设我们必须描述一个目前不存在也不曾存在过的拟议系统。因此,没有历史数据可用于比较其性能。因此,我们必须使用基于假设的假设系统。以下有用的提示将有助于提高效率。
子系统有效性 - 模型本身可能没有任何现有的系统可以与其进行比较,但它可能包含一个已知的子系统。每个子系统的有效性都可以单独进行测试。
内部有效性 - 由于其内部过程导致高方差的随机系统,因此具有高度内部方差的模型将被拒绝,因为内部过程将隐藏由于输入变化而导致的输出变化。
敏感性分析 - 它提供有关系统中敏感参数的信息,我们需要对其给予更多关注。
表面有效性 - 当模型在相反的逻辑上执行时,即使其行为类似于实际系统,也应将其拒绝。