SageMaker - 监视和优化

在 SageMaker 中监视模型性能

监视机器学习模型是确保模型在生产中部署时按照预期执行的重要步骤。Amazon SageMaker 提供多种工具用于监视模型、跟踪指标和检测性能随时间推移出现下降的情况。

SageMaker 模型监视器

SageMaker 模型监视器工具持续实时跟踪模型质量。它监视传入数据中是否存在任何不一致，并在模型预测与预期结果不同时向您发出警报。该工具确保您的模型始终保持准确性和可靠性。

CloudWatch 集成

另一个监视工具是 CloudWatch。Amazon SageMaker 可轻松与 Amazon CloudWatch 集成，以实时收集、跟踪和可视化性能指标。它允许您配置自定义指标，例如准确性或延迟。

自动再训练

SageMaker 还支持自动化再训练，允许您在满足特定条件时设置触发器以重新训练模型。通过自动化再训练，您可以确保您的模型始终根据最新数据进行更新。

超参数调整和优化

超参数调整在从 ML 模型中获得最佳性能方面发挥着重要作用。Amazon SageMaker 的超参数优化功能允许您自动搜索模型的最佳超参数组合。

在 SageMaker 中实施超参数调整

SageMaker 的自动超参数调整也称为超参数优化 (HPO)。它通过使用不同参数组合运行多个训练作业来帮助您找到最佳超参数。

范例

下面是 SageMaker 中超参数调整的基本 Python 代码范例 −

from sagemaker.tuner import HyperparameterTuner, ContinuousParameter

# Define the hyperparameters to tune
hyperparameter_ranges = {
    'eta': ContinuousParameter(0.01, 0.2),
    'max_depth': ContinuousParameter(3, 10)
}

# Set up the tuner
tuner = HyperparameterTuner(
    estimator=xgboost_estimator,
    objective_metric_name='validation:accuracy',
    hyperparameter_ranges=hyperparameter_ranges,
    max_jobs=10,
    max_parallel_jobs=2
)

# Start tuning job
tuner.fit({"train": train_input, "validation": validation_input})