如何在 Rust 中构建机器学习模型？

机器学习 (ML) 已成为科技领域发展最快的领域之一，使系统能够从数据中学习、适应和改进。虽然 Python 在该领域占据主导地位，但其他语言由于其性能、安全性以及并发特性而开始受到关注——其中一种语言就是 Rust。
Rust 以其无需垃圾回收器的内存安全性而闻名，为机器学习带来了可观的益处，尤其是在构建高性能和安全的系统时。在本文中，我们将探讨如何在 Rust 中构建一个简单的机器学习模型。无论您是 Rust 专家还是初学者，本指南都将提供有关在 Rust 中创建基本机器学习管道的分步说明。

为什么选择 Rust 进行机器学习？

虽然 Python 是机器学习中最常用的语言，但 Rust 提供了一些优势

  • 性能：Rust 的速度与 C++ 媲美，并且与 Python 等解释型语言相比，提供了更好的性能。
  • 安全性：Rust 通过其严格的借用和所有权模型确保内存安全，从而最大程度地减少了空指针取消引用和缓冲区溢出等运行时错误。
  • 并发性：Rust 提供了出色的并发编程工具，从而更轻松地有效地利用现代多核系统。
  • 不断发展的生态系统：Rust 机器学习生态系统虽然仍在发展中，但正在随着 Linfa 和 ndarray 等强大库的出现而不断壮大。

机器学习模型如何工作？

在较高层次上，机器学习 (ML) 模型旨在识别数据中的模式。最终目标是在无需明确编程执行这些任务的情况下进行预测或决策。要了解机器学习模型的工作原理，必须将其过程分解为核心组件

1. 数据

机器学习模型从数据中学习，数据是模型的基础。数据通常包括

  1. 特征（输入）：描述现象的属性或变量。例如，在预测房价时，特征可能是卧室数量、平方英尺或位置。
  2. 标签（输出）：模型试图预测的实际结果或目标值。在监督学习中，标签在训练阶段是已知的（例如，房价）。

2. 学习算法

机器学习的核心是用于从数据中学习的算法。根据问题的性质使用不同的算法

  1. 监督学习：在这种情况下，特征和标签都在训练期间提供。模型通过最小化预测标签和实际标签之间的误差来训练将输入映射到输出。此处使用线性回归、决策树和神经网络等算法。
  2. 无监督学习：在这里，模型仅提供输入数据，没有任何相应的标签。目标是在数据中发现隐藏的模式、分组或结构。常见的算法包括聚类（k 均值）和降维（PCA）。
  3. 强化学习：在这种情况下，模型从反馈而不是明确的数据中学习。它做出决策并获得奖励或惩罚，最终随着时间的推移优化其策略。

3. 模型表示

每个机器学习算法都有其模型的数学表示。例如
线性模型：线性回归模型可以表示为 y=wx + b，其中

  • y 是预测值（输出）。
  • w 是权重（模型的参数）。
  • x 是特征（输入）。
  • b 是偏差项。模型的目标是找到最优的 ww 和 bb 值，以最小化预测值和实际值之间的差异。
更复杂的模型（如神经网络）将数据表示为相互连接的节点（神经元）层，每个节点都有其权重和激活函数。

训练过程：在训练期间，模型通过根据输入数据调整其内部参数来学习。步骤通常包括

  • 前向传播：模型根据当前参数值进行预测。
  • 损失函数：损失或成本函数计算预测输出与实际输出之间的误差或差异（对于监督学习）。常见的损失函数包括用于回归的均方误差 (MSE) 和用于分类任务的交叉熵。
  • 反向传播和优化：然后，模型使用梯度下降等优化算法调整其参数，这些算法旨在通过迭代改进模型的参数来最小化损失函数。

4. 评估

训练后，模型将在未见数据（测试数据）上进行评估，以衡量其泛化能力。常见的评估指标包括

  • 准确率：正确预测的比例（主要用于分类问题）。
  • 均方误差 (MSE)：衡量预测值和实际值之间的平均平方差（用于回归问题）。
  • 精确率、召回率、F1 分数：这些指标评估分类任务中的性能，其中类的分布不平衡（例如，检测垃圾邮件）。

5. 推理

训练后，模型用于对新的、未见的数据进行预测或分类。此阶段称为推理。此时，模型通常部署到生产环境中，在该环境中，它可以根据传入的数据做出实时决策。

机器学习模型的类型

根据所使用的算法，有各种类型的模型

  • 线性模型：这些模型假设输入和输出之间存在线性关系。线性回归是最简单的形式，其中模型试图找到最适合数据的直线。
  • 决策树：决策树是根据特征值将数据分成子集的模型，创建树状结构，其中每个节点表示决策点，叶子表示预测结果。
  • 支持向量机 (SVM)：SVM 试图找到最能将数据分成不同类的超平面，最大化类之间的间隔。
  • 神经网络：神经网络受人脑启发，由相互连接的神经元层组成。它们非常适合复杂的非线性问题，并且是深度学习的基础。网络可以从简单的浅层网络到具有许多隐藏层（每个隐藏层学习数据的不同方面）的深度网络。
  • 集成模型：这些模型结合多个模型以提高预测精度。随机森林、提升和装袋等方法是集成学习的例子。

机器学习中的通用概念

过拟合和欠拟合

  • 过拟合：当模型在训练数据上表现良好但在新数据上表现不佳时，因为它已经学会记忆训练数据而不是从中泛化。
  • 欠拟合：当模型过于简单并且无法捕获数据中的潜在模式时。
正则化：正则化技术（例如 L1 和 L2 正则化）通过惩罚模型中较大的权重来帮助防止过拟合，鼓励模型保持简单和可泛化。

交叉验证：此技术将数据分成多个子集（折叠），并在这些子集的不同组合上训练模型，确保模型在不同的数据样本中都能很好地泛化。

在 Rust 中逐步构建 ML 模型

让我们在 Rust 中构建一个简单的线性回归模型。我们将使用linfa crate，这是一个为 Rust 设计的机器学习库。线性回归是一种简单的监督学习算法，它根据输入变量预测连续输出。

步骤 1：设置开发环境

首先确保 Rust 已安装在您的系统上并正常工作，然后我们将通过cargo创建一个新的 Rust 项目

cargo new rustml && cd rustml

这将创建一个新的 Rust 项目，但我们需要将所需的依赖项添加到cargo.toml文件中

[dependencies]
csv = "1.1.6"
linfa = "0.5.0"
ndarray = "0.15.0"
ndarray-csv = "0.3.0"
  1. Linfa：它是 Rust 中的一个机器学习 crate，提供各种算法和工具来使用。
  2. ndarray ：此 crate 广泛用于处理矩阵和数组以及数据操作。
  3. ndarry-csv：此库帮助我们将 CSV 文件转换为矩阵格式。

步骤 2：加载数据集

为了简单起见，我们将使用加州房价数据集，您可以在此处找到它。

接下来，我们将编写此 Rust 代码

use csv::ReaderBuilder;
use ndarray::Array2;
use ndarray_csv::Array2Reader;
use ndarray::Axis;
use std::error::Error;
use linfa::Dataset;
use linfa::prelude::*;
use linfa_linear::LinearRegression;
use ndarray_stats::QuantileExt;

fn load_data() -> Result<(Array2, Array2), Box> {
    // Load the CSV file
    let mut rdr = ReaderBuilder::new()
        .has_headers(true)
        .from_path("{your_file_name}.csv")?;

    // Read the CSV into an ndarray
    let array: Array2 = rdr.deserialize_array2_dynamic()?;

    // Assume the last column is the target (house prices), split it from the rest
    let (x, y) = array.view().split_at(Axis(1));

    Ok((x.to_owned(), y.to_owned()))
}

此 Rust 代码创建了一个新的 CSV 读取器，此外，此代码将 CSV 数据反序列化为 2D ndarray 的形式，在代码的最后一部分，我们通过假设最后一列是房价，而前面的列是房屋的特征来拆分数据。还要确保 CSV 文件的路径和名称正确。

步骤 3：预处理数据

预处理数据只需涉及清理、规范化和编码从 CSV 文件获取的数据。我们现在将规范化数据

fn normalize_data(data: &Array2) -> Array2 {
    let min = data.min().unwrap();
    let max = data.max().unwrap();
    (data - min) / (max - min)
}

normalize_data 函数用于使用最小-最大规范化将数据规范化到 0 和 1 之间的值。

步骤 4：构建机器学习模型

由于我们已经加载并成功预处理了数据，因此我们现在可以继续构建机器学习模型。为此，我们将使用线性回归来预测仅基于可用特征的房价。

fn build_model(x: Array2, y: Array2) {
    let dataset = Dataset::new(x, y);

    let model = LinearRegression::default()
        .fit(&dataset)
        .expect("Failed to train linear regression model");

    model
}

此函数用于将线性回归模型拟合到训练数据。

步骤 5：训练机器学习模型

现在，我们机器学习模型开发的最后一个阶段包括加载数据集、对其进行归一化，然后训练模型。

fn main() -> Result<(), Box> {
    let (x, y) = load_data()?;

    let x_normalized = normalize_data(&x);

    let model = build_model(x_normalized, y);

    let new_data = array![[5000.0, 3.0, 1500.0]];
    let prediction = model.predict(new_data);
    println!("Predicted house price: {:?}", prediction);

    Ok(())
}

由于我们已经成功训练了机器学习模型，现在是时候评估模型的性能了。

步骤 6：评估模型

现在，由于我们的模型已成功训练，我们将通过将数据集分成两个部分（训练集和测试集）来评估模型的性能，然后计算R平方或均方误差（也称为MSE）等指标。

use linfa::metrics::MeanAbsoluteError;

fn evaluate_model(model: &LinearRegression, test_x: Array2, test_y: Array2) {
    let predictions = model.predict(test_x);
    let mse = predictions.mean_absolute_error(&test_y).unwrap();
    println!("Mean Absolute Error: {}", mse);
}

结论

总而言之，对于需要在应用程序中兼顾性能和安全性的机器学习工程师而言，Rust 提供了一个引人注目的选择。尽管在数据科学领域，Rust 的采用率可能尚未达到 Python 那样高，但 Rust 快速发展的机器学习库生态系统使其成为一个可行的替代方案，特别是对于已经熟悉该语言或希望在生产环境中利用 Rust 的优势的工程师而言。
通过遵循本指南，您学习了如何使用 Rust 和 Linfa 库加载、预处理和训练机器学习模型。虽然我们专注于一项相对简单的任务——线性回归预测房价，但此处概述的步骤可以扩展到更复杂的模型和数据集。随着 Rust 生态系统不断发展，值得关注其发展，因为它有可能在未来的机器学习项目中提供性能、安全性和可扩展性方面的巨大优势。

更新于： 2024年10月9日

0 次浏览

开启您的 职业生涯

通过完成课程获得认证

开始学习
广告