数据结构
网络
关系数据库管理系统 (RDBMS)
操作系统
Java
MS Excel
iOS
HTML
CSS
Android
Python
C语言编程
C++
C#
MongoDB
MySQL
Javascript
PHP
物理学
化学
生物学
数学
英语
经济学
心理学
社会学
服装设计
法学什么是机器学习中的分组卷积？
介绍
过滤器组的概念，也称为分组卷积，最早在2012年的AlexNet中被探索。这种创造性的解决方案源于使用两块各具有1.5GB内存的Nvidia GTX 580 GPU进行网络训练的必要性。
挑战：有限的GPU内存
在测试过程中，AlexNet的创建者发现它需要略低于3GB的GPU内存才能进行训练。不幸的是，由于内存限制，他们无法有效地利用两块GPU进行模型训练。
过滤器组背后的动机
为了解决GPU内存问题，作者提出了过滤器组。通过优化模型在GPU上的并行化，能够更有效地利用计算资源。
理解过滤器组/卷积组
通过使用卷积分组过滤器，可以将卷积层分割。所有过滤器都在每个组中。通过实现过滤器组，作者克服了GPU内存限制，并获得了更有效的模型并行化。由于过滤器的分组，数据和计算工作负载均匀地分布在GPU之间。
通过使用过滤器组，作者能够充分利用其资源。他们通过在GPU之间并行化过滤器组，最大限度地利用了具有有限内存容量的两块Nvidia GTX 580 GPU。作者成功地使用过滤器组训练了AlexNet。GPU内存约束并没有阻止他们有效地分配工作负载和训练模型。
什么是过滤器组？
研究人员最初认为过滤器组仅仅是规避GPU内存限制的一种手段。但是，这项技术有一个有趣的副作用。conv1的黑白和彩色过滤器似乎被分成两个不同的类别。因此，过滤器组增强了网络表示。
我们进行了实验来测试过滤器组对准确性和计算效率的影响。带有和不带过滤器组的AlexNet展现出相似的验证误差，并且与不带过滤器组的AlexNet相比，计算效率更高。这项研究的结果表明，过滤器组对更好的表示的贡献不仅仅是权宜之计。
深入探讨过滤器组
理解卷积层的结构对于理解过滤器组至关重要。卷积层通常在其深度上对每一层之前特征图进行卷积。所有输入通道都包含在输出特征图中，导致参数更多，计算需求更大。
将过滤器分组为更小的组，需要将它们分成更小的组。每一组过滤器都会随着前一层特征的子集而演变。因此，每个组的参数更少，计算负载最小。因此，输出特征图是通过组合每个组的卷积创建的，这更节省内存。
在考虑通道维度时，卷积层尤其受益于过滤器组。随着CNN的深入，通道数量会显著增加，而空间维度会减小。通过减少每个组中的参数数量，过滤器组可以帮助管理这种通道维度的主导地位。
此外，根据研究，过滤器组促进了网络内更好表示的形成。过滤器根据其任务（例如黑白和彩色过滤器）被组织成过滤器组，这有助于过滤器专门化并增强网络提取有意义特征的能力。
分组卷积的优势
分组卷积允许我们通过复制过滤器组的模块化块来构建更广泛的网络。通过增加网络容量而不影响计算效率，我们可以提高网络容量。
通过仅在其组内的特征图子集上对每个过滤器进行卷积，可以降低计算复杂度。但是，与在不复制过滤器组的情况下应用所有内核（不使用分组卷积的概念）相比，整体复杂度要低得多。
在训练过程中使用分组卷积有助于模型和数据并行。在数据并行中，数据集被分成块，并且数据一次训练一块，类似于小批量梯度下降法。同时，模型并行通过并行化模型本身来实现计算资源的有效利用。正如AlexNet在有限RAM GPU上的训练所证明的那样，分组卷积实现了有效的模型并行。
分组卷积具有学习数据更好表示的优势。由于不同过滤器组中的过滤器之间相关性低，每个组学习独特的表示。在传统的卷积神经网络中，过滤器往往相互关联，这种过滤器组的专门化增强了网络捕获不同特征的能力。
结论
深度神经网络从分组卷积中受益匪浅，因为它能够实现有效的并行化、提高计算效率和增强表示学习。它们解决了日益增长的模型复杂性和有限硬件资源带来的挑战。研究人员开发了分组卷积，以便在具有较小内存容量的GPU上训练深度模型。随着深度学习的不断发展，分组卷积无疑将在推动模型性能和效率的界限方面发挥关键作用。
215 次查看
