1.2.3　深度学习的3种结构类型

深度学习从神经网络的结构和技术应用上可以划分为3类：生成型深度结构、判别型深度结构和混合型深度结构。

1．生成型深度结构

生成型深度结构旨在模式分析过程中描述观测数据的高层次相关特征，或者描述观测数据与其相关类别的联合概率分布，这方便了先验概率和后验概率的估计，通常使用无监督学习处理该结构的学习。当应用生成模型时，需要大量含标签训练样本集，该模型的收敛速度较慢，容易陷入局部最优解中。生成型深度结构的深度学习模型主要有自编码器、受限玻尔兹曼机等。

2．判别型深度结构

判别型深度结构旨在提供对模式分类的区分性能力，通常描述数据的后验分布。卷积神经网络是第一个真正成功训练多层网络结构的学习算法，它属于判别型训练算法。受视觉系统结构的启示，当具有相同参数的神经元应用于前一层的不同位置时，便可以捕获一种变换不变性特征。经过不断的发展，出现了利用BP算法设计训练的CNN。CNN作为深度学习框架是基于最小化预处理数据要求而产生的。受早期的时间延迟神经网络影响，CNN通过共享时域权值降低复杂度。CNN是利用空间关系减少参数数目以提高一般前向BP训练的一种拓扑结构，并在多个实验中获取了较好性能。在CNN中被称作局部感受区域的图像的一小部分作为分层结构的最底层输入。信息通过不同的网络层次进行传递，因此在每一层能够获取对平移、缩放和旋转不变的观测数据的显著特征。

3．混合型深度结构

混合型深度结构的目的是对数据类型进行判别、分类。该学习过程包含两个部分：生成部分和区分部分。在应用生成型深度结构解决分类问题时，因为现有的生成型结构大多数都是用于对数据的判别，可以结合判别型模型在预训练阶段对网络的所有权值进行优化，例如，通过深度置信网络进行预训练后的深度神经网络。