下面来探讨一下深度学习在嵌入式设备上的应用，具体如下：

1、深度学习的概念源于人工神经网络的研究，包含多个隐层的多层感知器(MLP) 是一种原始的深度学习结构。深度学习通过组合低层特征形成更加抽象的高层表示( 属性类别或特征) ，以发现数据的分布式特征表示。BP算法是训练多层网络的典型算法，但实际上对于仅含几层的网络，该训练方法就已很不理想。深度结构( 涉及多个非线性处理单元层) 非凸目标代价函数中普遍存在的局部最小是网络难以训练的主要原因。

2006-2016这十年间深度学习不断发展创新，研究价值和应用潜力不断被挖掘发现。近年来深度学习取得惊人进展，从模型、算法，到大规模的应用都取得了令人瞩目的成果。深度学习的出现是机器学习的一次重要革命，是人工智能发展巨大推力。人工智能是终极目标，机器学习是实现人工智能的一种分支，深度学习隶属于人工神经网络体系，人工神经网络是基于统计的机器学习方法，相比于基于人工规则的专家系统，表现优异。传统的神经网络是一种浅层机器学习，深度学习是传统神经网络发展下的新一代神经网络。深度学习是通过建立、模拟人脑的信息处理神经结构来实现对外部输入的数据进行从低级到高级的特征提取，从而能够使机器理解学习数据，获得信息。

2、嵌入式系统

嵌入式系统是用来控制处理外部世界各种中断信号的计算机系统，嵌入式系统被定义为以应用为中心、以计算机技术为基础、软件硬件可裁剪、适应应用系统对功能、可靠性、成本、体积、功耗严格要求的专用计算机系统。进入20世纪90年代，嵌入式技术全面展开，目前已成为通信和消费类产品的共同发展方向。在通信领域，数字技术正在全面取代模拟技术。在广播电视领域，美国已开始由模拟电视向数字电视转变，欧洲DVB( 数字电视广播) 技术已在全球大多数国家推广。数字音频广播(DAB) 也已进入商品化试播阶段。而软件、集成电路和新型元器件在产业发展中的作用日益重要。所有上述产品中，都离不开嵌入式系统技术。维纳斯计划生产机顶盒，核心技术就是采用32位以上芯片级的嵌入式技术。在个人领域中，嵌入式产品将主要是个人商用，作为个人移动的数据处理和通讯软件。由于嵌入式设备具有自然的人机交互界面，GUI屏幕为中心的多媒体界面给人很大的亲和力。基于嵌入式设备的手写文字输入、语音拨号上网、收发电子邮件以及彩色图形、图像已取得初步成效。

3、经典的深度学习网络

经过多年的发展，深度学习在图像处理、语音识别、文本处理等多领域得到了广泛的应用。以卷积神经网络、深度置信网络和递归网络为核心的深度学习模型体系逐渐形成。卷积神经网络(Convolution Nerual Net，CNNs) 通过结合局部感知区域、共享权重
、空间或时间上的池化降采样三大特点来充分利用数据本身包含的局部性等特征，优化网络结构，并且保证一定程度上的位移的不变性。它的权值共享网结构相似于生物神经网络 ，降低了网络模型的复杂度，减少了权值的数量。因为这样的结构特点使其尤其适合大图像数据的机器学习，可以使数量庞大的图像识别问题不断降维。CNNs的主要结构包括卷积部分和全连接部分。卷积部分包括卷积层、激活层、下采样层，通过卷积部分的叠加提取特征; 全连接部分连接特征提取和输出计算损失和完成识别分类等功能。

4、深度置信网络

深度置信网络的基本结构单元是受限玻尔兹曼机 (Ｒestricted Boltzmann Machine，ＲBM)。受限玻尔玆曼机通过学习数据的概率密度分布提取抽象特征。深度置信网络通过ＲBM的叠加，逐层学习数据概率分布，即提取多种概率特征。ＲBM训练过程分为无监督训练阶段和微调阶段。无监督贪婪逐层训练方法获得各层的条件概率分布，微调阶段包括利用带标签数据和BP算法对网络参数进行调整。ＲBM具有高灵活性，容易拓展，不仅在图像处理、语音识别领域网络预训练中应用广泛，也是构建新型深度学习网络的结构基础。

5、递归神经网络

递归神经网络会对上一层的信息进行记忆，添加到当前层的计算输出中，在结构中体现为隐层间有节点相连。递归神经网络是非常强大的动态系统，通常用于描述动态时间行为序列，使状态数据在网络中循环传递，它更擅长语音文本信息，一次处理一个输入序列元素。每个节点同时包括过去时刻序列元素的历史信息，一般采用时间反传 (Backpropagation Through Time，BPTT)训练算法来解决非长时依赖问题。

6、深度学习在嵌入式设备上的应用

随着硬件计算能力的快速发展，很多便携式嵌入设备如手机、平板电脑和智能可穿戴设备等在一些计算量大的任务( 例如图像或视频处理任务) 中发挥重要作用。以深度学习技术为代表的新一代人工智能技术，正在逐步渗透到越来越多的领域中，推动着社会的发展。1998年，第一个卷积神经网络模型Le Net － 5由Yann Le Cun教授正式提出。当时，这个模型被成功应用于银行支票上手写数字的识别，这也是卷积神经网络第一次大范围在工业实践中应用。从此，卷积神经网络模型成为了图像分类任务中最好的选择之一。2006年，加拿大多伦多大学的Geoffrey Hin-ton教授和他的学生发表了一篇文章，提出了深度信念网络，这是深度学习发展史上的一个里程碑。2012年，Hinton的学生Krizhevsky参加了当年的Image Net竞赛，提出了著名的卷积神经网络模型Alex － Net，top － 错误率是15.3%，远远优于第二名的成绩。至此，奠定了深度学习在计算机视觉领域的重要的地位。