看图说话——CNN和LSTM的联合应用

引言

聋人使用的手语，是一种进行信息交流、传递思想的 自然方法，在聋校教学和聋人交流方面起着非常重要的作 用。手语是由手的形状、手腕和手臂的运动，与之对应的
人脸表情、嘴唇读音形状，以及其他身体姿态相结合的人 体语言。中国手语包括手指语和手势语两类：手指语由30 个手指字母构成基本单位，是用手指的变化和动作代表一
个汉语拼音字母，并按照汉语拼音规则和顺序依次拼出词 语构成的语言；手势语是通过指示性的形象手指姿态模拟 事物形状和动作的自然手势。由于汉字本身包含的字词 较多，所以使用手势很难全面准确地将其表述完整。而手
指语与拼音的拼写方式一致，可以表达很多专业术语以及 抽象概念，具有简明易学、手势较少的特点。因此，手语字 母的识别是手语识别中非常重要的一部分。根据教育部

及中国文字改革委员会等单位公布的现行中国手语实施 方案，中国手语中包括30个手语字母：26个单字母（A~Z） 和4个双字母（ZH、CH、SH、NG），如图1所示。 手语识别研究包括两类：（1）基于计算机视觉的手语 识别[1]；（2）基于佩戴式设备的手语识别。由于佩戴式位置
跟踪器与数据手套的价格较高，并且穿戴方式复杂，所以 很难推广到实际应用中。随着视频采集设备的普及和应 用，基于计算机视觉的手语识别以其自然便捷的交互方式 受到越来越多的关注，尤其是在硬件成本方面，该方式所
需设备成本很低，因此非常适于普及应用，是目前手语识 别的研究重点

看图说话是深度学习波及的领域之一。其基本思想是利用卷积神经网络来做图像的特征提取，利用LSTM来生成描述。但这算是深度学习中热门的两大模型为数不多的联合应用了。

本文是参考文献[1]的笔记，论文是比较早的论文，15年就已经发表了，不新。但还是想写下来它的细节以备后用。

关于CNN(卷积神经网络)和LSTM(长短期记忆网络)的细节，本文不再赘述其细节。读者们需要了解的是：

卷积神经网络是一种特别有效的提取图像特征的手段。一个在大数据集如ImageNet上预训练好的模型能够非常有效的提取图像的特征。

长短期记忆网络能够处理长短不一的序列式数据，比如语言句子。给定一个输入，网络能够给出一个序列输出。

在参考论文提出的模型之前，对于看图说话这个问题，解决方法主要有两个大类：

利用一些预定义好的属性来进行生成，比如对于路况图像，可以判断路上多少车，然后判断路况堵不堵之后就可以生成描述。但这样不具有可扩展性，对于每种场景都需要定制。

使用搜索排序的方法定义该问题，即对于每张图像，在已有的描述中选择最好的一个。这种方法的限制在于不能生成新的语句。

图像到文字的问题可以看做是一种机器翻译，在现在的机器翻译模型中，以LSTM为基础的seq2seq模型成为主流，该模型的基本思想是，对于一个数据pair (A, B)。因为A和B表达的是同一个意思，所以存在某种隐含状态h，使得A和B都对应到h。于是seq2seq模型就先对A进行编码，得到一个数据表示，再基于这个数据表示去解码，生成目标语言的文字。

图像到文字也类似，假设存在某种隐含状态h，图像可以编码到h，而基于h可以生成目标语句。