seq2seq模型由encoder-decoder结构组成，encoder将输入序列转化成一个固定长度的语义向量，该语义向量包含了输入的序列的信息，decoder再根据编码器生成的固定长度的向量转化输出序列，通常encoder及decoder均采用RNN结构如LSTM或GRU等，但是RNN机制实际中存在梯度消失的问题，对于较长的句子，我们很难寄希望于将输入的序列转化为定长的向量而保存所有的有效信息。Decoder 在解码时就无法获得输入序列足够多的信息，因此导致解码的精确度不够准确

seq2seq模型架构(无注意力机制）

RNN中的隐藏层的输出 h_t 由 t 时刻的输入和 t-1 时间步隐层的输出决定h_t=f(h_t-1，xh_t)

编码器获得各个时刻的隐藏层状态后，把这些隐藏层的状态进行汇总，生成语义编码向量 C，q 表示某种非线性神经网络 C = q ({h1, · · · , hTx }),

在 解码阶段，需要根据给定的语义向量 C 和之前已经生成的输出序列 y₁,y₂,⋯,y_t-1 来预测下一个输出的词 y_t

由于 Decoder 是 RNN ，所以当前状态的输出只与上一状态和当前的输入相关

s_t 表示 Decoder 中 RNN 神经元的隐藏层状态，y_t 表示前一时刻的输出，C 代表的是编码后的语义向量，而 g(⋅) 则是一个非线性的多层神经网络，最终输出 y_t 的概率。

引入Attention机制