文章采集：gandtext-to-sequencemodelsgandtext-to-sequencemodels提取句子特征的输入是一个embedding

　　文章采集：gandtext-to-sequencemodelsgandtext-to-sequencemodels提取句子特征的输入是一个embedding

　　文章采集链接：github·jixiufeng/decoderpage:decoder-page-retrievalforembeddingandtext-to-sequencemodels提取句子特征fcn的输入是一个embedding表达，采用很少的信息(如hiddenunits)提取出词向量;加入hiddenunits后，会输出更加有用的信息(如rnn可解释性、循环神经网络与rnn相比效率更高)。

　　目前讲一下自己的感受。如果是使用seq2seq，而且也进行了预训练，那么的确可以得到一个所谓的“注意力”模型。如果直接用循环神经网络，也就是hmm（当然hmm也有层次），那么我觉得是得不到最终模型的，因为会存在下游单词未收到激活等情况。而且深度学习应该不需要预训练参数。如果分词问题，我倾向于使用embeddingencoder，这是因为，直接用glove做分词应该效果不太好，对于文本分类，可能因为一个字符太长而丢失单词信息，直接embeddingencoder效果应该会更好，就好像用embeddingencoder做positionencoder，输出的也是embedding形式的“类”。

　　现在还在尝试研究embeddingencoder如何进行分词，没什么技巧，如果有可以交流下。如果是尝试用文本编码，那么反向传播的时候，用一个词向量将词与句子进行编码，编码后再进行循环神经网络，效果应该更好，可以看一下是否可以自行设置每一个句子的个数。深度学习貌似已经有比较好的embeddinglayer出来，比如xception。以上说的只是个人看法，也许是错的，请指出，谢谢！。