CTC和Encoder-Decoder有什么关系? 第1页
1
maigo 网友的相关建议:
- 是否把 LSTM + CTC 看成编码器 + 解码器的结构，我觉得是一个无所谓的问题。
其实任何一种网络结构，都可以看成编码器 + 解码器，只要把网络的低几层看成编码器，高几层看成解码器就行了。但对于 LSTM + CTC 来说，到底把哪几层看成编码器，哪几层看成解码器，并没有一个明确的界限，不像注意力网络中，编码器与解码器中间有一个注意力层的结构是跟其它层不同的。所以说 LSTM + CTC 是编码器 + 解码器，不能算错，但没什么意思。
2. 变长序列的端到端学习方法，我觉得有三种主流思路，除了 CTC 和注意力以外，还有 transducer。下面这篇文章就比较了三种方法用于语音识别的效果：
我对它们的总结是这样的：
1
相关话题
什么时候对数据进行[0,1]归一化，什么时候[-1,1]归一化，二者分别在什么场景？为什么相比于计算机视觉(cv)，自然语言处理(nlp)领域的发展要缓慢？
如何评价Deepmind自监督新作BYOL？
BERT模型可以使用无监督的方法做文本相似度任务吗？
如何评价 DeepMind 新提出的关系网络（Relation Network）？
如何理解 inductive learning 与 transductive learning?
注意力机制是如何学习到模型所应注意的区域的？
多任务学习成功的原因是引入了别的数据库还是多任务框架本身呢？
现在的BERT等语言模型，最快训练要多久？
如何看待 Google 围棋 AI AlphaGo 击败欧洲围棋冠军？
相关的话题
OpenCV已经将图像处理(识别)的算法写成函数了,那我们还有必要去学习这些算法不?什么时候对数据进行[0,1]归一化，什么时候[-1,1]归一化，二者分别在什么场景？
数字图像处理的工作是用传统算法更多还是用深度学习更多?
语音交互要解决哪些问题，才能摘掉“人工智障”的帽子?
如何看待指出 神经网络的训练罪魁祸首是退化一文？
如何评价深度学习相关顶级期刊论文难复现的问题？
为什么交叉熵（cross-entropy）可以用于计算代价？
实验室一块GPU都没有怎么做深度学习？
如何理解链接预测（link prediction）？
如何评价MSRA最新的 Relation Networks for Object Detection？
2022 年初，你认为哪项成果代表了现在人工智能的最高水平？
有没有可能运用人工神经网络将一种编程语言的代码翻译成任意的另一种编程语言，而不经过人工设计的编译过程？
有哪些令你印象深刻的魔改transformer？
计算机视觉顶级会议论文中比较适合初学计算机视觉的人做的复现实验有哪些？
为什么 MobileNet、ShuffleNet 在理论上速度很快，工程上并没有特别大的提升？
如何评价DALL-E模型的实现？
想问下专业人士 OpenCv会被深度学习进一步取代吗进一步取代吗？
2020-2021年NLP有什么核心技术的更迭吗？或者有什么推动领域发展的paper吗？
Batch normalization和Instance normalization的对比？
有没有可能运用人工神经网络将一种编程语言的代码翻译成任意的另一种编程语言，而不经过人工设计的编译过程？
有哪些令你印象深刻的魔改transformer？
对神经网络某一层做了小改进，效果却提升显著，可以发论文吗？
梯度下降法的神经网络容易收敛到局部最优，为什么应用广泛？
如何看待Hinton的论文《Dynamic Routing Between Capsules》？
目前 AI 在疾病的诊断和治疗上，有哪些成功的应用？
围棋AI为什么没有下出同局？
机器之心提问：如何评价Facebook Training ImageNet in 1 Hour这篇论文?
如何评价陈天奇的模块化深度学习系统NNVM？
深度学习方面还有什么Open Problem?
TensorFlow的自动求导具体是在哪部分代码里实现的？