CTC和Encoder-Decoder有什么关系? 第1页
1
maigo 网友的相关建议:
- 是否把 LSTM + CTC 看成编码器 + 解码器的结构，我觉得是一个无所谓的问题。
其实任何一种网络结构，都可以看成编码器 + 解码器，只要把网络的低几层看成编码器，高几层看成解码器就行了。但对于 LSTM + CTC 来说，到底把哪几层看成编码器，哪几层看成解码器，并没有一个明确的界限，不像注意力网络中，编码器与解码器中间有一个注意力层的结构是跟其它层不同的。所以说 LSTM + CTC 是编码器 + 解码器，不能算错，但没什么意思。
2. 变长序列的端到端学习方法，我觉得有三种主流思路，除了 CTC 和注意力以外，还有 transducer。下面这篇文章就比较了三种方法用于语音识别的效果：
我对它们的总结是这样的：
1
相关话题
有什么深度学习数学基础书推荐？如何解决图神经网络（GNN）训练中过度平滑的问题？
为什么说深度学习没有理论基础?
石头和塑料袋对于计算机传感器的差别在于什么？为什么无人驾驶系统会依然存在对周围环境的误判？
为啥gan里面几乎不用pooling？
贝叶斯深度学习是什么，和传统神经网络有何不同？
如何评价 DeepMind 的新工作 AlphaCode?
主动学习（Active Learning）近几年的研究有哪些进展，现在有哪些代表性成果？
Batch normalization和Instance normalization的对比？
深度学习做股票预测靠谱吗？
相关的话题
如何评价 Kaiming 团队新作 Masked Autoencoders (MAE)？如何评价谷歌提出的 Pix2Seq：将目标检测看成语言建模，效果超过 DETR？
在做算法工程师的道路上，你掌握了什么概念或技术使你感觉自我提升突飞猛进？
如何评价微软亚洲研究院提出的LightRNN？
AlphaGo 与李世石的对战会推动人类的极限还是机器学习的进步和觉醒？
研一刚入学，从未接触过神经网络，python也是才开始学，现在导师要我做LSTM，我应该去学什么？
如何评价谷歌提出的 Pix2Seq：将目标检测看成语言建模，效果超过 DETR？
如何评价 DeepMind 公布的可生成算法竞赛解题代码的 AlphaCode？
word2vec有什么应用？
如何评价FAIR提出的ConvNeXt：CNN匹敌Swin Transformer?
注意力机制是如何学习到模型所应注意的区域的？
如何评价Deepmind自监督新作BYOL？
2019年，计算机视觉领域，你推荐哪些综述性的文章？
有什么算法能对一个长短不一的时间序列进行分类预测?
从今年校招来看，机器学习等算法岗位应届生超多，竞争激烈，未来 3-5 年机器学习相关就业会达到饱和吗？
为什么 larger batch size 对对比学习的影响比对监督学习的影响要大？
全连接层的作用是什么？
交通银行机器人是如何做到如此智能的？
在集成电路设计领域（数字，模拟），人工智能有无可能取代人类？
ICLR 2022有哪些值得关注的投稿？
在CV/NLP/DL领域中，有哪些修改一行代码或者几行代码提升性能的算法？
wasserstein 距离的问题?
如何评价 Self-Normalizing Neural Networks 这篇论文?
应届硕士毕业生如何拿到知名互联网公司算法岗（机器学习、数据挖掘、深度学习） offer？
NLP 中 prompt learning 有哪些可能的天生缺陷？目前有什么样的方法来解决这样的缺陷？
机器学习小白来提问：关于联邦学习FedAVG和FedSGD的问题？
在CV/NLP/DL领域中，有哪些修改一行代码或者几行代码提升性能的算法？
CVPR 2019 有哪些值得关注的亮点？
如何看待End-to-End Object Detection with Transformers？
nlp有哪些值得完整实现一遍的算法?