CTC和Encoder-Decoder有什么关系? 第1页
1
maigo 网友的相关建议:
- 是否把 LSTM + CTC 看成编码器 + 解码器的结构，我觉得是一个无所谓的问题。
其实任何一种网络结构，都可以看成编码器 + 解码器，只要把网络的低几层看成编码器，高几层看成解码器就行了。但对于 LSTM + CTC 来说，到底把哪几层看成编码器，哪几层看成解码器，并没有一个明确的界限，不像注意力网络中，编码器与解码器中间有一个注意力层的结构是跟其它层不同的。所以说 LSTM + CTC 是编码器 + 解码器，不能算错，但没什么意思。
2. 变长序列的端到端学习方法，我觉得有三种主流思路，除了 CTC 和注意力以外，还有 transducer。下面这篇文章就比较了三种方法用于语音识别的效果：
我对它们的总结是这样的：
1
相关话题
如何看UCBerkeley RISELab即将问世的Ray，replacement of Spark？为什么CV能做到让一幅人脸图动了笑了，而NLP的text-style-transfer进展貌似一般？
如何评价周志华在微博对 AlphaGo 和机器学习技术的评论？
经过足够长的时间， AlphaGo 的棋谱能收敛到一张上吗？
如何评价 BERT 模型？
如何解读 Jeff Dean 等联合在 arXiv 上发布的用深度学习分析电子病历的论文？
如何评价微软正在开发的人工智能编程软件 DeepCoder？
深度学习attention机制中的Q,K,V分别是从哪来的？
GPU 与 CPU 比较，为什么说 GPU 更适合深度学习？
如何评价 2018 年度图灵奖颁发给三位深度学习之父？
相关的话题
国内外有哪些做小样本学习(Few-Shot Learning)的优秀团队？为什么CV能做到让一幅人脸图动了笑了，而NLP的text-style-transfer进展貌似一般？
CTC和Encoder-Decoder有什么关系?
现在的BERT等语言模型，最快训练要多久？
机器学习中有哪些形式简单却很巧妙的idea？
你实践中学到的最重要的机器学习经验是什么？
如何评价 Face++ 旷视科技最新出品的检测专用 backbone 网络 DetNet ？
为什么相比于计算机视觉(cv)，自然语言处理(nlp)领域的发展要缓慢？
百度在深度学习上使用Xilinx FPGA?
AlphaGo 与李世石的对战会推动人类的极限还是机器学习的进步和觉醒？
应届硕士毕业生如何拿到知名互联网公司算法岗（机器学习、数据挖掘、深度学习） offer？
有哪些深度学习效果不如传统方法的经典案例？
如果学习从零开始学习Pytorch,有优秀的开源项目可以推荐吗？
如何评价Deepmind自监督新作BYOL？
中国和美国谁能成人工智能领域的领军者？
如何评价深度学习之父Hinton发布的Capsule论文？
深度学习attention机制中的Q,K,V分别是从哪来的？
人是如何做黑盒优化的？
能分享你收藏的国外AI talk, seminar平台或网站吗？
Yoshua Bengio为什么能跟Hinton、LeCun相提并论？？
为什么相比于计算机视觉(cv)，自然语言处理(nlp)领域的发展要缓慢？
人工智能在生活中的应用都有哪些？
在做算法工程师的道路上，你掌握了什么概念或技术使你感觉自我提升突飞猛进？
如何评价 UCLA 朱松纯教授近日访谈中对深度学习的批评？
国内 top2 高校研一在读，为什么感觉深度学习越学越懵?
2021年深度学习哪些方向比较新颖，处于上升期或者朝阳阶段，没那么饱和，比较有研究潜力？
机器学习能否用于综合评价？具体怎么操作？
机器学习，深度神经网络等方法是否是正确的方向？
如何看待多模态transformer，是否会成为多模态领域的主流？
算法工程师是否应该持续读论文？