CTC和Encoder-Decoder有什么关系? 第1页
1
maigo 网友的相关建议:
- 是否把 LSTM + CTC 看成编码器 + 解码器的结构，我觉得是一个无所谓的问题。
其实任何一种网络结构，都可以看成编码器 + 解码器，只要把网络的低几层看成编码器，高几层看成解码器就行了。但对于 LSTM + CTC 来说，到底把哪几层看成编码器，哪几层看成解码器，并没有一个明确的界限，不像注意力网络中，编码器与解码器中间有一个注意力层的结构是跟其它层不同的。所以说 LSTM + CTC 是编码器 + 解码器，不能算错，但没什么意思。
2. 变长序列的端到端学习方法，我觉得有三种主流思路，除了 CTC 和注意力以外，还有 transducer。下面这篇文章就比较了三种方法用于语音识别的效果：
我对它们的总结是这样的：
1
相关话题
测试集在构造的时候需要人为控制其中应该正确的和应该错误的数据比例吗？你有哪些deep learning（rnn、cnn）调参的经验？
机器学习自嘲的炼丹和化学材料自嘲的炒菜有什么本质上的区别？
如何计算CNN中batch normalization的计算复杂度（FLOPs）？
如果有第谷的数据，现在的机器学习，深度学习有办法学出开普勒三定律吗？
联邦学习在机器学习领域有什么独立存在的价值?
在机器学习模型的训练期间，大概几十分钟到几小时不等，大家都会在等实验的时候做什么？
深度学习在无人驾驶汽车上面的运用有哪些？
如何评价 DeepMind 发表在 Nature 的论文公开无需人类棋谱的 AlphaGo Zero？
为什么说大模型训练很难？
相关的话题
训练过程中loss震荡特别严重，可能是什么问题？为什么有些学数学的看不惯甚至鄙视 Deep Learning？
现代人工神经网络是不是一个死胡同？这个技术是不是骗人的？
2022 年人工智能领域的发展趋势是什么？你都有哪些期待？
在五到十年内，人工智能能复原成人影片中的被马赛克部分吗？
目前 AI 在疾病的诊断和治疗上，有哪些成功的应用？
2021年深度学习哪些方向比较新颖，处于上升期或者朝阳阶段，没那么饱和，比较有研究潜力？
有哪些可以自学机器学习、深度学习、人工智能的网站？
wav2vec中的30ms是怎么得来的?
NLP文本分类的本质是不是其实是找相似，对于要分类的句子，在训练集里找最相似的句子？
如何看待 TI7 上与 Dendi solo 的 OpenAI？
深度学习到底是「实验科学」还是「理论科学」？能否称为「算法」？
TensorFlow的自动求导具体是在哪部分代码里实现的？
机器学习小白来提问：关于联邦学习FedAVG和FedSGD的问题？
目前 AI 在疾病的诊断和治疗上，有哪些成功的应用？
为什么 MobileNet、ShuffleNet 在理论上速度很快，工程上并没有特别大的提升？
ICLR 2022有哪些值得关注的投稿？
如何评价 7 月 31 日一流科技开源的深度学习框架 OneFlow？
如何评价清华大学发布的自研深度学习框架-计图(Jittor)？
TensorFlow的自动求导具体是在哪部分代码里实现的？
能分享你收藏的国外AI talk, seminar平台或网站吗？
如何评价 DeepMind 新提出的关系网络（Relation Network）？
联邦学习在机器学习领域有什么独立存在的价值?
如何理解空洞卷积（dilated convolution）？
Transformer是如何处理可变长度数据的？
如何看待 AlphaFold 在蛋白质结构预测领域的成功？
如何看待 Richard Sutton 说的「人工智能中利用算力才是王道」？
如何看待 Google 围棋 AI AlphaGo 击败欧洲围棋冠军？
百度学术能否替代 Google 学术网站？有没有其他选择？
机器学习中有哪些形式简单却很巧妙的idea？