CTC和Encoder-Decoder有什么关系? 第1页
1
maigo 网友的相关建议:
- 是否把 LSTM + CTC 看成编码器 + 解码器的结构，我觉得是一个无所谓的问题。
其实任何一种网络结构，都可以看成编码器 + 解码器，只要把网络的低几层看成编码器，高几层看成解码器就行了。但对于 LSTM + CTC 来说，到底把哪几层看成编码器，哪几层看成解码器，并没有一个明确的界限，不像注意力网络中，编码器与解码器中间有一个注意力层的结构是跟其它层不同的。所以说 LSTM + CTC 是编码器 + 解码器，不能算错，但没什么意思。
2. 变长序列的端到端学习方法，我觉得有三种主流思路，除了 CTC 和注意力以外，还有 transducer。下面这篇文章就比较了三种方法用于语音识别的效果：
我对它们的总结是这样的：
1
相关话题
为什么百度、搜狗、讯飞的语音识别宣称的准确率都是 97%？如何评价周志华在微博对 AlphaGo 和机器学习技术的评论？
现大二，准备做大学生创新创业项目计划 ，目前定的方向是深度学习+畜牧业／养殖业，有什么建议给我们吗？
Yoshua Bengio为什么能跟Hinton、LeCun相提并论？？
为什么计算注意力机制的时候不加偏置项？
在文本分类任务中，有哪些论文中很少提及却对性能有重要影响的tricks？
应该选择TensorFlow还是Theano？
TensorFlow的自动求导具体是在哪部分代码里实现的？
人工智能退潮期来了吗？
如何解读 Jeff Dean 等联合在 arXiv 上发布的用深度学习分析电子病历的论文？
相关的话题
多任务学习中loss多次backward和loss加和后backward有区别吗？生成式对抗网络GAN有哪些最新的发展，可以实际应用到哪些场景中？
深度学习做股票预测靠谱吗？
2022 年人工智能领域的发展趋势是什么？你都有哪些期待？
如何看待Jeff Dean&Hinton投到ICLR17的MoE的工作？
神经网络训练多个epoch，写论文的时候可以取最好的效果那一个epoch作为结果吗？
深度学习两张3080ti和一张3090ti哪个好?
pytorch 分布式计算 你们都遇到过哪些 坑/bug？
百度在深度学习上使用Xilinx FPGA?
为什么有些学数学的看不惯甚至鄙视 Deep Learning？
硕士方向，选择迁移学习还是自然语言处理？
如何看待NLP领域最近比较火的prompt，能否借鉴到CV领域？
如何看待 Google TPU？寒武纪芯片较之有哪些优势与不足？
有没有可能运用人工神经网络将一种编程语言的代码翻译成任意的另一种编程语言，而不经过人工设计的编译过程？
如何看待知乎的AI答主「四十二」？人工智能有可能理解生命的意义是什么吗？
如何看待swin transformer成为ICCV2021的 best paper？
目前有哪些比较成功的人工智能应用？
AI（或者说神经网络/深度学习）能够实现科学（尤其是物理学）研究中提出假设这一步嘛？
ICLR 2021 有什么值得关注的投稿？
如何评价旷视开源的YOLOX，效果超过YOLOv5?
深度学习领域，你心目中 idea 最惊艳的论文是哪篇？
为何感觉“知识蒸馏”这几年没有什么成果？
图片上训的模型，怎么迁移视频上呢？
算法工程师是否应该持续读论文？
全连接层的作用是什么？
如何判断两个Deep Learning 数据集的数据分布是否一致？
你有哪些deep learning（rnn、cnn）调参的经验？
Transformer中的Mask矩阵已经有顺序了，能去掉position embedding吗?
什么是人工智能？人工智能、机器学习、深度学习三者之间有什么关系吗？
为什么Transformer适合做多模态任务？