CTC和Encoder-Decoder有什么关系? 第1页
1
maigo 网友的相关建议:
- 是否把 LSTM + CTC 看成编码器 + 解码器的结构，我觉得是一个无所谓的问题。
其实任何一种网络结构，都可以看成编码器 + 解码器，只要把网络的低几层看成编码器，高几层看成解码器就行了。但对于 LSTM + CTC 来说，到底把哪几层看成编码器，哪几层看成解码器，并没有一个明确的界限，不像注意力网络中，编码器与解码器中间有一个注意力层的结构是跟其它层不同的。所以说 LSTM + CTC 是编码器 + 解码器，不能算错，但没什么意思。
2. 变长序列的端到端学习方法，我觉得有三种主流思路，除了 CTC 和注意力以外，还有 transducer。下面这篇文章就比较了三种方法用于语音识别的效果：
我对它们的总结是这样的：
1
相关话题
如何评价AlphaGo Zero？目前 AI 在疾病的诊断和治疗上，有哪些成功的应用？
如何评价 Face++ 旷视科技最新出品的检测专用 backbone 网络 DetNet ？
基于对比学习(Contrastive Learning)的文本表示模型【为什么】能学到语义【相似】度？
深度学习领域，你心目中 idea 最惊艳的论文是哪篇？
神经网络训练多个epoch，写论文的时候可以取最好的效果那一个epoch作为结果吗？
多任务学习中loss多次backward和loss加和后backward有区别吗？
如何激怒一位人工智能（机器学习、深度学习、强化学习等）爱好者？
如果百年后深度学习最终有了公认的数学理论作为基础，能解释实验中的各类玄学，那这个理论会长什么样子？
深度神经网络（DNN）是否模拟了人类大脑皮层结构？
相关的话题
实验室只有1080的显卡，老师还想让发深度学习论文，也不给配置好的显卡怎么办？深度学习调参有哪些技巧？
如果不按套路下棋是不是就能赢 Alpha Go 了？
是不是并不是所有问题都适合用神经网络预测？
机器学习包含哪些学习思想？
计算机视觉中video understanding领域有什么研究方向和比较重要的成果？
如何评价 DeepMind 的新工作 AlphaCode?
如何评价AWS的图神经网络框架DGL？
Transformer在工业界的应用瓶颈如何突破？
如何评价 DeepMind 的新工作 AlphaCode?
深度学习在生物信息领域有什么应用？
如何评价deepmind最新在nature上发表的论文《在人工网络中用网格样表征进行基于向量的导航》？
如何评价Facebook AI提出的ResMLP，对比Google的MLP-Mixer?
如何评价AlphaGo Zero？
有没有什么可以节省大量时间的 Deep Learning 效率神器？
如何评价周志华教授新提出的 Deep Forest 模型，它会取代当前火热的深度学习 DNN 吗？
如何直观地解释 backpropagation 算法？
wav2vec中的30ms是怎么得来的?
CTC和Encoder-Decoder有什么关系?
如何评价小米开源的移动端深度学习框架MACE？
如何评价ST-GCN动作识别算法？
新手如何实现个简单AutoML框架。有参考的github开源项目介绍吗？
Evidential deep learning里一般怎么估计多标签分类的Uncertainty？
KL散度衡量的是两个概率分布的距离吗？
如何看待End-to-End Object Detection with Transformers？
如何将某个分布作为机器学习的特征？
如何评价陈天奇的模块化深度学习系统NNVM？
如果学习从零开始学习Pytorch,有优秀的开源项目可以推荐吗？
如何评价MSRA最新的 Relation Networks for Object Detection？
如何理解 Graph Convolutional Network（GCN）？