CTC和Encoder-Decoder有什么关系? 第1页
1
maigo 网友的相关建议:
- 是否把 LSTM + CTC 看成编码器 + 解码器的结构，我觉得是一个无所谓的问题。
其实任何一种网络结构，都可以看成编码器 + 解码器，只要把网络的低几层看成编码器，高几层看成解码器就行了。但对于 LSTM + CTC 来说，到底把哪几层看成编码器，哪几层看成解码器，并没有一个明确的界限，不像注意力网络中，编码器与解码器中间有一个注意力层的结构是跟其它层不同的。所以说 LSTM + CTC 是编码器 + 解码器，不能算错，但没什么意思。
2. 变长序列的端到端学习方法，我觉得有三种主流思路，除了 CTC 和注意力以外，还有 transducer。下面这篇文章就比较了三种方法用于语音识别的效果：
我对它们的总结是这样的：
1
相关话题
如果有第谷的数据，现在的机器学习，深度学习有办法学出开普勒三定律吗？计算机视觉中video understanding领域有什么研究方向和比较重要的成果？
在集成电路设计领域（数字，模拟），人工智能有无可能取代人类？
如何证明数据增强（Data Augmentation）有效性？
如何评价CUHK以及Yuanjun Xiong提出的Trajectory Convolution？
为什么有些学数学的看不惯甚至鄙视 Deep Learning？
如何评价Hinton在加拿大多伦多大学关于用“capsule”作为下一代CNN的演讲？
如何看待最近一段时间旷视科技Face++、阿里、小米、京东、科大讯飞和地平线等相继在南京建立研发中心？
Transformer在工业界的应用瓶颈如何突破？
如何理解 Swin Transformer 和 Vision Transformer不同任务上的差异？
相关的话题
如何评价小米开源的移动端深度学习框架MACE？实体提取任务中使用BERT-CRF时，CRF根据数据统计可以得到转移概率，为啥还要训练呢？
如何评价PyTorch 0.4.0？
从应用的角度来看，深度学习怎样快速入门？
自学深度学习是怎样一种体验？
在推荐系统中，如何较好的采用深度学习方法获取用户长短期兴趣？
物理专业的学生如何看待机器学习和大数据这些方向呢？
中科院某所研一新生，小样本学习、数据融合、强化学习、图神经网络、资源受限的计算这几个方向选哪个更好？
NLP 中 prompt learning 有哪些可能的天生缺陷？目前有什么样的方法来解决这样的缺陷？
在做算法工程师的道路上，你掌握了什么概念或技术使你感觉自我提升突飞猛进？
如何评价沐神他们写的《动手学深度学习》这本书？
结合深度学习的图像修复怎么实现？
如何评价Google提出的MLP-Mixer：只需要MLP就可以在ImageNet上达到SOTA？
除了深度学习，机器学习领域近年来还有什么热点吗？
全连接层的作用是什么？
网友质疑微信监听用户，腾讯回应称「微信是绝不会做的」，目前市面上的软件真的有监听行为吗？
为什么现在很多人不看好商汤科技？
如何看待百度无人车， 三千多个场景，一万多个if？
如何看待NVIDIA 即将开源的DLA？
把某人的 DNA 序列作为输入，正面照片作为输出，丢到深度神经网络里面学习，可行吗？
如何评价余凯创立的horizon robotics？
如何评价deepmind最新在nature上发表的论文《在人工网络中用网格样表征进行基于向量的导航》？
深度学习在信息安全的应用有哪些可以关注的人或论文？
人工智能会是泡沫吗？
对神经网络某一层做了小改进，效果却提升显著，可以发论文吗？
因果推断会是下一个AI热潮吗？
如果人工智能迎来下一个寒冬，你认为会是卡在什么问题上？
目标检测中的mAP是什么含义？
多任务学习中loss多次backward和loss加和后backward有区别吗？
新智元提问：如何看待李飞飞高徒Karpathy加入特斯拉，主管人工智能部门？