CTC和Encoder-Decoder有什么关系? 第1页
1
maigo 网友的相关建议:
- 是否把 LSTM + CTC 看成编码器 + 解码器的结构，我觉得是一个无所谓的问题。
其实任何一种网络结构，都可以看成编码器 + 解码器，只要把网络的低几层看成编码器，高几层看成解码器就行了。但对于 LSTM + CTC 来说，到底把哪几层看成编码器，哪几层看成解码器，并没有一个明确的界限，不像注意力网络中，编码器与解码器中间有一个注意力层的结构是跟其它层不同的。所以说 LSTM + CTC 是编码器 + 解码器，不能算错，但没什么意思。
2. 变长序列的端到端学习方法，我觉得有三种主流思路，除了 CTC 和注意力以外，还有 transducer。下面这篇文章就比较了三种方法用于语音识别的效果：
我对它们的总结是这样的：
1
相关话题
《人工智能训练师国家职业技能标准》发布，有哪些值得关注的信息？深度学习到底是「实验科学」还是「理论科学」？能否称为「算法」？
如何评价 DeepMind 新提出的关系网络（Relation Network）？
一个完整的Pytorch深度学习项目代码，项目结构是怎样的？
如何评价余凯创立的horizon robotics？
为什么读论文最好打印出来读？
大家推荐一下，哪些学校的导师有在做量化交易、股票预测的？
如何看待在某度搜不到megengine官网？
如何看待周志华等人的新书《机器学习理论导引》？
深度学习应用在哪些领域让你觉得「我去，这也能行！」？
相关的话题
CTC和Encoder-Decoder有什么关系?如何比较Keras, TensorLayer, TFLearn ？
为什么很少人用FFT加速CNN卷积层的运算？
OpenAI 发布文字生成图像工具 DALL·E 2，它的画作水平如何？从技术角度如何评价它的能力？
微信新增语音播放暂停功能，60 秒长语音不用从头听了，这会改变你的微信使用习惯吗？
如何看待谷歌公开 tensorflow 专用处理器 TPU?
除了深度神经网络已经实现的特性以外，大脑还有哪些特性是值得机器学习领域借鉴的？
如何理解 inductive learning 与 transductive learning?
KL散度衡量的是两个概率分布的距离吗？
如何评价AlphaGo Zero？
目前 AI 在疾病的诊断和治疗上，有哪些成功的应用？
计算机视觉（cv）方向今年招聘情况怎么样?是否已经人才过剩?
AI 有可能代替人类从事数学研究吗？
除了深度神经网络已经实现的特性以外，大脑还有哪些特性是值得机器学习领域借鉴的？
graph convolutional network有什么比较好的应用task？
如何看UCBerkeley RISELab即将问世的Ray，replacement of Spark？
当前（2020年）机器学习中有哪些研究方向特别的坑？
如何评价Deepmind自监督新作BYOL？
2021年，作为算法工程师的你们会在CV业务落地上用Transformer吗？
百度在深度学习上使用Xilinx FPGA?
在实际工程系统中，MPC太复杂，难以做到realtime。因此都利用数据，MPC对比RL还有优势么?
为什么说大模型训练很难？
深度学习方面的科研工作中的实验代码有什么规范和写作技巧？如何妥善管理实验数据？
ICLR 2019 有什么值得关注的亮点？
如何看待swin transformer成为ICCV2021的 best paper？
请解释下variational inference？
人工智能 CV 岗位是不是现在供严重大于需？
为什么 MobileNet、ShuffleNet 在理论上速度很快，工程上并没有特别大的提升？
如何看待FAIR提出的8-bit optimizer：效果和32-bit optimizer相当？
现在的BERT等语言模型，最快训练要多久？