为什么 BERT 的 intermediate_size 这么大？ 第1页
1
guotong1988 网友的相关建议:
建议阅读：《Optimal Subarchitecture Extraction for BERT》
1
相关话题
深度学习的多个loss如何平衡？Transformer是如何处理可变长度数据的？
为什么 larger batch size 对对比学习的影响比对监督学习的影响要大？
如何可以通过自学来深入学习机器学习？
应届硕士毕业生如何拿到知名互联网公司算法岗（机器学习、数据挖掘、深度学习） offer？
机器学习系统MLSys中有哪些比较有前途的研究方向？
pytorch dataloader数据加载占用了大部分时间，各位大佬都是怎么解决的？
c4.5为什么使用信息增益比来选择特征？
在五到十年内，人工智能能复原成人影片中的被马赛克部分吗？
深度学习领域有哪些瓶颈？
下一个讨论
多模态训练，怎么解决不同模态之间差异的问题？
相关的话题
如何看待人工智能领域的很多专家认为「人工智能将对人类存亡造成威胁」的观点？当前人工智能特别是深度学习最前沿的研究方向是什么？
行人轨迹预测有哪些有效的方法和普遍的base方法？或者public dataset?
Transformer是如何处理可变长度数据的？
现大二，准备做大学生创新创业项目计划 ，目前定的方向是深度学习+畜牧业／养殖业，有什么建议给我们吗？
如何学习视频识别技术？
CPU和GPU跑深度学习差别有多大？
当前（2020年）机器学习中有哪些研究方向特别的坑？
多任务学习成功的原因是引入了别的数据库还是多任务框架本身呢？
transformer中的Q,K,V到底是什么？
如何看待AI伦理科学家Timnit Gebru在邮件控诉谷歌缺乏种族多样性后被Jeff Dean炒掉？
《失控玩家》中的游戏有可能实现出来吗？
如何看待2016年3月柯洁表示 AlphaGo「赢不了我」？
word2vec有什么应用？
如何看待谷歌公开 tensorflow 专用处理器 TPU?
pytorch 的高层库ignite怎么样？
AI领域的灌水之风如何破局？
如何看待Geoffrey Hinton的言论，深度学习要另起炉灶，彻底抛弃反向传播？
如何理解 natural gradient descent?
神经网络训练多个epoch，写论文的时候可以取最好的效果那一个epoch作为结果吗？
如何评价2020年计算机视觉顶会CVPR投稿量破万的现象？
如何看待马毅老师深度学习第一性原理的文章在 ICML 四个审稿人一致接收的情况下被 AC 拒了？
如何比较Keras, TensorLayer, TFLearn ？
如果百年后深度学习最终有了公认的数学理论作为基础，能解释实验中的各类玄学，那这个理论会长什么样子？
让人工智能去下路边街头的象棋残局会赢吗？
究竟什么是损失函数 loss function?
机器学习能否用于综合评价？具体怎么操作？
NIPS 2018 有什么值得关注的亮点？
有哪些看了让你醍醐灌顶的书籍、论文、期刊，使你对如何做数据挖掘、特征工程、统计挖掘有了眉目？
机器学习能否用于综合评价？具体怎么操作？