为什么 BERT 的 intermediate_size 这么大？ 第1页
1
guotong1988 网友的相关建议:
建议阅读：《Optimal Subarchitecture Extraction for BERT》
1
相关话题
如果人工智能迎来下一个寒冬，你认为会是卡在什么问题上？自监督学习（Self-supervised Learning）有什么比较新的思路？
编写基于机器学习的程序，有哪些编写和调试的经验和窍门？
在NLP当中，不同的评价指标，BLEU, METEOR, ROUGE和CIDEr的逻辑意义？
如何评价FAIR提出的MaskFormer，在语义分割ADE20K上达到SOTA：55.6 mIoU？
机器学习的解释模型存在嘛？
研究推荐系统要对NLP很了解吗？
NLP 方向在国内清北读博还是国外？
生成式对抗网络GAN有哪些最新的发展，可以实际应用到哪些场景中？
给男友配置一个适合做深度学习的电脑要多少钱？
下一个讨论
多模态训练，怎么解决不同模态之间差异的问题？
相关的话题
如何评价 MSRA 视觉组最新提出的 Deformable ConvNets V2？新手如何入门pytorch？
2020年，多标签学习（multi-label）有了哪些新的进展？
机器学习中有哪些形式简单却很巧妙的idea？
为什么Bert中的CLS在未fine tune时作为sentence embedding性能非常糟糕？
如何理解 natural gradient descent?
AI 都学会看论文了，科研工作者会被淘汰么？
如何看待NIPS2017图灵奖得主贝叶斯网络之父Judea Pearl讲座无人问津？
机器学习的算法和普通《算法导论》里的算法有什么本质上的异同？
如何看待Meta（恺明）最新论文ViTDet：只用ViT做backbone（不使用FPN）的检测模型？
有哪些优秀的深度学习入门书籍？需要先学习机器学习吗？
Transformer在工业界的应用瓶颈如何突破？
自监督学习（Self-supervised Learning）有什么比较新的思路？
先进的图像识别怎样改变 AV 产业？
为什么VAE-GAN的训练很容易发生梯度爆炸，如何避免？
请问人工神经网络中的activation function的作用具体是什么？为什么ReLu要好过于tanh和sigmoid function?
如何评价Facebook AI提出的ResMLP，对比Google的MLP-Mixer?
怎么在家学习一些关于机器学习的知识?
2021年，作为算法工程师的你们会在CV业务落地上用Transformer吗？
在推荐系统中，如何较好的采用深度学习方法获取用户长短期兴趣？
如何评价FAIR提出的ConvNeXt：CNN匹敌Swin Transformer?
如何评价周志华在微博对 AlphaGo 和机器学习技术的评论？
能分享你收藏的国外AI talk, seminar平台或网站吗？
超越人类的人工智能 (AI) 是否能够实现？
机器学习初学者该如何选读适合自己水平的论文？
能否对卷积神经网络工作原理做一个直观的解释？
如何看待swin transformer成为ICCV2021的 best paper？
实验室一块GPU都没有怎么做深度学习？
为什么谈论深度学习工具时，很少有人讨论matlab的神经网络工具包？
谷歌翻译原理是什么，从语言A到B，中间是否要翻译成中介语言C（如英语）？