为什么 BERT 的 intermediate_size 这么大？ 第1页
1
guotong1988 网友的相关建议:
建议阅读：《Optimal Subarchitecture Extraction for BERT》
1
相关话题
ICLR 2019 有什么值得关注的亮点？有哪些你看了以后大呼过瘾的数据分析书？
了解/从事机器学习/深度学习系统相关的研究需要什么样的知识结构？
AlphaGo「理解」围棋吗？
如何评价何恺明、Ross Girshick组的自监督时空表征学习新作？
你遇见过什么当时很有潜力但是最终没有流行的深度学习算法?
GAN生成的数据没有标签怎么用来训练分类模型？
基于对比学习(Contrastive Learning)的文本表示模型【为什么】能学到语义【相似】度？
transformer中的Q,K,V到底是什么？
如何评价微软新出的自拍软件 Microsoft Selfie？
下一个讨论
多模态训练，怎么解决不同模态之间差异的问题？
相关的话题
为什么ViT里的image patch要设计成不重叠？如何看待swin transformer成为ICCV2021的 best paper？
2021 年，深度学习方面取得了哪些关键性进展？
attention跟一维卷积的区别是啥？
李航的统计学习方法，吴恩达的视频，关于机器学习的东西都看不懂是怎么回事？
简单解释一下sparse autoencoder, sparse coding和restricted boltzmann machine的关系？
如何评价 MSRA 视觉组最新提出的 Deformable ConvNets V2？
2020年，多标签学习（multi-label）有了哪些新的进展？
知识图谱+nlp，有什么适合硕士独自研究的方向？
类似AlphaGo一样的人工智能什么时候才可以击败RTS（如星际）顶级选手？
既然使用神经网络也可以解决分类问题，那SVM、决策树这些算法还有什么意义呢？
计算机视觉（cv）方向今年招聘情况怎么样?是否已经人才过剩?
目标检测中的mAP是什么含义？
DeepMind 团队中有哪些厉害的人物和技术积累？
有哪些令你印象深刻的魔改transformer？
如何计算CNN中batch normalization的计算复杂度（FLOPs）？
双非小硕一枚 能否从事机器学习?
能否使用区块链的算力来解决深度学习训练？
请问刘知远老师提供的网易新闻标注数据集开源吗？
UCLA 的朱松纯教授是一个什么样的人？
如何评价余凯创立的horizon robotics？
如何评价 NVIDIA 发布的 DGX-1？
人类大脑的聪慧程度以 IQ 为标准，那么人工智能的水平用什么指标来衡量呢？
如何评价周志华在微博对 AlphaGo 和机器学习技术的评论？
GAN:固定训练好的判别器网络，去指导训练生成器为什么不可以？
scikit-learn, tensorflow, pytorch真的只需要查下API，不需要学吗?
如何理解链接预测（link prediction）？
目前有哪些比较成功的人工智能应用？
为什么图形学的会议siggraph的论文代码很少会开源？好像视觉如CVPR、ICCV开源的更多一些。
Pytorch有什么节省显存的小技巧？