为什么 larger batch size 对对比学习的影响比对监督学习的影响要大？ 第1页
1
huo-hua-de-41 网友的相关建议:
可能是因为logK诅咒，其中K是batch size。softmax后的交叉熵损失函数可以写成：
其中， 是正样本的分数， 是负样本的分数。
因为对比学习的正负样本差别是挺大的， 的分数很快就会趋近于0，此时损失函数的数值将趋近于 ，其中 可以简单理解为所有负样本 分数的平均值。当batch size比较小的时候，可以理解为 的值也会比较小，接近于0，这个时候浮点误差就会对计算结果造成比较大的影响，最后使得梯度变成随机噪音，使得模型无法进一步收敛。
以上分析来自于下面这篇FlatNCE的论文，详细地分析可以自己看下。
所以避免这个问题，最简单的解法就是使用比较大的batch size。或者改造一下损失函数，这也是FlatNCE的目的和贡献。
wang-feng-98-82 网友的相关建议:
supervised training的batch size不能简单地从字面上理解，最后一层fc的weight可以理解为每一类的template，它们代表了大量的负样本。
而contrastive learning的样本都是要过一整个网络的，负样本多少直接取决于batch size大小。
feng-xia-chong-90 网友的相关建议:
TL,DR：Batch越大，负例越多，可以缓解表示坍塌。补充 @Gordon Lee
资料来源于：
gordon-lee 网友的相关建议:
我的理解是这样的，不对的地方请指正：
对比学习一般是自监督学习的方式，相比于supervised方法，它的监督信号是自己构造的，也就是自己和自己的augmentation被认为是正例，负例是in batch的其他样本。
1.相比supervised使用来自数据集的监督信号，对比学习用自监督的方式需要更多的训练steps来收敛。
2.对比学习的一般做法就是拉齐正样本，排开负样本，实际上正样本很好拉齐，你可以用mse，或者cross entropy都可以。关键在于，怎么保证拉齐的同时，保持一个好的uniform。这时候负样本的采样就成了关键。之所以要更大的batch size，就是因为in batch的其他样本作为负样本，充当了防止表征崩塌的角色，batch size越大，用于对比的负样本越多，效果就越好。
3.也可以想象一个极端的场景。对比学习最终理想状态是，数据集里的每个样本都和它自己的augmentation接近，和其他所有样本都远离。要实现和其他所有样本都远离的话，那么batch size就要等于数据集的大小。但实际情况并不能做到这点，那只有尽量越大越好了。
tylin98 网友的相关建议:
女王:求求题主放过我，我可不敢有什么政绩。。。
1
相关话题
深度学习方面的科研工作中的实验代码有什么规范和写作技巧？如何妥善管理实验数据？ICLR 2021 有什么值得关注的投稿？
上学和读书有什么区别?
AlphaGo「理解」围棋吗？
神经网络的损失函数为什么是非凸的?
有尝试用多层自组织特征神经网络（MLSOM）来代替层次分析法（AHP）的吗？会有哪些问题需要注意？
为什么deep lab v3起，输出不再接 DenseCRF了？
BERT模型可以使用无监督的方法做文本相似度任务吗？
如何评价 NVIDIA 发布的 DGX-1？
算法岗位真的需要顶会才能入场吗？
前一个讨论
下一个讨论
相关的话题
在机器学习模型的训练期间，大概几十分钟到几小时不等，大家都会在等实验的时候做什么？为什么中文 NLP 数据集这么少？
机器学习能否用于综合评价？具体怎么操作？
Evidential deep learning里一般怎么估计多标签分类的Uncertainty？
为啥gan里面几乎不用pooling？
深度学习中有哪些数据增强方法？
2021年了，如何评价微软亚研提出的对偶学习（Dual Learning）？
为何感觉“知识蒸馏”这几年没有什么成果？
深度学习中，模型大了好还是小了好呢？
ICLR 2018 有什么值得关注的亮点？
2018年了，MXNet 发展的如何了？
2017年1月18日Facebook发行的PyTorch相比TensorFlow、MXNet有何优势？
如何理解空洞卷积（dilated convolution）？
2021年，ncnn发展的如何了？
从今年校招来看，机器学习等算法岗位应届生超多，竞争激烈，未来 3-5 年机器学习相关就业会达到饱和吗？
GAN:固定训练好的判别器网络，去指导训练生成器为什么不可以？
当前（2020年）机器学习中有哪些研究方向特别的坑？
生成对抗网络的毕设怎么上手？
寒武纪神经网络处理器效能如何 ？
为什么强大的 MXNet 一直火不起来？
wav2vec中的30ms是怎么得来的?
为什么最近几年 FPGA 变得越发受大家重视了？
为什么 larger batch size 对对比学习的影响比对监督学习的影响要大？
为什么中文 NLP 数据集这么少？
如何评价各种关联因素分析算法,尤其是在算法效果对比方面?
国内哪些公司在用caffe、torch、TensorFlow、paddle等框架，哪些在用自研框架？
如何评价最新的Octave Convolution？
能否使用区块链的算力来解决深度学习训练？
为什么多标签分类（不是多类分类）损失函数可以使用Binary Cross Entropy？
PyTorch中在反向传播前为什么要手动将梯度清零？