百科问答小站 logo
百科问答小站 font logo



基于对比学习(Contrastive Learning)的文本表示模型【为什么】能学到语义【相似】度? 第1页

  

user avatar   gordon-lee 网友的相关建议: 
      

更新了回答,请大家指正~


其实这是一个蛮常见的误解。模型并不懂什么叫做语义。

1.单句之间的对比学习其实只需要学到足够区分正负例之间的特征,它的loss就能降下来,其实也没有真正去捕捉整个句子的意思。

比如: 我喜欢足球 和 我喜欢篮球;如果这两个是负例的话,那么模型不用知道 我喜欢XXX的意思,只需要知道足球和篮球是不同的东西就行。说白了,就是只需要学到一些足够区分的特征就ok。

2.模型是不是真的学到语义了?

并不是。语义就是人为定义的东西。比如:我今天去上海。和 我今天去北京。

A: 从意图上看,这两个都是去某个地方,从这个意义上讲,应该被认为是相似句。

B: 但是从到达点看,这两个去的都不是一个地方,那么不应该被认为是相似句。

假如这个例子在测试集中的label是相似句。模型也认为这两个是相似的。那么模型真的就学到语义了吗?

其实可能情况是,训练集中,模型看到了这种case: 我今天吃苹果 和 我今天吃梨子 被打上了相似句的label。模型只需要学到 两个句子有较多的重叠部分,那么两个句子就是相似的,这一特征。

总之就是,当你觉得模型学到了语义时,模型没准只是恰好捕捉的特征和你想的方面一样而已。当你觉得模型没学到语义时,模型没准是从另一方面觉得他们是相似的




  

相关话题

  机器学习能否用于综合评价?具体怎么操作? 
  在NLP上,CNN、RNN(认为LSTM等变体也是RNN)、最简单全连结MLP,三者相比,各有何优劣? 
  Batch Normalization 训练的时候为什么不使用 moving statistics? 
  如何解读 Jeff Dean 等联合在 arXiv 上发布的用深度学习分析电子病历的论文? 
  AlphaGo 与李世石的对战会推动人类的极限还是机器学习的进步和觉醒? 
  深度学习方面还有什么Open Problem? 
  如何理解Inductive bias? 
  神经网络中,bias有什么用,为什么要设置bias,当加权和大于某值时,激活才有意义? 
  GAN 真的创造了新的信息吗? 
  pytorch 的高层库ignite怎么样? 

前一个讨论
毕业前,要学会什么技能才算是能走出校园,融入社会?
下一个讨论
目标检测算法中Two-stage算法速度慢,到底在哪里?





© 2025-05-28 - tinynew.org. All Rights Reserved.
© 2025-05-28 - tinynew.org. 保留所有权利