在你做推荐系统的过程中都遇到过什么坑？ 第1页

其实推荐系统是一个技术远远达不到需求的领域。今日头条已经算是国内推荐领域的相当不错的水平了，仍然颇受诟病。

在我看来，规则啊什么的都不算坑，作为系统工程，规则是架构灵活性的一部分，规则保证了系统的人工把控能力，是必不可少的一部分，相当于最强的先验，没有必要厚此薄彼。但是除此之外，问题还有很多。

一、搞不懂的评价指标

推荐系统太难了。难到工程师和产品都还没清楚自己要的是什么。“推荐”这个问题本身都不是well-defined的。按照道理来讲，推荐系统要做的事情其实是“推荐用户希望看到的东西”，但是“用户希望看到的东西”落实到指标上，可就让人头大了。

以新闻推荐为例。你说究竟要得到什么呢？

• 高CTR？那么擦边球的软色情以及热门文章就会被选出来
• 高Staytime？那么视频+文章feed流就成为为视频feed流和超长文章feed流
• 高read/U？那么短文章就会被选出来

这些指标相互依赖，此消彼长，目前主流是沿用计算广告的老路，按照CTR作为最广泛使用的评价指标来优化，这个指标的劣根性是显而易见的，然而至今并没有很好地指标来指导系统。

今日头条的做法是，优化CTR同时关注其他指标的变动；也有的从CTR开始，优化到瓶颈后进行Staytime的优化等等...

Medium的做法是，优化一个f(CTR, staytime,...)的多指标加权的综合指标，但是据我所知，这个加权的系数，还是一个magic number，是人拍脑门定的。

Pornhub的做法是，优化一个-staytime的指标，用户停留时长越短，则越好，其基本假设就是“撸完嫌人丑”。很多人对这个指标拍案叫绝，但是其实这给公司的商业化部门带来很大压力，因为如果用户停留时间短，则流量变现会变得很困难。

大家都在探索， 也并没有一个定论，究竟推荐系统该优化一些什么。

相信很多人刚入行的时候对单纯优化CTR都是有疑惑的，日子久了，也就都麻木了。

二、好的算法与不那么好的效果

有的算法确实很好，好到推荐的每个我都想点，但是算法越精准，在用户体验上未必是越好的。

举个例子，我喜欢汽车，电竞和科技。

好的推荐算法真的就推荐汽车电竞和科技，都是根据我的历史记录推荐的我确实喜欢的。

但也就只有汽车电竞和科技而已。

换句话说，好的推荐算法毫无疑问地会局限你的视野。

那他还是好的推荐算法么？

这个问题听起来就有点矛和盾的意思。有的时候我甚至在想，一个稍微差一点的推荐算法，是不是反而长期看是体验更好的？因为它不仅照顾了用户的核心兴趣，也稍稍辐射了一些边缘领域，在感兴趣和不感兴趣的边缘试探着。

就像下面这个高斯分布的图，绿色的“高瘦子”毫无疑问要优于红色的“矮胖子”，因为它像一把尖刀，更精准地直插兴趣点，但是究竟“精准的高瘦子”是不是真的好呢？

说到精准和探索，又不得不提E&E了。

三、天问的E&E

E&E, exploration & exploitation，这个真的是天问。

E&E，简单说，就是保证精准推荐的同时，进行兴趣探索。

一说大家都明白了，这不就是所有推荐系统做的最差的地方吗？我看了一个东西，就使劲出一个东西，App明明很多东西，我却越用越窄。

这个问题更加玄学，更加让人无奈。

EE要不要做？肯定要做，你不能让用户只能看到一类新闻，这样久了他的feed 流只会越来越小，自己也觉得没劲，所以一定要做兴趣探索。

但是做，就势必牺牲指标，探索的过程是艰难的，大部分时间用户体验上也是负向的。

那么，

• 牺牲多少ctr来保EE才算是合适的？
• EE的ROI什么时候算是>1的？
• 怎么样确定EE的效果？
• EE要E到什么程度？

其实大家也都没有想清楚，多避而不谈。