谢邀。
对于解释性有要求的领域,基本深度学习是没法和传统方法比的。我这几年都在做风控/反洗钱的产品,但监管要求我们的决策要可解释性,而我们曾经尝试深度学习,解释性很难搞,而且,效果也不咋地。对于风控场景,数据清洗是非常重要的事,否则只会是garbage in garge out。
在写上面内容时,我想起前两年看的一篇文章:《你不需要ML/AI,你需要SQL》
作者是尼日利亚的软件工程师Celestine Omin,在尼日利亚最大的电商网站之一Konga工作。我们都知道,对老用户精准营销和个性化推荐,都是AI最为常用的领域之一。当别人在用深度学习搞推荐时,他的方法显得异常简单。他只是跑了一遍数据库,筛选出所有3个月没有登录过的用户,给他们推优惠券。还跑了一遍用户购物车的商品清单,根据这些热门商品,决定推荐什么相关联的商品。
结果,他这种简单的而基于SQL的个性化推荐,大多数营销邮件的打开率在7-10%之间,做得好时打开率接近25-30%,是行业平均打开率的三倍。
当然,这个例子并不是告诉大家,推荐算法没用,大家都应该用SQL,而是说,深度学习应用时,需要考虑成本,应用场景等制约因素。我在之前的回答里(算法工程师的落地能力具体指的是什么?),说到过算法落地时需要考虑实际制约因素。
而尼日利亚的电商环境,依然出于非常落后的状态,物流也跟不上。即使使用深度学习方法,提升了效果,实际对公司整体利润并不会有太大影响。
所以,算法落地时必须「因地制宜」否则,又会出现「电风扇吹香皂盒」的情况。
某大企业引进了一条香皂包装生产线,结果发现这条生产线有个缺陷:常常会有盒子里没装入香皂。总不能把空盒子卖给顾客啊,他们只得请了一个学自动化的博士后设计一个方案来分拣空的香皂盒。
博士后拉起了一个十几人的科研攻关小组,综合采用了机械、微电子、自动化、X射线探测等技术,花了90万,成功解决了问题。每当生产线上有空香皂盒通过,两旁的探测器会检测到,并且驱动一只机械手把空皂盒推走。
中国南方有个乡镇企业也买了同样的生产线,老板发现这个问题后大为发火,找了个小工来说“你他妈给老子把这个搞定,不然你给老子爬走。”小工很快想出了办法他花了190块钱在生产线旁边放了一台大功率电风扇猛吹,于是空皂盒都被吹走了。
(虽然只是个段子)
深度学习是锤子,而世间万物不都是钉子。
谢邀!我感觉我挺适合这个问题的额,地铁路上码字,太难了。
首在此之前想聊的一点是对比好坏是要定义标注的,好坏是要看方面的,深度学习远远没有吊打传统方法,传统方法也有先进经典的东西值得我们学习。
ok开始。
简单问题
能简单到一个规则就能处理的问题,你会用深度学习吗?最简单的道理,用户都输入了天气了,大概率就是天气意图了,还深度学习吗?不合适吧。(说天气之子的滚一边去。。。。。。)
这里留言谈深度学习的几个核心缺点了:
因此,对于简单的问题,不需要轻易使用深度学习这把牛刀啦。
准确率要求超高的问题
规则是明确可解释可控的,随之而来的是准确超高,比模型更容易达到高准确,因此一些方案的设计会是规则优先,典型的,对于准招要求都高的项目,甚至会用规则加模型的方法,规则保准确模型保召回。
于是规则成为方案准确的守门员。
名词性质明显的问题
众所周知,oov是一个历史难题,无论是人还是模型,一个没见过的词都很难推断他的意思,同样是天气之子,没听说过的,那他很可能就是不认识。这是其一。
其二,这些名词是有时间性质的,例如新冠,耗子尾汁,10年前大家肯定没听说过,数据里也很难有,模型也学不到,现在有了,那我们是重训模型吗,肯定不合理,学是学不完的,会持续有新词出来。
第三,名词是有严格文本意义的,少年的你是电影,年轻的你就不是那一部了,甚至都不是了,深度学习能轻易对词汇进行泛化,但这种名词不合适。
因此,深度学习对这种问题往往非常头疼,词典干预是非常可靠,稳定,敏捷的方法。
人工特征强的问题
虽然很不想说,但是机器学习很多方法已经被认为是传统了。但实际上有些场景深度学习的确不适合。
用户特征强的问题,只要构造好特征,模型将不会是效果的瓶颈。
我说的就是推荐系统。
但是我想说的是推荐系统项目初期。
推荐系统现在的确是很火,各种深度学习模型满天飞,问题是,对初期,数据不足,大部分用户还在探索阶段,这时候深度学习还合适吗?当然不合适。
再说一个关键点,现在的推荐模型很多时候会考虑各种因素,公平性,时效性,长期兴趣啥的,这对于还在初期的推荐系统统统不合适,因为现在的系统就不存在这个问题,片面的看方法厉害而忽略问题本身,一定会栽跟头的,到时候可别说是方法不靠谱了。
这时候,用简单的机器学习模型做一个泛化,可能更好,lr,xgboost,足矣,关注点放在特征上,表征好用户和物料,就可以让系统跑起来。
难标注问题
监督学习是深度学习的核心主力,虽然半监督无监督也在进行,但是还有很多场景落不了地。
我举个例子,关键词抽取,至今我手上的基线还是tfidf,原因很简单,tfidf强且不需要训练,有一批语料就能统计了,而且效果不差。
小结
原来我们需要勇气去接受新事物,现在我们需要勇气来接纳老方法,挺有意思的。
吊打是正常的,尺有所短寸有所长,在现实应用中,解决问题是根本,方法只要不违法不违反仁义道德,都能用,不问出处,不问高端低端,所谓前沿,不是特意去制造名词门槛,而且解决的问题难了多了,自然就会有所谓前沿的东西出来,走在人类知识的边缘,才可能触达人类未知的边缘。
所以,我们在方案选择上,应该以结果为导向,选择合适的方案来处理,谁能吊打其他方法,就用那个。
之前可能误会了,论文的目的不是单纯的取代电梯小姐,去按按钮。是让机器人能自己按按钮坐电梯跨楼层。
传统的边缘提取算子,面对多变的场景,效果可能不佳。机械臂上的摄像头在动,视角和人眼差异比较大,可能比较难。(没做个这方面,也不知道具体情况。可能乍看很简单,简单算子就行。但真做起来有很多门道?)
用深度学习也合理。
这个任务之前的数据集最多1k张。这个大型数据集也不公开,本文确实是在这个细分任务的开创者。
Yang et al. [7], which contains 260,560 images that are composed of 8 different panels, and many data augmentation strategies(数据集本身就用数据增强,一变多?还能这样扩充数据量的么) have been utilized to further enlarge the data scale, e.g., blurring, sharpening, and histogram equalization. However, Yang et al. [7] do not release their collected dataset, thus no comparison studies can be conducted.
这个数据集还是有价值的。但主要靠标注一个数据集,提出4个挺普通的指标,值不值cvpr,值得商榷。
没细看,但感觉这是个杀鸡用牛刀的例子:
CVPR2021:
已知句对结构
知乎网红是xx
知乎网红不是xx
不相似
判断
知乎网红是不是傻
知乎网红不是傻
是否相似
女王:求求题主放过我,我可不敢有什么政绩。。。