作为一个深度学习转系统的人,我最近也在反思一个问题:深度学习系统(Deep Learning System)的核心到底是深度学习还是系统?
先放结论:无论你想做深度学习还是深度学习系统,都需要同时了解两方面的知识,根据自己的方向可以有所侧重,但一定不能对一方面完全不懂,否则是很难做出在实践中有用的成果的。
首先我们来看一下目前流行框架的开发团队和他们开发框架的驱动力:
Caffe:贾扬清和伯克利视觉实验室的小伙伴们开发。开始主要是自己用,属于需求驱动。
Torch:Yann LeCun的学生。需求驱动。
Theano:Yoshua Benjio的学生。用于自己科研,但是也发了系统的paper,属于需求+科研驱动。
Tensorflow:Jeff Dean带领的Google员工,主要是系统出身。源于Google在AI领域的布局需求,资本驱动。
Neon:nervana员工,作为创业公司的产品。资本驱动。
MXNet:DMLC(主要是华人机器学习和分布式系统学生)的小伙伴。主要是Minerva,Purine,和cxxnet的开发团队合在一起,一半搞机器学习的,一半搞系统的。需求+兴趣驱动。
剩下还有很多搞系统的人出于兴趣或者科研目的开发的框架,但大多没有流行起来,就不再赘述了。
可以看出,除了Google强推的Tensorflow,大多都是从自用和兴趣开始的。而Tensorflow的开发经费比其他所有框架的经费加起来还要多出几十倍,但是一年下来并没能一统江湖。可见需求驱动的力量,所谓“需要是发明之母”。
为什么主流深度学习框架多数出自“懂一点系统的搞深度学习的人”之手,而不是“懂一点深度学习的搞系统的人”呢?我认为主要是因为深度学习系统和传统系统(比如操作系统,数据库)有一个本质区别:深度学习算法各部分的耦合非常紧密,牵一发而动全身。
搞系统的人的思路是,我做一个系统,定义好接口,保证接口正确,用户用就可以了,不需要了解实现细节。毕竟你用操作系统并不需要了解文件系统格式,用数据库并不需要了解一致性是怎么实现的。
但是这套思维用在深度学习系统上却不合适。其一,一个数据矩阵流过整个系统,每一步的细节都可能对一百步以后的结果造成影响。而对于中间结果,你无法严格定义什么是正确的,一个好的算法不是N个好的部分的简单叠加。Hinton就说过,Dropout看起来像个Bug,但是它提高了精度,所以是个“好bug”。其二,因为深度学习算法复杂,需要控制的因素多,一个固定接口很难满足所有用户的需要。还不如把系统写的简单灵活一点,让用户根据需要可以很方便的自己修改。
反过来对搞深度学习的人来说,如果你不了解系统内部细节,当你的算法效果好的时候,你并不知道到底是哪些因素导致了效果好。可能换了一个框架,效果就不好了,而原因是你根本不知道的某个实现细节。当效果不好时,你也不知道如何改进。另一方面来说,当你需要实现一个新的算法的时候,经常会发现框架现有的接口不能解决你的问题,这时候就需要对系统内部的了解才能修改系统已实现自己的目的。
其实摇滚精神是人的精神,不用太强调摇滚这两个字。
前两天我看到了臧鸿飞对摇滚的解释,我觉得挺好,他说摇滚是面对着生活的不服,而流行音乐是面对生活服了。我觉得这种解释挺好,我们始终在质问自己还是不是自己。摇滚不摇滚不重要,重要的是你还是不是你自己。
摇滚是小众这个话题已经不用再说了,因为摇滚在西方已经成为主流过了,摇滚是大众音乐,在中国可能是小众音乐,所以说中国文化和经济的现状造成了摇滚乐在现在社会的定位不能说明它是大众还是小众,这个真的不重要,重要的是在于每一个人在面对自己现实的妥协的自我的时候,是否会持续的去发问,这种东西不一定偏要体现在摇滚乐,而流行音乐也有,古典音乐也有,现在一些hip hop音乐、嘻哈音乐里都有大量的质疑的声音。
当然,这些都是大的流行音乐的范畴里的,但都不是以人们所理解的摇滚音乐的形式所存在的,所以没必要偏要强调摇滚两个字。
我自己写过两首歌去比较中国的摇滚乐和西方的摇滚乐,近三十年前我写过一首《像是一把刀子》,我觉得当时的中国摇滚就像一把刀子;在十年前我写过另外一首歌叫做《滚动的蛋》,实际上也是针对Bob Dylan的《Like a rolling stone》做一次呼应,我们站在中国的土地上,对西方的摇滚乐做的呼应,我觉得我们更像一颗滚动的蛋,我觉得这是对中国摇滚乐现状的一种描述。中国摇滚是一颗滚动的蛋,但它没有破碎,雨后的大地路途好像有些松软,滚动的时候受到了保护,但的确是危险的状态。我更愿意说中国摇滚乐是从下而上的,蛋破碎了之后变成了生命。
从三十年前到十年前再到现在,中国摇滚没有走向世界,我觉得走不走真的不重要,类似的比较本身是功利心态的,把摇滚乐当做了一种商品。摇滚乐存在的形式也不是为了要走向世界,或者要流向中国,它们存在是为了身心的娱乐,这种娱乐自然会带来与市场的互动,这种互动造成了传播,所以在中国有大量的人受到了影响,可以了解到西方文化,而且他们可以轻而易举的买到这些唱片,这是一种正常的文化根基带来的良性的反应。所以我们就应该去听这种良性的音乐,我觉得每个时代都要有一种形式去表达自己,摇滚乐就是西方发展到六十年代七十年代,人们需要用新的形式去表达自己的时候适时出现的,那个时候已有的音乐形式不能表达人们的想法了。像现在一样,很多的年轻人选择用他们自己的方式表达自己,我们也没办法。这个就是自然的一种规律,人们在经济发展、文化发展、全球化发展的过程中,人们就会轻而易举的找到自己最想选择的方式表达自己。
我觉得中国的摇滚乐,或者说中国自由表达性音乐受到了很多限制,所以说在某种程度上,流行音乐更是很多人追求的一种结果,它的成功方式是一种结果,包括摇滚乐也希望能够像流行音乐一样成功,但不一定像流行音乐那样去表达。
遗憾的是,这个社会的环境和传统文化环境没有鼓励批判,或者说是坚持自我、怀疑现实这种审美,在别的人完全趟出一条路之后,我们亚洲人沿着他们的脚步往前走的时候可能会受益,因为大家会说这种东西我们已经知道结果了,是可控的。但真正达到了不可控制的时候,所谓的不可控制就是真正自由状,他们一定会出面干涉或强加限制。这个时候才需要人站出来,人的自由创造需要调整,针对这种状态的时候,才能产生出接地气的作品,这个时候我认为才是所谓最自由的状态,他自己也不知道会是什么样,人的自由状态在某种程度上是不可控的状态,当然这种不可控的状态是由内心强大的信仰牵引着的,不会造成危险。这种东西只有自己能知道,很多人是不相信的,所以我们的文化环境、我们的宗教信仰完全不信任人的自由状态,一定会有人干预你,不光是家长,即使是比你年轻的人都会来说小心点小心点别出圈、别超越底线。这些东西都有可能造成自己对自己说,那好吧,回头。
就像臧鸿飞说的那样,我们服了,我们对困难做出了妥协做出让步,我们的理想稍微静音一段时间,完了之后,我们可以获取到的东西要远远大于我们的挑战。
你持续的用你的理想去对抗你对现实的认知,你会发现你对现实的认知没有那么强大,你甚至可以说你自己征服现实就是你的现实观,现实怎么可能不被征服呢?他怎么可能会养成这种习惯呢?如果现实都是不可征服的,人就永远是在倒退。
摇滚不仅仅是一个音乐的概念,而是一种态度和人生观的概念。
巴黎场完整版视频:
http://www. bilibili.com/video/av14 307530
(直接从知乎看只能看前段)
会翻墙的话有Youtube完整版:
------------------------------------去年有幸在巴黎看了一场久石让指挥的Ghibli工作室演奏会。而那晚成了我终生难忘的一晚。
我很早之前就把武道馆的录像看了不下一百遍。学习听做家务听,因为真的太喜欢了。我最喜欢的便是演奏魔女里的小提琴。真的太好听了。在武道馆拉小提琴的大叔便成了我的最爱之一。还有呀,天空之城里吹小号的。那是我第一次知道原来小号吹成这么样的。语言形容不出来。对啦还有拉龙猫的大提琴的一个小胖子,大提琴的声音的力量,低沉,有力。可惜他们三一个都没来。来的是久石让,他女儿和欧洲这边的乐团。
即使是这样,演奏会上的歌一出来,我便起鸡皮疙瘩,然后一边觉得很欣慰很幸福一遍止不住得哭。那个音乐里的世界便是最美好的了吧。这不,我打下这话眼里又有泪水了。
我买的票比较靠后,所以久石让我也没看清。可是整场都能感受到大叔的可爱。大叔会一边笑一边上台。
票一张差不多两百欧,人民币大一千多。即使这样,我仍然觉得超值。嗯。那一晚的音乐能温暖我很多年。我看过很多演唱会,Coldplay, Maroon 5, 苏打绿等等(大部分都是Mainstream). 大部分也都是那个月狂热一下,然后就没了。而久石让的Ghibli音乐会,听完的心情,听的时候的满足感,与再听的满足感,回味无穷,都是现在所有Pop不能带给我的。
那晚,大部分时间也是我和男朋友手牵手看完的。有着一生我最爱最爱的人,还有难忘至今的音乐。那个晚上,真回味。
景甜:抱歉,是我选的他。