// --- 更新:模型和代码开源啦!
文章的链接是 https://arxiv.org/pdf/2105.13290.pdf
之前的demo页面仍然有效,但是依旧没有上线特别耗时的超分辨率和多次生成后选择的部分。
//----------------
Demo链接==> CogView图文生成。
//-----------------
取匿了,因为周六唐老师要稍微介绍一下我的成果,没必要继续匿名了……先放一些CogView文本到图片的效果图。
其实在dalle最早的博客放出来之前,我们也独立地想到了这个VQAE+Transformer的算法框架,只不过投入不够,进展不够快,另外就是训练大模型时有一些意料之外的困难(例如精度),最后我还是基本解决了(虽然DALLE文章出来之后,他们的解法和我们不一样,感觉自己想到的还更加优雅)。不过这种规模的工作被抢先了真的太伤了,估计得想点新的创新点才能发文章……文章发了之前暂时不太会和别人详细交流技术细节了。
欢迎关注 @北京智源人工智能研究院 在20号的发布会~到时候可能放一个Demo网站出来(文章可能还早TAT)
//-----------------原答案-------------------
太夸张了,我搞这个任务快半年了。。。他这个blog中介绍的做法跟我们现在的方法几乎一致(除了大一点),但是我们感觉单纯升到13B完全达不到这个效果。。。因为这个问题跟数据集强相关,想知道数据集。。。(可能这玩意和clip强耦合,需要很多前者的产品)总之就是非常绝望,感觉自己搞的根本没意义,螳臂挡车。。。
120亿参数的DALL·E+CLIP还算是比1700亿参数的GPT-3温柔:)
思维发散一下,以后那些有大规模计算集群的云计算大厂估计就要自己做无标签的大规模预训练模型了,随后将模型release给下游算法公司/开发者用,后者拿着带有domain-specific标签的自有的小规模模型集子再跑一遍微调,做到轻量化,就成为上下游绑定的新生态了…;这也预示着有监督学习的价值基本榨干了,基本上业界下一代人工智能训练的形态会是大规模上游预训练+小规模下游微调的思路。NLP基本走通这个思路(GPT-3),CV也会跟随这个思路,由此改变CV的格局和开发模式,那对于开发者而言,适应算法并不难,要取舍的是适应这种生态。
Hinton也曾经说过【未来AI系统主要是无监督的;在学习共性和对共性是否存在做出反应的能力方面,无监督学习的能力几乎到人类水平。比如在人类视觉皮层寻找启发:人类的视觉采用一种重建的方法来学习,事实也证明,机器视觉系统中的重建技术增强了它们抵抗对抗性攻击的能力。然而,如果你采用一个拥有数十亿参数的系统,对某个目标函数执行随机梯度下降,它的效果会比你想象的好得多,规模越大,效果越好】。因此,无/自监督学习是未来的方向,但是当下至少两个问题待解决:一是如何设计更好的评价指标;二是如何扩展到更大体量的训练数据上去。当下具备这种能力的大厂也就是Google和FB…等。
Btw:利好GPU市场吧;这跟数据类型、神经网络类型或者graph类型相关了。未来GPU在AI主流workload中的用途还是做训练,做Inference任务用浮点结构是资源浪费+费电;未来,无监督学习的数据量更大,维度更高,GPU更接近需求,这也会间接导致另一种分化:训练和推理的需求差异越来越大了。
梁思申家庭,从剧中的暗示来看,应该是49年之前的上海工商业者。他们家至少他父母这一支还算是爱国的,49年之后并没有跑路而是留了下来,属于政治上靠得住的工商业者,文革之后被国家启用。
这样的家庭基本上在海外都有亲属,改革开放之后才重新联系上,这也是梁思申改革开放之后选择移民国外的原因之一。
梁思申自视甚高,她说自己没有歧视,但宋运辉说得对,她就是歧视了。她确实想促成中国的发展,但另一方面她心里已经内化了西方资本的逻辑,她认为中国要发展,做西方的附庸就是理所应当的。她并不知道,也没想过,为什么重点国企必须由中国掌握控股权的原因,也不在乎,只要她能完成这笔投资,受到老板的表扬,她的价值就实现了。
剧中对梁思申这一路人的小心思写的是很好的。这就是改革开放中华人华侨的真实想法。
她和宋运辉的矛盾,不是谁和谁斗气,或者性格冲突,而是根本立场不同。对梁思申来说,单子能谈成,中国市场开拓出来,她就实现了自己在美国人中的价值;但是对宋运辉,他就必须考虑中国化工几年甚至几十年之后的长远利益,为了这些利益,政治底线是不能退让的。
梁思申说自己受了歧视,实际上和宋运辉说的歧视并不是一回事。梁说的,是她作为美国华人所受到的种族歧视,这种歧视,宋和大部分中国人当然没有体会,也没有理由就要体会。毕竟梁还是要在美国社会混的,宋和大部分中国人不需要。
宋说的歧视,则是西方大公司利用自己的优势地位,并不把中国当做平等的合作伙伴,而是趁机控制中国的经济命脉。这点,梁实际上是不在乎的。毕竟,就算控制了又能怎么样?梁还是吃香的喝辣的,大不了回美国去。
对吉恩一路人来说,梁当然就是个工具。毕竟买办永远也不可能和老板真的平起平坐。
当然,梁思申并不坏,我相信她主观上也是想为中国好的。但是她长期受美国的教育,认为中国处处落后,美国的一定先进,所以自己有先天的权力去决定东海应该如何如何,还自以为是为中国好,实际上就是个二鬼子。
宋运辉也不傻,这点他肯定早就看透了,但是为了合资,一直到吃饭之前都没捅破。宋也一直在和日本还有其他公司联系,该摊牌就摊牌,可见也没有对梁这边报不切实际的希望。
大结局了补充一下:最后两集说明梁的层次还是比宋差远了。她以谈判为要挟,不仅救不了宋,而且会让上级部门更加怀疑宋和梁有不正当的交易。她以为靠自己就能扳动洛达,靠一个洛达就能改变党的组织原则。而她实际上就是个工具人,不可悲么?
最后她和宋的谈话,宋对她是大失所望的。本来吃饭的时候,宋以为她回来投资是为了帮助中国的建设,结果因为她自己的一点私心,说不投就不投了。她看得上的人就行,其他中国人统统不行。我相信随着改革的深入,梁思申这种人如果不改变自己看问题的方式,会走到完全西化派的路子上。