百科问答小站 logo
百科问答小站 font logo



为什么中国在芯片技术/工艺等落后的情况下,超算却一度超过美国? 第1页

  

user avatar   lulueh 网友的相关建议: 
      

做超算主要是靠钱和集成技术,芯片设计制造倒是其次…

做新的超算应该是首先有了新的算力需求,发现现有的超算不顶用,才上马新超算。

欧美的超算总数还非常多,依然能大量满足新的项目,所以搞新超算的动力本来就不足,更是对第一不第一不上心了。


user avatar   shi-zhong-20 网友的相关建议: 
      

因为在最初,我们并没有用国产芯片来发展超算,而是用intel芯片。同样好的芯片下,我们研究了超算中的调度系统,并且超越了美国。所以,我们超算的跑分一度超过了他们。后来,美国对中国高端芯片开始了禁运,我们只好用国产cpu替换国外cpu,但由于调度技术已经成熟,所以在国产芯片性能有劣势的情况下,可以依靠数量取胜,所以还是可以和美国超算平起平坐。

关于这个话题之前写过一篇文,感兴趣的同学可以继续往下看。


联想超算的三张面孔

文 | 史中


1984年,河北涿州,暖风和煦。
阳光从铸铁平推的窗子射进来,屋里不明不暗。
只是这硕大的房间有点怪异。在四周白墙之中,竟然还套着一个玻璃房子。在玻璃房中间,竖立着一台硕大的机柜。
这是一台超级计算机,简称超算。玻璃房的大门上挂着一把锁。锁头的钥匙揣在一个大鼻子蓝眼睛的人口袋里。在玻璃房子旁边,有他单独的一间办公室。
超算的开机密码就在这个美国人脑袋里,但他不会对任何一个黄皮肤的人说。每次中国人想要计算石油勘探数据时,都要请这个美国人打开超算,我们给计算机输入的每一个字节都在他的监督之下。
没错。这台超算是中国辗转从美国进口来的。而由于冷战时期“巴统”的禁运限制,超算绝对不能让中国人用于石油勘探以外的用途,尤其是武器研发。
那一年,中国的人口达到了1044000000人。遗憾无数科学家日夜奋战,却尚未打磨出一台能与国际顶尖水平匹敌的探矿、气象、海洋预测亟需的超算。
计算力,是一个民族生存在这个星球上的钢铁武器。
而我们,也曾手无寸铁。

丘吉尔、罗斯福、斯大林雅尔塔,1945

(一)

仿佛一个巨人从睡梦中醒来,一团云雾顶天立地。巨大的呼啸追随爆燃的光闪,渴望把戈壁滩上的一切过往都扫荡殆尽。
冲击波把时间永远钉在了1964年10月16日。原子弹如同塔里木盆地最深处的新生婴儿,那些为它的降生付出半生韶华的科学家们双手挥舞向天,告慰共和国的艰辛岁月。
镜头轻轻摇动,就在“横空出世”之前一个月,一个尚未脱尽稚气的小伙子,眉眼带刀,走进了北大物理系的教室。
他就是祝明发。
彼时的北大物理系,可谓群星闪耀,用祝明发的话说就是“当时全清华都没有北大物理系培养的院士多”。一位年轻的北大学者隐姓埋名冲在前沿武器研究的队伍里。他就是后来人们熟知的氢弹之父,于敏。

于敏和夫人孙玉芹

由于美欧的技术封锁,全中国960万平方公里上,性能最好的只有一台在苏联帮助下研制的“每秒万次”的电子管计算机(104机)。而且,95%的时间都要分配给原子弹的计算。最初,于敏就是靠这5%的计算力,带着团队人手一把计算尺,废寝忘食地用肉身做计算。
之后他们才慢慢等来了每秒5万次的J501机和119机,最终在原子弹爆炸后的第三年成功试爆了氢弹。
站在两弹先驱们身侧,祝明发用血肉穿行了这段历史。“计算力”这三个字的沉重,他比别人更刻骨铭心,只恨自己还是个本科生,知识羽翼尚不丰满,只好发奋学习。
而国家命途多舛,1966年文化大革命爆发,祝明发的学业被延缓,直到1970年才正式毕业。
延迟毕业丝毫没有浇灭他胸中的报国火焰。祝明发被分配到北大附属的北京电子仪器厂,他负责研究的方向,正是芯片、晶体管和大规模集成电路。
故事由此开始。

祝明发

从上个世纪开始,石油勘探能力就一直是各个国家争夺的技术高峰。而石油勘探需要高强度的计算。为了我们的能源命脉,1970年,国家交给北京大学一个光荣而艰巨的任务,研制一台每秒百万次的计算机——代号“北大150机”。
北京大学、738厂(北京有线电厂)、石油部,三家单位总共好几百位工程师,凑在一起干。文化大革命时讲究自力更生,完全不能进口,每个元器件都是中国人自己造出来的。当时世界顶尖水平是每秒千万次,我们的超算能达到百万次,和世界的差距并不如后来的八九十年代大。
祝明发回忆。
他清楚地记得,1973年,警车开道,十几辆卡车拉着“150机”几十个两米高的机柜,浩浩荡荡驶出北京,前往石油部徐水机房。
“当时的道路不够好,汽车开得很慢,就怕颠簸对计算机造成损伤。到了之后,我们花了整整三个月的时间把计算机重新拼好测试完毕。”祝明发说。

150机

摇摇晃晃的卡车开进了历史的深处,直到那场改变中国的春天降临。

(二)

1978年,在停滞了多年以后,国家恢复了高考和研究生考试。
那一年,全中国录取了大概一万零五百位研究生,祝明发位列其中。他成为了中科院计算所的一名研究生。两年后,他被国家公派出国留学,在美国密西根州立(韦恩)大学拿到了硕士和博士学位,并且进行了两年人工智能的超前沿研究。
七载春秋。1987年,祝明发回到祖国。
实际上,力邀祝明发这个洋博士回到计算所的,是中国计算机史上传奇的人物——被誉为中国计算机之母的夏培肃。之所以她要找祝明发,也是有原因的。

夏培肃

刚才我不经意提到了祝明发在美国研究的方向——“人工智能”。没错,在历史长河里,人工智能迄今已经历了三起两落,而我们故事行进至此的1980-1987年,正是人工智能第二次高潮席卷的时代。
那时的人工智能比现在的人工智能更配得上“智能”二字,因为当时科学家的主要思路比较激进——想要用人工智能实现“超越人”,而不是今天通过数据统计“模仿人”。(当然事实证明那条路尚未走通,此乃后话。)
那个年代霸占报纸头条的新闻,不是三十年后的阿法狗大战李世石,而是日本搞出了“第五代向量机”,除了超强计算力外,还拥有模仿人类神经运作的能力。于此,全世界各个国家展开了计算机方面的“军备竞赛”,那种疯狂并不输如今的人工智能第三次浪潮。
而面对全世界一浪高过一浪的科技竞赛,被冷战遏制多年的中国显得被动。一边工业爆炸式发展,在短时间内极度渴求计算力;另一边自主技术却没办法满足。正是在这种情况下,进口计算机成为了被迫的选择,于是才出现了我在开头描述的一幕,计算机被玻璃房子罩起来。
但这是赤裸裸的屈辱。
四位科学家联合向中央建议实施国家级高科技战略,这就是大名鼎鼎的“863计划”。

863计划四位倡导者:陈芳允、王淦昌、杨嘉墀、王大珩(这四位的名字如果你不查字典都能念对,还是挺厉害

863计划覆盖各大科技领域,而具体到计算机方面,就是“智能计算机项目”,祝明发在这个领域是屈指可数的技术专家,所以他顺理成章地成为核心成员。
夏培肃发现一个重大的问题。如果按照日本的路线走,会成为越来越专用的计算机架构,而她却认为另一条路更有希望,那就是通用架构下的“并行计算”。
如果把专用架构比作一只鹰,那么通用架构并行计算就像一大群麻雀。二者真打起来,孰优孰劣很难判断。
两种技术路线着实进行了一番凶狠的缠斗,结局是:从90年代开始,全球所有高性能计算机几乎全部转向了并行计算。站在后来回望,当时用来决断的机会窗口其实非常短,一步走错,就可能损失十年。
历史奖赏了夏培肃先生的坚定。
1990年,拥有“并行计算”能力的 BJ-01 计算系统研发成功,黑暗的铁门被中国科学家撞出一道裂缝,金色的曙光洒进来。

1992年 研究成果论文发表

历史的舞台安静非常,一束追光正等来人。
那就是曙光1000。
这是“863计划”寄予厚望的一个项目。一句话说,它的使命就是打碎那个“玻璃房子”。这个明星项目由李国杰院士牵头,祝明发任技术负责人。
当时的科学家们面临一个困境:
中央处理器,也就是 CPU,和国际差距过大,在短时间内中国很难自主研发。这是一个残酷的现实。面前有两个选择:1、等待我国 CPU 技术发展成熟,再来研制中国自己的计算机;2、先购买 intel CPU,把计算机整机技术磨练成熟。

爱国情怀让他们想选择第一条路。但科学家必须尊重理性,他们知道,技术如同一辆飞驰的列车,晚一秒上车,都可能被对手拉开巨大的差距。如果此刻赌气等待,很可能未来将一无所有。
科学家们一致同意,先用 intel CPU。
并行计算,要求把几百颗 CPU 像广场舞一样整齐划一地调度起来,这就需要很多举着“小黄旗”的调度员。在机箱里,这个调度员就是“通信芯片”。

通信芯片示意图(你中哥画了一个小时)

为了研发这个通信芯片,祝明发带着几十位科学家、研究员、博士生夜以继日。
然而,最担心的情况还是发生了。通信芯片研究完成,放到主板上与CPU连接,在这么小的方寸世界里,仍然像有一堵看不见的玻璃墙——信号就是无法传输到 CPU。
“不用说,intel 的芯片肯定没有问题,问题肯定出在中国人的芯片上。”他们想。但所有的人反反复复检查了三个月,就是找不到问题所在。
最焦灼的时候,祝明发亲自上阵,想了几天,他把同事们都叫在一起,说:根据我的经验,问题不在我们,在于 intel,在这个 CPU 的附属连接芯片上。
大家都张大了嘴。
祝明发让大家试着绕开这个附属连接芯片,敲击回车,奇迹发生了,系统跑通了!

曙光1000

(三)

荣获国家科技进步一等奖,曙光1000名声大噪。
中国科大陈国良院士找到祝明发,你这个机器能不能卖给我们做教研用?祝明发说,可以啊,我再给你做一台。机器入驻后,在中国科大机房门口挂了个牌牌:国家高性能计算中心(合肥)。
一发不可收拾,西南交大,复旦大学,华中科技大学纷纷购买这台超算,成为了国家高性能计算中心(成都)(上海)(武汉)。。。
连国际友人都看上了这台机器,在澳门的联合国软件所,喀麦隆雅温得第二大学也强烈要求中国援助他们一台。。。
祝明发考虑到友邦山高水长,这机器全是特制硬件,坏了也不好修啊。于是他思考良久,决定用一套更通用的国际芯片,做成了曙光1000A送给了他们。
当时我的同事们跟去喀麦隆调试机器,培训他们的人员,连机房的桌椅板凳都是一起援助过去的。同事回来跟我说,那边的蚊子个个有大拇指那么大。。。

祝明发回忆峥嵘岁月,笑了。

雅温得第二大学

没想到,为非洲兄弟做的这个无心插柳的改进,却大大提高了工程化程度,成本大幅降低、生产更加容易、使用起来也非常方便。
1997年9月,辽河油田负责采购的同事找到计算所,有意向购买一台和非洲兄弟一样的超算。
祝明发听到这个消息,心中波涛翻涌。他仿佛看到时代在宣布,中国人用玻璃房子里的外国计算机寻找石油的日子,终于走到了终点。站在此刻,已经没人能阻挡中国计算机技术的前进浪潮。
历史证明,这一幕还有更深远的意义:中科院自主研发的超算终于走出了自己的科研圈子,在残酷的市场竞争中拼命扎下根。

辽河油田

三年时间,技术持续改进,在祝明发手上陆续卖出四十台超算,进入了气象、海洋、地质等各个领域,逐渐替代进口超算,支撑起了国计民生的各个领域。在同等的性能下,我国自主研发的超算价格是进口的一半,秒杀敌手,风光一时无两。
2001年,中国入世。市场经济成为了每个人呼吸的空气。
祝明发手握下一代计算机的技术路线,心里却在艰难抉择:如果继续做大商业化,一定会涉及到工程化、标准化的生产,在中科院计算所的体系内继续耕耘,恐怕不如在一家企业更适合。
但是,把这么精密庞大的超算技术工程化,可不是哪家企业都能接得住的。他举目四顾,有一家公司再合适不过了。不是外人,正是同样生长于中科院计算所这片热土的联想。
彼时的联想,刚刚从对抗八国联军的“微机之战”的尸山血海里爬出来,坐上个人计算机民族品牌第一把交椅。1998年,联想拍拍身上的灰尘,进军服务器领域。
祝明发找到时任计算所所长兼联想董事长,曾经给20万让柳传志创业的曾茂朝:“我想带队到联想继续做超算,你看如何?”曾茂朝很爽快:“我欢迎你!”他找到杨元庆布置此事,很快,祝明发团队正式进入联想,组件高性能服务器事业部

祝明发


(四)

跟随祝明发加入联想的十人队伍中,有一个沉默寡言却神情坚定的技术悍将,他就是肖利民。
肖利民出生在江西赣州。直到考上大学之前,他只见过电脑一面。那是在中学兴趣班的窗口,他向里张望:
敲一下键盘,就跳出来很多图表和曲线,非常神奇。而且那时候觉得,做计算机多好啊,每天都能坐在空调屋里!

他说。
就凭着这一秒钟的记忆,高考填志愿时,他写下了清华大学计算机系。
1993年,他大学毕业。恨不得上百家单位争着邀请肖利民加入,他自己反倒迷茫了。最后他决定:以静制动,继续深造。当时他可以选择被保送到两个地方,中科院软件所和中科院计算所。
“要是搞了软件,那硬件怎么办?所以我选了自己当时认为软硬件都有的计算所。”肖利民笑。

肖利民

到了计算所,需要选一位导师。看着这几位导师的名字,肖利民又犯愁了——都不认识啊。于是,他像掷骰子一样随便选了一位。你可能猜到了,这位导师就是祝明发。
那时候,祝明发正带领技术团队攻关曙光1000,最后整机成型时,通信软件已经有些落后,改进通信软件的任务,就落在了研究生小肖身上。没想到他完成得非常出色。
虽然很年轻,但肖利民展现出了耀眼的技术光芒。跟随着后几代超算的研发,他逐渐成为技术核心骨干。而加入联想之后,肖利民更是直接扛起了联想高性能计算研发团队负责人的职责。
从科研院所到企业,肖利民发现眼前的世界简直“换了人间”。
原来在计算所,做项目只需要满足一个指标:技术的创新性。现在在联想,做项目至少要满足三个目标:1、技术的创新;2、合理的工业设计;3、卖得出去(性价比)。



先说技术。
简单理解,当时超级计算机在国际上有两条路线:MPP 和 Beowulf。(后者俗称自攒机群)
打个有趣的比方:
MPP 就像是一窝蜜蜂。每个蜜蜂都有各自分工,连生理结构都不同,如果离开集体就没办法生存。MPP 架构的超算,每台服务器单独拿出来都没办法工作。Beowulf 就像是一群人。每个人都是一个完整的单元,离开集体也能生活。Beowulf 架构的超算,每台服务器单独拿出来,都是一台小超算。

估计你也能猜到,“蜜蜂型”的 MPP 超算,资源利用效率会比“人型”的 Beowulf 高出一大截。况且当时 Beowulf 架构的论文刚出来,稳定性、软件兼容性都很弱鸡。
于是国内外很多专家都在怀疑:Beowulf 做超算,可能是一条死路。
但祝明发不信邪。“未来对计算的需求越来越大,计算的技术一定是越来越通用,不可能越来越专用。”他咬定。
肖利民和他的老师看法出奇一致。于是,那一年整个团队100人几乎全部铺在新生的 Beowulf 集群架构上。

Beowulf 集群

再说工程设计。
当时的大规模超算系统,光服务器节点就有1000个。仅仅通电这一个简单动作,都要仔细设计。因为如果一拉闸,1000台服务器同时上电,瞬间电流非常大,总闸一定会被烧毁。
过去在计算所,肖利民他们的解决方式是——手动给一台台机柜分批上电。现在你做的可是产品,你再让客户也雇个人,每天专门负责拉闸,这就很可笑了。万一他不懂这背后的原理,再把电拉错了。。。
这事儿必须要在联想的产品里解决。肖利民专门招来了供电专业的博士专家,带队研究电路控制系统。
这还不算,1000台服务器节点,上面的系统难道要人手动去安装1000次吗?把工程师累吐血不说,关键是人手动安装,配置总会有些许的不同,这导致每台机器“千机千面”,调度起来容易玩脱。。。
所以,肖利民又专门安排团队,开发了为所有服务器自动安装系统的软件工具。
像这样的工程细节数不胜数。所幸,联想工程化部门做PC的时候之前已经踩过十几年的坑,这些丰富的经验都可以给肖利民参考,此事不在话下。


这是2018年联想在合肥的联宝工厂,当时应该还没这么先进

再说“有谁买”。
2002年春节之后。祝明发打听到中科院数学院数学所需要买一台大机器。他赶紧跑去和负责人也是老朋友张林波教授说,我们联想也参与投标,行不行?
张林波教授知道联想公司以前没做过超算,但是眼前这个人,可是多年的老朋友了,他的团队在中科院计算所做出的东西是什么水平,张教授心里非常清楚。
于是联想顺利入围招标。
数学所的经费有限,对于机器的要求是128个节点,峰值性能每秒2000亿次。
面对这第一个大单,彼时的联想内部发生了一个有趣的事情:
本来,新业务成立,按照惯例,公司是要拨一笔广告费的。但是祝明发在一次讨论会上提出,高性能计算,做广告怕是效果有限,不如我们把广告费的钱给贴到产品里。他要128节点的,我们给他256节点,他要2000亿次,咱们给他弄个一万亿次,搞个大新闻!
改变资金用途,还是个挺严肃的事情。当时这一纸请示已经到了杨元庆。杨元庆听完团队的计划,说:“就这么干!”
那次招标,各大顶尖中国公司都来了,国外的顶尖公司 IBM、SUN、SGI 也都来了。
各家公司讲标书的过程很逗。
有的公司方案“中规中矩”:按照你的预算,我给你做128节点2000亿次的机器;有的外企方案“高高在上”:128节点,2000亿次这都没问题,但价钱得涨50%;结果联想上台一讲就“跪了”:我给你256节点,一万亿次的性能!加量不加价!

旁边几位投标的都惊了,像看疯子一样盯着联想的人。
“你们这么干,不赔钱吗?”对手问。“我们愿意!”联想的人回答。
拿下标之后,压力瞬间到了肖利民的研发团队身上,他们开始没日没夜挑灯夜战。
掰掰手指头也能知道,节点数量翻一倍,性能最多翻到将近5000亿次,达不到万亿次啊。。。于是团队又换成了当时 intel 刚出的新一代的 CPU,性能到了9000亿次。最后差一点,只能从软件上优化。
团队甚至把 intel 的优化专家都从美国请来指导,结果他只把性能往上拱了一点。肖利民见状,赶紧把专家送回美国,还是拉着队伍自己上。就这样拼了命优化,终于把这台机器的稳定在了实际性能1万亿次,峰值性能2万亿次。
这就是联想第一代超级计算机——深腾 1800。

当时一位研发工程师小姐姐站在深腾1800前留影

中国人第一次做出每秒1万亿次的超级计算机,史册留名。(当年全球最快超算是NEC的地球模拟器,每秒35.86万亿次运算。)
中科院数学所,稀里糊涂地捡了个大便宜。。。
说得这么热闹,其实从2002年4月中标,到7月交货,联想高性能计算团队干了这么多活只用了3个月时间。8月,联想在总部东侧大楼召开新闻发布会,宣布自己刚刚造出了中国第一台万亿次计算机,所有记者都热血沸腾,但业界同行却冷眼相对。
“一个做微机的,能做这么高科技的东西?是不是假的啊!”有人嘀咕。
好在有人说公道话。不久,全国专家对项目进行了成果鉴定。无论怎么测,万亿次性能都是实打实。又有业内对手诋毁说,深腾 1800 是外国人帮忙造的。
祝明发气得大发雷霆,指着自己团队的一张张面孔质问对方:你说,我们这里哪一个像外国人!
2002年11月,在全球最权威的超算Top500排名中,深腾1800 代表中国人,历史上第一次杀进排行榜,并且占据了第43名的高位。关键在于,深腾1800 是用集群架构做到的这个性能,而其他排名更前的,99%都是采用 MPP 那种传统专有架构做的。(只有排名24位的海德堡大学超算是采用集群架构,但它是一个研究型计算机,不是商品机。)
那一年,高性能计算并行环境的发明人,超级计算机界公认的泰斗 Bill Crops 来北京参加世界数学大会,祝明发特意拉他过来参观深腾1800,他看得眼里放光,走之前在留言簿上写下一句话:
We see the future of cluster computing!(我们看到了集群计算的未来!)



当年,深腾1800 入选新华社中国十大新闻,被两院院士评为中国十大科技进展。中科院还专门发了一套邮票,来纪念深腾1800。次年,深腾1800获得了国家科技进步二等奖。
经此一役,国内外其他研究超算的学术机构和公司都纷纷调转船头,开始研制集群架构的超算。但其他人这么一折腾,联想在这个赛道就成了领跑者。

自拍达人肖利民


(五)

你注意到了没,刚才中哥提到了一个不明觉厉的词:“超算 Top 500 排名”。
这个排名可是大大的有名。它有点像全球超级计算机的奥运会,由美国和德国的计算科学专家在1993年首次创立,每年夏天和冬天两次揭晓榜单。
中国人在这个榜单上有光荣的记忆:著名的天河一号曾在2010年夺得榜首,更著名的天河二号曾在2013-2016年蝉联六冠,之后逆天的神威太湖之光接棒,在2016-2018年夺冠。
不过那些光荣都是后来发生的。很多人不知道,中国人第一次入围,是联想用深腾1800 杀进去的。
其实私下里,肖利民对于深腾1800 不满意。因为他知道,这台超算只有在处理纯计算任务的时候,才能发挥到极致,而进行一般事务性计算的时候,性能就会下降,这会大大影响计算机的适用范围。
于是在深腾1800 一炮而红之后各种登上领奖台时,他却堵起两只耳朵,带着团队马不停蹄地开始了改进工作。
就在肖利民马不停蹄时,还有两个背景:
第一件,科技部通过深腾1800 发现了联想这块宝,以前重点的863计划都只交给中科院计算所,2002年底改变了策略,专门“临幸”了一下联想,配发了一个新的863项目。第二件,联想又中标了中科院计算机网络信息中心的超算项目。

对于技术团队来说,正好把研究项目和商业项目合二为一,一起搞定。肖利民他们开始研发下一代超算——深腾6800。
历史的浪花向前,彼时一个强悍的技术出现在这个世界上。
这就是 infiniband。
听听这个名字,infinity+band,无尽的带宽,你就大概能猜到一些:infiniband 大大提升了集群内部计算机之间的通信效率。关键的是,它是个开放的标准。

用 infiniband 标准做出的板卡

这让联想高性能计算团队眼前一亮。因为在此之前,只有少数几家公司掌握着顶尖的集群通信技术,而他们却对技术守口如瓶,只出售整个的小型机。
在 infiniband 和其他很多技术的加持下,深腾 6800 的计算速度达到了每秒4万亿次。而且整机系统效率从1800的50%,直接跃升到了78%。除了科学计算,还有通用的事务处理能力,例如科学数据库。

深腾6800

2003年,世界超算 Top500 排名中,中国迈着钢铁步履,有四台计算机进入榜单,分别是:1、中科院那台深腾1800;2、中科院大气物理所的深腾1800;3、大庆油田的深腾1800;4、中科院计算机网络信息中心的深腾6800。
而排名最靠前的这台深腾6800,冲到了榜单的第14位。没记错的话,这也是联想超算达到了历史最高排名。从这个时间点开始,超算越来越演变成为了国家战略,所以前十名的榜单也成为国家展示力量的舞台。
虽然联想的超算一般是企业或者研究机构订购,受限于经费,很难拿下 Top500 的第一位,但是,从那时开始,Top500榜单里联想超算的数量却一直在恐怖地攀升。
2004年,联想收购 IBM 个人电脑业务后,变得更加国际化,联想超算也走出国门。2008年,F1 威廉姆斯车队订购了一台深腾7000,用来计算赛车的空气动力学设计。在联想诸多的客户中,祝明发尤其对这个印象深刻。
毕竟销售给外国人,利润有保证。

他笑。

带有联想涂装的威廉姆斯赛车

我看着坐在对面这个年过古稀的科学家,开始怀疑历史是否真的可以有那么清晰的解。
他走过文革时期的自立自强,走过改革开放的市场为王,见证了中科院计算所最艰难的时候柳传志带着工程师们含泪自谋生路。作为后辈人我虽不应妄然评论,但是我猜他和那些联想元老一样,在某一时刻意识到这个世界和以前彻底不同。
岁月的退潮在祝明发身上留下一种敬畏商业的科学家气质,虽然我打赌如今能读懂他的年轻人如凤毛麟角。虽然我猜他也并不在意。
说回我们的故事,虽然深腾6800再次获得国家科技进步二等奖,拿奖拿到手软,但70后技术宅肖利民对自己的作品仍然不满意:
我很清楚,自己在做的是“商业超算”,商业超算如果想保持强大的市场竞争力,至少要在两个方向上做到极致。第一、系统能效比;第二、满足各种应用场景需求。

肖利民说。
于是,那段时间肖利民每天苦思冥想,想在下一代超算深腾7000中做出逆天的新架构。
他想到的方法就是:“异构体系架构”:
这就好比在一家医院里,需要有多种不同专业方向的医生,才能更好地满足病人不同的需求。异构体系结构,就是把不同类型的处理器,如 CPU、GPU、FPGA 等联合在一起工作。这样优势互补,在各方面的能力都很强,可以满足不同类型的应用需求。

为了做到这一点,前一代的编程模型、框架、平台、软件统统要进行重大升级。而且,把这么多元件重新整合,还要对工程设计、板卡上的空间调配等等硬件做一次重构,甚至连电源和散热都要重新设计。
2008年,深腾7000终于横空出世。

肖利民和深腾7000

这台异构的深腾 7000 最终的实际计算性能达到了每秒100万亿次,成为我国首台投入实际使用的百万亿次超算产品,高效支持了上千种不同类型的应用。
此刻,时间已经迫近了那个节点——2010年,国防科大研制的天河一号登上世界超算榜首,计算性能达到了每秒2570万亿次。中国超算技术,已经可以骄傲地屹立于世界顶尖擂台。

天河一号

此时反观联想,却非常明确地走了一条计算速度和通用性相平衡的超算之路。如果把之前的超算比作一台跑车,那么肖利民的最新力作深腾7000 就朝着变形金刚的意思去了。企业级的各种计算,揽月捉鳖,吹拉弹唱,什么姿势都能给。
站在今天,“异构”这个词已经充满耳膜,几乎所有的人工智能计算,都在利用大规模的 GPU+CPU 集群进行。而深腾7000利用这个异构架构,远人工智能大潮来临之前,比后来经典的机器学习算法 AlexNet 首次成功运行在两片GPU卡上至少早了五年。
(六)

讲到这里,我们故事的第三位主人公才姗姗来迟。
2014年,联想收购 IBM X86服务器业务。
郝常杰作为技术团队的一员,从 IBM 所在的盘古大厦搬到了西二旗。
如果说中国超算有一个“科研共同体”的话,这个共同体的人数,在2008年以前都不会超过百人。所以,郝常杰和祝明发、肖利民虽然不在同一个部门,但他们相互都非常熟悉。
作为一个60后,他也同样经历了中国计算力贫瘠的“玻璃房子”年代。
但他的人生路线和肖利民不太相同,他在90年代就进入了外企。从交换机公司 TopSpin 和 Voltaire 到 IBM,他一直在做高性能计算的核心技术,也为祝明发团队提供过软硬件技术支持。
作为中国人,却帮助外国的公司卖技术,郝常杰也曾经纠结,但他很快得出了结论:
当时的技术,国内确实不具备。但石油不能不勘探,海洋气象不能不预报。我们要发展,我们要理性。

郝常杰说。
好在到了2014年,联想和其他厂商的高性能计算技术已经日趋成熟,以上所说的对于计算力极致需求的场景全部可以满足。从某种程度上说,中国人把国家命脉又抢回了了自己手里。

IBM X86服务器

那时,联想虽然代表了国内最高水平,但是从客观上来讲,在一些服务器的技术点,特别是可靠性和稳定性上,距离国际最顶尖产品还有差距。
提高自己的技术有三种方式:
一种就是靠自己研究,慢慢追赶;一种是和技术优秀的公司建立合资公司,引进他们的技术。一种就是靠把最优秀的公司完全买进来。

祝明发在这件事情上看得很明白:
如果成立合资公司,对方绝对不会把最新一代技术给你。合资公司永远无法和母公司竞争。但是把优秀的技术、人员连同业务都买进来,就不存在竞争了。以后干得好不好,那是你自己的问题!

他说。
这也是2014年,联想收购IBM X86服务器团队的根本逻辑。这家企业过去几十年积累的X86服务器技术,一夜之间改换门庭,全部进入联想,成为自己的技术。
郝常杰加入联想后的第一个项目,就是深腾X8800。你可能注意到了这里面多了一个X,那正是因为这套超算中的服务器沿用了 IBM 的X系列技术方案。
深腾X8800的客户是北大。
说来,在北大负责信息建设的樊春老师从2001年就和郝常杰相识,那时候郝常杰在 Topspin 供职,研究生还没毕业的樊春还曾经仔细研究郝常杰带去的 Topspin 交换机。
不过,这次樊老师给老朋友郝常杰出了个难题,他要郝常杰“带着镣铐跳舞”。
第一、机房空间非常狭窄第二、机房电力非常有限

郝常杰看着樊老师期待的眼神,和联想团队反复论证,做出了一个大胆的决定——用水冷!
熟悉电子设备和机房的童鞋一定会想到一个问题:水怎么能进机房?万一泄露怎么办?
其实在郝常杰看来,这个问题早已经被业内专家挑战过好多年,而且业内已经出现了成熟的解决方案。这个方案就来自被收购之前的 IBM,来自今天的联想。
早在2016年春天,联想就举办过一次业内研讨会,当着行业400多位专家的面,郝常杰把联想服务器推到台前。他笑吟吟地抓住机柜里的水冷管,猛地一把扯开,大家都惊出一身汗。没想到,本来激烈流淌的冷却水却像训练有素的军队一样,猛然停止行军,一滴都没有泄露出来。

水冷内部研讨会

“其实这后面有一套快速阀门,一旦泄露,能够瞬间产生负压,水就被收回去了。”郝常杰解释。
于是,一套水冷设备,穿行在深腾X8800体内,被安装到了北大机房。出乎很多人意料,这台超算的效率竟然达到了94.89%,远远超越了一般使用风冷超算的85%。这约等于在有限的空间里,计算力提升了十个百分点。于是,空间有限的问题也被解决了。

北大机房里的深腾X8800

最早的水冷服务器,联想用到的冷却水是35度的冷冻水,不过联想对这个温度并不满意。
如果用冷冻水做水冷,需要用压缩机为水降温,比较耗能。另外从物理学上说,两个物体温差越大,温度交换越慢。所以温水水冷是一个值得追求的技术方向。

郝常杰说。

郝常杰

说干就干,在接下来的几年里,联想的工程师们把冷却水的温度从35度提高到了40度、45度,在2018年达到了50度,2019年正在向更高的温度进军。
说到这些技术上的闪光点,郝常杰如数家珍。
普通的服务器两个 CPU 的散热片是一样高的,这其实有问题,因为前面的散热片会挡住后面散热片的风道。但是如果你打开联想的服务器,就会发现我们把整个机箱都重新设计,两个 CPU,前面的散热片薄一些,但使用的材质散热性更好,后面是一个正常的高的散热片,这样就保证了风道笔直,大大提升了散热效果。连散热风扇这样的标准件,联想都花了很多小心思,里面是正反一对叶片叠加在一起,风吹出来,两个叶片向相反的方向转动,非常平稳。

“你站在两个不同品牌服务器面前,都不用摸,甚至不用看,只要听声音就知道了哪个是联想的服务器!”郝常杰挑挑眉毛,像是在形容一辆华丽的跑车。
细节里面有魔鬼。这么多年联想对于工程化的细致追求,把超算打磨成一块乌黑的水晶,在稳定性、耐用性、计算性能上都成为业内的高端标杆。
2019年6月,当年的超算全球 Top500 公布。500台里,有173台来自联想。
就在人们关心谁是世界上跑得最快的超算时,联想已经默默地把自己变成了“沉默的大多数”。




(七)
伴随着这些数据,是联想超算进入国计民生的各个行业。
海洋气象预报,离不开超算技术。
郝常杰记得很清楚,联想为国家海洋局搭建了一套高效的海洋环境监测预警高性能平台,用于台风、洋流等等海事气象的预测。
在珠港澳大桥建设的最关键时刻,台风来袭。这台超算就必须在台风到来三天内精确计算出它的位置、强度、持续时间,对大桥施工的影响等等。
从后台的使用数据来看,每当台风来临的时候,气象预报中心超算的计算强度就会突然增加,我们也会加强保障,确保这台超算不会出事故。

郝常杰回忆。
我们之前提到最多的石油勘探,当然更离不开超算。
之前中哥一直在讲故事,没机会科普一下“超算找油”的原理:
寻找石油,通常的办法是地震波计算。在可能有石油的地块安装炸药,炸药爆炸,会向四面八方传递地震波,而地震波遇到不同的介质,展现出来的性质会有微小的差异。而超算的作用就是通过地震波的细微差别,来推测石油的具体位置。

地震波计算

而这个坐标下面究竟有没有石油,只有钻探一口井才能验证。一口井打下去就是8000w。如果测算失误,8000w瞬间就打了水漂。
我们当时为什么宁可同意用玻璃房子罩着,也要购买国外先进的超算,正是出于这个原因:赔不起。
生命科学,一样离不开超算。
每个人的 DNA 大概有30亿个碱基对。而上帝造人的时候,并没有给我们的基因配发响应的说明书。为了治愈某些疾病,我们需要自己找到两个或者多个基因之间的隐秘联系。这个难度大概相当于在一片无垠的海滩上寻找两片花纹完全一样的贝壳。
只有超算能够帮助我们。而且现在人类已经发明的最快超算,对于基因检测来说还是不够的。于是,很多癌症对于我们来说仍然是不治之症,患者每天在等待科学家和死神赛跑。
中国最领先的基因测序公司华大基因使用了很多联想超算,机器轰鸣,他们正在追赶时间。


基因计算

中国载人航天,同样离不开超算技术。
从2012年神舟九号起,联想超算就服务于中国航天,提供轨道模拟的核心计算力。而在神舟飞船不断发射的几年里,郝常杰从一家美国公司的技术专家,成为了中国公司的技术专家,进而成为了联想高性能计算的新一代技术的代表。
这种感觉很特殊。
2017年,神舟11号飞船和天宫一号在太空实现无人对接。由于是无人驾驶,对飞船和航天器的模拟精准度要求比以前高很多。联想为中国载人航天工程总体仿真实验室,提供了一套以联想高性能计算系统和 ThinkStation 图形工作站为核心的仿真系统,作为引擎支撑着潮水一般的轨道计算数据。
对接那天,那天郝常杰和同事们放了半天假,一起在中关村附近找了个饭馆儿,一边吃饭喝酒一边看着电视上的直播。
北京飞控中心,联想的超算正在轰鸣,计算着飞船轨道;几十公里外的西二旗,饭店里喧哗热闹,大家为中国载人航天的成就欢呼,没人注意这一桌子看上去平淡无奇的人。
说到底,我只是做了一份工作。只不过我做的工作比较特殊,它服务于国家高精尖领域。我为国家做了贡献,很骄傲。

郝常杰说。

神舟11号

(八)

飞鸟长鸣,记录历史的照片从黑白走向彩色。
从联想高性能计算部门成立算起,今天正好是第20个年头。
郝常杰告诉我,他最开始填报计算机专业,就是看到家里做建筑设计的父亲和哥哥每天拿着计算尺应对各种繁杂的计算,想让他们别这么累。而如今,他手里的超算,已足够做无比精密的建筑建模,只是他的父亲早已退休。
肖利民仍在第一线指挥战斗,他在为当初那个梦想继续努力,让联想超算使用我们自己的CPU,为更多的领域提供服务。
这一年,祝明发74岁,他依然作为首席科学家出现在联想的办公室里。为联想超算的每一个发展方向把握方向。

2019年联想发布了深腾X9000

“玻璃房子”已经被我们打碎,扔进历史的烟尘里许久,但战士们远未退场。日光之下,在看不见的更细微处,何尝没有更多的玻璃房子,等待着勇者用肉身击碎呢?
从PC到超算,联想一直小心翼翼紧贴商业,因为它曾经穿越周期,所以它不仅知道如何面对百花齐放,更知道总有一天你要面临风雪如刀。
正如柳传志所说:
到河岸是我们的目标,这是人人看清的事情。难的是如何搭桥,如何造船,或者学会游泳。在根本不会游泳的情况下奋不顾身地跳入水中,除了泛起一阵泡沫和带来滑稽的悲壮以外,什么结果也没有。

柳传志

计算力,是我们生存在这个星球上的钢铁武器。
南方蒸腾的工厂,北方肃穆的医院,海岸边热闹的商店,沙漠里清冷的油田,路上穿梭的汽车,你手里闪亮的屏幕,送到门口的每一单外卖,床头的温暖台灯亮起的瞬间,都与计算有关。
计算力不仅可以兑换成国境线的枪炮,同样可以兑换成每个人后院的玫瑰。
而那些利用商业的力量让超算变得平民化,变成人人都可采摘的玫瑰的人,值得被人们驻足凝望,思考片刻。
历史毕竟太深邃。
我们很难真正回到黑白照片里,站在祝明发、肖利民和郝常杰身边去体会他们的时代,他们的奋斗,他们的彻夜难眠和辗转反侧。但我仍然相信,如果我们对历史多一些好奇,试着去体会这个民族是如何走来的,试着去想象他们有怎样的不甘和不得已的取舍,或许能对这些在时间长河里跋涉而来的父辈多一些悲悯,也能对我们将面临的凶猛未来,多一些敬畏。

---end---


再自我介绍一下吧。我叫史中,是一个倾心故事的科技记者。我的日常是和各路大神聊天。如果想和我做朋友,可以搜索微信:shizhongmax。不想走丢的话,也可以关注我的公众号“浅黑科技”:qianheikeji。

原文链接: 史中:联想超算的三张面孔


user avatar   jiehou1993 网友的相关建议: 
      

超算小透明用户,对技术懂得不多,下面的内容不一定准确。

天河1、2号建成时间比较早,那时候美国还没有对中国禁运,所以天河上还是用了不少intel芯片的。

神威·太湖之光是国内第一个在禁运条件下建成的顶级超算,神威二字来自于其采用的申威SW26010处理器,由中国人民解放军战略支援部队网络系统部第五十六研究所(又称江南计算技术研究所)研制。

SW26010是申威系列第四代CPU,应该是采用28 nm制程(网上资料不多,留个问号),相比intel 的14 nm确实要落后一两代。所以SW26010的主频确实不高,只有1.45 GHz,而同期intel至强系列芯片的主频通常都在2..2~2.6 GHz。

正如题中所问的,为什么在制程落后这么多的情况下,太湖之光还能蝉联超算排行榜冠军呢?这里我们不能以用个人电脑的标准去看超算,超算上运行的绝大部分都是并行科研软件,对浮点数运算能力的要求非常高,复杂的逻辑处理反而涉及的少一些,能够高效的利用多个CPU核心,对CPU频率的渴望自然不像民用计算机那么高。

SW26010的主频虽然不高,但它足足有260个核心,远超intel 志强E5系列的十几二十颗核心。如果不考虑其他参数,2颗1.45 GHz核心的计算能力是可以超过一颗2.6 GHz 核心的。并且随着主频的增加,CPU功耗的上升是不断加速的,因此低频+多核也有利于性能功耗比的提升,能节约不少运行成本。

比较一下,天河2号用了32,000颗12核E5加上48,000颗61核Xeon Phi,理论计算峰值为54.9 PFLOPS,能耗近18兆瓦,加上散热系统能耗高达24兆瓦。

而太湖之光用了40,960颗SW26010,理论计算峰值为125.4PFlops,是天河2号的两倍多,但能耗反而还要小一些,只有15兆瓦出头。不要小看功率带来的成本降低,按0.5元/度电价算,太湖之光满功率运行一年烧掉的电就价值6700万RMB。

需要注意的是,SW26010属于异构CPU。SW26010的260个核心中,4个是管理单元,负责复杂的逻辑处理,剩下256个是计算单元,负责简单但繁重的浮点计算,有点像CPU+GPU的组合。

异构CPU确实容易把计算能力提上去,但也有一些不好的地方。例如很多代码都是针对同构CPU开发的,需要进行不少修改才能放到异构CPU上运行,这就好比普通的软件不能直接放到GPU上运行,需要对软件进行重新适配。不过近年来异构计算越来越火,软件的兼容性或许在将来能够得到改善。

再有一点就是,理论上2颗1.45 GHz核心的运算能力抵得上一颗2.9 GHz的单核。然而由于核心间需要进行额外的数据交换,并行效率不可能达到100%。往往核心越多,并行效率越低,并且对通信、资源管理的要求也就越高。这一点我了解的不多,就不瞎说了。




  

相关话题

  如何看待 5 月 13 日英特尔十代酷睿处理器价格公布:10 核 i9-10900K 4299 元? 
  最近的芯片荒预计到什么时候结束? 
  台积电近期表示要启动 2nm 工艺研发,有哪些值得关注的信息吗? 
  intel的cpu在AMD锐龙三代的竞争下还会如以往保值吗? 
  萌新求问:这处理器是啥? 
  intel第九代处理器上市,8代有必要升级吗? 
  如何看待阿里芯片「玄铁 910」正式发布?有哪些值得关注的信息? 
  IC和MOS前景对比,哪个更好? 
  目前阻碍数码产品缩小体积、重量减轻瓶颈在哪? 
  为什么没有主板把显卡接口设在CPU的右上方? 

前一个讨论
机核网越做越差了吗?
下一个讨论
英伟达RTX实时光线追踪技术厉害在哪?游戏里不是已经有影子了吗?





© 2024-11-22 - tinynew.org. All Rights Reserved.
© 2024-11-22 - tinynew.org. 保留所有权利