intel怕cpu变成gpu启动器,十分焦虑。在想各种办法优化机器学习性能,虽然说这条路很艰难,但是总是要挣扎一下嘛,看看nvidia的股票,眼馋啊。
linus的主要工作是编译linux内核,自然不在乎浮点性能,还不如多来几个核心。
我觉得有个两全其美的办法,intel还是把研发经费省下来买nvidia的股票吧。
Linus中肯。
假设我是一个程序员,需要进行大量的矩阵运算,目前我有三个选项:
作为普通开发者,怎么看都是1和4最划算。
选择2的大概只有Mathworks和wolframe的人才有时间和精力做这么细的优化。
Intel再往珍贵的半导体上扩展各种SIMD指令集,在真正做整机方案的人眼里来说,都是毫无意义的浪费——哪怕Intel在最鼎盛的时期,打包给服务器卖AVX-512,都没什么人买账,该用GPU用GPU,该用FPGA用FPGA(如果只是大面积部署在自家PCIe上),而广大普通消费者们除了视频编码解码、opengl做点设计以外,几乎再也没有能用的到大量计算的场景了。
从我个人角度看,这无论如何都不是个技术问题,而是商业问题。Intel估算Nirvana的市场有几十亿上百亿刀,现在看起来是自己吹起来、自己又要破灭的泡沫。实际的技术成本不仅要平摊到自己头上,还要平摊到开发者头上——如果双方都有利可图,利益驱动真正花钱的消费者去付费更新换代CPU,那么才是一种双赢。
然而事实是,90%的用户除了看网页、用用office和google docs、收发邮件、视频会议,除了encoding和decoding,几乎连负载稍重的GPU应用都用不到;10%对一些计算有需求的用户,才会考虑用nvidia和AMD的GPU来打游戏剪视频;在全球用户的大基数下,用到CUDA的人已经是凤毛麟角了,真正有刚需去使用各种SIMD的用户是一个极小的基本盘,给他们单独支持部分计算上的优化是一个非常不划算的事情。
市场越小,容纳下的玩家越少,而且越是高成本难开发的方案越容易提前出局,越是入局早、用起来简单、综合成本低的方案越容易提前赢家通吃,不给追赶者任何弯道超车的机会——不要被“AI”吹的泡沫洗脑了,真实的市场远没有那么大。
PS:在评论区杠“为什么不用MKL”的,请回去把第二条再读10遍。
其实就是晶体管怎么用的问题。
大神吐槽,是因为英特尔浪费这些晶体管,使用效率太低。
能用到的程序少,编程困难,有更好的办法(gpu通用计算,异构)解决。不用的时候白白浪费晶体管,浪费功耗。
跑分能用上跑分好看点。
而真正需要高性能计算的场合,它增加的那点性能又干不过专门加速器,很鸡肋。
类似于高性能集成显卡,说没用,它确实快一点,说有用真跑游戏,它没法和高性能显卡比。
更复杂的指令集是需要的,到了一定性能,指令集太简单,传递信息太少,不利于性能增长。
但是AVX512这种是不太需要。
现在CPU的发展到了一个十字路口,Intel和Linus在这里出现了分岐。
半导体工艺从十多年前的90nm到今天的7nm,CPU主频从4GHz艰难的提升到今天5GHz,十多年来也没有再出现新的能大幅提升CPU IPC的技术——除了SIMD指令。
SIMD全称是Single Instruction Multi Data,单指令多数据。顾名思义,就是一条指令同时处理多个数据。对于现代CPU来说,单条指令需要经历多个处理过程,包括指令预取、解码、分支预测、乱序重排、数据加载、发射、执行、数据回写等。除了必须的执行步骤外,其它的额外步骤都需要消耗一定的功率。而现代应用中,又往往会对批量数据进行相同的处理,如果每个数据都用一条指令进行处理,速度慢并且需要消耗更多的额外功率。SIMD很好的解决了这个问题。
二十多年前上市的奔腾MMX的MMX指令集,就是SIMD指令集,一条MMX指令使用FPU的80bit寄存器中的64bit,可以同时对八个Byte、四个Word或者两个DWord数据进行处理。从Windows 95开始流行的各种多媒体应用,例如图像/视频处理,CPU需要对大量的像素数据进行处理,而每个像素都包含3个字节的RGB数据(或者4个字节,加上透明度),使用MMX指令处理非常高效。除了像素数据外,3D游戏中的三维坐标、音频应用中的大量采样数据同样可以使用MMX指令进行加速。
从MMX开始,奔腾3时期引入的SSE指令集,数据宽度提升到128bit;第二代Core引入的AVX,数据宽度提升到256bit。每次宽度提升,性能都是随之翻倍的。然而,MMX直接使用了80bit的FPU寄存器中的64bit,对CPU整个流水线几乎没有影响;SSE的128bit相比80bit增加了48bit宽度还算可以接受。AVX的256bit,整个CPU的数据通道比80bit增加了三倍多,需要消耗三倍的晶体管,功率也增加了三倍。因此在严格限定功耗的场景如笔记本或者服务器中,CPU运行AVX应用时需要降低频率从而降低功耗。
此外,加宽的SIMD指令对于程序编写也是一个挑战。绝大部分应用中,数据通常使用8-64bit。事实上64bit的使用也不多,大部分应用使用32bit的Int或者单精度浮点数据足以满足业务需要。256bit的AVX指令,意味着一组8个32bit数据才能达到最高效率。而实际业务中很少应用需要使用四维以上的矢量数据,需要对数据结构进行重组才能充分发挥CPU性能。
如果说Int64/双精度浮点用到的场合还是不少,AVX的256bit宽度还是有其必要性的话,那么AVX-512的512bit宽度的存在意义就很有争议了。对于以Linus为代表的广泛程序员群体来说,不管是64bit以上的数据,还是4维以上的矢量数据,使用场景都是极其有限的。只有高性能计算或者一些非常罕见的高维矢量应用能从中得益。但CPU为了支持AVX-512指令集,消耗了大量的晶体管,更宽的数据路径也意味着或者需要降低CPU频率,或者更多的流水线级数,都会降低CPU性能。我想这是Linus反对AVX512的主要原因。
当然,这是现状。事实上现在各种AI应用正在兴起,新的AVX512-VNNI指令对于加速AI推断还是非常有效的。但对于AI推断来说,使用GPU效率更高,虽然代价是更高的成本下限——GPU和显存都需要付出更高的额外成本,不利于硬件生态的普及。另一个解决方案是CPU集成独立的NPU单元,这在手机平台上是主流方案了。
CPU+AVX512、GPU、NPU三个方案都各有所长也各有所短,在桌面平台,到底最终哪个方案胜出,我只能说,如果Intel的10nm工艺没有难产,在2016-2017年按时推出的话也许AVX512能普及开来,但2020年的今天,Intel在桌面、服务器都还在用14nm续命,AVX512真的前景堪忧。
说下对于AI,其实就是神经网络的推断与训练任务,大概没人会指着Xeon能干啥,当然Phi和FPGA也少有人折腾。Intel对桌面Xeon的AVX512在神经网络任务中的用途很明确,低Latency推断,然鹅,实际应用时候大部分都是Batch推断,而且也不在乎几十ms的延迟,AVX512用途不大。在训练时,指着这个SIMD加速预处理也不太现实,不如直接堆核心来的高效。
对体系结构而言,引入AVX512由于可以同时处理更多的数据,这样cache的带宽和大小都需要增加,无论AVX512的Offset,这的确限制了主频的提升。对于有科学计算,数据能挖掘出ILP这部分的确有用,但是ILP挖掘对于普通用户常用的软件已经很难了,俺还是觉得与其折腾这个不如直接堆核心来的省事。也就是Linus说的堆很多性能不错的核心。
曾经有段时间我一直觉得对我们臭打游戏的,如果intel出原生没有AVX,只到SSE42,8核心5G不带HT(八心八箭)的奔腾就够了,当然最近把AVX这个需求加进去了。
不需要,我已经几乎两年没用过有线充电了。
把常用场合都部署好无线充电以后,真的不用操心换手机换充电器之类的事情。
其实很简单的一个问题:取消耳机口之后,各位是改用L口耳机C口耳机,还是改用无线耳机?我曾经以为会普及L口或者C口耳机,然而现实就是无线耳机开始普及。
无线充电座普及之后,由于它没有插拔,所以她的寿命其实远比手机要长。
--
所以,如果你没有无线充,强烈建议你尝试无线充。
你以为SoC性能大幅度提升会给手机带来变化,其实并没有,毕竟今天手机性能已经是几年前的十倍了。而手机,并没有发生什么变化。。。除了越来越厚,越来越重以外——
但是,手机能无限的变厚变重吗?按这个趋势发展下去岂不是人均一个能砸核桃的板砖???我不信这是正常的发展趋势。
当然了,要说变化,还真有,不过与手机没关系:因为A系列性能大幅度提升,苹果开始考虑将A系列处理器安装到电脑上了。
所以,手机处理器性能继续提升,一定会威胁台式机处理器的地位。但不会威胁台式机本身的地位,也不会对手机本身有什么改变。
因为手机的特性本身(无风扇,续航受限,散热受限)决定了它有多高的性能都不可能发挥出同时代PC的水平。PC在同时代一定可以通过更好的散热更好的续航实现更好的性能。
所以,如果手机性能大幅度提高而台式机原地踏步的话,那么,台式机将来可以搭载手机的处理器,性能更强。
现在是一个全民健身的时代,相信很多人都跑过五公里,五公里跑分两种性质:一种是竞赛类,另一种是健身运动类。而竞赛类一般都会有专业的教练老师去指导,并且非常科学合理,方式方法分类的特别详细。非竞赛类跑步者绝大部分是遵循所了解的比较狭隘的方法去运动,如果你去问一个非竞赛类的跑步者怎样提高五公里速度,或者怎样提高配速,估计很多人都不是很清楚。
我比较系统地训练过两年多的五公里跑,因为有专业的老师指导,速度一般保持在17分钟左右,配速一般是3分30秒,其实五公里并不是跑的越多越好,跑的多了反而会适得其反,导致一些不良的拉伤扭伤,会不同程度上磨损半月板。利用一些时间整理出一套可以提高五公里配速的方法,与朋友分享,希望能够帮的上你。
小腿是整个身体的支撑。练好小腿的力量,能够不断输出力量。
1、跳绳:如果你是一个新手的话,想要锻炼小腿的力量,那么跳绳是最好的。跳绳不占场地,有一根绳子就能跳了。每天1000个。
2、深蹲:如果你想要锻炼你的小腿力量的话,那么可以深蹲。如果你觉得力量不够,可以一边举铁一边深蹲。
3、半靠墙:如果想要训练小腿的力量,那么你可以尝试半靠墙这个动作。保持深蹲的动作半靠在墙上。
如果说小腿是整个身体的支撑,那么大腿是起着带动小腿的至关作用。
1、蛙跳;蛙跳可以在平地跳,也可以在楼梯里往上跳;其方法是将双手放在后背,或是双手抱头,跳的时候最好是将脚后跟踮起,尽量跳高,跳远,跳的过程中要调整呼吸节奏,以30个为一组,进行多组训练。
2、篮球场上往返跑;以篮球场篮筐一头的边线为起点,第一次往返以半场的三分线为终点,第二次往返以中线为终点,第三次往返以另一个半场的三分线为终点,第四次往返以球场另一头的边线为终点,四次往返要全速跑且要一次性完成,进行多组练习。
3、深蹲起跳;站在原地,将双手抱住头,下蹲时,要蹲到底,往上跳时,以最快的速度爆发往上跳,越高越好,以每组50个,进行多组练习。
4、肩上负重上下蹲;将杠铃平衡的扛在肩上,杠铃的重量根据自己需要配置,当下蹲时,速度要慢,下蹲到大腿与地面平行;当上蹲时,速度稍微加快,可以提高大腿的爆发力。
以腰腹部为中间点,下半身为力量型,上半身多为协调型
1、卷腹
平躺在瑜伽垫上,屈膝,双腿分开与肩同宽,双脚踩地。双手可以扶在耳侧,或者提高难度,双手交叉抱于胸前。保持双腿放松,用腹肌的力量抬起上半身到30度-45度之间,在最高处停留一下,再缓慢回到初始位置,注意感受腹肌的发力。卷腹时呼气,下落时吸气。
2、悬垂举腿
握住单杠,让身体与单杠垂直,双脚并拢。收缩腹肌,屈膝向上抬腿,直到大腿与身体呈90度,停留一下,控制双腿缓慢恢复原位。抬腿是吸气,放下时呼气。
有一个正确的跑步姿势和正确的摆臂动作,在运动过程中能够起到事半功倍的效果
头部:跑步时应该目视前方,头部保持水平,这样才能很好地缓解脊椎的压力,防止脊椎受力过大而造成的疲劳损伤。
手臂:跑步时手臂应该前后摆动,这样才能很好的带动我们的身体,节省身体的能量,让我们跑得更快更远。
腹部:跑步时,应该挺胸收腹,让身体保持在一条直线上,不要弓腰塌背,否则很容易造成脊椎压力过大,导致脊椎受伤。身体上半部分应该稍稍向前倾,这样可以让我们跑得更加省力,同时也可以很好的减少落地时的冲击力。
腿部:跑步的时候大腿应该带动小腿,这样才能很好的缓冲,从而减轻膝盖的压力,防止膝盖受损,步幅自然有意识地稍大一点。
脚踝:跑步时脚踝一定要活动起来,千万不能太硬,防止脚踝受损,脚踝扭伤。要用脚踝的活动性来带动足弓,从而进行缓冲。
脚部:落地时应该用足弓来进行充分的缓冲,最好前脚掌着地,这样可以很好的利用脚部吸收落地时的冲击力,这样可以最大限度的保护好我们的膝盖!
梁思申家庭,从剧中的暗示来看,应该是49年之前的上海工商业者。他们家至少他父母这一支还算是爱国的,49年之后并没有跑路而是留了下来,属于政治上靠得住的工商业者,文革之后被国家启用。
这样的家庭基本上在海外都有亲属,改革开放之后才重新联系上,这也是梁思申改革开放之后选择移民国外的原因之一。
梁思申自视甚高,她说自己没有歧视,但宋运辉说得对,她就是歧视了。她确实想促成中国的发展,但另一方面她心里已经内化了西方资本的逻辑,她认为中国要发展,做西方的附庸就是理所应当的。她并不知道,也没想过,为什么重点国企必须由中国掌握控股权的原因,也不在乎,只要她能完成这笔投资,受到老板的表扬,她的价值就实现了。
剧中对梁思申这一路人的小心思写的是很好的。这就是改革开放中华人华侨的真实想法。
她和宋运辉的矛盾,不是谁和谁斗气,或者性格冲突,而是根本立场不同。对梁思申来说,单子能谈成,中国市场开拓出来,她就实现了自己在美国人中的价值;但是对宋运辉,他就必须考虑中国化工几年甚至几十年之后的长远利益,为了这些利益,政治底线是不能退让的。
梁思申说自己受了歧视,实际上和宋运辉说的歧视并不是一回事。梁说的,是她作为美国华人所受到的种族歧视,这种歧视,宋和大部分中国人当然没有体会,也没有理由就要体会。毕竟梁还是要在美国社会混的,宋和大部分中国人不需要。
宋说的歧视,则是西方大公司利用自己的优势地位,并不把中国当做平等的合作伙伴,而是趁机控制中国的经济命脉。这点,梁实际上是不在乎的。毕竟,就算控制了又能怎么样?梁还是吃香的喝辣的,大不了回美国去。
对吉恩一路人来说,梁当然就是个工具。毕竟买办永远也不可能和老板真的平起平坐。
当然,梁思申并不坏,我相信她主观上也是想为中国好的。但是她长期受美国的教育,认为中国处处落后,美国的一定先进,所以自己有先天的权力去决定东海应该如何如何,还自以为是为中国好,实际上就是个二鬼子。
宋运辉也不傻,这点他肯定早就看透了,但是为了合资,一直到吃饭之前都没捅破。宋也一直在和日本还有其他公司联系,该摊牌就摊牌,可见也没有对梁这边报不切实际的希望。
大结局了补充一下:最后两集说明梁的层次还是比宋差远了。她以谈判为要挟,不仅救不了宋,而且会让上级部门更加怀疑宋和梁有不正当的交易。她以为靠自己就能扳动洛达,靠一个洛达就能改变党的组织原则。而她实际上就是个工具人,不可悲么?
最后她和宋的谈话,宋对她是大失所望的。本来吃饭的时候,宋以为她回来投资是为了帮助中国的建设,结果因为她自己的一点私心,说不投就不投了。她看得上的人就行,其他中国人统统不行。我相信随着改革的深入,梁思申这种人如果不改变自己看问题的方式,会走到完全西化派的路子上。
克劳备忘录也好,凯南电报也好,有两大共同点。首先,都是以现实主义的眼光去分析双方的关系。然后,给出的建议都是阳谋,并不是什么不可告人的阴谋,执行起来需要的不是鸡鸣狗盗的小聪明,而是惊人的意志力。
而美国现在战略界现实主义被边缘化,我推测,布热津斯基,基辛格那帮人应该写过不少。不过没所谓,美国能执行大战略的时代过去了。现在这一代精英上半年能管下半年就已经很了不起了。一个需要两代人以上持之以恒去完成的大战略,搞出来他们也执行不了。
冷战时期,从杜鲁门艾森豪威尔到肯尼迪尼克松,最后到李根老布什,个人性格和政治偏好差距不要太大,但是都忠实地完成了他们历史任务,沿着围堵政策做下去。这种战略定力和延续性,世间少见。在中国领导集团上能看见一些相似的东西,但是我们离得距离太近,反而看不清。但在美国精英层身上完全看不到这一点。
个人愚见。