Kirin 990 终于来了。
本次发布会亮点颇多,从开幕演讲,到把华为比作黑天鹅,再到Kirin 990 发布,几乎贯穿全程。一句话总结5G和AI:物联网已经成为现实,AI将会成为未来。
这里只能介绍几个我非常感兴趣的地方:
1. Kirin 990 5G版性能
如果我们把目前未发布和已发布的5G SoC 方案和外挂5G 基带方案做对比,大约可以有这样的图表。
对比Kirin980 , 990 的CPU部分依然延续了2*A76超大核、2*A76大核加上4个A55小核心的设计,重点是提升了频率,降低了功耗。虽然A77没有到来让人有些失望,但是现在的配置与业界主流旗舰芯片相比,单核性能也提高了10%,多核性能提高了9%,能让手机更加流畅。
GPU 部分从原本的10核心Mali-G76 上升到16核Mali-G76 ,疯狂堆核。
制程也采用了台积电最新的7nm LPP EUV工艺。
这些毫无疑问都是Kirin系列的大幅度升级,具体的对比可以详细研究上图。
Kirin 990 历史性的进步:它是一款5G SoC芯片而不是外挂基带。5G SoC方案和外挂5G基带方案对比,所带来的优点是芯片占用面积的降低,让手机中有更多设计空间来放置其它模块。这也算是商用速度非常快的5G SoC了,如果抛弃一些厂商不成熟的抢发和ppt等行为(请看上表中的一系列未知),那么Kirin 990可以算得上首个发布的5G SoC解决方案。发布会上说的是,麒麟990 5G是全球首款旗舰5G SoC芯片,因为E家定位并不是旗舰手机。
其实吧,我觉得是不是第一也没那么重要,能不能用得上才重要····奈何很多人觉得第一名头就响····
内置5G模块里,Balong 5000 的SA/NSA,TDD和FDD频谱支持(FDD频谱主要是600~800MHz之间的广覆盖和多播频谱)也延续了下来。现场公布移动测试速度1700Mbps左右。这一代的Kirin 990和其它都没有提到毫米波,看来大家都觉得毫米波暂时用不上。
新的Bandwidth Part(BWP) ,看起来像是自适应修改了5G单载波带宽,从而降低待机功耗。
2. NPU中新的大小核设计
Kirin 990 另外一个有意思的地方是,这次内置的NPU采用了和CPU相似的大小核设计 (Ascend Lite *2 + Ascend Tiny),也就是异构多处理器结构。
对于通用计算单元来说,大小核设计的优点很明显:可以同时兼顾计算能力和功耗,高性能应用可以启用大核,功耗更高,低性能应用可以调用小核,具体Linux和ARM都有相应的切换工具[1]。
对于NPU这种神经网络专用计算单元,大小核心分离,大核性能提高可以让视频、图像这些计算机视觉应用处理速度更快,以前做不到实时处理的一些处理,现在能做到实时(现场的实时AI P图还是很震撼的);小核可以在平常运算中带来功耗降低。
但是带来的问题是,ai相关的应用有没有那么多计算任务需要去切换?以及怎么区分高性能和低性能应用,来调度大小核心?
对此华为给出的答案是有,他们认为人脸识别这种日常应用属于低性能应用,并不需要调度大核,而图像增强、目标识别、视频分割这些属于高性能应用,可以通过调度大核来提高计算能力。剩下的就是核心调度算法的优化问题了。
在NPU单元做大小核心分离,从而降低 低计算力场景芯片功耗尚属首次商用;如果我们放眼未来,大小核带来的功耗和性能优势会随AI应用越来越多而越来越显著。
目前,华为的AI-API已经被调用1.6万亿次,这或许就是开头说明AI是未来的原因。
3.图像去噪和BM3D
BM3D算法及其分支是传统图像去噪算法中极其强大的一种,接近图像去噪的理论界限[2],让图像去噪算法进展停滞了数年[3],这毫无疑问是图像去噪领域的里程碑式算法,即使是现在,虽然深度学习可以通过训练集训练得到非常好的先验知识指导去噪来获得令人震撼的效果,但是个人以为,以有先验建模/训练的去噪算法(e.g. sparse coding/deep learning based)和基于传统信号处理的去噪算法(NLM, BM3D, PID etc)对比,依然是不太公平的。
从芯片角度,手机SoC(System on Chip)一般包含CPU(中央处理器)、GPU(图形处理器)、ISP(图像信号处理器)、Modem(调制解调器)。在ISP处理流程中,图像去噪是非常基础也非常必要的,也是更进一步图像增强的基础。也正是因为图像信号在从相机获取和传输过程中都会不可避免的受到噪声污染导致图像质量退化,对图像的后续处理会产生严重影响,所以手机/相机/摄像头拍摄都要经过denoise单元。
最简单的图像去噪方法是均值滤波,简单说就是把像素周围的临近像素加权之后求平均(这是一种空域算法)。但是,我们一定要用临近像素吗?
并不一定,自然图像中有一个重要的特性叫做非局部相似性,如果用过PS的同学应该有注意到,我们总能找到图像中某些相似部分,比如窗口位置粘贴过来放在其它的相似窗口部分,通过这种粘贴操作,去替换掉某些被破坏的像素或者污渍。
那么如果用图像中其它、不相邻的相似区域来做加权平均,可以得到比简单的均值滤波更好的效果。这就是鼎鼎大名的去噪算法NLM(Non-Local Means)的基础思想:先寻找相似块,然后均值滤波。
发布会中提到的BM3D[4](Block-matching and 3D filtering,3维块匹配滤波)可以当做NLM的升级版,不一样的地方是BM3D找到相似块以后所做的不是简单的均值滤波这种空域处理,而是通过小波变换,把堆叠之后的相似像素块转换到变换域(就是发布会所提到的频域)。
再通过阈值判决或者维纳滤波等最佳线性滤波器,获取最终的像素结果。BM3D的性能之所以那么好,也正是因为block matching和3D filtering这种空域+频域滤波结合的思想。
所以,因为BM3D需要通过block matching搜索全图(或某个大范围局部区域)找到相似块,再利用小波变换、维纳滤波等方式才能最终找到去噪后的图像结果,所以会大幅度提升图像处理结果(性能在现在的一堆实验室算法中也算得上state-of-the-art),但是会大大增加算法的计算复杂度。
其中block matching这一步尤其耗时。
大概耗时到什么程度?
官方公布的程序[5]中,用BM3D matlab程序在桌面i7(@3.6GHz,16GB RAM)平台处理5百万像素图片大约需要40-50秒(现在手机相机大约都是1-2千万级的多个摄像头)。为此专门有研究人员开发了GPU加速版本 BM3D[6],在GTX980平台上处理速度能达到5s以内,这是普通用户可以接受的水平。
当然,强调一下以上实验中搜索范围和相似度都采用的是平均水准,并不极端,而参数选择也会影响到BM3D算法性能[7]。现在单反中是有用到BM3D的,但是对应的ISP芯片算力没有找到具体数据...
实验室算法从实验室到工业化,其实本质上是一个效果和运算复杂度之间的平衡和优化问题。 所以,发布会声称麒麟990可以在mobile SoC中的 ISP(面积应该不会很大)里实现了BM3D算法,且能用的话,这是一件相当厉害的事。
目前mobile ISP中用到比较多的是多帧图像去噪,计算压力没有block matching那么大,属于另一种技术流派,和BM3D这种单帧去噪算法可以联合使用提升效果。深度学习系的去噪算法目前大多不算在ISP这种传统图像信号处理模块里。
结合发布会上对「双域视频降噪技术」的描述(这个听起来不太可能是VBM3D),猜测华为可能是在ISP硬件设计或者是和GPU/NPU这些模块的联合调度中取得了大幅度突破,希望可以公布具体做法。而BM3D的成功应用,当然会给相机成像质量带来提升。
总之,这款Kirin 990 SoC不论是从CPU、GPU、ISP、5G Modem、NPU还是内置图像算法,单项对比都已经站在现存SoC的高峰,相信两周后带有Kirin 990的Mate 30手机会非常值得期待。
完。
相信很多人在看直播的时候都被这个功能吸引了吧,就是可以通过视频实时监测心率数据。
监测心率 https://www.zhihu.com/video/1153356835909279744那么也就是说,以后你第一次和喜欢的女生见面,就可以通过华为手机监测对方见到你后的心率变化。
如果心率没啥波动那你就该放弃了
目前来看,这颗SoC的槽点基本上就集中在了CPU沿用了A76而不是最新的A77,作为对比,昨天三星发布的中端集成5G模块的SoC Exynos 980则是采用了A77,这个对比其实蛮鲜明的。
第二个槽点是GPU上,依然沿用了G76,而非G77,这两点应该会在未来成为990最大的槽点和被诟病的对象,尤其是麒麟990的对手不是骁龙855,而是骁龙865。
不出意外的话,麒麟990的待遇会和980一样,抢先高通半年,在865到来之前成为业界亮点,但在865发布之后,有会存在性能不足的问题,不过这也算是业界常态了,百花齐放,各领风骚才是业界的健康状态。
CPU继续沿用了A76的微架构,但主频得到了相应的提升,相较于麒麟980,大核心主频从2.6GHz提升到了2.86GHz,高于骁龙855,但低于855plus,且为2颗大核心,在EUV工艺下,这意味着,这颗SoC的CPU部分性能理论上是优于骁龙855的。
990和990 5G的区别不大,但依然有一定的差异,CPU上都是采用2+2+4的配置,990的中核主频从2.36GHz降到了2.09GHz,小核心从1.95GHz降到了1.86GHz,二者的CPU表现会有一定的差异,但差异会很小。
GPU上,华为虽然沿用了G76的微架构,但核心数堆到了16颗,远高于麒麟980的10颗,华为未公布GPU核心的频率,总体表现还需要真机验证,
在发布会上,华为重点介绍了5G和NPU部分,关于NPU,华为创造性地采用了大小核的方式,这在CPU设计中非常常见,在SoC的NPU部分尚属首次,随着手机端AI应用的不断发展,AI性能对于手机应用体验的影响会越来越大,但到现在为止,其影响依然处于甜点范畴,无法成为CPU和GPU这样的核心位置。
ISP上华为表示会有大幅度提升,这个我个人认为意义重大,对于手机端来说,相机的硬件素质是有上限的,受限于体积,手机相机CMOS画幅和镜头尺寸无法无限制增大,小米此前号称会应用1/1.33英寸的超大cmos,这的确是业界值得期待的东西,但随之而来的,包括镜头体积,对焦模块性能,光学防抖模组研发,等等,都存在巨大挑战,以及厚度,这都是需要解决的问题。
大底其实不难,中画幅都已经实现了电子化,难的是在手机的体积要求下做进去。对于手机来说,相机硬件天生是受限的。当然,对于手机相机来说,硬件只是一部分,还有一部分叫做算法。而isp是算法运行的关键,所以也就成为了各家竞争的焦点。
以及,990 5G在SoC上封装了5G基带,且会迅速量产。集成5G基带也许不是新鲜事儿,比如Exynos 980在昨天就宣布集成了。但二者的不同之处在于,Exynos 980能够抢在年底之前实现出货就不错了,但990的出货时间节点很可能是这个月末,这中间有三个月的时间差。
这很重要,在当前的时间节点上,时间就是生命,在5G普及的黎明,谁能抢占先机,谁就能在未来很长时间里掌握主动权。
集成5G模块的好处是显而易见的,减小体积,降低功耗,给主板留出更多的位置以容纳更多的元器件,或者减小体积,降低产品厚度。
未来mate30系列最直接面对的竞争对手是三星galaxy note10系列,以及iPhone 11系列,note10依然选择的是外挂基带,这在性能和功耗上是天生弱势的,至于中国区外挂的骁龙X50不支持SA更是致命伤,所以7999起售的note10+我很怀疑是给mate30pro铺路的。
以及,iPhone,接下来的一年里,也许是华为终端这么多年里形势最好的一点,也大概率是苹果过去十年里表现最差的一年。
十年前,iPhone4发布,苹果吹响了智能手机普及潮的号角,和一代巨头诺基亚的丧钟,十年后,苹果的处境也许没有当年诺基亚那么艰难,但也不会好过,尤其是到明年五月份之后,5G能够得到真正应用的时间节点上,苹果至少在中国市场估计完了。
当然,麒麟990最重要的竞争对手既不是苹果,也不是三星,依然是明年初发布的骁龙865,但在颗SoC大规模出货之前,华为会有大约半年的极佳的占领市场的窗口期,拿骁龙855+去打麒麟990,尤其是集成5G基带的990 5G,这会比拿845打980更惨。
这种芯片上的劣势会很快传导到终端上,高通系的品牌在高端市场的表现,至少未来几个月会被华为打得抬不起头来,包括三星note10+,小米可能的mix4,以及,NEX3和OPPO的新品,都会很艰难。
不过对于各家来说,华为这次发布的是990系列而不是990,这是一个大的利好,这说明即便是华为,也同样认为5G的真正普及还为时尚早。
我猜测,包括mate30系列在内,华为下半年的出货量主力大概率还是以4G为主,5G会有,但不会真的取代4G,如果是这样,那么这个半年的窗口期其他厂商可能还不会那么难过,度过这半年,只要骁龙865不出乱子,高通系品牌还是有机会的。
至于苹果,烧香吧,几天后的发布会在欧美玩玩就行了,中国市场基本完蛋了,不出意外,2019年四季度,5000+价位的绝对高端市场,苹果就要让位给华为了,川普对华为的打击加大了其在国际市场,尤其是在欧洲前进的难度,但其神助攻也基本断送了苹果在中国这样一个全球最大的市场的未来。
这或许是库克接下面面对大中华区的时候,最难过的一点吧?
有5G才叫高端呢,这会是接下来一年里苹果最不想听,却也不得不听的一句话。
跟着我念,有5G才叫高端机呢!
990依然不够完美,但显然,他当得起这么一句评价——华为,牛逼!
注定麒麟990 5G SoC会成为今天全球的焦点。我估计这个题目下大部分答案都会围绕AP(应用处理器)展开讨论。我的文章分为三个部分:
1. 从5G发展和无线技术看麒麟990和华为端到端生态的加强,这是最主要的的部分,因为从事5G业务市场工作也快一年了,从两个载波都上不去的早期产品到现在1000Mbps下行随便跑,这一年经历的太多。
2. 麒麟990架构简单评价,这个部分应该有更专业的人士来解读,我就简单谈谈我的看法。
3. 麒麟990及后续产品对5G换机潮市场格局变化深远影响。
一、华为进一步完善了5G端到端通信布局,率先提供旗舰级SoC
目前的行业共识是这样的:手机和终端产品可以做各种各样的创新,但是在解决5G端到端通信上,目前的外挂基带终究是一个从零到壹,对运营商布局5G战略能起到推动作用,但不可能成为成熟行业方案。我从2019年1月开始,逐步接收了所有5G终端厂的系列测试机,无一例外全部是外挂基带。从大环境来说,因为不可抗拒力,我们的5G建网进度被提速了整整一年,这对于华为、高通、三星以及OPPO、VIVO等终端厂来说都是无法预料的事情。在我们讨论华为的B计划时,运营商和终端厂们的B计划也在接连启动,外挂基带的终端(手机、CPE和智能产品)在这个尴尬而关键的时刻,是中国5G进程的顶梁柱。
外挂基带的好处很多,最大的好处就是能快速拿出适应市场需求的产品,比如首发的华为Mate20X 5G和vivo的iQOO Pro 5G、中兴的天机10Pro 5G。是他们撑起了中国的5G进程,没有这批过渡期的外挂基带5G手机,中国老百姓想实际体验到5G应用和5G网速,那得半年后,且运营商的网络优化无从谈起。所以对于这批过渡期的顶梁柱,我们要表达敬意,正是它们,让用户知道了什么是5G。
但是外挂基带的坏处也很多,一个显而易见的坏处就是目前的5G外挂基带对设计紧凑型手机是个很大的障碍。且外挂基带的功耗,基站寻址的速度,效率,都非常差,网优难度也很大。在实际工作中,我经常遇到载波掉落或者锚定失败的问题。种种迹象表明,外挂基带不可能是中国5G的未来,这是业界共识。
使用真正的5G SoC设计与制造终端,是所有终端厂的需求,甚至有些大厂为了这个梦想已经提出了C计划力求一战定乾坤。而在此时,华为超出我预期的正式发布了旗舰级的5G SoC 麒麟990(前两天三星发布的猎户座980我会在最后的市场分析里简单说两句),这不但是华为最近一年的定海神针,也是给整个中国5G产业链打的兴奋剂。
从技术上来说,麒麟990将彻底解决NSA网络中因为锚定基站小区拥塞或者干扰导致的控制信令不正常或者锚点掉落问题。目前中国5G NSA网络的锚点频段有两个,一个是1800MHz的FDD Band3,一个是1900MHz的中移动独有频点TDD F Band39。无论是麒麟980+Balong5000,或是骁龙855Plus+X50基带,一般只会选择FDD3作为锚点。当FDD3信号较弱或者拥塞的情况下,会出现大量的锚定失败错误或者5G载波上不去的情况(目前Option3X NSA基站能支持5-8个下行载波,理论速度在1000Mbps-1600Mbps)。麒麟990彻底解决了这个问题,它具备自适应接收器,会根据5G信号强弱自动选择最优网络,实现稳定的5G联接,下行速率在SUB-6GHz 可实现2.3Gbps。针对上行网络,麒麟990 5G使用上行分流设计,在视频直播、短视频上传等应用场景同时使用5G和4G网络,上传理论速率达到1.25Gbps(目前NSA实测上行速度一般在100Mbps上下)。当然,端到端解决方案里同厂商方案一般具备一定的速率优势,麒麟990在华为BBU+AAU的基站方案上相对其他供应商会具备天然的速度和稳定性优势。
麒麟990对于华为和运营商来说,最大的意义是重新评估5G SoC在NSA网络中的性能与适用性,为接下来其他厂牌的5G SoC提供网络优化经验,对运营商智能分配网络资源提供参考依据。同时,麒麟990作为第一代5G SoC终端成熟解决方案,也将是SA网络前期唯一可用的成熟方案,对SA的建设和快速成熟会起到积极作用。
这么说吧,之前的外挂基带们如果说是中国5G终端进程的铺路石和指路明灯,那么麒麟990就是真正打开中国5G时代大门的那把金钥匙。这扇门打开之后,尘归尘,土归土,激荡且残酷的5G换机潮正式拉开大幕。
二、强悍的双超大+双大+四中AP架构力保5G时代的终端性能
部分花粉预期的麒麟990 AP架构应该是四颗A77+四颗A57+MaliG77架构。这次麒麟990采用的稳健的A76+MaliG76MP16架构,台积电7nm EVU+工艺,集成103亿晶体管。四颗G76采用的是2超+2大组合,类似于骁龙855的1超+2大组合。其中两颗高频A76核心为2.86GHz,5G SoC的中高频A76是2.36GHz,4G版的SoC中高频A76是2.09GHz。从架构上看,麒麟990是要超过骁龙855 Kyro485不少的。实测效果,华为在发布会上给出的结论是这样的(如下图):
GPU方面,采用的是目前Mali系列中量产最强的G76MP16,虽然很多人期望值是G77。实际怎么样等到Mate30Pro到手实测一下就知道了。
此外,让我最感兴趣的是ISP得到了进一步增强。在目前这个光学不够算法来凑的时代,ISP对成像起到了决定性的作用,甚至超过光学性能本身。比如P30P的潜望镜长焦模组,因为通光量太小导致实际光学性能局限性很大,需要ISP做算力基础才能获得满意的成像效果。而在5G时代,可以预见到更大尺寸,更高精度,更大码率的图片与视频会成为用户互动的日常。这些素材对ISP的计算速度和图片/视频质量优化能力提出了更高的要求,构建更强的NPU+ISP一直都是华为、高通、三星、联发科等AP设计商们最近一年来的主要努力方向。麒麟990的ISP 5.0能在手机芯片上实现双域视频降噪技术,针对视频中的高频、中频、低频噪声混合的场景,增加频域降噪过程,重点针对噪声进行精准分离处理,暗光环境下拍摄的视频更加清晰。首次在手机芯片上实现基于AI分割的实时视频后处理渲染技术,对每一帧视频画面色彩精心调色,把光学不够计算来凑的能力提高到了新的境界。
三、麒麟990 5G SoC解决方案对市场的影响
这场发布会我其实只关心5G无线解决方案和对市场格局的影响,AP的性能基本是个水到渠成的东西。如果麒麟990性能不翻车的话,那么可以说在无线能力上领先市场一年,在AP性能上领先高通和三星小半年(假设骁龙865也是一款真正的5G SoC且采用全新的Kyro架构的前提下)。
前两天,三星发布了猎户座980,这是一颗非旗舰5G SoC,市场定位在目前骁龙730G和麒麟810以上,低于麒麟990与骁龙855+,是年底一波3000元价位5G双模双待手机的首选。时间过得很快,华为在9月19日正式发布基于麒麟990 5G SoC的Mate30Pro,从此刻开始,5G SoC将鸣枪手机行业,预示着比4G换机潮更加残酷的5G换机潮战争开打。换机潮是什么?就是别人有的你没有,那你就得被淘汰。5G换机潮的前期,华为能够提供旗舰级的5G SoC,三星和联发科能够提供中高端的5G SoC,高通和苹果的故事还没开始写(今晚高通也官宣了7系5G SoC并且由OPPO首发的消息)。
在这个复杂而残酷的时刻,Mate30Pro使用麒麟990这只是开胃小菜,接下来半年华为有可能全系5G这才是大事。而华为全系5G,其他竞争对手能否全系5G,诸位5G SoC供应商能否跟上运营商的节奏和消费者的需求,会直接让手机品牌进行一次大洗牌。就目前来说,非华为体系的品牌已经有不少先知先觉者在做B计划甚至C计划,他们都是从3G换机潮,4G换机潮的血战中活过来的,面对5G战争,无人敢掉以轻心。
所以,如果说麒麟990是开启中国5G时代的金钥匙,那么,这个伟大的时代,还需要大家一起来努力构建。这是个最好的时代,人一辈子能看到几次这样的变革?更何况这次是由中国产业链和中国运营商,中国终端厂商主导的变革。大浪淘沙,可能很快还会有一些品牌彻底退出市场,但也会有一些新的牌子和新的机会借助5G的力量崛起在这个行业里,无人能够独大,一个有序良好的竞争环境,只能让华为们越来越强。祝福华为,祝福中国产业链,加油!
没见过这么骚的人,没见过这么快的剑。