既然神经元的结构非常简单，那么为什么不制造几百亿个模拟神经元来模拟人脑？ 第1页

从近年流行的类脑/神经拟态计算芯片的设计说起：

据说真正领先的Neuromorphic应该在DARPA那边，另外前CIA老板也下海创业做类脑嘛，其中【In-Q-tel】也投资了几家，倘若落地，就降维打击当下主流的概率芯片了。

Neuromorphic的终极理念是把记忆和运算建立在高维连接上，而不是器件上，最终降低运算功耗；所以，已知…记得人脑的常用运算精度不超过4位（对Inference而言），人脑的Training也根本不是概率论的，所以不存在精度问题，以及人脑也不需要那么大功耗。

IBM/Intel/DARPA近年的几个研究项目做到的仅是一块模拟神经元高维连接的电路；记得人脑神经连接已知的有8维，待证明的也许有10几维，退化到准1维就是冯诺依曼了，准2维的大概就是SIMD结构的GPU，但其存储跟运算还是分离的。所以，目前宣称可以流片的那些类脑/神经拟态计算项目，瞎猜的合理路径可能是：脉动阵列+PIM+高维NOC(可能是THz)。

在这个设计路径下，据传Intel已经默默的license了Graphcore，也许不久就会推出脉动加速卡+搭配HBM，那个会是非冯诺依曼结构大规模落地的开端。脉动结构是数据驱动，摆脱时钟的时序，否则高维连接根本造不出来（假设8维连接，你是按8个时钟周期顺序操作吧，这个延时谁受得了）；另外，HBM2是一个时钟周期4次读写，那是仅指processor对memory的操作，瓶颈还有在总线时钟模式，假设你有256个核…；而类脑是志在解决processor对processor的连接，不再经过memory读写，不就近似PIM理念嘛？如下引据一段陈述IBM/Intel的设计：

引据一段* // 去年科技媒体SingularityHub转载过有关 “IBM的近存储的全连接神经网络训练芯片” 的一篇Nature论文，并假想了其类脑/神经拟态的设计思路，披露内容不多，提到了 “IBM Research AI团队用大规模的模拟存储器阵列训练DNN神经网络，达到了与GPU相当的精度；并且展示了在模拟NVM里有效加速反向传播（BP）算法；单独看这个大规模模拟存储器阵列里的一个单元，就是由PCM相变存储器和CMOS电容组成，PCM存放长期记忆（权重），短期的更新存放在CMOS电容器里，之后再通过特殊的技术，消除器件与器件之间的不同（存储一致性）；这种方法是受了神经科学的启发，使用了两种类型的“突触单元”：短期计算和长期记忆；每个单元都对应网络中的单个神经元，既有长期记忆，也有短期记忆，每个单元由一对PCM相变存储器 单元和三个晶体管和一个电容器的组合构成，相变存储器单元将重量数据存储在其电阻中，电容器将重量数据存储为电荷；PCM 是一种「非易失性存储器」，意味着即使没有外部电源，它也保留存储的信息，而电容器是「易失性的」，因此只能保持其电荷几毫秒。但电容器没有 PCM 器件的可变性，因此可以快速准确地编程；当神经网络经过图片训练后可以进行分类任务时，只有电容器权重被更新了，而在观察了数千张图片之后，权重会被传输到 PCM 单元以长期存储。这项研究表明了，基于模拟存储器的方法，能够实现与软件等效的训练精度，并且在加速和能效上有数量级的提高，为未来设计全新的AI芯片奠定了基础。研究人员表示，他们接下来将继续优化，处理全连接层和其他类型的计算。” // 类似的设计在Intel Lohi项目组也披露过。

如上官文，猜想就是“PCM+NOR/NAND”的意思，PCM存变量数据，NOR/NAND存神经神经网络结构；但它是全链接的PIM prototype，所以想必不能改变局部链接做CNN或RNN了；这个中短期的商业意图是为了争夺NV在training市场尚未见顶的TAM，且趋势在向enhanced和无监督方向演进（所以DNN做训练也是必然趋势）。这其中也提到了类脑/拟态的设计元素，不过，链接不能重构，就僵在那里了。所以，这篇Nature说得还是MAC乘法器，PCM存权重，Flash存函数，其中电容型的存储介质也就跟NOR/NAND同一原理；但其存储细节里可能部分接近PIM（猜想就是一颗微处理器单位做neuron，自带存储，对外有高维链接到其它同构neuron）。

这类所谓类脑芯片，距离人脑特性差距大，主要是体现在【单个神经元算力低 vs. 神经元之间通讯的高维度】。但当下和未来一段时间，这些应用类的类脑设计的演进都需要配合PIM的，数学语言可以描述N维，但硬件实施的时候又必须要降几次维，那就给卡死了。另外，像Hinton提出过的Capsule就更晕了，2D+1矢量化，第三维是前两维的微分关系，这样的3维模型，旋转一下... 算法公式看上去是减少了计算步骤，实际硬件可能跑非常大的运算量；想象一个3D的矩阵，倘若twist一下，即使是GPU SIMD方法也是要切片降维，一片一片算完再拼回去；显而易见，还是硬件结构的掣肘，即使是利用分布式高并行也没用，它的主要算量都消耗在解构维度上了。 所以人脑神经元至少8维，且计算无需解构/下降维度；而人脑的信息存储，也不在cell，而在链接，这也许是根本区别。

那是因为你不知道芯片的结构有多简单，建议买一本数字电路入门……