GPU 与 CPU 比较，为什么说 GPU 更适合深度学习？ 第1页
1
superbrother-58 网友的相关建议:
深度学习模型里涉及大量的矩阵（张量）运算
这里简单分析一下CPU、GPU如何进行矩阵乘法运算
对于 维的矩阵 ，
以及 维的矩阵
在计算两者乘积的结果 时， 中任意一个元素的计算公式为：
据此可以看出 中每个元素 的计算没有关联性，也就是说可以同步并行计算。
如下图所示，CPU好比有几个或十几个“高性能的小计算器”（CPU的核心），而GPU好比有成千上万个“普通的小计算器”（GPU的核心），每个小计算器都被派去分别去执行 运算。由于运算仅涉及简单的乘法与加法，所以两种小计算器都能胜任，只是计算效率有高低之分。
由此不难看出，CPU完成单次运算的速度很快，但是由于一批次仅能算出数个元素，计算 中所有的元素需要多轮次的运算
而GPU虽然单次运算的速度很慢，但是一批次运算就可以算出大量元素
当 维度较小时，CPU与GPU计算的效率可能相差不大，当矩阵维度较高时，GPU拥有大量核心的优势就会更加明显（这里有一个实验对比【矩阵计算GPU加速】numpy 矩阵计算利用GPU加速，cupy包）
而深度学习模型中涉及大量高维的矩阵运算，因此GPU就可以很好地发挥加速作用
1
相关话题
用数据线连接手机和电脑后，可以在手机上访问电脑硬盘中的文件吗?如何看待「大部分程序员只会写三年代码」的说法？
俄罗斯人编程为什么那么厉害？
在大学如何避免自我感动?如何学会更多的知识和技能?
2017年1月18日Facebook发行的PyTorch相比TensorFlow、MXNet有何优势？
有没有哪个时刻让你突然感觉到：「我的计算机专业白学了」？
本科俄亥俄州立大学和马里兰大学选哪个好？
「程序员干到三十就干不动了」的说法是从哪来的？
程序员兄弟们生涯中写过最大的bug是什么？
科学计算的程序编写和通常所说的码农的编程有多大的区别？
前一个讨论
如何自学数学以达到数学博士的水平？
相关的话题
为什么同样是解决一个问题，别人就能想出算法，而我却绞尽脑汁，百般尝试也不得其法？我编程写代码被我妈一直说成玩电脑打游戏，我该咋办？
计算机科学与技术是什么专业是不是很杂很广泛很难学精？
在推荐系统中，如何较好的采用深度学习方法获取用户长短期兴趣？
我试图用 C 语言的共用体来实现 Base64 编码，为什么失败了？
用 C# 写个方法解析简单的 JSON 字符串有哪些思路？
为什么不少程序员认为Matlab的语言设计不优雅甚至比较丑？能否举出一些例子来说明？
AlphaGo 与李世石的对战会推动人类的极限还是机器学习的进步和觉醒？
怎么培养数据分析的能力？
国内外的程序员最大的区别是什么?
程序员如何充分利用博客进行知识沉淀?
程序员月薪一万到底有多难？
马上30岁的程序员还可以通过语言学校去日本工作吗？
C# 事件效率如何？
为什么Bert中的CLS在未fine tune时作为sentence embedding性能非常糟糕？
给男友配置一个适合做深度学习的电脑要多少钱？
有哪些看似简单其实非常精妙的代码？
如果编程语言变成高考科目会怎样？
工程上存在那么多不确定情况，为什么计算机不能利用它们产生真随机数，而只能根据逻辑产生伪随机数？
知乎上有哪些好的程序员可以关注？
Python中 __init__的通俗解释是什么？
RednaxelaFX 是谁？
真正的 IT 男是什么样的？
禁止使用sqrt等返回浮点数的函数，如何最高效的得到最小的不小于给定正整数的完全平方数？
「href」、「xml」、「&」你们都是怎么读的？
女程序员想自学SQL，前途和难度如何？
写一个什么样的程序向喜欢的妹子表白？
现在是大一计算机相关的学生，程序员的工作是不是每天都是敲一天的代码呢？
Yann LeCun、Geoffrey Hinton或Yoshua Bengio能得图灵奖吗？
机器学习中有哪些形式简单却很巧妙的idea？