MPI 在大规模机器学习领域的前景如何？ 第1页
1
mli65 网友的相关建议:
这个取决于场景，如果要在超算（super computer）上跑机器学习，用MPI是不错的选择。但在云上，不管是公有云的例如AWS/Azure/GCP或者私有云，MPI没有太多必要。
MPI定义的是接口，具体用的时候我们是用某个特定的实现，例如openmpi或者mpich2. 为了简单，这里统一叫MPI。
用MPI实现机器学习是没问题的，不管是对高维稀疏模型还是深度学习。MPI的接口在一些算法的实现上很方便，另外一些地方（例如异步）绕一绕也是可以的。例如虽然MXNet没有用MPI，不过使用MPI来实现个kvstore的backend也是可行的。
MPI的一大优势是支持各种网络硬件，例如infiniband和Intel Omni Path，或者网络拓扑结构，例如cray的dragonfly。通常MPI会做各种针对性的优化从而得到不错的性能。这一点
@SIY.Z已经提到了。
这个优势主要体现在超算上。而对于云，通常使用常见的网络硬件（例如Ethernet）和连接结构（multi-rooted tree），MPI做的优化通常不会有太大效果。
在云上，MPI的一大问题是容灾。任何一个节点出问题会导致整个任务失败，会导致运营成本增加。（回答里面有提到百度有MPI集群。我当年是最大的用户，一度使用超过50%的节点。对于这一点我是深有体会，例如凌晨3点起来重启任务。）
所以结论是，如果要在云上跑机器学习的话，MPI前景不大。但如果是使用Top500类似的超算，MPI是不错的选择。
siyz 网友的相关建议:
这个4年前的问题选择在这个时间点突然出现在我今天的时间线上显得非常 亦可赛艇！
Android是2008年初才发布，而Oracle在2009年就以7.4B$收购了Sun，是Google不够睿智吗？
非也！
1）如果Android没有如此成功，Java对于Google而言就是一坨shit，Google从来没有想到自己会站在一坨翔上面取得空前的成功，如果有算命的告诉Google的命中贵人是阿翔，它就是穿越回去吃也要把它吃下去，可惜历史不能假设！
2）Google一直有python基因，很多系统都是基于python的，你知道工程师主导文化的可怕性吗？这帮pythonic的nerd出于情怀或者节操或者叫清高或者叫偏执或者叫真爱，它说什么都不会去买Java的，“老子看不上”！谁知造化弄人，09年你对我爱答不理，18年老子叫你高攀不起88亿！（注：今天的Google在各种收购之后，Java服务的比重占的也非常大了，变成了一个杂合的技术栈，而官司也很可能打到高院，尚未定论）
3）Google一直有跟开源保持共存共荣共襄盛举的传统，它跟Mozilla做生意，赞助开源项目，捐赠Wiki，主张“不作恶”，简直就是一副乌托邦理想主义者的化身，圈粉无数（包含答主），像Java这种项目，它更可能的方式是烧一笔钱给它花，然后来几句“希望Java明天会更好”之类的废话，它根本就不曾想过有一个家伙抄底了，因为那时候Android根本就没有火，Google从来就没有想过Java也T-M-D算哪门子“底”？
4）Sun的主手人也是个技术型的，就是技术牛掰业务做的稀烂，当时怎么看Sun都处在夕阳，SPARC也是逼格满满业务下滑被Intel捣的稀烂，那个价格没有几家觉得划算的，幸好是Oracle这种剑走偏锋的收购了它，要是换一家公司收购多半就把Sun雪藏甚至捣腾碎了，Java也就没有今日风光了，而Google在坊间也有创业公司杀手的美称，也许这就已经是历史发展的最好结果了。
什么，你问我对于Oracle收购Sun和MySQL怎么看？
还能怎么看？好白菜都让猪给拱呢呗！
但是作为吃瓜群众，我最喜欢看大佬们掐架，Google与Oracle的这场官司绝对酸爽，大家保持关注，各家都有千百号律师，吵起架来想想都 亦可赛艇！学知识产权法/专利法/法理学的同学们千万不要错过，说不定两年后就能进教材作案例呢！
什么，你又问我Google应该怎么做？
靠，我有不是劈柴！按我的观点，Google这次是违反了Java的使用协议的（无意引战，定论的事情留给专业法官），不能因为体量大就以为能压死人，那可是在美帝，万事全靠律师一张嘴，怎么讲都有理！
大家还记得微软以前有个skydrive吗？在英国被判败诉了，最后也得改名叫OneDrive呢！Google有钱了不起啊，过来领罚单！
而Java的坑早早就埋在那里了，所以苹果直接一刀切：老子不支持，免得搞一嘴毛！Flash一身毛病，一刀切，老子不支持！
所以，我对Google的建议是：
从Android 10开始，一刀切：老纸永生永世不再支持Java！
名字我都起好了： Badroid！
这TM不是关乎技术，不是关乎信仰，不是关乎生态，不是关乎用户体验！
这TM关系到命！
什么？要我预测结果？
法官中间调停，你们俩和解，google把赚的钱按每部手机给Oracle付钱？什么你说太扯了？你每买一部Android，都要给微软钱，你造吗？Oracle就想躺着就把钱收了！
ma-chao-61 网友的相关建议:
这个4年前的问题选择在这个时间点突然出现在我今天的时间线上显得非常 亦可赛艇！
Android是2008年初才发布，而Oracle在2009年就以7.4B$收购了Sun，是Google不够睿智吗？
非也！
1）如果Android没有如此成功，Java对于Google而言就是一坨shit，Google从来没有想到自己会站在一坨翔上面取得空前的成功，如果有算命的告诉Google的命中贵人是阿翔，它就是穿越回去吃也要把它吃下去，可惜历史不能假设！
2）Google一直有python基因，很多系统都是基于python的，你知道工程师主导文化的可怕性吗？这帮pythonic的nerd出于情怀或者节操或者叫清高或者叫偏执或者叫真爱，它说什么都不会去买Java的，“老子看不上”！谁知造化弄人，09年你对我爱答不理，18年老子叫你高攀不起88亿！（注：今天的Google在各种收购之后，Java服务的比重占的也非常大了，变成了一个杂合的技术栈，而官司也很可能打到高院，尚未定论）
3）Google一直有跟开源保持共存共荣共襄盛举的传统，它跟Mozilla做生意，赞助开源项目，捐赠Wiki，主张“不作恶”，简直就是一副乌托邦理想主义者的化身，圈粉无数（包含答主），像Java这种项目，它更可能的方式是烧一笔钱给它花，然后来几句“希望Java明天会更好”之类的废话，它根本就不曾想过有一个家伙抄底了，因为那时候Android根本就没有火，Google从来就没有想过Java也T-M-D算哪门子“底”？
4）Sun的主手人也是个技术型的，就是技术牛掰业务做的稀烂，当时怎么看Sun都处在夕阳，SPARC也是逼格满满业务下滑被Intel捣的稀烂，那个价格没有几家觉得划算的，幸好是Oracle这种剑走偏锋的收购了它，要是换一家公司收购多半就把Sun雪藏甚至捣腾碎了，Java也就没有今日风光了，而Google在坊间也有创业公司杀手的美称，也许这就已经是历史发展的最好结果了。
什么，你问我对于Oracle收购Sun和MySQL怎么看？
还能怎么看？好白菜都让猪给拱呢呗！
但是作为吃瓜群众，我最喜欢看大佬们掐架，Google与Oracle的这场官司绝对酸爽，大家保持关注，各家都有千百号律师，吵起架来想想都 亦可赛艇！学知识产权法/专利法/法理学的同学们千万不要错过，说不定两年后就能进教材作案例呢！
什么，你又问我Google应该怎么做？
靠，我有不是劈柴！按我的观点，Google这次是违反了Java的使用协议的（无意引战，定论的事情留给专业法官），不能因为体量大就以为能压死人，那可是在美帝，万事全靠律师一张嘴，怎么讲都有理！
大家还记得微软以前有个skydrive吗？在英国被判败诉了，最后也得改名叫OneDrive呢！Google有钱了不起啊，过来领罚单！
而Java的坑早早就埋在那里了，所以苹果直接一刀切：老子不支持，免得搞一嘴毛！Flash一身毛病，一刀切，老子不支持！
所以，我对Google的建议是：
从Android 10开始，一刀切：老纸永生永世不再支持Java！
名字我都起好了： Badroid！
这TM不是关乎技术，不是关乎信仰，不是关乎生态，不是关乎用户体验！
这TM关系到命！
什么？要我预测结果？
法官中间调停，你们俩和解，google把赚的钱按每部手机给Oracle付钱？什么你说太扯了？你每买一部Android，都要给微软钱，你造吗？Oracle就想躺着就把钱收了！
1
相关话题
为什么C4.5决策树能处理连续特征，ID3树不能处理连续特征？如何看待Capsule Network在NLP领域的潜力？
有哪些比较好的机器学习、数据挖掘、计算机视觉的订阅号、微博或者是论坛？
深度学习中Attention与全连接层的区别何在？
为什么在R语言里多用<-而不是=表示赋值？
如何评价MXNet发布的1.0版本？
人工智能 CV 岗位是不是现在供严重大于需？
在NLP当中，不同的评价指标，BLEU, METEOR, ROUGE和CIDEr的逻辑意义？
人工智能可以超过人的创造力吗？
2019 秋招的 AI 岗位竞争激烈吗？
相关的话题
有没有可能让计算机去理解代码，从而写代码？关于材料计算，模拟，仿真什么区别?
为什么nn的较大问题是会陷入局部最优时，不选用凸函数作为激活函数？
如何看待与评价 AAAI 2022 的录用结果？
吴恩达表示「AI 的下一个发展方向，从大数据转向小数据」，你同意他的观点吗？
机器学习里的 kernel 是指什么？
联邦学习/联盟学习 (Federated Learning) 的发展现状及前景如何？
计算机视觉有多少分支？
image caption这个方向更偏向NLP还是CV？
神经网络能否代替决策树算法？
除了深度学习，机器学习领域近年来还有什么热点吗？
如何评价神威太湖之光打败天河二号在超算 Top 500 榜单中登顶第一？
近几年有哪些关于机器学习中隐私（Privacy）和安全（Security）相关的研究值得关注?
微软小冰测颜值是否比较准？为什么？
TensorFlow 有哪些令人难以接受的地方？
机器学习最好的课程是什么？
写深度学习代码是先写model还是dataset还是train呢，有个一般化的顺序吗？
在中文 NLP 等论文中，应该如何翻译 token 这个词？
超越人类的人工智能 (AI) 是否能够实现？
看完麻省理工博士胡渊鸣用代码实现「冰雪奇缘」后，自己陷入了深深的自卑，如何排解这种情绪？
网络上一位长者提出了“完全不依靠人工神经网络与机器学习算法实现人工智能”的理论，大家怎么看？
计算统计学（Computational Statistics）有什么好的资源和教材以及学习方法推荐？
如何评价百度自动驾驶 ApolloAuto 在 Github 上发布的代码？
如何看待End-to-End Object Detection with Transformers？
2020到2021年小样本学习取得重大进展了吗？
有没有可能设计一种虚拟货币，把需要解的问题替换为有实际意义的科学计算（比如天气预报，太空探索）问题？
如何评价基于游戏毁灭战士（Doom）的AI死亡竞赛大赛结果？
魔鬼如何在最短时间内抓住天使？
为什么机器学习解决网络安全问题总是失败?
机器学习中的机器是如何分辨哪些是有用的知识，哪些是没用的信息呢？