百科问答小站 logo
百科问答小站 font logo



除了 Hadoop 还有哪些分布式计算平台?优势各自是什么? 第1页

  

user avatar   ymcayolo 网友的相关建议: 
      

大致说一下目前在工业界(学术界)里比较流行的几种分布式计算框架(平台):

1:MapReduce(MR),最为general和流行的一个分布式计算框架,其开源实现Hadoop已经得到了极为广泛的运用(Facebook, Yahoo!等等),同时在Hadoop基础上发展起来的项目也有很多(Hive是发展最好的),另外像Cloudera,Hortonworks,MapR这样的在Hadoop基础上发展起来的公司也有很多。

2:Pregel,和MR一样也是Google发明的,其优势是在完成一些适合于抽象为图算法的应用的计算时可以更为高效,Giraph可以算是一个比较好的发展中的开源实现。

3:Storm,Twitter的项目,号称Hadoop的实时计算平台,对于一些需要real time performance的job可以拥有比MR更高的效率。

4:Spark,UC Berkeley AMPLab的项目,其很好地利用了JVM中的heap,对于中间计算结果可以有更好的缓存支持,因此其在performance上要比MR高出很多。Shark是其基础上类似于Hive的一个项目。

5:DryadScope,都是MR(Microsoft Research)的项目,从paper上来看Dryad是一个更为general purpose的计算框架,在vertices里实现计算,通过channels实现communication,两者组成一个graph workflow;而Scope有点类似于Hive和Shark,都是将某种类似于SQL的script language编译成可以在底层分布式平台上计算的job。但是这两个项目因为不开源,所以资料不多,也没有开源项目那样的community。

当然还有其他很多,比如Google的Dremel,Yale的HadoopDB(现在已经商业化叫做Hadapt)。




  

相关话题

  腾讯云、阿里云和百度云的优劣势各是什么? 
  如何看待看待字节跳动推出火山引擎云服务?将会给用户带来哪里价值? 
  如何看待看待字节跳动推出火山引擎云服务?将会给用户带来哪里价值? 
  Agora声网这家公司的技术实力与前景如何? 
  为什么学校里学习云计算或者大数据都要从hadoop开始? 
  云服务器和传统服务器相比有何区别? 
  如何将手中 20 多台旧电脑,组建一台超级计算机? 
  腾讯云和阿里云两个在建站方面哪个更好? 
  如何看待 Google 说已经停用 Map Reduce 好多年? 
  作为阿里云的技术用户或潜在用户,你会不会因为月饼门重新考虑阿里云服务? 

前一个讨论
减肥到了瓶颈期,如何减掉肚子上厚厚的那层皮?
下一个讨论
Apple、Facebook、Google 都为开源社区做了哪些贡献,哪个贡献更大?





© 2024-11-09 - tinynew.org. All Rights Reserved.
© 2024-11-09 - tinynew.org. 保留所有权利