百科问答小站 logo
百科问答小站 font logo



除了 Hadoop 还有哪些分布式计算平台?优势各自是什么? 第1页

  

user avatar   ymcayolo 网友的相关建议: 
      

大致说一下目前在工业界(学术界)里比较流行的几种分布式计算框架(平台):

1:MapReduce(MR),最为general和流行的一个分布式计算框架,其开源实现Hadoop已经得到了极为广泛的运用(Facebook, Yahoo!等等),同时在Hadoop基础上发展起来的项目也有很多(Hive是发展最好的),另外像Cloudera,Hortonworks,MapR这样的在Hadoop基础上发展起来的公司也有很多。

2:Pregel,和MR一样也是Google发明的,其优势是在完成一些适合于抽象为图算法的应用的计算时可以更为高效,Giraph可以算是一个比较好的发展中的开源实现。

3:Storm,Twitter的项目,号称Hadoop的实时计算平台,对于一些需要real time performance的job可以拥有比MR更高的效率。

4:Spark,UC Berkeley AMPLab的项目,其很好地利用了JVM中的heap,对于中间计算结果可以有更好的缓存支持,因此其在performance上要比MR高出很多。Shark是其基础上类似于Hive的一个项目。

5:DryadScope,都是MR(Microsoft Research)的项目,从paper上来看Dryad是一个更为general purpose的计算框架,在vertices里实现计算,通过channels实现communication,两者组成一个graph workflow;而Scope有点类似于Hive和Shark,都是将某种类似于SQL的script language编译成可以在底层分布式平台上计算的job。但是这两个项目因为不开源,所以资料不多,也没有开源项目那样的community。

当然还有其他很多,比如Google的Dremel,Yale的HadoopDB(现在已经商业化叫做Hadapt)。




  

相关话题

  云计算已经发展10多年了,你最看好云计算为哪个行业创造的前景? 
  大型企业使用阿里云或腾讯云等云服务器真的能比自购服务器省钱吗? 
  维基百科的服务器架构是怎样的?是如何支撑起如此高的访问量的? 
  云时代 U 盘会被淘汰吗? 
  腾讯云和阿里云两个在建站方面哪个更好? 
  拥有一张高含金量的IT证书是种怎样的体验? 
  除了 Hadoop 还有哪些分布式计算平台?优势各自是什么? 
  至强CPU,都有哪些你不知道的小秘密? 
  为什么在中国搞不出 Spark 和 Hadoop 这种东西? 
  如何用形象的比喻描述大数据的技术生态?Hadoop、Hive、Spark 之间是什么关系? 

前一个讨论
减肥到了瓶颈期,如何减掉肚子上厚厚的那层皮?
下一个讨论
Apple、Facebook、Google 都为开源社区做了哪些贡献,哪个贡献更大?





© 2024-11-24 - tinynew.org. All Rights Reserved.
© 2024-11-24 - tinynew.org. 保留所有权利