百科问答小站 logo
百科问答小站 font logo



(2018年)远距离传输大文件,10T左右文件,如何最快? 第1页

  

user avatar   slaytanic 网友的相关建议: 
      

破五K了更新一下,我们用卡车加专线的方式不停机把集群搬完了,集群高可用,俩机房各一个namenode和resourcemanager,80G带宽专线实际上还是挺卡的。600多机器集群在一个机房ping延迟0.1毫秒,跨机房0.8毫秒,看起来没大多少,实际用起来业务层面几乎不可忍受。早期集群搭建没有做vlan和或生成树协议,导致广播风暴也是一壶。好在那会不是我搭的,不用背锅了。直接修改namenode内存也是这次搬迁成果之一。



1T现在还算大文件么,我司hadoop集群整体搬机房,每台机器3Tx12块盘,合计几十个pb数据,你觉得要怎么搬。

当然我们制定了非常复杂详细的搬迁计划来应对如此大规模的数据迁移,需要保证集群不宕机,而且需要保证非常高效,一天最少要可以迁移2~3PB左右的数据。同时成本要在可控范围内,这是一项非常艰巨且具有挑战性的任务,对于分布式系统的强壮性,容错性,稳定性都是巨大的考验。所以我们做了各方面严格的调研和计算,来保证这最基本的几点要求,整个计划复杂,周密且鲁棒,几乎不可能出现任何错误和异常情况,是一项各部门团队协作的经典案例,是伟大的工程实践。




































是的,我们用卡车。




  

相关话题

  关于keep-alive 这个问题? 
  为什么有些验证码看起来很容易但是没人做自动识别的? 
  为什么那么多公司不用 .NET,而选择 PHP、JSP,是 .NET 有什么缺点吗? 
  微软公司对人类造成了什么影响?如果没有微软,人类现在会是怎样的生活? 
  新买了笔记本电脑后,需要进行哪些基本的设置和下载? 
  IT行业,工作5年,你们年收入都多少? 
  为什么有关计算机 CPU 的知识不解密? 
  post 相比get 有很多优点,为什么现在的HTTP通信中大多数请求还是使用get? 
  中国的互联网产业何以超过德国和日本? 
  如何根据仅有的一两行文字搜索出出自哪本书? 

前一个讨论
为什么靠谱员工越来越难找?
下一个讨论
HBase 和 Hive 的差别是什么,各自适用在什么场景中?





© 2024-11-24 - tinynew.org. All Rights Reserved.
© 2024-11-24 - tinynew.org. 保留所有权利