百科问答小站 logo
百科问答小站 font logo



(2018年)远距离传输大文件,10T左右文件,如何最快? 第1页

  

user avatar   slaytanic 网友的相关建议: 
      

破五K了更新一下,我们用卡车加专线的方式不停机把集群搬完了,集群高可用,俩机房各一个namenode和resourcemanager,80G带宽专线实际上还是挺卡的。600多机器集群在一个机房ping延迟0.1毫秒,跨机房0.8毫秒,看起来没大多少,实际用起来业务层面几乎不可忍受。早期集群搭建没有做vlan和或生成树协议,导致广播风暴也是一壶。好在那会不是我搭的,不用背锅了。直接修改namenode内存也是这次搬迁成果之一。



1T现在还算大文件么,我司hadoop集群整体搬机房,每台机器3Tx12块盘,合计几十个pb数据,你觉得要怎么搬。

当然我们制定了非常复杂详细的搬迁计划来应对如此大规模的数据迁移,需要保证集群不宕机,而且需要保证非常高效,一天最少要可以迁移2~3PB左右的数据。同时成本要在可控范围内,这是一项非常艰巨且具有挑战性的任务,对于分布式系统的强壮性,容错性,稳定性都是巨大的考验。所以我们做了各方面严格的调研和计算,来保证这最基本的几点要求,整个计划复杂,周密且鲁棒,几乎不可能出现任何错误和异常情况,是一项各部门团队协作的经典案例,是伟大的工程实践。




































是的,我们用卡车。




  

相关话题

  程序员的压力有哪些? 
  在业务需求完全一致,技术指标要求不一致时,是否应该为此提供使用不同优化算法的接口? 
  为什么感觉现在的主流是学计算机,IT,而不是金融? 
  作为 IT 行业的过来人,你有什么话想对后辈说的? 
  如何在三十岁之前做到年薪百万? 
  IT行业,工作5年,你们年收入都多少? 
  哪家 IT 公司不加班? 
  如何看待倪光南表示中国人口红利将转化成工程师红利,成为信息领域强国?未来不懂技术的人会被淘汰吗? 
  朋友自杀前把名字改成了nullptr,是什么意思? 
  udp文件传输的问题,采用nack,怎么处理最后几个包丢失的情况? 

前一个讨论
为什么靠谱员工越来越难找?
下一个讨论
HBase 和 Hive 的差别是什么,各自适用在什么场景中?





© 2024-11-09 - tinynew.org. All Rights Reserved.
© 2024-11-09 - tinynew.org. 保留所有权利