百科问答小站 logo
百科问答小站 font logo



(2018年)远距离传输大文件,10T左右文件,如何最快? 第1页

  

user avatar   slaytanic 网友的相关建议: 
      

破五K了更新一下,我们用卡车加专线的方式不停机把集群搬完了,集群高可用,俩机房各一个namenode和resourcemanager,80G带宽专线实际上还是挺卡的。600多机器集群在一个机房ping延迟0.1毫秒,跨机房0.8毫秒,看起来没大多少,实际用起来业务层面几乎不可忍受。早期集群搭建没有做vlan和或生成树协议,导致广播风暴也是一壶。好在那会不是我搭的,不用背锅了。直接修改namenode内存也是这次搬迁成果之一。



1T现在还算大文件么,我司hadoop集群整体搬机房,每台机器3Tx12块盘,合计几十个pb数据,你觉得要怎么搬。

当然我们制定了非常复杂详细的搬迁计划来应对如此大规模的数据迁移,需要保证集群不宕机,而且需要保证非常高效,一天最少要可以迁移2~3PB左右的数据。同时成本要在可控范围内,这是一项非常艰巨且具有挑战性的任务,对于分布式系统的强壮性,容错性,稳定性都是巨大的考验。所以我们做了各方面严格的调研和计算,来保证这最基本的几点要求,整个计划复杂,周密且鲁棒,几乎不可能出现任何错误和异常情况,是一项各部门团队协作的经典案例,是伟大的工程实践。




































是的,我们用卡车。




  

相关话题

  你见过出身最奇特的程序员是什么样的? 
  为什么有些验证码看起来很容易但是没人做自动识别的? 
  怎样看待《在创业团队你不应该有加班概念》这篇文章? 
  在浏览器直接输入url 访问是get还是post? 
  一个文件分发服务器,要支持多个(几千个)请求下载,文件比较大,用java socket,ftp还是http支持? 
  什么东西微软做的比 Google 好? 
  中国互联网有哪些黑色产业链? 
  用 HTTP 数据加密和 HTTPS 有什么区别? 
  Http 协议中为什么只通过Content-Type控制请求体的编码,没有设计Header请求头编码? 
  C# 中如何有效地释放内存? 

前一个讨论
为什么靠谱员工越来越难找?
下一个讨论
HBase 和 Hive 的差别是什么,各自适用在什么场景中?





© 2025-05-06 - tinynew.org. All Rights Reserved.
© 2025-05-06 - tinynew.org. 保留所有权利