本文主要包含hadoop distcp,hdp hadoop distcp,distcp,hadoop集群时间同步,hadoop集群环境搭建等服务器相关知识,网友希望可以进行参考
hadoop distcp 实现不同集群之间数据同步，hadoopdistcp
1.相同hadoop版本同步数据
hadoop distcp -skipcrccheck -update -m 20 hdfs://dchadoop002.dx:8020/user/dc/warehouse/test /user/dc/warehouse/test
2.不同hadoop版本同步数据
hadoop distcp -skipcrccheck -update -m 20 hftp://ns1/user/test /user/dc/test
参数:
-m 表示并发数
-skipcrccheck 跳过hdfs校验
-update 更新文件