本文主要包含inputsplit,hadoop查看文件大小,hadoop 文件大小,hadoop 目录大小不一,皮卡堂过家家旧版等服务器相关知识,网友希望可以进行参考
Hadoop新版和旧版中InputSplit大小的区别，hadoopinputsplit
Hadoop旧版中InputSplit的个数由下面三个参数决定：
goalSize：totalSize/numSpilt.totalSize为文件大小，numSplit为用户设定的map task个数，默认为1.
minSize：InputSplit的最小值，由配置参数 mapred.min.split.size,默认为1.
blockSize：HDFS中块的大小.
splitSize = max(minSize,min(goalSize,blockSIze))
新版：
maxSize：由配置参数mapred.max.split.size确定，已经不再考虑用户设定的map task个数.
minSize：InputSplit的最小值，由配置参数 mapred.min.split.size,默认为1.
blockSize：HDFS中块的大小.
splitSize = max(minSize,min(maxSize,blockSIze))