Job的输入切片机制及源码流程

当在使用Linux指令，提交一次job运行后，处理单个文件时，开始的进程如下：

Run Jar -->MRAppMaster-->YarnChild(MapTask/reduceTask)当map运行结束后，YarnChild结束，当运行reduce时又产生一个YarnChild，当reduce结束后YarnChild再次结束。此过程共产生一个yarnChild。

当处理两个文件时，我们通过jps查看进程会有四个YarnChild。我们通过job的监听器可以发现产生的map task共有4个。

下面探讨为何有4个map task ：

当处理的数据文件的大小是参差不齐的即比如：200G，200k,200M这样的三个文件，在处理时若为每个文件都分配一个map，则会导致处理的效率降低。则会采取切片的策略，将大小不等的文件划分多个spilt，每个spilt分配一个map,接下来是切片的策略，在FileInputFormat：
1.对每个文件进行单独划片

2.将这个文件的每个block对应为一个split

可以通过查看产生的文件如：job.splitmetainfo文件或job.xml文件来查看划片的信息。

下面跟踪源码的信息：

仍然由waitForCompletion()方法进入，接着进入该方法的实现的submit()方法，进入submit()方法的submitJobInternal()方法，在该方法中 int maps = writeSplits(job, submitJobDir);这是写切片，进入writeSplits()方法中，查看其实现源码：

 private int writeSplits(org.apache.hadoop.mapreduce.JobContext job,
      Path jobSubmitDir) throws IOException,
      InterruptedException, ClassNotFoundException {
    JobConf jConf = (JobConf)job.getConfiguration();

   //定义map的数量
    int maps;
    if (jConf.getUseNewMapper()) {

      //进入writeNewSplits查看源码
      maps = writeNewSplits(job, jobSubmitDir);
    } else {

    //进入writeOldSplits查看其源码
      maps = writeOldSplits(jConf, jobSubmitDir);
    }
    return maps;
  }

writeNewSplits()方法的源码：

 private <T extends InputSplit>
  int writeNewSplits(JobContext job, Path jobSubmitDir) throws IOException,
      InterruptedException, ClassNotFoundException {
    Configuration conf = job.getConfiguration();

    //拿InputFormat实例，并在下面调用getSplits()方法获得切片
    InputFormat<?, ?> input =
      ReflectionUtils.newInstance(job.getInputFormatClass(), conf);

    //将获得的Split存放到list中 进入getSplits()方法中
    List<InputSplit> splits = input.getSplits(job);

    //将该list转化为数组
    T[] array = (T[]) splits.toArray(new InputSplit[splits.size()]);


    // sort the splits into order based on size, so that the biggest
    // go first

   //对该数组进行排序
    Arrays.sort(array, new SplitComparator());
    JobSplitWriter.createSplitFiles(jobSubmitDir, conf, 
        jobSubmitDir.getFileSystem(conf), array);

   //返回数组的长度就是切片的数目
    return array.length;
  }

进入FileInputFormat的getSplits()方法中：

 
  public List<InputSplit> getSplits(JobContext job) throws IOException {

    //计算切 片的大小
    Stopwatch sw = new Stopwatch().start();
    long minSize = Math.max(getFormatMinSplitSize(), getMinSplitSize(job));
    long maxSize = getMaxSplitSize(job);


    // 创建list用来存放创建的切片
    List<InputSplit> splits = new ArrayList<InputSplit>();
    List<FileStatus> files = listStatus(job);
    for (FileStatus file: files) {
      Path path = file.getPath();
      long length = file.getLen();
      if (length != 0) {
        BlockLocation[] blkLocations;
        if (file instanceof LocatedFileStatus) {

       //拿到切片的信息
          blkLocations = ((LocatedFileStatus) file).getBlockLocations();
        } else {
          FileSystem fs = path.getFileSystem(job.getConfiguration());
          blkLocations = fs.getFileBlockLocations(file, 0, length);
        }
        if (isSplitable(job, path)) {
          long blockSize = file.getBlockSize();

         //计算切片的大小
          long splitSize = computeSplitSize(blockSize, minSize, maxSize);


          long bytesRemaining = length;
          while (((double) bytesRemaining)/splitSize > SPLIT_SLOP) {
            int blkIndex = getBlockIndex(blkLocations, length-bytesRemaining);
            splits.add(makeSplit(path, length-bytesRemaining, splitSize,
                                     blkLocations[blkIndex].getHosts()));
            bytesRemaining -= splitSize;
          }


          if (bytesRemaining != 0) {
            int blkIndex = getBlockIndex(blkLocations, length-bytesRemaining);

          //在此处将Splits添加进入该list中
            splits.add(makeSplit(path, length-bytesRemaining, bytesRemaining,
                       blkLocations[blkIndex].getHosts()));
          }
        } else { // not splitable
          splits.add(makeSplit(path, 0, length, blkLocations[0].getHosts()));
        }
      } else { 
        //Create empty hosts array for zero length files
        splits.add(makeSplit(path, 0, length, new String[0]));
      }
    }
    // Save the number of input files for metrics/loadgen
    job.getConfiguration().setLong(NUM_INPUT_FILES, files.size());
    sw.stop();
    if (LOG.isDebugEnabled()) {
      LOG.debug("Total # of splits generated by getSplits: " + splits.size()
          + ", TimeTaken: " + sw.elapsedMillis());
    }

   //返回该list
    return splits;
  }

总结：

MapReduce编程规范：

在集群里写一个mapper类，reducer类，集群会将代码封装到很多机器上运行。Map在处理每个文件时，会将文件切成split，每个split对应一个任务MaperTask.每个MaperTask是代码运行起来对应的进程。切片的策略是在FileInputFormat的组件中writeNewSplits()方法实现，在该方法中将所有split添加到List<split>中，每个split包含很多信息，将其划分split的策略写成文件，将splits解析成map()函数能处理的key/value对。map()函数处理结束后会产生另外一些key/value对，这些key/value对不会立刻的传给reduce()函数而是存放到Shuffle(缓存)中，MapReduce框架会根据key值自动进行聚类，且key值相同的数据会统一交个reduce()函数处理，reduce()函数会根据输入产生另外系列的key/value对，并作为最终的输出写入hdfs。

以上共涉及五个组件：

InputFormat、mapper、Partitioner、reducer、OutputFormat

在默认情况下只要定义map/reduce两个组件即可，此时为最为基本的，当项目要求有所改变时，可以通过自定义其他三个组件完成要求。

原文链接：https://blog.csdn.net/u013793732/article/details/50510859