远程HDFS文件的操作

因为手头项目涉及到远程HDFS文件的操作，所以打算学习一下相关操作。目前，网络上有很多操作HDFS文件的代码，但是它们基本上都没有描述清楚Configuration相关问题。经过摸索，终于实现远程HDFS文件读写的完整流程，在此希望各位看官交流学习。

HDFS文件操作依赖的jar包是通过maven下载的，其相关依赖如下：

<dependencies>
    <dependency>
        <groupId>org.apache.hadoop</groupId>
        <artifactId>hadoop-common</artifactId>
        <version>${cdh.hadoop.version}</version>
    </dependency>
    <dependency>
        <groupId>org.apache.hadoop</groupId>
        <artifactId>hadoop-client</artifactId>
        <version>${cdh.hadoop.version}</version>
    </dependency>
</dependencies>

以上依赖中version处根据实际情况填写。

HDFS文件的操作用到类有以下3个：
org.apache.hadoop.conf.Configuration;
org.apache.hadoop.fs.FileSystem;
org.apache.hadoop.fs.Path;

Configuration

hadoop既没有使用java.util.Properties管理配置文件，也没有使用Apache Jakarta Commons Configuration管理配置文件，而是使用其独有的配置文件管理系统org.apache.hadoop.conf.Configuration，该配置管理系统提供自已的API。博文http://blog.csdn.net/hadoop_/article/details/9365075对Configuration描述较为清晰，此处不再描述。另外，操作HDFS文件需要用到hadoop目录中的core-site.xml和hdfs-site.xml文件。

代码片段

• 配置：

  Configuration conf = new Configuration();

  FileSystem hdfs = FileSystem.get(URI.create(“hdfs://nameservice/path”), conf, “username”);

• HDFS文件读写操作：

  public void writerContentToHdfs(String hdfsFile, String content) {
      OutputStream os = null;
      OutputStreamWriter osw = null;
      try {
          Path file = new Path(hdfsFile);
          if (!this.hdfs.exists(file)) { os = this.hdfs.create(file); }
          else { os = this.hdfs.append(file); }
          osw = new OutputStreamWriter(os);
          osw.write(content);
          osw.flush();
      } catch (IOException e) {
          e.printStackTrace();
      } finally {
          try {
              if (os != null) { os.close(); }
              if (osw != null) { osw.close(); }
          } catch (IOException e) {
              e.printStackTrace();
          }
      }
  }
  
  
  public String readContentFromHdfs(String hdfsFile) {
      InputStream is = null;
      InputStreamReader isr = null;
      BufferedReader br = null;
      try {
          Path file = new Path(hdfsFile);
          if (!this.hdfs.exists(file)) { return null; }
  
          is = this.hdfs.open(file);
          isr = new InputStreamReader(is);
          br = new BufferedReader(isr);
          StringBuffer sb = new StringBuffer();
          String line = null;
          while ((line = br.readLine()) != null) {
              sb.append(line);
          }
          return sb.toString();
      } catch (IOException e) {
          e.printStackTrace();
      }finally {
          try {
              if (is != null) { is.close(); }
              if (isr != null) { isr.close(); }
              if (br != null) { br.close(); }
          } catch (IOException e) {
              e.printStackTrace();
          }
      }
  
      return null;
  }