RDD常用转换操作即示例

RDD常用转换操作即示例

1、flatMap()
将函数应用于 RDD 中的每个元素，将返回的迭代器的所有内容构成新的 RDD。通常用来切分单词

示例：

        SparkConf sparkConf = new SparkConf().setAppName("xiaobai").setMaster("local");
        JavaSparkContext sc = new JavaSparkContext(sparkConf);
        JavaRDD<String> rdd = sc.parallelize(Arrays.asList("xiaobai is a big boss", "is it right", "sure you are right"));
        //每个字符串以空格切割
        JavaRDD<String> rdd1 = rdd.flatMap(new FlatMapFunction<String, String>() {
            @Override
            public Iterator<String> call(String s) throws Exception {
                return Arrays.asList(s.split(" ")).iterator();
            }
        });
        //输出RDD中所有内容
         System.out.println(rdd1.collect());

输出结果:

2、map()

将函数应用于 RDD 中的每个元素，将返回值构成新的 RDD.

示例（以上一个结果产生的新RDD作为数据源）

     //在每个字符串后面加个123
        JavaRDD<String> mapRdd = rdd1.map(new Function<String, String>() {
            @Override
            public String call(String s) throws Exception {
                return s + "123";
            }
        });
        System.out.println(mapRdd.collect());

输出结果：

3、filter()
返回一个由通过传给 filter()的函数的元素组成的 RDD，把它当作一个过滤器就好了

        //筛选出不含r的字符串
        JavaRDD<String> filterRdd = rdd1.filter(new Function<String, Boolean>() {
            @Override
            public Boolean call(String s) throws Exception {
                return !s.contains("r");
            }
        });
        System.out.println(filterRdd.collect());

输出结果：

更多详细的方法介绍及Spark基础转这里
Spark基础