Spark是大数据体系的明星产品，是一款高性能的分布式内存迭代计算框架，可以处理海量规模的数据。下面就带大家来学习今天的内容！
往期内容：
- Spark基础入门-第一章：Spark 框架概述
- Spark基础入门-第二章：Spark环境搭建-Local
- Spark基础入门-第三章：Spark环境搭建-StandAlone
- Spark基础入门-第四章：Spark环境搭建-StandAlone-HA
- Spark基础入门-第五章：环境搭建-Spark on YARN
- Spark基础入门-第六章：PySpark库
- Spark基础入门-第七章：本机开发环境搭建
- Spark基础入门-第八章：分布式代码执行分析
- Spark Core-第一章： RDD详解
- Spark Core-第三章：RDD的持久化
- Spark Core-第四章：Spark案例练习
- Spark Core-第五章：共享变量
- Spark Core-第六章：Spark 内核调度
- SparkSQL-第一章：SparkSQL快速入门
- SparkSQL-第二章：SparkSQL 概述
一、SparkSQL 定义UDF函数
方式1语法：
udf对象 = sparksession.udf.register(参数1，参数2，参数3) 参数1： UDF名称，可用于SQL风格
参数2：被注册成UDF的方法名
参数3：声明UDF的返回值类型
udf对象： 返回值对象，是一个UDF对象，可用于DSL风格
方式2语法：
udf对象 = F.udf(参数1， 参数2)
参数1： 被注册成UDF的方法名
参数2： 声明UDF的返回值类型
udf对象： 返回值对象，是一个UDF对象，可用于DSL风格
其中F是：
- from pyspark.sql import functions as F
- 其中，被注册成UDF的方法名是指具体的计算方法，如：
- def add(x, y): x + y
- add就是将要被注册成UDF的方法名
二、SparkSQL 使用窗口函数
版权声明：本文为itcast_cn原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接和本声明。