ODS层构建：代码导入
目标：实现Python项目代码的导入及配置
实施
Oracle本地驱动目录**：将提供的**instantclient_12_2**目录放入D盘的根目录下
PyHive本地连接配置：将提供的CMU目录放入C盘的根目录下
auto_create_hive_table包
创建路径包
- 在datatohive的init文件中放入如下代码
- 其他包的init都放入如下内容
将对应的代码文件放入对应的包或者目录中
step1：从提供的代码中复制config、log、resource这三个目录直接粘贴到**auto_create_hive_table**包下
step2：从提供的代码中复制entity、utils、EntranceApp.py这三个直接粘贴到**itcast**包下
step3：从提供的代码中复制fileformat等文件直接粘贴到**datatohive**包下
DW归档目录：将提供的代码中的dw目录直接粘贴到项目中
ODS层构建：代码结构及修改
目标：了解整个自动化代码的项目结构及实现配置修改
路径
- step1：工程代码结构
- step2：代码模块功能
- step3：代码配置修改
实施
工程代码结构
代码模块功能
- `auto_create_hive_table`：用于实现ODS层与DWD层的建库建表的代码
- `cn.itcast`
- `datatohive`
- CHiveTableFromOracleTable.py：用于创建Hive数据库、以及获取Oracle表的信息创建Hive表等
- CreateMetaCommon.py：定义了建表时固定的一些字符串数据，数据库名称、分层名称、文件类型属性等
- CreateHiveTablePartition.py：用于手动申明ODS层表的分区元数据
- LoadData2DWD.py：用于实现将ODS层的数据insert到DWD层表中
- `fileformat`
- AvroTableProperties.py：Avro文件格式对象，用于封装Avro建表时的字符串
- OrcTableProperties.py：Orc文件格式对象，用于封装Orc建表时的字符串
- OrcSnappyTableProperties.py：Orc文件格式加Snappy压缩的对象
- TableProperties.py：用于获取表的属性的类
- `entity`
- TableMeta.py：Oracle表的信息对象：用于将表的名称、列的信息、表的注释进行封装
- ColumnMeta.py：Oracle列的信息对象：用于将列的名称、类型、注释进行封装
- `utils`
- OracleHiveUtil.py：用于获取Oracle连接、Hive连接
- FileUtil.py：用于读写文件，获取所有Oracle表的名称
- TableNameUtil.py：用于将全量表和增量表的名称放入不同的列表中
- ConfigLoader.py：用于加载配置文件，获取配置文件信息
- OracleMetaUtil.py：用于获取Oracle中表的信息：表名、字段名、类型、注释等
- **EntranceApp.py**：程序运行入口，核心调度运行的程序
# todo:1-获取Oracle、Hive连接，获取所有表名
# todo:2-创建ODS层数据库
# todo:3-创建ODS层数据表
# todo:4-手动申明ODS层分区数据
# todo:5-创建DWD层数据库以及数据表
# todo:6-加载ODS层数据到DWD层
# todo:7-关闭连接，释放资源
```
- `resource`
- config.txt：Oracle、Hive、SparkSQL的地址、端口、用户名、密码配置文件
- `config`
- common.py：用于获取日志的类
- settings.py：用于配置日志记录方式的类
- `log`
- itcast.log：日志文件
- `dw`：用于存储每一层构建的核心配置文件等
- 重点关注：**dw.ods.meta_data.tablenames.txt**：存储了整个ODS层的表的名称
ODS层构建：连接代码及测试
目标：阅读连接代码及实现连接代码测试
路径
- step1：连接代码讲解
- step2：连接代码测试
实施
- **为什么要获取连接？**
- Python连接Oracle：获取表的元数据
- 表的信息：TableMeta
- 表名
- 表的注释
- list:[列的信息]
- 列的信息：ColumnMeta
- 列名
- 列的注释
- 列的类型
- 类型长度
- 类型精度
- Python连接HiveServer或者Spark的ThriftServer：提交SQL语句
连接代码讲解
- step1：怎么获取连接？
step2：连接时需要哪些参数？
- Oracle：主机名、端口、用户名、密码、SID
- Hive：主机名、端口、用户名、密码
- step3：如果有100个代码都需要构建Hive连接，怎么解决呢？
- 将所有连接参数写入一个配置文件：resource/config.txt
- 通过配置文件的工具类获取配置：ConfigLoader
- step4：在ODS层建101张表，表名怎么动态获取呢？
- 读取表名文件：将每张表的名称都存储在一个列表中
- step5：ODS层的表分为全量表与增量表，怎么区分呢？
- 通过对@符号的分割，将全量表和增量表的表名存储在不同的列表中
连接代码测试
- 启动虚拟运行环境
运行测试代码
- 注释掉第2 ~ 第6阶段的内容
- 取消测试代码的注释
- 执行代码观察结果
ODS层构建：建库代码及测试
目标：阅读ODS建库代码及实现测试
路径
- step1：代码讲解
- step2：代码测试
实施
代码讲解
step1：ODS层的数据库名称叫什么？
step2：如何使用PyHive创建数据库？
- 第一步：先获取连接
- 第二步：拼接SQL语句，从连接对象中获取一个游标
- 第三步：使用游标执行SQL语句
- 第四步：释放资源
- **代码测试**
- 注释掉第3 ~ 第6阶段的内容
- 运行代码，查看结果
ODS层构建：建表代码及测试
目标：阅读ODS建表代码及实现测试
路径
- step1：代码讲解
- step2：代码测试
实施
代码讲解
- step1：表名怎么获取？
tableNameList【full_list,incr_list】
full_list：全量表名的列表
incr_list：增量表名的列表
- step2：建表的语句是什么，哪些是动态变化的？
- 表名
- 表的注释
- 表的HDFS地址
- Schema文件的HDFS地址
- step3：怎么获取表的注释？
- 从Oracle中获取：从系统表中获取某张表的信息和列的信息
step4：全量表与增量表有什么区别？
- 区别1：表名不一样
- full_table_list
- incr_table_list
- 区别2：路径不一样
- `/data /dw /ods /one_make /full /Oracle库名.表名`
- `/data /dw /ods /one_make /incr /Oracle库名.表名`
- step5：如何实现自动化建表？
- 自动化创建全量表
- 获取全量表名
- 调用建表方法：数据库名称、表名、全量标记
- 通过Oracle工具类获取表的信息【表的名称、表的注释、字段信息等】
- 拼接建表语句
- 执行SQL语句
- 自动化创建增量表
- 获取增量表名
- 调用建表方法：数据库名称、表名、增量标记
- 通过Oracle工具类获取表的信息【表的名称、表的注释、字段信息等】
- 拼接建表语句
- 执行SQL语句
代码测试
- 注释掉第4~ 第6阶段的内容
- 运行代码，查看结果
ODS层构建：申明分区代码及测试
目标：阅读ODS申明分区的代码及实现测试
路径
- step1：代码讲解
- step2：代码测试
实施
代码讲解
step1：为什么要申明分区？
- 表的分区数据由Sqoop采集到HDFS生成AVRO文件
- HiveSQL基于表的目录实现了分区表的创建
但是Hive中没有对应分区的元数据，无法查询到数据
step3：如何自动化实现每个表的分区的申明？
- 获取分区工具类实例
- 调用申明分区的方法
- 对所有全量表调用申明分区的方法：数据库名称、表名、全量标记、分区值
- 对所有增量表调用申明分区的方法：数据库名称、表名、增量标记、分区值
- 拼接SQL
- 执行SQL
- **代码测试**
- 注释掉第5 ~ 第6阶段的内容
- 运行代码，查看结果
ODS层与DWD层区别
目标：理解ODS层与DWD层的区别
路径
- step1：内容区别
- step2：设计区别
- step3：实现区别
实施
内容区别
- ODS：原始数据
- DWD：对ODS层ETL以后的数据
- 本次数据来源于Oracle数据库，没有具体的ETL的需求，可以直接将ODS层的数据写入DWD层
设计区别
- ODS层：Avro格式分区数据表
- DWD层：Orc格式分区数据表
实现区别
- ODS层建表：基于avsc文件指定Schema建表
- DWD层建表：自己指定每个字段的Schema建表
DWD层构建：需求分析
目标：掌握DWD层的构建需求
路径
- step1：整体需求
- step2：建库需求
- step3：建表需求
实施
整体需求：将ODS层的数据表直接加载到DWD层
建库需求：创建DWD层数据库one_make_dwd
建表需求：将ODS层中的每一张表创建一张对应的DWD层的表
- 问题1：建表的语法是什么？
- 问题2：表的名称名是什么，怎么获取？
- 不分全量和增量
- 所有表的名称都在列表中
- 问题3：表的注释怎么来？
- Oracle元数据中有
- 问题4：表的字段怎么获取？
- Oracle元数据中有
- 问题5：Oracle中的字段类型如果与Hive中的类型不一致怎么办？
- 将Oracle中Hive没有类型转换为Hive的类型
DWD层构建：建库实现测试
目标：阅读DWD建库代码及实现测试
路径
- step1：代码讲解
- step2：代码测试
实施
代码讲解
- step1：DWD层的数据库名称是什么，建库的语法是什么？
- step2：如何实现DWD层数据库的构建？
- **代码测试**
- 注释掉第5.2 ~ 第6阶段的内容
- 运行代码，查看结果
DWD层构建：建表实现测试
目标：阅读DWD建表代码及实现测试
路径
- step1：代码讲解
- step2：代码测试
实施
代码讲解
- step1：如何获取所有表名？
- 列表推导式
- step2：建表的语句是什么，哪些是动态变化的？
- 动态变化的信息如下：
- 表名，表的注释
- 字段
- 路径
- step3：怎么获取字段信息？
- step4：Oracle字段类型与Hive/SparkSQL字段类型不一致怎么办？
- timestamp => long
- number => bigint | dicimal
- other => String
- step4：HDFS上的路径是什么？
```
/data/dw/dwd/one_make/tableName
```
- step5：如何实现自动化
- 遍历表名，对每张表调用自动化建表的方法：数据库名称、表的名称、None【不分全量或者增量】
- 从Oracle中获取字段名，并实现类型转换
- 添加表的注释、分区信息
- 添加表的存储格式
- 指定表的存储路径
- 执行SQL语句
- **代码测试**
- 注释掉 第6阶段的内容
- 运行代码，查看结果
DWD层构建：数据抽取分析
目标：实现DWD层的构建思路分析
路径
- step1：抽取目标
- step2：抽取语法
实施
抽取目标：将ODS层中每张表的数据抽取到DWD层对应的数据表中
抽取语法
DWD层构建：数据抽取测试
目标：实现DWD层数据抽取的测试
路径
- step1：代码讲解
- step2：代码测试
实施
代码讲解
- step1：如何获取所有表名？
- 所有表名都在list中
- step2：如何获取所有字段的信息？
- 从Oracle中获取
- **代码测试**
- 取消第6段代码的注释
- 运行代码，查看结果
整体代码重难点回顾
目标：掌握整体代码的重难点
实施
- 问题1：怎么读取表名的？
- 表名：文件
- FileUitil：读取文件
- TableNameUtil：将表名拆分全量列表和增量列表
- 问题2：怎么构建连接的？
- Oracle：cx_Oracle
- conn(hostname,port,username,password,sid)
- Hive/SparkSQL：PyHive
- conn(hostname,port,username,password)
- 执行SQL规则
- step1：必须构建一个连接
- step2：从连接中获取游标，定义SQL
- step3：使用游标执行SQL语句
- step4：释放资源
- 问题3：为什么要把连接地址写在文件里？
- 开发规范
- df.write.jdbc(url,table,properties)
- 地址
- 端口
- 用户名
- 密码
- 表名
- 问题4：怎么拼接SQL语句的？
- 字符串的拼接
- 问题5：怎么执行SQL语句的？
- 游标：execute(SQL)
- 问题6：怎么获取Oracle的表的信息的？
- Oracle将每张表的每一列的信息都存储Oracle系统表中
- 通过SQL就可以查询到表的这些信息
- TableMeta：表的信息
- 表名：String
- 表的注释：String
- 列的信息：List[ColumnMeta]
- ColumnMeta：列的信息
- 列名
- 列注释
- 列类型
- 长度
- 精度