最近经常用到datax从oracle抽取大表到数仓hive
当表的数据量超过千万 很容易卡住 一直抽不过来
经过测试可以在querysql上加并行抽取
/*+ parallel(n) */
基于并行查询要启动并行进程、分配任务与系统资源、合并结果集
一般而言主要在如下情况使用parallel
1.表的数据量很大,超过一千万;
2.数据库主机是多个CPU;
3.系统的当前负载较低;
但这个容易直接把资源占死 导致别人无法抽取业务数据库 需要做测试再正式上线
版权声明：本文为aline12原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接和本声明。