通过copyIn向PostgreSQL或Greenplum写入数据

     最近需要向PG写入百万级的数据，分别尝试了Spark、jdbc写法，发现性能都不是特别好，差不多都得花上几分钟，有可能是PG本身没有进行优化，或者编程过程中有欠缺的地方。总之，达不到业务需求。后面改用PG的copyIn方法，发现写入百万数据只需要秒级别。下面将demo代码附上，与君共享，有不足的地方，万望指正。

pom依赖：

<dependency>
    <groupId>org.postgresql</groupId>
    <artifactId>postgresql</artifactId>
    <version>42.2.6</version>
</dependency>

注意：虽然GP的依赖和PG有区别（具体区别请各位自行查阅资料），但是GP的依赖包里面并没有copyIn方法。所以如果要用copyIn方法向GP中写入数据，依赖要用PG的。

导入方法：

import java.io.{ByteArrayInputStream, InputStream}
import java.nio.charset.StandardCharsets
import java.sql.DriverManager
import org.postgresql.copy.CopyManager
import org.postgresql.core.BaseConnection

 demo代码：

object CopyInTest {
  def main(args: Array[String]): Unit = {
    val tableName = "copyIn_test"
    val data: Array[Array[String]] = Array(Array("1111","ddddd","2019-10-30"))
    Class.forName("org.postgresql.Driver")
    val conn = DriverManager.getConnection("jdbc:postgresql://localhost:5432/test","postgres", "postgres")
    val manager = new CopyManager(conn.asInstanceOf[BaseConnection])
    manager.copyIn(s"COPY $tableName from STDIN",genInputStream(data))
    conn.close()
  }

  /**
    * 将数据转为字节流
    * @param arr
    * @return
    */
  def genInputStream(arr: Array[Array[String]]): InputStream = {
    val stringBuilder = new StringBuilder
    if (arr.length != 0) {
      val rowcount = arr.length
      val columncount = arr(0).length
      for (i <- 0 until rowcount; j <- 0 until columncount) {
        stringBuilder.append(arr(i)(j) + (if (j == columncount-1) "\r\n" else "\t"))
      }
    }
    val str = stringBuilder.toString
    new ByteArrayInputStream(str.getBytes(StandardCharsets.UTF_8))//注意设置与数据库对应的编码格式
  }
}

     最后再分享一个小知识点，在实际操作中发现GP可以使用PG的依赖对数据库进行操作（如建表、写入数据等），但是在查询数据的时候，当列数超过30之后查询程序就会卡住。所以建议除了copyIn这种操作之外，对GP的操作还是用GP自己的依赖。

GP依赖：

<dependency>
    <groupId>com.pivotal</groupId>
    <artifactId>greenplum-jdbc</artifactId>
    <version>5.1.4</version>
</dependency>