Python使用StingIO搭配psycogp2完成在pgsql百万级数据快速插入

- 使用的python模块

import psycopg2
from io import StringIO
copy_from 方法

	连接到pgsql数据库
    conn = psycopg2.connect(database='store', user='postgres', password='123456', host='127.0.0.1', )
    cursor = conn.cursor()
    
    创建T表
    try:
        cursor.execute("create table {}(id serial);".format(T))
        conn.commit()
    except Exception as e:
        conn.rollback()
        
    写入到内存中，以 \t 隔开字段，以 \n 隔开每一条数据
    f.write("{}\t{}\n".format(email,password))
    f.seek(0)
    
    使用copy_from方法，传入缓存的值 f，传入表名T，字段columns ，字段分割sep
    try:
        #print(f.getvalue())
        cursor.copy_from(f, T, columns=("email","password",), sep='\t', null='\\N', size=16384,)
        conn.commit()
    except Exception as e:
        conn.rollback()