如何充分利用單臺(tái)服務(wù)器的性能將10億級(jí)的json數(shù)據(jù)盡可能高效的插入postgresql？

思路和偽代碼：
基本思路，遍歷json文本，每100萬行文本做一次插入。插入時(shí)，將100萬行文本切割成小的分組用多線程的方式并行插入，每個(gè)線程每次都建立一個(gè)新的數(shù)據(jù)庫連接并處理一個(gè)分組。待100萬行文本處理完畢后再繼續(xù)遍歷json。

首先進(jìn)行一些數(shù)據(jù)庫的基本優(yōu)化：

• 創(chuàng)建數(shù)據(jù)庫和表，將表設(shè)置為unlogged
• 開啟postgresql的異步提交

# python偽代碼

def do_insert(rows):
   # 每次插入都建立新的連接
   conn=psycopg2.connect()
   cur=conn.cursor()
   # 遍歷rows，進(jìn)行json反序列化，提取數(shù)據(jù)并構(gòu)造sql語句，執(zhí)行sql語句將rows一次性插入到數(shù)據(jù)庫
   
   for row in rows:
       v = json.loads(row)
       insert_sql = "insert into ... values (%s,%s)" % (v[1], v[2]) 
       cur.execute(insert_sql)
   cur.commit()
   conn.close()
   
def insert(Rows):
   # 將Rows切割成100份，獲得100個(gè)rows，啟用n個(gè)do_insert線程
   rows_list = split_list(Rows, 100)
   pool = threadpool.ThreadPool(n)
   requests = threadpool.makeRequest(do_insert, rows_list)
   [pool.putRequest(req) for req in requests]
   pool.wait()

def main():
   # 載入json文本數(shù)據(jù)源
   # 按行讀取，每讀取100萬行數(shù)據(jù)調(diào)用一次insert()
   with open('import.json','r') as f:
       index=0
       Rows=[]
       for line in f:
           Rows.append(line)
           index += 1
           if index % 1000000 == 0:
               insert(Rows)