crdb1.1.0数据导入性能比较

导入方法

两种方式导入100warehouse数据到crdbv1.1.0：

1. 首先通过benchmarksql导入pg，然后pg_dump导出copy语句，crdb执行copy语句
2. 首先通过benchmarksql生成csv文件，

性能比较

1. 单线程导入pg_dump的文件，耗时132min

2. 导入csv文件

   1. 单线程顺序导入
      1. 2.1G order-line-nonull.csv 12m3.865125123s
      2. 2.9G stock 5m31.318018087s
      3. 1.7G customer 3m3.289160325s
   2. 并发执行大文件（都在a1上执行）
      1. 并发导入上面三个大文件 a1节点挂了
   3. 并发执行大文件(分别在a1,a2,a3上执行)
      1. customer 2m53.384404436s
      2. stock 6m8.894480399s
      3. bmsql_order_line 12m20.354396959s

3. pg10通过benchmarksql，10线程导入

[root@a1 run]# time ./runDatabaseBuild.sh props.pg
real    7m27.513s

由此可见，crdb通过import语法直接导入csv文件效率最高，但是与pg10相比较，性能有差距。

参考链接

1. caddy导入csv文件
2. crdb import csv
3. cockroachdb import pg_dump data