CSV数据迁移

步骤一 CSV格式数据准备

您将需要为每个表导出一个CSV文件，并具有以下要求：

文件必须为有效的CSV格式，但请注意，分隔符必须为单个字符。要使用逗号以外的其他字符（例如制表符），请使用delimiter设置自定义分隔符。
文件必须为UTF-8编码。
如果字段中出现以下字符之一，则该字段必须用双引号引起来：

分隔符（,）为默认的情况
双引号（"）
换行符（\n）
回车（\r）

如果使用双引号将字段括起来，则必须在字段内部出现双引号，然后在其前面加上另一个双引号，以对其进行转义。例如："aaa","b""bb","ccc"。
如果列是类型BYTES，则它可以是有效的UTF-8字符串，也可以是以开头的十六进制编码的字节常量\x。例如，一个字段，其值应是字节1，2将被写为\x0102。

步骤二：将数据文件放置在集群可访问到的位置

URL必须使用以下格式:

[scheme]://[host]/[path]?[parameters]

类型	schema	host	参数	示例
NFS/Local	nodelocal	节点ID或为空	`N/A`	`nodelocal://n/path/mydatest,nodelocal://n/path/mydatest2`

其中n代表在哪个node节点，见以下示例（以下举例在第一个节点进行的操作）。

步骤三：将数据迁移到Hubble数据库中

在导入数据前一定要先创建表

hubble库中表的数据迁移

import into employees (emp_no, birth_date,first_name,last_name,gender,hire_date) CSV DATA ('nodelocal://1/customers/export176656930ae175640000000000000001-n871825080457560067.0.csv')

多文件导入

import into employees csv data(
'nodelocal://1/customers/export176656930ae175640000000000000001-n871825080457560067.0.csv',
'nodelocal://1/customers/export176656930ae175640000000000000001-n871825087878788759.0.csv'
) delimiter = e'|';

配置参数

以下选项可用于IMPORT ... CSV。

列定界符

该delimiter选项用于设置Unicode字符，该字符标记每列的结尾。默认值：,。

用法示例：

import into employees 
  CSV DATA ('nodelocal://1/customers/*.csv') WITH delimiter = e'\t';

        job_id       |  status   | fraction_completed |  rows  | index_entries | system_records |  bytes    
+--------------------+-----------+--------------------+--------+---------------+----------------+----------+
  535428382456872961 | succeeded |                  1 | 300024 |             0 |              0 | 12134341  
(1 row)

Time: 5.768633441s

跳过注释行

comment选项确定哪个Unicode字符标记数据中要跳过的行。

用法示例：

import into employees 
  CSV DATA ('nodelocal://1/customers/*.csv') WITH  comment = '#';

跳过标题行

skip选项确定导入文件时要跳过的标题行数。

用法示例：

import into employees 
  CSV DATA   ('nodelocal://1/customers/*.csv') WITH skip = '2';

空字符串

nullif选项定义应将哪个字符串转换为NULL。

用法示例：

import into employees 
  CSV DATA ('nodelocal://1/customers/*.csv') WITH nullif = '';

文件压缩格式

decompress选项用于指定需导入的csv文件压缩格式，默认不使用压缩格式

可选的压缩格式包括：gzip，bzip，none

import into employees 
  CSV DATA   ('nodelocal://1/customers/*.csv.gz') WITH decompress = 'gzip';

行限制数

row_limit选项确定要从表中导入的行数。它有助于在执行更耗时和更耗费资源的导入之前快速查找错误。

用法示例：

import into employees 
  CSV DATA   ('nodelocal://1/customers/*.csv')  
  WITH row_limit = '10';

下载PDF

本页导航

步骤一 CSV格式数据准备
步骤二：将数据文件放置在集群可访问到的位置
步骤三：将数据迁移到Hubble数据库中
- hubble库中表的数据迁移
- 多文件导入
配置参数