数据导入工具

JSON格式的记录必须符合JSON的定义，以左右花括号作为记录的分界符，并且字符串类型的数据必须包含在两个双引号之间，转义字符为反斜杠“\”。

CSV

CSV（Comma Separated Value）格式以逗号分隔数值。默认情况下记录以换行符分隔，字段以逗号分隔。用户能够指定字符串分隔符、字段分隔符以及记录分隔符。

CSV类型

在不指定 CSV 字段类型时，导入工具会自动判断类型。其中 oid、date、timestamp、binary、regex 不支持自动类型判断，会被识别为 string 类型。整数超过 long 的范围，浮点数超过 double 的范围，以及浮点数总位数超过 15 位或小数位超过 6 位时，类型判断为 decimal。

CSV类型转换

在指定 CSV 字段类型时，导入工具会将字段转换为指定的类型。如果字段的实际类型不是指定的类型，则转换可能失败。具体参考下表，最左边一列是指定的类型，Y 表示可以转换，N 表示不能转换。

示例

• 将数据导入到本地数据库 11810 中集合空间 foo 的集合 bar，导入格式是 csv，数据文件为“test.csv”，第一行为字段定义：

以下是导入文件的内容：

$ sdbimprt --hosts=localhost:11810 --type=csv --file=test.csv -c foo -l bar --headerline=true

• 导入格式是 csv，文件名是“test.csv”，导入至集合空间 foo 的集合 bar 中

"Jack",18,"China"
"Mike",20,"USA"

导入命令：

$ sdbimprt --hosts=localhost:11810 --type=csv --file=test.csv -c foo -l bar --fields='name string default "Anonymous", age int, country'

• 导入格式是 csv，文件名是“test.csv”，导入至集合空间 foo 的集合 bar 中

以下是导入文件的内容，其中文件第一行是字段定义，需要跳过：

导入命令：

$ sdbimprt --hosts=localhost:11810 --type=csv --file=test.csv -c foo -l bar --fields='name string default "Anonymous", age int, country' --headerline=true

• 导入格式是 csv，导入文件是目录“../data”中的所有文件，导入至集合空间 foo 的集合 bar 中

$ sdbimprt --hosts=localhost:11810 --type=csv --file=../data -c foo -l bar --fields='name string default "Anonymous", age int, country'

• 导入格式是 csv，导入文件是目录“../data”中的所有文件以及“./foo_bar_data.csv”，导入至集合空间 foo 的集合 bar 中，有 11810 和 11910 两个协调节点，记录中时间戳类型的数据类似于“2015-10-01 T 12.31.15.123 T”，使用两个连接同时导入

$ sdbimprt --type=csv --file=../data,./foo_bar_data.csv --fields='name, time timestamp' -c foo -l bar --timestampfmt="YYYY-MM-DD T HH.mm.ss.SSS T" --hosts=localhost:11810,localhost:11910 -j 2

• 导入格式是 json，通过管道从其它工具 other 获取数据，导入至集合空间 foo 的集合 bar 中

• 导入格式是 csv，导入多种时间戳格式

例子的系统时区是东八区

以下是导入文件的内容：

2014-01-01, 2001/01/01, 1990-01-01
2014-01-01Z, 2001/01/01Z, 1990-01-01Z
2014-01-01+0200, 2001/01/01+0200, 1990-01-01+0200

$ sdbimprt --hosts=localhost:11810 --type=csv --file=test.csv -c foo -l bar --fields='time1 timestamp("YYYY-MM-DD"), time2 timestamp("YYYY/MM/DDZ"), time3 timestamp("YYYY-MM-DD+0600")'

• time1没有指定时区，因此都用系统的时区
• time2指定时区字符Z，如果数据没有时区信息，则用系统的时区；如果数据有Z字符，则作为UTC时间
• time3指定+0600时区，如果数据没有时区信息，则用字段指定的+0600时区；如果数据有Z字符，则作为UTC时间查询结果：

{
   "_id": {
      "$oid": "5ad5565f13f513e620000000"
   },
   "time1": {
      "$timestamp": "2014-01-01-00.00.00.000000"
   },
   "time2": {
      "$timestamp": "2001-01-01-00.00.00.000000"
   },
   "time3": {
      "$timestamp": "1990-01-01-02.00.00.000000"
   }
}
{
   "_id": {
      "$oid": "5ad5565f13f513e620000001"
   },
   "time1": {
      "$timestamp": "2014-01-01-00.00.00.000000"
   },
   "time2": {
      "$timestamp": "2001-01-01-08.00.00.000000"
   },
   "time3": {
      "$timestamp": "1990-01-01-08.00.00.000000"
   }
}
{
   "_id": {
      "$oid": "5ad5565f13f513e620000002"
   },
   "time1": {
      "$timestamp": "2014-01-01-00.00.00.000000"
   },
   "time2": {
      "$timestamp": "2001-01-01-06.00.00.000000"
   },
   "time3": {
      "$timestamp": "1990-01-01-06.00.00.000000"
   }
}