导入JSON文件数据

    本文以basketballplayer数据集为例。部分示例数据如下：

    • player

    • team

      2. {"id":"team201","name":"Nuggets"}
      3. ...

    • follow

      1. {"src":"player100","dst":"player101","degree":95}
      2. {"src":"player101","dst":"player102","degree":90}
      3. ...

    • serve

    本文示例在MacOS下完成，以下是相关的环境配置信息：

    • 硬件规格：

      • CPU：1.7 GHz Quad-Core Intel Core i7
      • 内存：16 GB

    • Spark：2.3.0，单机版

    • Hadoop：2.9.2，伪分布式部署

    • Nebula Graph：2.5.1。使用Docker Compose部署。

    开始导入数据之前，用户需要确认以下信息：

      • Graph服务和Meta服务的的IP地址和端口。

      • 拥有Nebula Graph写权限的用户名和密码。

    • 已经编译Exchange。详情请参见。本示例中使用Exchange 2.5.1。

    • 已经安装Spark。

    • 了解Nebula Graph中创建Schema的信息，包括Tag和Edge type的名称、属性等。

    • 如果文件存储在HDFS上，需要确认Hadoop服务运行正常。

    • 如果文件存储在本地且Nebula Graph是集群架构，需要在集群每台机器本地相同目录下放置文件。

    分析文件中的数据，按以下步骤在Nebula Graph中创建Schema：

    1. 确认Schema要素。Nebula Graph中的Schema要素如下表所示。

    2. 使用Nebula Console创建一个图空间basketballplayer，并创建一个Schema，如下所示。

      1. ## 创建图空间
      2. nebula> CREATE SPACE basketballplayer \
      3.         (partition_num = 10, \
      4.         replica_factor = 1, \
      5.         vid_type = FIXED_STRING(30));
      7. ## 选择图空间basketballplayer
      8. nebula> USE basketballplayer;
      10. ## 创建Tag player
      11. nebula> CREATE TAG player(name string, age int);
      13. ## 创建Tag team
      14. nebula> CREATE TAG team(name string);
      16. ## 创建Edge type follow
      17. nebula> CREATE EDGE follow(degree int);
      19. ## 创建Edge type serve
      20. nebula> CREATE EDGE serve(start_year int, end_year int);

    更多信息，请参见快速开始。

    步骤 2：处理JSON文件

    1. 处理JSON文件以满足Schema的要求。

    2. 获取JSON文件存储路径。

    编译Exchange后，复制target/classes/application.conf文件设置JSON数据源相关的配置。在本示例中，复制的文件名为json_application.conf。各个配置项的详细说明请参见配置说明。

    1. {
    2.   # Spark相关配置
    3.   spark: {
    4.     app: {
    5.       name: Nebula Exchange 2.5.1
    6.     }
    7.     driver: {
    8.       cores: 1
    9.       maxResultSize: 1G
    10.     }
    11.     executor: {
    12.         memory:1G
    13.     }
    15.     cores {
    16.       max: 16
    17.     }
    18.   }
    20.   # Nebula Graph相关配置
    21.   nebula: {
    22.     address:{
    23.       # 指定Graph服务和所有Meta服务的IP地址和端口。
    24.       # 如果有多台服务器，地址之间用英文逗号（,）分隔。
    25.       # 格式: "ip1:port","ip2:port","ip3:port"
    26.       graph:["127.0.0.1:9669"]
    27.       meta:["127.0.0.1:9559"]
    28.     }
    30.     # 指定拥有Nebula Graph写权限的用户名和密码。
    31.     user: root
    32.     pswd: nebula
    34.     # 指定图空间名称。
    35.     space: basketballplayer
    36.     connection {
    37.       timeout: 3000
    38.       retry: 3
    39.     }
    40.       retry: 3
    41.     }
    42.     error: {
    43.       max: 32
    44.       output: /tmp/errors
    45.     }
    46.     rate: {
    47.       limit: 1024
    48.       timeout: 1000
    49.     }
    50.   }
    52.   # 处理点
    53.   tags: [
    54.     # 设置Tag player相关信息。
    56.       # 指定Nebula Graph中定义的Tag名称。
    57.       name: player
    58.       type: {
    59.         # 指定数据源，使用JSON。
    60.         source: json
    62.         # 指定如何将点数据导入Nebula Graph：Client或SST。
    63.         sink: client
    64.       }
    66.       # 指定JSON文件的路径。
    67.       # 如果文件存储在HDFS上，用双引号括起路径，以hdfs://开头，例如"hdfs://ip:port/xx/xx"。
    68.       # 如果文件存储在本地，用双引号括起路径，以file://开头，例如"file:///tmp/xx.csv"。
    69.       path: "hdfs://192.168.*.*:9000/data/vertex_player.json"
    71.       # 在fields里指定JSON文件中key名称，其对应的value会作为Nebula Graph中指定属性的数据源。
    72.       # 如果需要指定多个值，用英文逗号（,）隔开。
    73.       fields: [age,name]
    75.       # 指定Nebula Graph中定义的属性名称。
    76.       # fields与nebula.fields的顺序必须一一对应。
    77.       nebula.fields: [age, name]
    79.       # 指定一个列作为VID的源。
    80.       # vertex的值必须与JSON文件中的字段保持一致。
    81.       # 目前，Nebula Graph 2.5.1仅支持字符串或整数类型的VID。
    82.       vertex: {
    83.         field:id
    84.       }
    86.       # 指定单批次写入Nebula Graph的最大点数量。
    87.       batch: 256
    89.       # 指定Spark分片数量。
    90.       partition: 32
    91.     }
    93.     # 设置Tag team相关信息。
    94.     {
    95.       # 指定Nebula Graph中定义的Tag名称。
    96.       name: team
    97.       type: {
    98.         # 指定数据源，使用JSON。
    99.         source: json
    101.         # 指定如何将点数据导入Nebula Graph：Client或SST。
    102.         sink: client
    103.       }
    105.       # 指定JSON文件的路径。
    106.       # 如果文件存储在HDFS上，用双引号括起路径，以hdfs://开头，例如"hdfs://ip:port/xx/xx"。
    107.       # 如果文件存储在本地，用双引号括起路径，以file://开头，例如"file:///tmp/xx.csv"。
    108.       path: "hdfs://192.168.*.*:9000/data/vertex_team.json"
    110.       # 在fields里指定JSON文件中key名称，其对应的value会作为Nebula Graph中指定属性的数据源。
    111.       # 如果需要指定多个值，用英文逗号（,）隔开。
    112.       fields: [name]
    114.       # 指定Nebula Graph中定义的属性名称。
    115.       # fields与nebula.fields的顺序必须一一对应。
    116.       nebula.fields: [name]
    118.       # 指定一个列作为VID的源。
    119.       # vertex的值必须与JSON文件中的字段保持一致。
    120.       # 目前，Nebula Graph 2.5.1仅支持字符串或整数类型的VID。
    121.       vertex: {
    122.         field:id
    123.       }
    126.       # 指定单批次写入Nebula Graph的最大点数量。
    127.       batch: 256
    129.       # 指定Spark分片数量。
    130.       partition: 32
    131.     }
    134.     # 如果需要添加更多点，请参考前面的配置进行添加。
    135.   ]
    136.   # 处理边
    137.     # 设置Edge type follow相关信息。
    138.     {
    139.       # 指定Nebula Graph中定义的Edge type名称。
    140.       name: follow
    141.       type: {
    142.         # 指定数据源，使用JSON。
    143.         source: json
    146.         sink: client
    147.       }
    149.       # 指定JSON文件的路径。
    150.       # 如果文件存储在HDFS上，用双引号括起路径，以hdfs://开头，例如"hdfs://ip:port/xx/xx"。
    151.       # 如果文件存储在本地，用双引号括起路径，以file://开头，例如"file:///tmp/xx.csv"。
    152.       path: "hdfs://192.168.*.*:9000/data/edge_follow.json"
    154.       # 在fields里指定JSON文件中key名称，其对应的value会作为Nebula Graph中指定属性的数据源。
    155.       # 如果需要指定多个值，用英文逗号（,）隔开。
    156.       fields: [degree]
    158.       # 指定Nebula Graph中定义的属性名称。
    159.       # fields与nebula.fields的顺序必须一一对应。
    160.       nebula.fields: [degree]
    162.       # 指定一个列作为起始点和目的点的源。
    163.       # vertex的值必须与JSON文件中的字段保持一致。
    164.       # 目前，Nebula Graph 2.5.1仅支持字符串或整数类型的VID。
    165.       source: {
    166.         field: src
    167.       }
    168.       target: {
    169.         field: dst
    170.       }
    173.       # 指定一个列作为rank的源(可选)。
    174.       #ranking: rank
    176.       # 指定单批次写入Nebula Graph的最大边数量。
    177.       batch: 256
    179.       # 指定Spark分片数量。
    180.       partition: 32
    181.     }
    183.     # 设置Edge type serve相关信息。
    184.     {
    185.       # 指定Nebula Graph中定义的Edge type名称。
    186.       name: serve
    187.       type: {
    188.         # 指定数据源，使用JSON。
    189.         source: json
    191.         # 指定如何将点数据导入Nebula Graph：Client或SST。
    192.         sink: client
    193.       }
    195.       # 指定JSON文件的路径。
    196.       # 如果文件存储在HDFS上，用双引号括起路径，以hdfs://开头，例如"hdfs://ip:port/xx/xx"。
    197.       # 如果文件存储在本地，用双引号括起路径，以file://开头，例如"file:///tmp/xx.csv"。
    198.       path: "hdfs://192.168.*.*:9000/data/edge_serve.json"
    200.       # 在fields里指定JSON文件中key名称，其对应的value会作为Nebula Graph中指定属性的数据源。
    201.       # 如果需要指定多个值，用英文逗号（,）隔开。
    202.       fields: [start_year,end_year]
    204.       # 指定Nebula Graph中定义的属性名称。
    205.       # fields与nebula.fields的顺序必须一一对应。
    206.       nebula.fields: [start_year, end_year]
    208.       # 指定一个列作为起始点和目的点的源。
    209.       # vertex的值必须与JSON文件中的字段保持一致。
    210.       # 目前，Nebula Graph 2.5.1仅支持字符串或整数类型的VID。
    211.       source: {
    212.         field: src
    213.       }
    214.       target: {
    215.         field: dst
    216.       }
    219.       # 指定一个列作为rank的源(可选)。
    220.       #ranking: _c5
    223.       # 指定单批次写入Nebula Graph的最大边数量。
    224.       batch: 256
    226.       # 指定Spark分片数量。
    227.       partition: 32
    228.     }
    230.   ]
    231.   # 如果需要添加更多边，请参考前面的配置进行添加。
    232. }

    步骤 4：向Nebula Graph导入数据

    运行如下命令将JSON文件数据导入到Nebula Graph中。关于参数的说明，请参见导入命令参数。

    Note

    JAR包有两种获取方式：或者从maven仓库下载。

    示例：

    1. ${SPARK_HOME}/bin/spark-submit  --master "local" --class com.vesoft.nebula.exchange.Exchange  /root/nebula-spark-utils/nebula-exchange/target/nebula-exchange-2.5.1.jar  -c /root/nebula-spark-utils/nebula-exchange/target/classes/json_application.conf

    用户可以在返回信息中搜索batchSuccess.<tag_name/edge_name>，确认成功的数量。例如batchSuccess.follow: 300。

    用户可以在Nebula Graph客户端（例如Nebula Graph Studio）中执行查询语句，确认数据是否已导入。例如：

      用户也可以使用命令SHOW STATS查看统计数据。

      步骤 6：（如有）在Nebula Graph中重建索引

      导入数据后，用户可以在Nebula Graph中重新创建并重建索引。详情请参见索引介绍。