挂载目录

    在本例中:远程DB节点表示SequoiaDB集群安装节点,FS节点表示通过SequoiaFS映射挂载目录的节点。

    两者可以是相同节点也可以是不同节点,可以在一个FS节点上的不同目录下,映射挂载同一DB集群节点或不同DB集群节点,也可以在不同FS节点进行映射挂载同一DB集群节点。

    以下例子中DB节点为一常见普通集群,部署了一个coord、三个catalog和三个data节点,在FS节点上利用SequoiaFS挂载映射目录。

    1、在DB节点上创建目标集合

    首次启动时,需要在远程DB节点上创建映射的目标集合collection。后面挂载目录之后,mountpoint目录下的所有文件的实际内容会以lob的形式存放在该集合下。而所有文件的属性信息会分别存放在目录元数据集合和文件元数据集合中。

    1. $sdb
    2. Welcome to SequoiaDB shell!
    3. help() for help, Ctrl+c or quit to exit
    4. > var db = new Sdb("localhost", 11810)
    5. Takes 0.124118s.
    6. > db.createCS("foo")
    7. localhost:11800.foo
    8. Takes 0.352408s.
    9. > db.foo.createCL("bar")
    10. localhost:11800.foo.bar
    11. Takes 2.466226s.
    12. >

    2、在FS节点上创建挂载目录及配置文件

    挂载目录mountpoint为FS节点上的目录,用以挂载映射远程DB节点的目标集合,所以需要在FS节点上创建该目录。

    启动SequoiaFS时可以指定从配置文件中读取配置参数,建议首次启动前创建配置文件并进行参数设置,配置文件及日志路径建议参考进行设置,以防止出现多次映射时互相覆盖的情况。

    1. $mkdir -p /opt/sequoiadb/mountpoint
    2. $mkdir -p /opt/sequoiafs/conf/foo_bar/001/
    3. $mkdir -p /opt/sequoiafs/log/foo_bar/001/

    该例中按照默认参数值进行启动,所以不对参数进行配置,只是创建一个空配置文件,实际使用时按需写入相关配置值。

    1. $touch /opt/sequoiafs/conf/foo_bar/001/sequoiafs.conf

    3、挂载目录

    挂载目录时,除了目标集合collection外,还需要指定一系列参数,具体参数选项详情请查看选项。。

    通过-i或者—hosts进行指定远程DB节点(协调节点),一旦挂载之后,mountpoint目录下的所有文件的属性信息会存放在远程DB节点上的目录元数据集合及文件元数据集合中,而文件内容会以lob的形式存放在目标集合下。目录元数据集合和文件元数据集合可以分别通过-d(或—metadircollection)和-f(或—metafilecollection)在进行指定,也可以直接通过指定—autocreate默认生成,该例指定默认生成。

    这里除了SequoiaFS相关参数,还指定了FUSE的参数-o big_writes(开启大页写),具体参数详情可以参见。

    4、查看挂载信息

    4.1 本地FS节点通过mount可以看到挂载信息

    1. $ mount
    2. /dev/sda1 on / type ext4 (rw,errors=remount-ro)
    3. proc on /proc type proc (rw,noexec,nosuid,nodev)
    4. sysfs on /sys type sysfs (rw,noexec,nosuid,nodev)
    5. none on /sys/fs/fuse/connections type fusectl (rw)
    6. none on /sys/kernel/debug type debugfs (rw)
    7. none on /sys/kernel/security type securityfs (rw)
    8. udev on /dev type devtmpfs (rw,mode=0755)
    9. devpts on /dev/pts type devpts (rw,noexec,nosuid,gid=5,mode=0620)
    10. tmpfs on /run type tmpfs (rw,noexec,nosuid,size=10%,mode=0755)
    11. none on /run/lock type tmpfs (rw,noexec,nosuid,nodev,size=5242880)
    12. none on /run/shm type tmpfs (rw,nosuid,nodev)
    13. sequoiafs on /opt/sequoiadb/mountpoint type fuse.sequoiafs (rw,nosuid,nodev,user=sdbadmin)

    4.2 在DB节点可以查看相关信息

    1. > var db = new Sdb("localhost", 11810)
    2. Takes 0.001705s.
    3. > db.list(4)
    4. {
    5. "Name": "sequoiafs.maphistory"
    6. }
    7. {
    8. "Name": "sequoiafs.sequenceid"
    9. }
    10. {
    11. "Name": "sequoiafs.bar_dir148139183721030"
    12. }
    13. {
    14. "Name": "sequoiafs.bar_file148139183721030"
    15. }
    16. {
    17. "Name": "foo.bar"
    18. }

    对于每次mount,可以通过以上5张表查看相关信息,后续会介绍各表的作用,sequoiafs.maphistory为映射挂载历史信息表,记录历史挂载的关键数据信息。

    1. > db.sequoiafs.maphistory.find()
    2. "_id": {
    3. "$oid": "5aff94db15d4f9e718e723cd"
    4. },
    5. "SourceCL": "foo.bar",
    6. "DirMetaCL": "sequoiafs.bar_dir148139183721030",
    7. "FileMetaCL": "sequoiafs.bar_file148139183721030",
    8. "Address": "eth0:192.168.20.45;",
    9. "MountPoint": "/opt/sequoiadb/mountpoint",
    10. "MountTime": {
    11. "MountTime": "2018-05-19-11.07.07.866247"
    12. }
    13. }

    每次挂载时都会记录一条历史数据,以供历史查询,其基本含义如下:

    sequoiafs.sequenceid为目录元数据中目录记录的id序列表,目的用于构造目录的唯一性。

    sequoiafs.bar_dir148139183721030和sequoiafs.bar_file148139183721030分别为目录和文件的元数据集合表,由于SequoiaFS启动挂载时指定了—autocreate,所以这里是默认生成的,用以记录FS挂载目录下的目录和文件信息。

    4.3 在FS节点挂载目录下创建文件和目录

    上面我们在FS挂载目录下创建了文件testfile并写入'hello, this is a testfile!',并创建了子目录testdir。在DB节点查看目录元数据集合,可以查到testdir目录元数据信息记录。

    1. > db.sequoiafs.bar_dir148139183721030.find()
    2. {
    3. "_id": {
    4. "$oid": "5affae7115d4f9e718e723d0"
    5. },
    6. "Name": "testdir",
    7. "Mode": 16877,
    8. "Uid": 2109,
    9. "Gid": 2000,
    10. "Pid": 1,
    11. "Id": 621,
    12. "NLink": 0,
    13. "Size": 4096,
    14. "CreateTime": 1526705777945,
    15. "ModifyTime": 1526705777945,
    16. "AccessTime": 1526705777945,
    17. "SymLink": ""
    18. }
    19. Return 1 row(s).
    20. Takes 0.019212s.

    目录元数据信息的具体含义如下:

    记录名称描述说明数据类型
    _id对象IDOID
    Name目录名称字符串
    Mode目录属性模式整数
    Uid目录属主整数
    Gid目录组属主整数
    Pid目录父目录ID,不同于_id长整数
    Id目录ID长整数
    NLink目录link整数
    Size目录大小长整数
    CreateTime创建时间长整数
    ModifyTime修改时间长整数
    AccessTime访问时间长整数
    SymLink软链接字符串

    DB节点查看文件元数据集合,可以查到testfile文件元数据信息记录。

    1. > db.sequoiafs.bar_file148139183721030.find()
    2. {
    3. "AccessTime": 1526705729062,
    4. "CreateTime": 1526705729000,
    5. "Gid": 2000,
    6. "LobOid": "5affae4015d4f9e718e723ce",
    7. "Mode": 33188,
    8. "ModifyTime": 1526705729062,
    9. "NLink": 1,
    10. "Name": "testfile",
    11. "Pid": 1,
    12. "Size": 27,
    13. "SymLink": "",
    14. "Uid": 2109,
    15. "_id": {
    16. "$oid": "5affae4015d4f9e718e723cf"
    17. }
    18. }
    19. Return 1 row(s).
    20. Takes 0.010137s.
    21. > db.foo.bar.listLobs()
    22. {
    23. "Size": 27,
    24. "Oid": {
    25. "$oid": "5affae4015d4f9e718e723ce"
    26. },
    27. "CreateTime": {
    28. "$timestamp": "2018-05-19-12.55.28.833000"
    29. },
    30. "ModificationTime": {
    31. },
    32. "Available": true,
    33. "HasPiecesInfo": false
    34. }

    文件元数据信息具体含义如下:

    从上表可以看出,文件元数据和目录元数据大致相同,不同的是,文件实际对应着一个Lob文件(通过LobOid映射到该文件),以保存文件的实际内容。并且文件没有ID属性,因为文件只从属于某个目录,所以只需要PID属性。

    通用选项

    参数缩写描述默认值是否必填
    —help-h显示帮助信息
    —helpfuse显示fuse帮助信息,查看FUSE相关选项信息
    —version-v显示版本信息
    —hosts-i指定需要映射的集合的所属主机节点地址(hostname:svcname),用","分隔多个地址localhost:11810
    —username-u数据库用户名
    —passwd-p数据库密码
    —collection-l指定需要映射的集合全名
    —metadircollection-d指定目录元数据集合全名,默认根据目标映射集合生成对应集合名称
    —metafilecollection-f指定文件元数据集合全名,默认根据目标映射集合生成对应集合名称
    —connectionnum-n指定连接池最大支持连接数大小,取值范围[50-1000]100
    —cachesize-s目录LRU缓存大小,单位M,取值范围[1-200]2
    —confpath-c配置文件路径,默认为当前目录下的sequoiafs.conf
    —diaglevel-g设置日志级别,取值范围[0-5]3
    —replsize-r指定元数据集合创建时的ReplSize,取值范围[-1,7]2
    —diagnum指定日志文件最大个数,-1表示无限制20
    —diagpath指定日志文件目录,默认当前目录下diaglog
    —autocreate如果未显示指定文件和目录元数据集合全名,即未指定-d和-f,则需要指定该选项进行自动生成
    mountpoint指定映射集合的目标挂载目录

    首次启动时,其中-l collection参数和mountpoint是必须指定的,collection为需要映射的目标集合名称,为目标SequoiaDB节点中创建的集合,需要提前在DB中创建好。

    目标SequoiaDB节点可以通过-i或者—hosts进行指定,一旦挂载之后,mountpoint目录下的所有文件的属性信息会存放在目标SequoiaDB节点上的目录元数据集合及文件元数据集合中,文件内容会以lob的形式存放在目标集合下。

    目录元数据集合和文件元数据分别可以通过-d(或—metadircollection)和-f(或—metafilecollection)在启动时进行指定,也可以直接通过指定—autocreate默认生成。手工创建时,需要为目录元数据集合创建一个强一致唯一索引,索引字段为 {Name:1, Pid:1}。为文件元数据集合创建两个强一致唯一索引,索引字段分别为 {Name:1, Pid:1} 和 {LobOid:1}。

    FUSE选项

    因为SequoiaFS在同一个节点可以挂载映射同一套DB或者不同套DB的同一个目标集合或者不同目标集合,所以在创建配置文件及指定日志路径时,建议参考以下规则进行配置,以防止出现配置文件互相干扰覆盖或者日志文件互相覆盖的情况。

    配置文件路径及日志文件路径参考规则:

    1. /opt/sequoiafs/conf/collection/001/sequoiafs.conf
    2. /opt/sequoiafs/log/collection/001/diaglog/sequoiafs.log
    3. /opt/sequoiafs/conf/collection/002/sequoiafs.conf
    4. /opt/sequoiafs/log/collection/002/diaglog/sequoiafs.log

    collection即SequoiaFS启动时指定的目标集合实际名称,001和002表示挂载映射次数,从而防止映射同一个目标映射集合时日志文件互相覆盖。

    配置样本文件:

    如果SequoiaFS是通过run包进行安装的,则可以从安装目录conf/samples/下拷贝配置文件样本sequoiafs.conf到指定的配置路径下。否则可以通过手工创建sequoiafs.conf,并根据需要写入以下配置内容,参数具体值根据实际情况写入,不进行配置的参数可以不用写入进配置文件中,以下为SequoiaFS配置文件样本内容:

    接口函数参数描述
    opendir()const char name打开目录文件
    readdir()DIR dir读取目录文件
    closedir()DIR dir关闭目录文件
    open()const char pathname创建或打开一个文件,flags只支持O_RDONLY, O_WRONLY, O_CREATE, 其他报错。忽略可选参数mode,默认权限644。
    int flags
    [mode_t mode]
    close()int fd关闭文件
    remove()const char pathname删除文件
    lseek()FILE stream设置读写偏移
    long offset
    int whence
    read()int fd读取文件数据
    void buf
    size_t count
    write()int fd写文件数据
    const void buf
    size_t count
    stat()const char pathname获取文件的属性信息
    struct stat buf
    utime()const char pathname更改访问和修改时间
    struct utimebuf buf
    link()const char oldpath创建链接文件(硬链接)
    const char newpath
    unlink()const char pathname删除指定文件,如果该文件为最后的链接点,则文件会被删除。如果为符号链接,则链接删除。
    symlink()const char oldpath创建符号链接文件, oldpath指定文件允许不存在。
    const char newpath
    truncate()const char pathname截取文件内容,将path指定的文件大小改为参数length的大小,如果原来文件比length大,则超过的部分会被删除。
    off_t length
    mkdir()const char pathname创建目录文件
    mode_t mode
    rmdir()const char pathname删除目录文件
    renameconst char pathname更改文件名称
    const char newpathname
    chmodconst char *pathname更改文件权限
    mode_t mode

    下面实例演示了通过API在mountpoint目录下简单地创建了一个testfile文件并写入testdata内容。

    1. #include <stdio.h>
    2. #include <sys/stat.h>
    3. #include <unistd.h>
    4. #include <sys/types.h>
    5. #include <fcntl.h>
    6.  
    7. static char testdata[] = "abcdefghijklmnopqrstuvwxyz";
    8. static int testdatalen = sizeof(testdata) - 1;
    9. #define testfile "/opt/sequoiadb/mountpoint/testfile"
    10.  
    11. int main()
    12. {
    13. int rc = 0;
    14. int fd = 0;
    15. const char *data = testdata;
    16. int datalen = testdatalen;
    17.  
    18. fd = open(testfile, O_WRONLY|O_CREAT);
    19. if(0 > fd)
    20. {
    21. printf("Failed to open file:%s\n", testfile);
    22. goto error;
    23. }
    24.  
    25. rc = write(fd, data, datalen);
    26. if(0 > rc)
    27. {
    28. printf("Failed to write file:%s\n", testfile);
    29. goto error;
    30. }
    31.  
    32. rc = lseek(fd, 4, SEEK_SET);
    33. if(0 > rc)
    34. {
    35. printf("Failed to lseek file:%s\n", testfile);
    36. goto error;
    37. }
    38.  
    39. rc = write(fd, "DF", 2);
    40. if(0 > rc)
    41. {
    42. printf("Failed to write file:%s\n", testfile);
    43. goto error;
    44. }
    45.  
    46. rc = close(fd);
    47. if(0 > rc)
    48. {
    49. printf("Failed to close file:%s\n", testfile);
    50. goto error;
    51. }
    52. done:
    53. return rc;
    54. error:
    55. }