在Mesos上运行Alluxio
Alluxio能够通过Mesos进行部署,这样可以让Mesos对Alluxio使用的资源进行管理。具体来说,对于Alluxio master便是JVM进程需要的cpu和内存资源,而对于Alluxio worker来说除了这两者,还有ramdisk所需要的内存。
Alluxio兼容Mesos 0.23.0及之后的版本。
默认情况下,Alluxio Master需要端口19998和19999,Alluxio Worker需要端口29998,29999和30000。 要使Mesos运行Alluxio,您必须将这些端口提供给Mesos框架,或者更改Alluxio端口。
使端口可用
更改Alluxio端口
或者,您可以在文件中指定Alluxio端口,如下所示:
要在Mesos上部署Alluxio,需要让Mesos能获取到Alluxio发布包。有两个方法:
- 配置Mesos指向一个Alluxio压缩包
配置属性
参考文档获取如何配置相应属性。
部署已经拷贝在所有Mesos节点上的Alluxio
- 在所有Mesos节点上安装Alluxio。接下来的步骤应在安装完Alluxio后进行
- 设置属性
alluxio.integration.mesos.alluxio.jar.url
的值为LOCAL
- 设置属性
alluxio.home
的值为Alluxio在所有Mesos节点上的安装路径 - 启动Alluxio Mesos框架
通过Alluxio压缩包url进行部署
- 启动Alluxio Mesos框架
注意这个压缩包应该使用-Pmesos
选项进行编译。1.3.0及以上的已发布的Alluxio压缩包是采用这种方式编译的。
Java
默认情况下,可以使用在Mesos executor上可用的任意Java版本。要下载Java8 jdk并且用它来运行Alluxio,设置以下属性:
配置Alluxio Masters和Workers
当Alluxio在Mesos上部署后,它会将所有Alluxio配置传播到已经启动的masters和workers上,这也就是说你可以通过更改conf/alluxio-site.properties
里的配置项来配置已经启动的Alluxio集群。