Spark standalone on Kubernetes

本文中使用的镜像我已编译好上传到了时速云上，大家可以直接下载。

代码和使用文档见Github地址：https://github.com/rootsongjc/spark-on-kubernetes

本文中用到的 yaml 文件可以在 目录下找到，也可以在上面的 项目的 manifests 目录下找到。

注意：时速云上本来已经提供的镜像 ，但是该镜像似乎有问题，下载总是失败。

创建名为spark-cluster的namespace，所有操作都在该namespace中进行。

将会启动一个拥有三个worker的spark集群和zeppelin。

同时在该namespace中增加ingress配置，将spark的UI和zeppelin页面都暴露出来，可以在集群外部访问。

该ingress后端使用traefik。

访问spark

通过上面对ingress的配置暴露服务，需要修改本机的/etc/hosts文件，增加以下配置，使其能够解析到上述service。

172.20.0.119是我设置的VIP地址，VIP的设置和traefik的配置请查看。

访问

zeppelin ui

访问