GlusterFS在Kubernetes中的应用实战（一）

【分享嘉宾】

    张龙，中战从事运维8年时间，用实先后做过运维实施、中战SE、用实mysqldba、中战PE、用实运维开发等；2015年转k8s技术研究及k8s在企业的中战落地实战，曾在易宝、用实凡普、中战京东金融等国内互联网金融公司工作。用实开发过应用发布系统，中战熟练运维架构，用实擅长saltstack、中战python、用实flask、中战js等。

背景介绍

首先需要大家已经成功搭建好了Kubernetes集群的实验环境，Kubernetes的集群部署请参考自动化部署：https://github.com/unixhot/salt-kubernetes。

想在生产环境里面使用glusterfs做storageclass，本文就可以保证你完成。

【Glusterfs实验环境准备】

      本案例中，实验环境与k8s集群使用同样的主机地址，实际生产案例中请分开部署。三个虚拟机里面各新建一块硬盘，硬盘大小均为10g。

主机ip

主机名

磁盘

挂载点

192.168.56.11

Linux-node1.example.com

/dev/sdb

/gluster_brick1

192.168.56.12

Linux-node2.example.com

/dev/sdb

/gluster_brick1

192.168.56.13

Linux-node3.example.com

/dev/sdb

/gluster_brick1

【第一部分：Glusterfs实战】

1.磁盘类型修改

    实际生产案例中大家的磁盘都比较大，先将磁盘类型修改为gpt。这里给大家提供一个生产使用的脚本。源码下载

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 #!/bin/bash   PATH=/bin:/sbin:/usr/bin:/usr/sbin export PATH   function main(){ i=3 while [ $i -lt 10 ]                 do j=`echo $i|awk { printf "%c",97+$i}` parted /dev/sd$j <<FORMAT                mklabel gpt yes mkpart primary 0 -1 ignore quit FORMAT i=$(($i+1)) done } main

请大家在三台机器上使用fdisk –l查看下新加入硬盘的编号，我这里为/dev/sdb。在三台机器上分别进行如下操作，操作过程按照生产环境来。三台机器的新加磁盘均需要做如下操作。

操作完成后检查新加入的磁盘类型是否为gpt类型。检测命令fdisk -l

2.磁盘格式化并挂载卷

    生产环境在使用的时候存储也进行了自己的规划使用了flashcache做缓存层，大家有兴趣的可以研究下存储，我这边实验环境没有使用flashcache。给大家提供一个格式化和挂载的脚本。

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 function mkfs(){ for i in `seq 1 12`;do if [ $i -lt 10 ]  then mkfs.xfs  -L brick$i -f -i  size=512 /dev/mapper/flash0$i sleep 1 else mkfs.xfs  -L brick$i -f -i  size=512 /dev/mapper/flash$i fi done } function guazai(){ for i in `seq 1 12`;do mkdir /gluster_brick$i echo "LABEL=brick$i   /gluster_brick$i   xfs  defaults 0 0"  >>  /etc/fstab done }

 好了不废话，继续我们的实验，格式化磁盘/dev/sdb1，如下所示，三台机器均进行如下操作。这里不使用卷标的可以使用uuid，否则有坑。

1 2 3 4 # mkfs.xfs -L brick1 -f -i size=512 /dev/sdb1 # mkdir /gluster_brick1 # echo "LABEL=brick1   /gluster_brick1   xfs  defaults 0 0"  >> /etc/fstab # mount -a

3.安装glusterfs

   去gfs官网看了下glusterfs更加简单了，安装的命令不复杂了，n年前我安装的时候还是3版本，亿华云计算偶然发现已经5版本了，变化太快了，若你有兴趣可把官网看一遍。三台机器均为glusterfs的server，均需按照如下步骤进行安装:

1 2 3 4 # yum install centos-release-gluster # yum install glusterfs-server(说明如果是glsuterfs的客户端，则只需要按照glusterfs-client包即可) # systemctl enable glusterd # systemctl start glusterd

    当然你也可以使用之前配置好的salt进行自动化安装。

1 # salt-ssh * cmd.run systemctl enable glusterd

4.gluster peer管理

  当glusterd运行起来之后在任意一台机器添加另外两个机器进信任的池子即可。这里在linux-node1进行操作，需要执行如下两条命令。

1 2 # gluster peer probe  linux-node2 # gluster peer probe  linux-node3

验证是否添加成功，如下图所示则为成功。

1 [root@linux-node1 ~]# gluster peer status

5.创建卷devops

注意生产中，一般使用三个副本，这里就三块盘，里面存储的数据是一致的，如下图所示：

1 2 3 4 [root@linux-node1 ~]# gluster volume create devops replica 3 linux-node1:/gluster_brick1/b1 linux-node2:/gluster_brick1/b1  linux-node3:/gluster_brick1/b1 volume create: devops: success: please start the volume to access data [root@linux-node1 ~]# gluster volume start devops volume start: devops: success

6.测试glusterfs存储

1 2 3 4 5 [root@linux-node1 ~]# mkdir /test [root@linux-node1 ~]# mount -t glusterfs linux-node1:/devops  /test [root@linux-node1 ~]# for i in `seq -w 1 100`; do echo "test" >> /test/copy-test-$i; done [root@linux-node1 ~]# ls -lA /test | wc -l 101

此步骤可以看到100个文件；然后查看下:

因为是三个副本，所以每个机器上已经有了100个文件，好了glusterfs的实验就到这里。

【第二部分：在Kubernetes集群中使用】

1.将glusterfs当作pv和pvc在集群中使用

需要使用三个文件：

glusterfs-endpoints.yaml 

pv-demo.yaml

pvc-demo.yaml

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 [root@linux-node1 glusterfs]# cat glusterfs-endpoints.yaml  apiVersion: v1 kind: Endpoints metadata: name: glusterfs-volume subsets: - addresses: - ip: 192.168.56.11 ports: - port: 20 - addresses: - ip: 192.168.56.12 ports: - port: 20 - addresses: - ip: 192.168.56.13 ports: - port: 20 [root@linux-node1 glusterfs]# cat pv-demo.yaml  apiVersion: v1 kind: PersistentVolume metadata: name: pv-gluster spec: capacity: storage: 5G accessModes: - ReadWriteMany persistentVolumeReclaimPolicy: Recycle glusterfs: endpoints: "glusterfs-volume" path: "devops" readOnly: false [root@linux-node1 glusterfs]# cat pvc-demo.yaml  kind: PersistentVolumeClaim apiVersion: v1 metadata: name: pvc-glusterfs spec: accessModes: - ReadWriteMany resources: requests: storage: 1G

使用kubectl直接创建好资源即可。

2.用deployment进行验证

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 [root@linux-node1 glusterfs]# cat nginx-ingress-deployment.yaml  apiVersion: apps/v1 kind: Deployment metadata: name: nginx-deployment labels: app: nginx spec: replicas: 2 selector: matchLabels: app: nginx template: metadata: labels: app: nginx spec: containers: - name: nginx image: nginx:1.13.12 ports: - containerPort: 80 volumeMounts: - name: www subPath: nginxpvc-gluster mountPath: /usr/share/nginx/html volumes: - name: www persistentVolumeClaim: claimName: pvc-glusterfs # kubectl  apply -f  nginx-ingress-deployment.yaml

3.自动化扩容pvc

  1、当glustefs的磁盘空间够大的云南idc服务商时候，我们使用的pv跟我们申请的大小是不一样的，上限是GFS卷的大小，若gfs存储不够，只需扩容gfs的volume即可。

2、当存储管理员开启了这个参数的时候怎么办？

1 2 # gluster volume devops quota enable # gluster volume quota devops limit-usage / 1gb

扩容完存储之后，将我们的quota值调大，这个时候我们k8s里面的pod就可以使用大额的存储了，不需要重启。pv和pvc不做调整。

上面的实验过程中，我们创建顺序为先创建glusterfs的volume->再创建endpoint指向glusterfs集群,再创建pv与volume做关联，然后是pvc绑定pv，pod使用pvc，那么有没有办法来自动创建这一切呢？下篇文章我们将介绍《使用Heketi来自动化管理GlusterFS》。

原文链接：https://mp.weixin.qq.com/s/AlgakenKnipt1X6QVaBqIQ