Rook 云存储介绍和部署
Rook 将分布式存储软件转变为自我管理，自我缩放和自我修复的存储服务。它通过自动化部署，引导、配置、供应、扩展、升级、迁移、灾难恢复、监控和资源管理来实现。 Rook 使用基础的云原生容器管理、调度和编排平台提供的功能来履行其职责。
Rook 利用扩展点深入融入云原生环境，为调度、生命周期管理、资源管理、安全性、监控和用户体验提供无缝体验。
部署
使用 helm 部署
1helm init -i jimmysong/kubernetes-helm-tiller:v2.8.1
2helm repo add rook-alpha https://charts.rook.io/alpha
3helm install rook-alpha/rook --name rook --namespace rook-system
直接使用 yaml 文件部署
1kubectl apply -f rook-operator.yaml
不论使用那种方式部署的 rook operator，都会在 rook-agent 中看到 rook-agent 用户无法列出集群中某些资源的错误，可以通过为 rook-agent 的分配 cluster-admin 权限临时解决，详见 Issue 1472。
使用如下 yaml 文件创建一个 ClusterRoleBinding 并应用到集群中。
1kind: ClusterRoleBinding
2apiVersion: rbac.authorization.k8s.io/v1beta1
3metadata:
4 name: rookagent-clusterrolebinding
5subjects:
6 - kind: ServiceAccount
7 name: rook-agent
8 namespace: rook-system
9roleRef:
10 kind: ClusterRole
11 name: cluster-admin
12 apiGroup: ""
部署 rook cluster
创建完 rook operator 后，我们再部署 rook cluster。
1apiVersion: v1
2kind: Namespace
3metadata:
4 name: rook
5---
6apiVersion: rook.io/v1alpha1
7kind: Cluster
8metadata:
9 name: rook
10 namespace: rook
11spec:
12 versionTag: v0.6.2
13 dataDirHostPath: /var/lib/rook
14 storage:
15 useAllNodes: true
16 useAllDevices: false
17 storeConfig:
18 storeType: bluestore
19 databaseSizeMB: 1024
20 journalSizeMB: 1024
注意：需要手动指定versionTag，因为该镜像repo中没有latest标签，如不指定的话 Pod 将出现镜像拉取错误。
1kubectl apply -f rook-cluster.yaml
rook 集群运行在rook namespace 下，查看 rook 集群中的 pod：
1$ kubectl -n rook get pod
2NAME READY STATUS RESTARTS AGE
3rook-api-848df956bf-q6zf2 1/1 Running 0 4m
4rook-ceph-mgr0-cfccfd6b8-cpk5p 1/1 Running 0 4m
5rook-ceph-mon0-t496l 1/1 Running 0 6m
6rook-ceph-mon1-zcn7v 1/1 Running 0 5m
7rook-ceph-mon3-h97qx 1/1 Running 0 3m
8rook-ceph-osd-557tn 1/1 Running 0 4m
9rook-ceph-osd-74frb 1/1 Running 0 4m
10rook-ceph-osd-zf7rg 1/1 Running 1 4m
11rook-tools 1/1 Running 0 2m
部署 StorageClass
StorageClass rook-block 的 yaml 文件（rook-storage.yaml）如下：
1apiVersion: rook.io/v1alpha1
2kind: Pool
3metadata:
4 name: replicapool
5 namespace: rook
6spec:
7 replicated:
8 size: 1
9 # For an erasure-coded pool, comment out the replication size above and uncomment the following settings.
10 # Make sure you have enough OSDs to support the replica size or erasure code chunks.
11 #erasureCoded:
12 # dataChunks: 2
13 # codingChunks: 1
14---
15apiVersion: storage.k8s.io/v1
16kind: StorageClass
17metadata:
18 name: rook-block
19provisioner: rook.io/block
20parameters:
21 pool: replicapool
22 # Specify the Rook cluster from which to create volumes.
23 # If not specified, it will use `rook` as the name of the cluster.
24 # This is also the namespace where the cluster will be
25 clusterName: rook
26 # Specify the filesystem type of the volume. If not specified, it will use `ext4`.
27 # fstype: ext4
工具
部署 Rook 操作工具 pod，该工具 pod 的 yaml 文件（rook-tools.yaml）如下：
1apiVersion: v1
2kind: Pod
3metadata:
4 name: rook-tools
5 namespace: rook-system
6spec:
7 dnsPolicy: ClusterFirstWithHostNet
8 serviceAccountName: rook-operator
9 containers:
10 - name: rook-tools
11 image: rook/toolbox:master
12 imagePullPolicy: IfNotPresent
13 env:
14 - name: ROOK_ADMIN_SECRET
15 valueFrom:
16 secretKeyRef:
17 name: rook-ceph-mon
18 key: admin-secret
19 securityContext:
20 privileged: true
21 volumeMounts:
22 - mountPath: /dev
23 name: dev
24 - mountPath: /sys/bus
25 name: sysbus
26 - mountPath: /lib/modules
27 name: libmodules
28 - name: mon-endpoint-volume
29 mountPath: /etc/rook
30 hostNetwork: false
31 volumes:
32 - name: dev
33 hostPath:
34 path: /dev
35 - name: sysbus
36 hostPath:
37 path: /sys/bus
38 - name: libmodules
39 hostPath:
40 path: /lib/modules
41 - name: mon-endpoint-volume
42 configMap:
43 name: rook-ceph-mon-endpoints
44 items:
45 - key: endpoint
46 path: mon-endpoints
ConfigMap和Secret中的配置项内容是自定义的。 使用下面的命令部署工具pod：
1kubectl apply -f rook-tools.yaml
这是一个独立的 pod，没有使用其他高级的 controller 来管理，我们将它部署在 rook-system 的 namespace 下。
1kubectl -n rook exec -it rook-tools bash
使用下面的命令查看 rook 集群状态。
1$ rookctl status
2OVERALL STATUS: OK
3
4USAGE:
5TOTAL USED DATA AVAILABLE
637.95 GiB 1.50 GiB 0 B 36.45 GiB
7
8MONITORS:
9NAME ADDRESS IN QUORUM STATUS
10rook-ceph-mon0 10.254.162.99:6790/0 true UNKNOWN
11
12MGRs:
13NAME STATUS
14rook-ceph-mgr0 Active
15
16OSDs:
17TOTAL UP IN FULL NEAR FULL
181 1 1 false false
19
20PLACEMENT GROUPS (0 total):
21STATE COUNT
22none
23
24$ ceph df
25GLOBAL:
26 SIZE AVAIL RAW USED %RAW USED
27 38861M 37323M 1537M 3.96
28POOLS:
29 NAME ID USED %USED MAX AVAIL OBJECTS
示例
官方提供了使用 Rook 作为典型的 LAMP（Linux + Apache + MySQL + PHP）应用 Wordpress 的存储后端的示例的 yaml 文件 mysql.yaml 和 wordpress.yaml，使用下面的命令创建。
1kubectl apply -f mysql.yaml
2kubectl apply -f wordpress.yaml
清理
如果使用 helm 部署，则执行下面的命令：
1helm delete --purge rook
2helm delete daemonset rook-agent
如果使用 yaml 文件直接部署，则使用 kubectl delete -f 加当初使用的 yaml 文件即可删除集群。
