如何在K8S集群中部署Traefik Ingress Controller
如何在K8S集群中部署Traefik Ingress Controller
[TOC]
如何在K8S集群中部署Traefik Ingress Controller
在生产环境中，我们常常需要控制来自互联网的外部进入集群中，而这恰巧是Ingress的职责。 Ingress的主要目的是将HTTP和HTTPS从集群外部暴露给该集群中运行的服务。这与Ingress控制如何将外部流量路由到集群有异曲同工之妙。接下来，我们举一个实际的例子来更清楚的说明Ingress的概念。
首先，想象一下在你的Kubernetes集群中有若干个微服务（小型应用程序之间彼此通信）。这些服务能够在集群内部被访问，但我们想让我们的用户从集群外部也能够访问它们。因此，我们需要做的是使用反向代理将每个HTTP（S）（例如，service.yourdomain.com）路由与相应的后端关联，并在该服务的不同实例之间（如，pod）进行负载均衡。与此同时，由于Kubernetes的性质会不断发生变化，因此我们希望跟踪服务后端的更改，以便能够在添加或删除新Pod时将这些HTTP路由重新关联到新Pod实例。
使用Ingress资源和关联的Ingress Controller，你可以实现以下目标：
-
将你的域
app.domain.com指向你的私有网络中的微服务应用程序 -
将路径
domain.com/web指向你的私有网络中的微服务web -
将你的域
backend.domain.com指向你的私有网络中的微服务后端，并在该微服务的多个实例之间（Pod）进行负载均衡
现在，你理解了Ingress的重要性。它能够帮助将HTTP路由指向在Kubernetes集群中特定的微服务。
但是，流量路由并不是Ingress在Kubernetes中的唯一功能。例如，还可以将Ingress配置为负载均衡流量到你的应用程序、终止SSL、执行基于名称的虚拟主机、在不同服务之间分配流量、设置服务访问规则等。
Kubernetes有一个特别的Ingress API资源，它能够支持上述所有功能。但是，简单地创建一个Ingress API资源是没有作用的。你还需要一个Ingress Controller。目前，Kubernetes支持许多Ingress controller，如Contour、HAProxy、NGINX以及Traefik。
在本文中，我将使用Traefik Ingress Controller创建Ingress。它能够实现现代HTTP反向代理和负载均衡器的功能，从而简化了微服务的部署。此外，Traefik对Docker、Marathon、Consul、Kubernetes、Amazon ECS等系统和环境都提供了强大的支持。
Traefik对于诸如Kubernetes之类的灵活性较强的系统十分有用。在Kubernetes中，每天需要多次添加、删除或升级服务，而Traefik可以监听服务镜像仓库/编排器 API并立即生成或更新路由，因此你的微服务无需手动配置即可与外界连接。
除此之外，Traefik支持多个负载均衡算法、Let’s Encrypt的HTTPS（支持通配证书）、断路器、WebSoket、GRPC和多个监控程序（Rest、Prometheus、Statsd、Datadog、InfluxDB等）。有关Traefik中可用功能的更多信息，请参考其官方文档：
Ingress 资源
在教程开始之前，我们先来简单地讨论一下Ingress资源是如何工作的。以下是隐式使用Nginx Ingress Controller的Ingress示例。
1apiVersion: extensions/v1beta1
2kind: Ingress
3metadata:
4 name: ingress-example
5 annotations:
6 nginx.ingress.kubernetes.io/rewrite-target: /
7spec:
8 rules:
9 - http:
10 paths:
11 - path: /microservice1
12 backend:
13 serviceName: test
14 servicePort: 80
以上Ingress manifest 包含了一系列HTTP规则，它们用于规定controller如何路由流量。
可选主机。如果未指定主机（如上所示），则该规则适用于通过指定IP地址的所有入站HTTP流量。如果提供了主机（如yourhost.com），则该规则仅适用于该主机。
一个路径列表（如，/microservice1），它指向由serviceName和servicePort定义的关联后端。
一个后端。向Ingress发出的HTTP（和HTTPS）请求将与给定规则的主机和路径匹配，然后将其路由到该规则中指定的后端服务。
在以上例子中，我们配置了一个名为”test“的后端，它将接收所有来自/microservice路径的流量。然而，我们也可以配置一个默认后端，它将将为任何不符合规范中路径的用户请求提供服务。同时，如果不定义任何规则，Ingress将路由所有流量到默认后端。例如：
1apiVersion: extensions/v1beta1
2kind: Ingress
3metadata:
4 name: test-ingress
5spec:
6 backend:
7 serviceName: defaultbackend
8 servicePort: 80
在本例中，所有流量都被转发到默认后端中defaultbackend。现在，我们理解了Ingress 资源的基本概念，接下来我们来看看一些具体的例子。
Step 0：前期准备
如上文我们所说的，定义一个Ingress资源没有任何作用，除非你使用了Ingress Controller。在本教程中，我们在Kubernetes集群中将Traefik设置为Ingress Controller。
要完成教程，你需要进行以下准备：
-
一个正在运行的Kubernetes集群。
-
一个安装好的命令行工具，kubectl。并配置为与集群通信。
请注意：以下示例均假设你在本地计算上使用Minikube运行Kubernetes集群。
Step 1：启用RBAC
首先，我们需要向Traefik授予一些权限，以访问集群中运行的Pod、endpoint和服务。为此，我们将使用ClusterRole和ClusterRoleBinding资源。但是，你也可以对命名空间范围内的RoleBindings使用最小特权方法。通常，如果集群的命名空间不会动态更改，并且Traefik无法监视所有集群的命名空间，那么这是首选的方法。
让我们创建一个新的ServiceAccount，为Traefik提供集群中的身份。
1
2apiVersion: v1
3kind: ServiceAccount
4metadata:
5 name: traefik-ingress
6 namespace: kube-system
要创建一个ServiceAccount，需要在traefik-service-acc.yaml中保存以上manifest并运行：
1kubectl create -f traefik-service-acc.yaml
2serviceaccount "traefik-ingress" created
接下来，让我们创建一个具有一组权限的ClusterRole，该权限将应用于Traefik ServiceAccount。通过ClusterRole，Traefik可以管理和监视集群中所有命名空间中的资源，例如服务、endpoint、secret以及Ingress。
1kind: ClusterRole
2apiVersion: rbac.authorization.k8s.io/v1beta1
3metadata:
4 name: traefik-ingress
5rules:
6 - apiGroups:
7 - ""
8 resources:
9 - services
10 - endpoints
11 - secrets
12 verbs:
13 - get
14 - list
15 - watch
16 - apiGroups:
17 - extensions
18 resources:
19 - ingresses
20 verbs:
21 - get
22 - list
23 - watch
将这一规范保存到文件traefik-cr.yaml中，并运行：
1kubectl create -f traefik-cr.yaml
2clusterrole.rbac.authorization.k8s.io “traefik-ingress” created
最后，启用这些权限，我们应该将ClusterRole绑定到Traefik ServiceAccount中。使用ClusterRoleBinding manifest可以完成这一操作：
1kind: ClusterRoleBinding
2apiVersion: rbac.authorization.k8s.io/v1beta1
3metadata:
4 name: traefik-ingress
5roleRef:
6 apiGroup: rbac.authorization.k8s.io
7 kind: ClusterRole
8 name: traefik-ingress
9subjects:
10- kind: ServiceAccount
11 name: traefik-ingress
12 namespace: kube-system
保存这一规范到traefik-crb.yaml中，并运行以下命令：
1kubectl create -f traefik-crb.yaml
2clusterrolebinding.rbac.authorization.k8s.io “traefik-ingress” created
Step 2：部署Traefik到集群
接下来，我们将部署Traefik到Kubernetes集群。官方Traefik文档支持三种类型的部署：使用Deployment对象、使用DaemonSet对象或使用Helm Chart。
在本教程中，我们将使用Deployment manifest。相比其他选项，Deployment有诸多优势。例如，它们能确保更好的可伸缩性，并为滚动更新提供良好支持。
让我们看一下 Deployment manifest：
1kind: Deployment
2apiVersion: extensions/v1beta1
3metadata:
4 name: traefik-ingress
5 namespace: kube-system
6 labels:
7 k8s-app: traefik-ingress-lb
8spec:
9 replicas: 1
10 selector:
11 matchLabels:
12 k8s-app: traefik-ingress-lb
13 template:
14 metadata:
15 labels:
16 k8s-app: traefik-ingress-lb
17 name: traefik-ingress-lb
18 spec:
19 serviceAccountName: traefik-ingress
20 terminationGracePeriodSeconds: 60
21 containers:
22 - image: traefik
23 name: traefik-ingress-lb
24 ports:
25 - name: http
26 containerPort: 80
27 - name: admin
28 containerPort: 8080
29 args:
30 - --api
31 - --kubernetes
32 - --logLevel=INFO
这个Deployment将在kube-system 命名空间中创建一个Traefik副本。Traefik容器将使用此manifest中指定的端口80和8080。
将这个manifest保存到traefik-deployment.yaml文件中，并运行以下命令创建Deployment：
1kubectl create -f traefik-deployment.yaml
2deployment.extensions “traefik-ingress” created
现在，让我们检查以下Traefik Pod是否都成功创建了：
1kubectl --namespace=kube-system get pods
2NAME READY STATUS RESTARTS AGE
3....
4storage-provisioner 1/1 Running 3 23d
5traefik-ingress-54d6d8d9cc-ls6cs 1/1 Running 0 1m
如你所见，Deployment Controller启动了一个Traefik副本，并在正在运行，敲棒的！
Step 3：为外部访问创建NodePorts
让我们创建一个服务来从集群外部访问Traefik。为此，我们需要一个暴露两个NodePorts的服务。
1
2kind: Service
3apiVersion: v1
4metadata:
5 name: traefik-ingress-service
6 namespace: kube-system
7spec:
8 selector:
9 k8s-app: traefik-ingress-lb
10 ports:
11 - protocol: TCP
12 port: 80
13 name: web
14 - protocol: TCP
15 port: 8080
16 name: admin
17 type: NodePort
将这个manifest保存到traefik-svc.yaml，并创建服务：
1kubectl create -f traefik-svc.yaml
2service “traefik-ingress-service” created
现在，让我们验证该服务是否创建：
1kubectl describe svc traefik-ingress-service --namespace=kube-system
2Name: traefik-ingress-service
3Namespace: kube-system
4Labels: <none>
5Annotations: <none>
6Selector: k8s-app=traefik-ingress-lb
7Type: NodePort
8IP: 10.102.215.64
9Port: web 80/TCP
10TargetPort: 80/TCP
11NodePort: web 30565/TCP
12Endpoints: 172.17.0.6:80
13Port: admin 8080/TCP
14TargetPort: 8080/TCP
15NodePort: admin 30729/TCP
16Endpoints: 172.17.0.6:8080
17Session Affinity: None
18External Traffic Policy: Cluster
19Events: <none>
如你所见，我们现在有两个NodePorts（web和admin），它们分别路由到Traefik Ingress Controller的80和8080容器端口。“admin” NodePort将用于访问Traefik Web UI，“web” NodePort将用于访问通过Ingress暴露的服务。
Step 4：访问Traefik
为了能在浏览器中访问Traefik Web UI，你可以使用“admin”NodePort 30729（请注意，你的NodePort值可能会有所不同）。因为我们还没有添加任何前端，所以UI此时应该是空的。
由于我们尚未给Traefik进行任何配置，因此我们会收到404的响应。
1curl $(minikube ip):30565
2404 page not found
Step 5 ：添加Ingress 到集群
现在我们在Kubernetes集群中已经将Traefik作为Ingress Controller了。然而，我们依旧需要定义Ingress资源和暴露Traefik Web UI的服务。
首先，我们创建一个服务：
1
2apiVersion: v1
3kind: Service
4metadata:
5 name: traefik-web-ui
6 namespace: kube-system
7spec:
8 selector:
9 k8s-app: traefik-ingress-lb
10 ports:
11 - name: web
12 port: 80
13 targetPort: 8080
保存manifest到traefik-webui-svc.yaml中，并运行：
1kubectl create -f traefik-webui-svc.yaml
2service “traefik-web-ui” created
让我们验证服务是否已经创建：
1kubectl describe svc traefik-web-ui --namespace=kube-system
2Name: traefik-web-ui
3Namespace: kube-system
4Labels: <none>
5Annotations: <none>
6Selector: k8s-app=traefik-ingress-lb
7Type: ClusterIP
8IP: 10.98.230.58
9Port: web 80/TCP
10TargetPort: 8080/TCP
11Endpoints: 172.17.0.6:8080
12Session Affinity: None
13Events: <none>
如你所见，服务的ClusterIP是10.98.230.58，并在manifest中分配指定端口。
接下来，我们需要创建一个Ingress资源，指向Traefik Web UI后端：
1apiVersion: extensions/v1beta1
2kind: Ingress
3metadata:
4 name: traefik-web-ui
5 namespace: kube-system
6spec:
7 rules:
8 - host: traefik-ui.minikube
9 http:
10 paths:
11 - path: /
12 backend:
13 serviceName: traefik-web-ui
14 servicePort: web
本质上，Ingress将所有请求路由到traefik-ui.minikube，在上述步骤中创建的服务暴露Traefik Web UI。
将规范保存到traefik-ingress.yaml，并运行：
1kubectl create -f traefik-ingress.yaml
2ingress.extensions “traefik-web-ui” created
为了能够通过traefik-ui.minikube在浏览器中可以访问Traefik Web UI，我们需要添加新的条目到我们/etc/hosts文件中。该条目将包含Minikube IP和主机名。你可以通过运行minikube ip来获取minkube实例的IP地址，然后将新主机的名称保存到/etc/hosts文件中，如下所示：
1echo "$(minikube ip) traefik-ui.minikube" | sudo tee -a /etc/hosts
2192.168.99.100 traefik-ui.minikube
现在，你应该能够在浏览器中访问http://traefik-ui.minikube:<AdminNodePort>并查看Traefik Web UI。别忘了附加”admin”NodePort到主机地址。
在dashboard中，你可以点击Health 链接来查看应用程序的健康状况：
Step 6：实现基于名称的路由
现在，我们来演示如何使用Traefik Ingress Controller为前端列表设置基于名称的路由。我们将使用简单的单页网站创建3个Deployment，并显示动物图像：熊、野兔和驼鹿。
1---
2kind: Deployment
3apiVersion: extensions/v1beta1
4metadata:
5 name: bear
6 labels:
7 app: animals
8 animal: bear
9spec:
10 replicas: 2
11 selector:
12 matchLabels:
13 app: animals
14 task: bear
15 template:
16 metadata:
17 labels:
18 app: animals
19 task: bear
20 version: v0.0.1
21 spec:
22 containers:
23 - name: bear
24 image: supergiantkir/animals:bear
25 ports:
26 - containerPort: 80
27---
28kind: Deployment
29apiVersion: extensions/v1beta1
30metadata:
31 name: moose
32 labels:
33 app: animals
34 animal: moose
35spec:
36 replicas: 2
37 selector:
38 matchLabels:
39 app: animals
40 task: moose
41 template:
42 metadata:
43 labels:
44 app: animals
45 task: moose
46 version: v0.0.1
47 spec:
48 containers:
49 - name: moose
50 image: supergiantkir/animals:moose
51 ports:
52 - containerPort: 80
53---
54kind: Deployment
55apiVersion: extensions/v1beta1
56metadata:
57 name: hare
58 labels:
59 app: animals
60 animal: hare
61spec:
62 replicas: 2
63 selector:
64 matchLabels:
65 app: animals
66 task: hare
67 template:
68 metadata:
69 labels:
70 app: animals
71 task: hare
72 version: v0.0.1
73 spec:
74 containers:
75 - name: hare
76 image: supergiantkir/animals:hare
77 ports:
78 - containerPort: 80
每个Deployment都将有两个Pod副本，而每个Pod将在containerPort 80上服务“动物“网站。
让我们保存这些Deployment manifest到animals-deployment.yaml中，并运行：
1kubectl create -f animals-deployment.yaml
2deployment.extensions “bear” created
3deployment.extensions “moose” created
4deployment.extensions “hare” created
现在，让我们为每个Deployment创建一个服务，使得Pod可以访问：
1---
2apiVersion: v1
3kind: Service
4metadata:
5 name: bear
6spec:
7 ports:
8 - name: http
9 targetPort: 80
10 port: 80
11 selector:
12 app: animals
13 task: bear
14---
15apiVersion: v1
16kind: Service
17metadata:
18 name: moose
19spec:
20 ports:
21 - name: http
22 targetPort: 80
23 port: 80
24 selector:
25 app: animals
26 task: moose
27---
28apiVersion: v1
29kind: Service
30metadata:
31 name: hare
32 annotations:
33 traefik.backend.circuitbreaker: "NetworkErrorRatio() > 0.5"
34spec:
35 ports:
36 - name: http
37 targetPort: 80
38 port: 80
39 selector:
40 app: animals
41 task: hare
请注意：第三项服务使用断路器annotation。断路器是Traefik的一项功能，可防止发生故障的服务器承受高负载。在本例中，我们防止服务器上的高负载超过50%。当此条件匹配时，CB进入“跳闸“状态，在该状态中它会使用预定义的HTTP状态代码进行响应或重定向到另一个前端。
保存这些服务manifest到animals-svc.yaml并运行：
1kubectl create -f animals-svc.yaml
2service “bear” created
3service “moose” created
4service “hare” created
最后，为每个Deployment创建一个有3个前后端对的Ingress。bear.minikube、moose.minikube和hare.minikube将是我们指向相应后端服务的前端。
Ingress manifest如下所示：
1apiVersion: extensions/v1beta1
2kind: Ingress
3metadata:
4 name: animals
5 annotations:
6 kubernetes.io/ingress.class: traefik
7spec:
8 rules:
9 - host: hare.minikube
10 http:
11 paths:
12 - path: /
13 backend:
14 serviceName: hare
15 servicePort: http
16 - host: bear.minikube
17 http:
18 paths:
19 - path: /
20 backend:
21 serviceName: bear
22 servicePort: http
23 - host: moose.minikube
24 http:
25 paths:
26 - path: /
27 backend:
28 serviceName: moose
29 servicePort: http
保存规范到animals-ingress.yaml并运行：
1
2kubectl create -f animals-ingress.yaml
3ingress.extensions “animals” created
现在，在Traefik dashboard内，你可以看到每个主机的前端以及相应的后端列表：
如果你再次编辑etc/hosts，你应该能够在你的浏览器中访问动物网页：
1echo “$(minikube ip) bear.minikube hare.minikube moose.minikube” | sudo tee -a /etc/hosts
你应该使用“web“NodePort来访问特定网页。例如，http://bear.minikube:<WebNodePort>
我们也可以将三个前端重新配置为在一个域下提供服务，如下所示：
1
2apiVersion: extensions/v1beta1
3kind: Ingress
4metadata:
5 name: all-animals
6 annotations:
7 kubernetes.io/ingress.class: traefik
8 traefik.frontend.rule.type: PathPrefixStrip
9spec:
10 rules:
11 - host: animals.minikube
12 http:
13 paths:
14 - path: /bear
15 backend:
16 serviceName: bear
17 servicePort: http
18 - path: /moose
19 backend:
20 serviceName: moose
21 servicePort: http
22 - path: /hare
23 backend:
24 serviceName: hare
25 servicePort: http
如果你激活这个Ingress，使用相应的路径，三个动物在一个域下都能够访问——animals.minikube。别忘了将这个域添加到/etc/hosts。
1 echo “$(minikube ip) animals.minikube” | sudo tee -a /etc/hosts
请注意：我们正在配置Traefik，以使用traefik.frontend.rule.type注释，从URL路径中删除前缀。这样我们可以直接使用上一个示例中的容器。由于traefik.frontend.rule.type: PathPrefixStrip规则，你必须使用http://animals.minikube:32484/moose/ 而不是http://animals.minikube:32484/moose
Step 7：实现流量分配
借助Traefik，用户可以使用服务权重以受控方式在多个deployment之间分配Ingress流量。这一功能可用于金丝雀发布，它最初应该获得少量但持续增长的流量。
让我们使用以下manifest在两个微服务之间分配Traefik：
1
2apiVersion: extensions/v1beta1
3kind: Ingress
4metadata:
5 annotations:
6 traefik.ingress.kubernetes.io/service-weights: |
7 animals-app: 99%
8 animals-app-canary: 1%
9 name: animals-app
10spec:
11 rules:
12 - http:
13 paths:
14 - backend:
15 serviceName: animals-app
16 servicePort: 80
17 path: /
18 - backend:
19 serviceName: animals-app-canary
20 servicePort: 80
21 path: /
请注意traefik.ingress.kubernetes.io/service-weights的注释。它指定了流量如何在指定后端服务（animals-app和animals-app-canary）之间分配。Traefik将把99%的用户请求路由到animals-app deployment支持的Pod，并将1%的用户请求路由到animals-app-canary deployment支持的Pod。
要使此设置正常工作，需要满足一些条件：
- 所有服务后端必须共享相同的路径和主机。
- 跨服务后端共享的请求总数应总计为100％。
- 百分比值应该在支持的精度范围内，目前Traefik支持3个小数位的权重。
总 结
如你所见，Ingress是将外部流量路由到Kubernetes集群中相应后端服务的强大工具。用户可以使用Kubernetes支持的许多Ingress controller来实现Ingress。在本教程中，我们重点介绍了Traefik Ingress controller，该控制器支持基于名称的路由，负载均衡以及Ingress controller的其他常见任务。
推荐阅读