![](https://www.shuli.cc/wp-content/uploads/2023/07/image-62.png)
Kubernetes 部署 Kafka 最难解决的问题就是外部暴露,本文将提供 NodePort
和 LoadBalancer
部署方案。另外,拥抱 KRaft 去 ZooKeeper 能够简化部署并提升性能,这也是挺有意思的探索。
Prerequisites
- Kubernetes 1.18+
- Helm 3.3.0+
部署案例
git clone https://github.com/sir5kong/kafka-docker.git
cd kafka-docker
# kubectl create namespace your-namespace
## 部署单节点集群, 仅启动一个 Pod
helm install kafka -n your-namespace -f ./examples/values-combined.yml ./charts/kafka
## 部署生产集群, 3 个 controller 实例, 3 个 broker 实例
helm install kafka -n your-namespace -f ./examples/values-production.yml ./charts/kafka
###### 组合使用 values 文件 ######
## 部署生产集群,并开启 kafka-ui 和 kafka exporter
helm install kafka -n your-namespace
-f ./examples/values-exporter.yml
-f ./examples/values-ui.yml
-f ./examples/values-production.yml
./charts/kafka
## 以 NodePort 对集群外暴露
helm install kafka -n your-namespace -f ./examples/values-nodeport.yml ./charts/kafka
## 以 LoadBalancer 对集群外暴露
helm install kafka -n your-namespace -f ./examples/values-loadbalancer.yml ./charts/kafka
## 开启 kafka-ui
helm install kafka -n your-namespace -f ./examples/values-ui.yml ./charts/kafka
混部模式 combined mode
process.roles
可以设置为 broker
controller
broker,controller
, 设为 broker,controller
即混部模式。
混部的服务器部署和运维管理都更加方便,缺点是不方便扩容。例如部署一个高可用集群 3 个 controller 和 3 个 broker,后续如果需要扩容 broker 可以在线操作,不影响业务。如果是混部模式扩容操作会相对复杂,而且会造成业务中断。
Chart Values
Key |
类型 |
默认值 |
描述 |
---|---|---|---|
broker.combinedMode.enabled |
bool |
|
是否开启混部模式 |
## 混部案例
broker:
combinedMode:
enabled: true
replicaCount: 1
heapOpts: "-Xms1024m -Xmx1024m"
persistence:
enabled: true
size: 20Gi
外部暴露
想要在集群外连接 Kafka 服务器,必须把每个 Broker 暴露出去,并且正确配置 advertised.listeners
。
这里支持 2 种暴露方式,NodePort
和 LoadBalancer
,有几个 broker 节点就需要对应数量的 NodePort
或 LoadBalancer
。
Chart Values
Key |
类型 |
默认值 |
描述 |
---|---|---|---|
broker.external.enabled |
bool |
|
是否开启外部暴露 |
broker.external.service.type |
string |
|
外部暴露类型,支持 |
broker.external.service.annotations |
object |
|
外部暴露的 service 注解 |
broker.external.nodePorts |
list |
|
|
broker.external.domainSuffix |
string |
|
使用 |
## NodePort 案例
broker:
replicaCount: 3
external:
enabled: true
service:
type: "NodePort"
annotations: {}
nodePorts:
- 31050
- 31051
- 31052
## LoadBalancer 案例
broker:
replicaCount: 3
external:
enabled: true
service:
type: "LoadBalancer"
annotations: {}
domainSuffix: "kafka.example.com"
项目介绍
因为 Kafka 官方不提供容器化部署方案,且目前网络上已有方案都不够简洁,所以这里完全从零开始构建容器镜像并开发 helm chart
项目特色:
- 全面兼容
KRaft
, 不依赖 ZooKeeper - 灵活使用环境变量进行配置覆盖
- 提供
helm chart
,支持 kubernetes 集群外访问
相关链接:
Docker 部署案例
## broker 默认端口 9092
docker run -d --name kafka-server
--network host
sir5kong/kafka:v3.5
自定义端口号:
## 自定义端口号
docker run -d --name kafka-server
--network host
--env KAFKA_CONTROLLER_LISTENER_PORT=29091
--env KAFKA_BROKER_LISTENER_PORT=29092
sir5kong/kafka:v3.5
文章来源于互联网:k8s 部署高可用 Kafka 集群 (支持集群外访问)
1、本站所有资源均从互联网上收集整理而来,仅供学习交流之用,因此不包含技术服务请大家谅解!
2、本站不提供任何实质性的付费和支付资源,所有需要积分下载的资源均为网站运营赞助费用或者线下劳务费用!
3、本站所有资源仅用于学习及研究使用,您必须在下载后的24小时内删除所下载资源,切勿用于商业用途,否则由此引发的法律纠纷及连带责任本站和发布者概不承担!
4、本站站内提供的所有可下载资源,本站保证未做任何负面改动(不包含修复bug和完善功能等正面优化或二次开发),但本站不保证资源的准确性、安全性和完整性,用户下载后自行斟酌,我们以交流学习为目的,并不是所有的源码都100%无错或无bug!如有链接无法下载、失效或广告,请联系客服处理!
5、本站资源除标明原创外均来自网络整理,版权归原作者或本站特约原创作者所有,如侵犯到您的合法权益,请立即告知本站,本站将及时予与删除并致以最深的歉意!
6、如果您也有好的资源或教程,您可以投稿发布,成功分享后有站币奖励和额外收入!
7、如果您喜欢该资源,请支持官方正版资源,以得到更好的正版服务!
8、请您认真阅读上述内容,注册本站用户或下载本站资源即您同意上述内容!
原文链接:https://www.shuli.cc/?p=14101,转载请注明出处。
评论0