Kubernetes 集群怎样优化？看看这5个维度

一、节点配额和内核参数调整

对于公有云上的 Kubernetes 集群，规模大了之后很容器碰到配额问题，需要提前在云平台上增大配额。这些需要增大的配额包括：

我们提供的服务有：成都做网站、成都网站制作、成都外贸网站建设、微信公众号开发、网站优化、网站认证、吐鲁番ssl等。为上1000家企事业单位解决了网站和推广的问题。提供周到的售前咨询和贴心的售后服务，是有科学管理、有技术的吐鲁番网站制作公司

  • 虚拟机个数
  • vCPU 个数
  • 内网 IP 地址个数
  • 公网 IP 地址个数
  • 安全组条数
  • 路由表条数
  • 持久化存储大小

参考gce随着node节点的增加master节点的配置：

  • 1-5 nodes: n1-standard-1
  • 6-10 nodes: n1-standard-2
  • 11-100 nodes: n1-standard-4
  • 101-250 nodes: n1-standard-8
  • 251-500 nodes: n1-standard-16
  • more than 500 nodes: n1-standard-32

参考阿里云配置：

 
 
 
      
  
  
  1. # max-file 表示系统级别的能够打开的文件句柄的数量， 一般如果遇到文件句柄达到上限时，会碰到"Too many open files"或者Socket/File: Can’t open so many files等错误。 
    2.   
  
  
  2.  
    3.   
  
  
  3. fs.file-max=1000000 
    4.   
  
  
  4.  
    5.   
  
  
  5. # 配置arp cache 大小 
    6.   
  
  
  6.  
    7.   
  
  
  7. net.ipv4.neigh.default.gc_thresh1=1024 
    8.   
  
  
  8.  
    9.   
  
  
  9. # 存在于ARP高速缓存中的最少层数，如果少于这个数，垃圾收集器将不会运行。缺省值是128。 
    10.   
  
  
  10.  
    11.   
  
  
  11. # 保存在 ARP 高速缓存中的最多的记录软限制。垃圾收集器在开始收集前，允许记录数超过这个数字 5 秒。缺省值是 512。 
    12.   
  
  
  12.  
    13.   
  
  
  13. net.ipv4.neigh.default.gc_thresh2=4096 
    14.   
  
  
  14.  
    15.   
  
  
  15. # 保存在 ARP 高速缓存中的最多记录的硬限制，一旦高速缓存中的数目高于此，垃圾收集器将马上运行。缺省值是1024。 
    16.   
  
  
  16.  
    17.   
  
  
  17. net.ipv4.neigh.default.gc_thresh3=8192 
    18.   
  
  
  18.  
    19.   
  
  
  19. # 以上三个参数，当内核维护的arp表过于庞大时候，可以考虑优化 
    20.   
  
  
  20.  
    21.   
  
  
  21. # 允许的最大跟踪连接条目，是在内核内存中netfilter可以同时处理的“任务”（连接跟踪条目） 
    22.   
  
  
  22.  
    23.   
  
  
  23. net.netfilter.nf_conntrack_max=10485760 
    24.   
  
  
  24.  
    25.   
  
  
  25. # 哈希表大小（只读）（64位系统、8G内存默认 65536，16G翻倍，如此类推） 
    26.   
  
  
  26.  
    27.   
  
  
  27. net.core.netdev_max_backlog=10000 
    28.   
  
  
  28.  
    29.   
  
  
  29. # 每个网络接口接收数据包的速率比内核处理这些包的速率快时，允许送到队列的数据包的最大数目。 
    30.   
  
  
  30.  
    31.   
  
  
  31. net.netfilter.nf_conntrack_tcp_timeout_established=300 
    32.   
  
  
  32.  
    33.   
  
  
  33. net.netfilter.nf_conntrack_buckets=655360 
    34.   
  
  
  34.  
    35.   
  
  
  35. # 关于conntrack的详细说明：https://testerhome.com/topics/7509 
    36.   
  
  
  36.  
    37.   
  
  
  37. # 默认值: 128 指定了每一个real user ID可创建的inotify instatnces的数量上限 
    38.   
  
  
  38.  
    39.   
  
  
  39. fs.inotify.max_user_instances=524288 
    40.   
  
  
  40.  
    41.   
  
  
  41. # 默认值: 8192 指定了每个inotify instance相关联的watches的上限 
    42.   
  
  
  42.  
    43.   
  
  
  43. fs.inotify.max_user_watches=524288 
    44.

二、Etcd 数据库

1、搭建高可用的etcd集群，集群规模增大时可以自动增加etcd节点；

目前的解决方案是使用etcd operator来搭建etcd 集群，operator是CoreOS推出的旨在简化复杂有状态应用管理的框架，它是一个感知应用状态的控制器，通过扩展Kubernetes API来自动创建、管理和配置应用实例。

etcd operator 有如下特性：

  • ceate/destroy: 自动部署和删除 etcd 集群，不需要人额外干预配置。
  • resize：可以动态实现 etcd 集群的扩缩容。
  • backup：支持etcd集群的数据备份和集群恢复重建
  • upgrade：可以实现在升级etcd集群时不中断服务。

2、配置etcd使用ssd固态盘存储；

3、设置 —quota-backend-bytes 增大etcd的存储限制。默认值是 2G；

4、需要配置单独的 Etcd 集群存储 kube-apiserver 的 event。

四、Kube APIServer 配置

node节点数量 >= 3000， 推荐设置如下配置：

 
 
 
      
  
  
  1. --max-requests-inflight=3000 
    2.   
  
  
  2.  
    3.   
  
  
  3. --max-mutating-requests-inflight=1000 
    4.

node节点数量在 1000 — 3000， 推荐设置如下配置：

 
 
 
      
  
  
  1. --max-requests-inflight=1500 
    2.   
  
  
  2.  
    3.   
  
  
  3. --max-mutating-requests-inflight=500 
    4.

内存配置选项和node数量的关系，单位是MB：

 
 
 
      
  
  
  1. --target-ram-mb=node_nums * 60 
    2.

五、Pod 配置

在运行 Pod 的时候也需要注意遵循一些最佳实践，比如:

1、为容器设置资源请求和限制，尤其是一些基础插件服务

 
 
 
      
  
  
  1. spec.containers[].resources.limits.cpu 
    2.   
  
  
  2.  
    3.   
  
  
  3. spec.containers[].resources.limits.memory 
    4.   
  
  
  4.  
    5.   
  
  
  5. spec.containers[].resources.requests.cpu 
    6.   
  
  
  6.  
    7.   
  
  
  7. spec.containers[].resources.requests.memory 
    8.   
  
  
  8.  
    9.   
  
  
  9. spec.containers[].resources.limits.ephemeral-storage 
    10.   
  
  
  10.  
    11.   
  
  
  11. spec.containers[].resources.requests.ephemeral-storage 
    12.

在k8s中，会根据pod不同的limit 和 requests的配置将pod划分为不同的qos类别：

  • Guaranteed
  • Burstable
  • BestEffort

当机器可用资源不够时，kubelet会根据qos级别划分迁移驱逐pod。被驱逐的优先级：BestEffort > Burstable > Guaranteed

2、对关键应用使用 nodeAffinity、podAffinity 和 podAntiAffinity 等保护，使其调度分散到不同的node上。比如kube-dns 配置：

 
 
 
      
  
  
  1. affinity: 
    2.   
  
  
  2.  
    3.   
  
  
  3. podAntiAffinity: 
    4.   
  
  
  4.  
    5.   
  
  
  5. requiredDuringSchedulingIgnoredDuringExecution: 
    6.   
  
  
  6.  
    7.   
  
  
  7. - weight: 100 
    8.   
  
  
  8.  
    9.   
  
  
  9. labelSelector: 
    10.   
  
  
  10.  
    11.   
  
  
  11. matchExpressions: 
    12.   
  
  
  12.  
    13.   
  
  
  13. - key: k8s-app 
    14.   
  
  
  14.  
    15.   
  
  
  15. operator: In 
    16.   
  
  
  16.  
    17.   
  
  
  17. values: 
    18.   
  
  
  18.  
    19.   
  
  
  19. - kube-dns 
    20.   
  
  
  20.  
    21.   
  
  
  21. topologyKey: kubernetes.io/hostname 
    22.

3、尽量使用控制器来管理容器（如 Deployment、StatefulSet、DaemonSet、Job 等）

Kube-scheduler 配置

设置 —kube-api-qps=100 默认值是 50

Kube-controller-manager 配置

设置 —kube-api-qps=100 默认值是20

设置 —kube-api-burst=100 默认值是30

当前标题：Kubernetes 集群怎样优化？看看这5个维度
文章URL：http://www.shufengxianlan.com/qtweb/news9/525409.html

网站建设、网络推广公司-创新互联，是专注品牌与效果的网站制作，网络营销seo公司；服务项目有等

广告

声明：本网站发布的内容（图片、视频和文字）以用户投稿、用户转载内容为主，如果涉及侵权请尽快告知，我们将会在第一时间删除。文章观点不代表本网站立场，如需处理请联系客服。电话：028-86922220；邮箱：631063699@qq.com。内容未经允许不得转载，或转载时需注明来源： 创新互联

猜你还喜欢下面的内容

品牌网站建设知识

各行业网站

成都服务器运维　　 　广汉长尔科技　　 　成都钢筋机械设备　　 　LED显示屏厂家　　 　微信小程序开发　　 　成都云主机　　 　小谭建站工作室　　 　广汉锦华橡塑　　 　和正源建设　　 　成都网站推广　　 　企业邮箱　　 　服务器托管　　 　泸州洋跃建站　　 　腾讯云香港免备案空间　　 　雅安网站建设　　 　成都网站设计　　 　php空间　　 　定制级高端网站建设　　 　腾讯香港空间　　 　等级保护测评