> 作者：[SRE运维博客](https://www.cnsre.cn/) > > 博客地址： [https://www.cnsre.cn/](https://www.cnsre.cn/) > > 文章地址：[https://www.cnsre.cn/posts/211203931498/](https://www.cnsre.cn/posts/211203931498/) > > 相关话题：[https://www.cnsre.cn/tags/aws/](https://www.cnsre.cn/tags/aws/) 因为创建 Amazon EKS 集群时，IAM 用户或角色会自动在集群的 RBAC 配置中被授予 system:masters 权限。例如，IAM 用户或角色可以是创建集群...阅读全文
Rancher 2.3 GA版本发布了，据说这是Rancher Labs迄今为止最重要的版本更新。Rancher 2.3是业界首个GA支持Windows容器的Kubernetes管理平台，并正式集成了Istio，还引入了创新的“集群模板”功能以增强企业集群的安全性。 支持Windows容器 通过把Kubernetes的所有优势引入Windows，Rancher 2.3极大降低了企业使用Windows容器的复杂性，并为基于Windows遗留应用程序的现代化提供快捷的途径——无论这些程序是在本地运行还是在多云环境中运行。此外，Rancher 2.3还可以将它们容器化并将其转换为高效、安全和可迁移的多云应用程序，从而省去重写应用程序的工作。 正式集成Istio Rancher 2.3正式完成了对...阅读全文
## 概述 Kubernetes 作为 IaaS 和 PaaS 的中间层，当前对于资源的计费依托于 IaaS 层的资源计费。一个 Kubernetes 的集群，按照其购买的节点实例 CVM 计费。而用户则使用的是 Pod，在实际场景中，通常需要面临这些问题，一个 Pod 如何承担成本、如何评估集群的成本、如何进行成本预测和优化建议。针对上述问题，我们推荐用户使用 Kubecost 进行解决。 Kubecost 是一款成本分析工具，可以为集群成本提供洞察、分析、推荐和建议。作为您优化集群成本的财务分析师，Kubecost 可以为您提供全面的成本分析报告。本文将介绍 Kubecost 使用场景、优化建议、详细的功能说明以及如何安装使用。 ## 使用场景 ### 评估每种资源消耗的成本 成本支出...阅读全文
我们将介绍，如何在三个树莓派上，创建出一套 Kubernetes 集群并正常使用。在这种场景下，主节点的内存和 CPU 资源较有限，执行 Kubernetes 任务时性能会有折扣，想做升级也不容易。 在开始之前，我们先介绍 K3s 这个项目。K3s 被誉为是最轻量级的 Kubernetes 发行版，它针对低配的 x86 和 ARM 处理器优化，可以让 Kubernetes 在树莓派上运行得更好。 基于 Raspbian 的 kubernetes 集群 本文我们将介绍如何使用 K3s 在树莓派上创建 Kubernetes 集群。系统我们用的是树莓派最流行的 Raspbian。 准备工作 在开始创建 Kubernetes 集群之前，我们需要准备， 至少一个树莓派，包括 SD 卡和电源网线，普通...阅读全文
本文翻译自 Jack Roper 的文章 Kubernetes Best Practice。译者：文章中作者从应用程序开发、治理和集群配置三个方面给出了一些 Kubernetes 的最佳实践，同时翻译过程中也加入了我过往的一些使用经验。有误的地方，也欢迎大家指正。在这篇文章中，我将介绍一些使用 Kubernetes (K8s) 时的最佳实践。作为最流行的容器编排系统，K8s 是现代云工程师掌握的事实标准。众所周知，不管使用还是维护 K8s 复杂的系统，因此很好地掌握它应该做什么和不应该做什么，并知道什么是可能的，将是一个好的开局。这些建议包含 3 大类中的常见问题，即应用程序开发、治理和集群配置。最佳实践目录使用命名空间使用就绪和存活探针（译者注：还有启动探针）使用自动缩放使用资源请求和约...阅读全文
Rancher 2.2.2 发布了。Rancher 是一个开源的企业级 Kubernetes 平台，可以管理所有云上、所有发行版、所有 Kubernetes 集群，解决了生产环境中企业用户可能面临的基础设施不同的困境，改善 Kubernetes 原生 UI 易用性不佳以及学习曲线陡峭的问题。 新版本的更新亮点有： Rancher CVE-2019-11202 修复 开发团队发现过一个问题：Rancher 首次启动时创建的默认管理员帐户将在 Rancher 的后续重新启动时重新创建，即使 Rancher 管理员明确删除了该帐户，也仍会如此。这会带来一定的安全风险，因为帐户是使用 Rancher 的默认用户名和密码重新创建的。因此，攻击者可以使用这些默认账号密码来获取对 Rancher...阅读全文
的永久存储和查询能力。 Compactor则是对Bucket里的历史数据进行采样或者清理，有具体需求后再自行研究即可。 上述组件均是可选的，没有历史数据永存需求的可以直接忽略。 方案2：thanos receive + thanos querier thanos提供的另一种方案是计算与存储分离，利用thanos receive组件部署一个分布式存储集群，然后令prometheus通过remote write机制直接写入到thanos receive集群完成分布式存储，这样prometheus本身就无状态了。 再利用thanos querier反向代理到thanos receive集群，最终对外提供统一的promql查询入口，这个阶段就没有prometheus什么事了。 这套方案的工作原理如下...阅读全文
奇虎 360 宣布正式开源 Wayne ，这是一个由 360 搜索云平台团队开发的通用的、基于 Web 的 Kubernetes 多集群一站式可视化管理平台。内置了丰富多样的功能，满足企业的通用需求，同时插件化的方式可以方便集成定制化功能。 目前 Wayne 已大规模服务于 360 搜索，承载了内部绝大部分业务，稳定管理了近千个业务，上万个容器，运行了两年多时间，经受住了生产的考验。 功能特性 可视化操作 ：提供直观、简便的方式操作 Kubernetes 集群，减小学习成本，快速上线业务。 多样的编辑模式 ：支持图形化编辑，也支持 Json、Yaml 两种高级定制化编辑模式。 微内核架构 ：采用可扩展的插件化方式开发，定制化选择特性功能，更方便的集成符合企业需求的新功能。 多集群管理 ：可...阅读全文
GitLab 于上周发布了 12.5 新版本，官方在发布说明中介绍到，为了尽可能高效地交付高质量的软件，企业会经常需要跨多云以支持广泛的基础架构，因此新版带来了 EKS 集群和环境面板等功能以支持跨各种配置的项目配置，更方便监控和管理。 轻松创建并部署 EKS 集群 在新版本中 GitLab 添加了 EKS 集成，因此我们可以在 GitLab 集群页面中选择 EKS 作为选项，然后系统会提示进行身份验证以使用 AWS 账户。一旦通过身份验证，只需为集群指定所需的参数，GitLab 将负责完成其余的工作。因此在新版本中，我们只需单击几下就可以在 Amazon 的 EKS 上创建 Kubernetes 集群。 使用 Crossplane 配置多云托管服务 在 GitLab 12.5 中，我们可...阅读全文
LXD 3.8 发布了，LXD 是下一代容器管理程序，它提供类似于虚拟机的用户体验，但使用的是 Linux 容器。LXD 的核心是一个特权守护程序，它通过本地 unix 套接字以及网络暴露 REST API。随后客户端通过该 REST API 执行所有操作，这意味着无论是与本地主机还是远程服务器通信，都以相同的方式运行。LXD 附带提供命令行客户端。 此版本改进了许多功能，还带来一些新功能，包括： 自动化容器快照 引入了三个配置键来控制自动快照并配置它们的命名方式。 支持项目之间的复制/移动 lxc copy 和 lxc move 都添加了一个新的 –target-project 选项，可以在项目之间复制或移动容器。 cluster.https_address 服务器选项 以往，集群...阅读全文
前言 Kubernetes 中大量用到了证书, 比如 ca证书、以及 kubelet、apiserver、proxy、etcd等组件，还有 kubeconfig 文件。 如果证书过期，轻则无法登录 Kubernetes 集群，重则整个集群异常。 为了解决证书过期的问题，一般有以下几种方式： 大幅延长证书有效期，短则 10年，长则 100 年； 证书快过期是自动轮换，如 Rancher 的 K3s，RKE2 就采用这种方式； 增加证书过期的监控，便于提早发现证书过期问题并人工介入 本次主要介绍关于 Kubernetes 集群证书过期的监控，这里提供 3 种监控方案： 使用 Blackbox Exporter 通过 Probe 监控 Kubernetes apiserver 证书过期时间； 使...阅读全文
Apollo（阿波罗）是携程框架部门研发的分布式配置中心，能够集中化管理应用不同环境、不同集群的配置，配置修改后能够实时推送到应用端，并且具备规范的权限、流程治理等特性，适用于微服务配置管理场景。 本文简单从功能特点做介绍，更详细的说明请参考Apollo配置中心介绍。本地快速部署可以参考这里。线上的演示环境从这里可以访问到： 106.54.227.205 （账号/密码: apollo/admin） Apollo 配置中心产生背景 大多情况下程序随着功能的复杂，程序的配置也会增多：包括各种功能开关、参数配置、服务地址信息配置等，同时开发人员对程序配置的期望值也越来越高：配置修改后实时生效，灰度发布，分环境、分集群的管理配置、权限控制、审核机制等。 在这样的大环境下，传统的通过配置文件、数据库...阅读全文
1. Kafka介绍 1.1.1. Kafka是什么 kafka使用scala开发，支持多语言客户端（c++、java、python、go等） Kafka最先由LinkedIn公司开发，之后成为Apache的顶级项目。 Kafka是一个分布式的、分区化、可复制提交的日志服务 LinkedIn使用Kafka实现了公司不同应用程序之间的松耦和，那么作为一个可扩展、高可靠的消息系统 支持高Throughput的应用 scale out：无需停机即可扩展机器 持久化：通过将数据持久化到硬盘以及replication防止数据丢失 支持online和offline的场景 复制代码 1.1.2. Kafka的特点 Kafka是分布式的，其所有的构件borker(服务端集群)、producer(消息生产...阅读全文
在前一篇文章中，我们介绍了 Debian Stretch 环境下，Kubernetes 集群安装的准备工作。本文我们将继续介绍 k8s集群 的安装配置工作。 第4步 - 设置主节点 在本节中，您将设置主节点。 但是，在创建任何Playbooks之前，值得介绍一些概念，例如Pod和Pod网络插件 ，因为您的群集将同时包含这两个概念。 pod是运行一个或多个容器的原子单元。 这些容器共享资源，例如文件卷和网络接口。 Pod是Kubernetes中的基本调度单元：pod中的所有容器都保证在调度pod的同一节点上运行。 每个pod都有自己的IP地址，一个节点上的pod应该能够使用pod的IP访问另一个节点上的pod。 单个节点上的容器可以通过本地接口轻松进行通信。 然而，pod之间的通信更复杂，并...阅读全文
在真正的生产环境中，如何合理的分配服务器资源、提高利用率、让整个集群运行的更加稳定使得 k8s-scheduler 这个角色在集群中的地位愈发重要。 kube-scheduler的预选(过滤)和精选(打分) api-server会将创建pod的请求发送给kube-scheduler，并且将pod信息记录在etcd数据库中。之后kube-scheduler会根据预选（过滤）规则，首先过滤掉一部分node节点中的pod，没有被过滤掉的pod可以看做是可以被调度的pod，之后再通过更加严格的规则给剩下的pod打分，这一步也叫作优选。打分最高的pod可以看做被优先分配到pod任务。 调度流程简介 创建pod的命令被api-server的api接口接收到。api-server将pod信息存储在...阅读全文
Kubernetes v1.21 下个月就要发布了（v1.21.0 将于 4 月 8 日发布），本文梳理该版本带来的新特性，以便你为下个月的升级做好准备。PodSecurityPolicy 弃用PodSecurityPolicy（PSP）是 Kubernetes 1.8 开始就支持的 Beta 特性，大量应用于容器的安全策略控制。但由于其 API 不够灵活、认证模型不够完善且配置更新繁琐等缺陷，PodSecurityPolicy 将在 v1.21 正式弃用[1]，并将在 v1.25 中从代码库中删除。已经使用 PodSecurityPolicy 的用户建议迁移到 Gatekeeper[2]。不可变 ConfigMap/Secret 进入稳定版当集群包含大量 ConfigMap 和...阅读全文
Kubernetes 1.7已经发布，该版本聚焦于安全、存储和扩展性等交付特性，其中包括Network Policy API、StatefulSets自动升级策略以及可扩展的API聚合层。Kubernetes的上一个发布版1.6版侧重于解决规模化和自动化上的问题，显然最新的1.7发布版力图为Kubernetes在企业组织中的进一步采用夯实基础。需注意的是，虽然1.7版的核心集群编排功能是以稳定版提供，但是其中给出的一些头条发布特性在文档中被标为Alpha版或Beta版。 新提供的安全特性包括：Network Policy API。该API当前已提升到稳定版，在实现为网络插件时，用户可以设置并强制使用规则，指定可相互通信的Pod（类似于在用的网络/云ACL）；节点授权器（Node...阅读全文
, ctrip apollo, disconf, hawk 等配置中心的功能点。综合比较下来携程apollo 更具有优势。 二、简单介绍携程Apollo配置中心 1、What is Apollo 1.1 背景 随着程序功能的日益复杂，程序的配置日益增多：各种功能的开关、参数的配置、服务器的地址…… 对程序配置的期望值也越来越高：配置修改后实时生效，灰度发布，分环境、分集群管理配置，完善的权限、审核机制…… 在这样的大环境下，传统的通过配置文件、数据库等方式已经越来越无法满足开发人员对配置管理的需求。 Apollo配置中心应运而生！ 1.2 Apollo简介 Apollo（阿波罗）是携程框架部门研发的开源配置管理中心，能够集中化管理应用不同环境、不同集群的配置，配置修改后能够实时推送到应用端，并且具备规范...阅读全文
如果 RabbitMQ 集群只有一个 broker 节点，那么该节点的失效将导致整个服务临时性的不可用，并且可能会导致 message 的丢失（尤其是在非持久化 message 存储于非持久化 queue 中的时候）。可以将所有 message 都设置为持久化，并且使用持久化的 queue，但是这样仍然无法避免由于缓存导致的问题：因为 message 在发送之后和被写入磁盘并执行 fsync 之间存在一个虽然短暂但是会产生问题的时间窗。通过 publisher 的 confirm 机制能够确保客户端知道哪些 message 已经存入磁盘，尽管如此，一般不希望遇到因单点故障导致服务不可用。 如果 RabbitMQ 集群是由多个 broker 节点构成的，那么从服务的整体可用性上来讲，该集群对...阅读全文
MongoDB 4.2 正式发布了，MongoDB Server 4.2 提高了现代事务和分析数据平台的技术水平。 Mongodb-4.2 的主要改动包括： 分布式事务将 MongoDB 的多文档 ACID 从副本集扩展到共享集群，能够为更广泛的用例服务按需物化视图使用新的 $Merge 运算符，在集合中缓存大型聚合的输出是一种常见的模式，新的 $Merge 运算符将可以有效地更新这些结果，而不是完全重新计算它们通配符索引使建模像产品目录这样的高度异构的集合变得简单和自然，而不牺牲对索引的支持。只需定义一个过滤器，它将自动索引集合中所有匹配的字段、子文档和数组MongoDB 查询语言增强功能，如更有表现力的更新、新的数学运算符和扩展的 regex 支持。此版本的 update 和...阅读全文
版本，如：CodeMirror、Echarts、Jquery 等； 13、项目依赖升级 groovy 至较新稳定版本； pom 清理； 14、子任务失败重试重试逻辑优化，子任务失败时将会按照其预设的失败重试次数主动进行重试 XXL-JOB 特性 1、简单：支持通过 Web 页面对任务进行 CRUD 操作，操作简单，一分钟上手； 2、动态：支持动态修改任务状态、启动 /停止任务，以及终止运行中任务，即时生效； 3、调度中心 HA（中心式）：调度采用中心式设计，“ 调度中心” 基于集群 Quartz 实现并支持集群部署，可保证调度中心 HA ； 4、执行器 HA（分布式）：任务分布式执行，任务” 执行器” 支持集群部署，可保证任务执行 HA ； 5、注册中心: 执行器会周...阅读全文
Kaewkasi：我十分认同这种观点，过去，我们启动运行一组Web服务器是非常困难的，而有了Docker，我们几分钟之内就可以完成。 问：Docker与普通虚拟机有什么不同？ Chanwit Kaewkasi： Docker基本上使用操作系统级别的虚拟化，Linux命名空间和控制组。与虚拟化技术（如虚拟机使用的虚拟机管理程序）相比，Docker开销非常小。 Docker背后的真正引擎是Containerd 问：您如何在日常工作中使用Docker？ Chanwit Kaewkasi： 我曾经帮助过东南亚和欧洲的公司设计和实施使用Docker应用架构，并将它们部署在Docker Swarm集群上。 问：使用Docker时您遇到过什么问题？您认为目前存在的挑战是什么？ Chanwit Kaewkasi： 多集群...阅读全文
本教程使用的是 Kubernetes 1.14版，这是本文发布时的官方支持版本。 有关最新版本的最新信息，请参阅官方Kubernetes文档中的当前发行说明 。 Kubeadm自动安装和配置Kubernetes组件，例如API服务器，Controller Manager和Kube DNS。 但是，它不会创建用户或处理操作系统级依赖关系及其配置的安装。 对于这些初步任务，可以使用Ansible或SaltStack等配置管理工具。使用这些工具可以更加简单地创建其他集群或重新创建现有集群，并且不易出错。 在本指南中，您将使用Ansible和Kubeadm从头开始设置Kubernetes集群，然后将容器化的Nginx应用程序部署到它。 目标 您的群集将包含以下物理资源： 一个主节点 主节点...阅读全文
pods具体信息 kubectl get pods -o wide kubernetes-dashboard-76479d66bb-nj8wr --namespace=kube-system 查看集群健康状态 kubectl get cs 获取所有deployment kubectl get deployment --all-namespaces 列出该 namespace 中的所有 pod 包括未初始化的 kubectl get pods --include-uninitialized 查看deployment() kubectl get deployment nginx-app 查看rc和servers kubectl get rc,services 查看pods结构信息（重点，通过这个看日志...阅读全文
Ceph 是一个可扩展的分布式存储系统，性能卓越，安全可靠。 Ceph 12.2.0 正式版已发布。这是Luminous v12.2.x长期稳定版本的第一个版本。在Kraken（v11.2.z）和 Jewel（v10.2.z）后我们做了很多重大修改，而且升级过程并不简单哦。请仔细阅读版本说明。 在 Kraken（v11.2.z）版本上进行的重要修改 通用 Ceph现在有一个内置的简易DarshBoard，用于监控集群状态。 RADOS Bluestore ceph-osd的新后端存储BlueStore已经稳定，是新创建的OSD的默认设置。 BlueStore通过直接管理物理HDD或SSD而不使用诸如XFS的中间文件系统，来管理每个OSD存储的数据，这提供了更大的性能和功能...阅读全文
Istio 1.2.0 已发布，距上一个重要版本 1.1 发布过去刚好三个月。更新的内容主要有以下这些。 General 添加了 traffic.sidecar.istio.io/includeInboundPorts 注解以消除服务所有者在部署 yaml 文件中声明 containerPort 的需要。这将成为未来版本的默认设置。为 Kubernetes 集群添加了对 IPv6 的实验性支持 Traffic Management 在多集群环境中改进基于 基于位置的路由改进 ALLOW_ANY 模式 下的出站流量策略。现有端口上未知的 HTTP/HTTPS 主机流量将按 原样转发 。Envoy 访问日志将记录未知流量。添加了对上游服务设置 HTTP 空闲超时的支持改进了对 NONE 模式...阅读全文
Proxmox VE 是基于QEMU/KVM和LXC的开放源码服务器虚拟化管理解决方案。可以使用集成的、易于使用的Web接口或CLI管理虚拟机、容器、集群、存储和网络，PVE有方便易用的WEB界面，用户可通过网页的方式来管理服务器上使用 kvm 以及 lxc 技术运行的虚拟机。同时提供了一些先进功能的支持，如集群、HA等。PVE虽然是开源，却是由一个商业公司在运营、更新以及维护。 一、启动盘准备 1、下载U盘写盘软件 官方网站：https://rufus.ie/（目前比较好用的写盘软件，WIN10也是用着装） 2、下载PVE ISO文件 官方下载：https://www.proxmox.com/en/downloads（速度比较慢） 3、写入PVE，比较简单，基本跟win安装盘一样，选项基...阅读全文
对比 PaaS 白金版 es节点，标准型S1 8核16G, 9个 1000GB SSD云硬盘 x 1， 单月费用 ￥7865.4 自建主机选用S5型号，主机费用：￥ 6561，便宜了 16.6% 自建主机选用SA2型号，主机费用：￥ 5715，便宜了 27.3% 所以，有能力还是自建 ES 集群，没能力就用PaaS吧...阅读全文
GitHub 刚刚通过官方博客发布了 21 日“挂掉”的事件分析。GitHub 指出此次事件发生的原因是在 10 月 21 日 22:52 UTC 进行日常维护——更换发生故障的 100G 光学设备时导致美国东海岸网络中心与美国东海岸数据中心之间的连接断开。 更具体地，GitHub 分析，虽然两地的连接在 43 秒内恢复，但这次短暂的中断引发了一系列事件，这才导致了长达 24 小时 11 分钟的服务降级。 为了大规模提高性能，GitHub 的应用程序将直接写入每个群集的相关主数据库，但在绝大多数情况下将读取请求委派给副本服务器的子集。GitHub 使用 Orchestrator 来管理 MySQL 集群拓扑并处理自动故障转移，Orchestrator 在此过程中考虑了许多变量，并在...阅读全文
IngressClass 扩展 Ingress 并替换不推荐使用的注解 此版本 Ingress 有两个重要的附加功能：一个新的 pathType 字段和一个新的 IngressClass 资源。pathType 字段允许指定如何匹配路径。除了默认的 ImplementationSpecific 类型，还有新的 Exact 和 Prefix 路径类型。 IngressClass 资源用于描述 Kubernetes 集群内的 Ingress 类型。此新资源和字段替换了不推荐使用的 kubernetes.io/ingress.class 注解。 SIG-CLI 引入 kubectl alpha debug 命令 SIG-CLI到底需不需要调试功能，一直是个颇具争议的问题。随着即席容器[1]的发展，这个问题变得愈发尖锐...阅读全文
引入的新的仲裁控制器确保元数据在整个仲裁中可以被准确复制。活动控制器将元数据存储在事件源日志主题中，仲裁中的其他控制器对活动控制器创建的事件做出响应。事件日志定期进行快照，确保日志不会无限增长。与基于 ZooKeeper 的控制器不同，如果出现了问题，仲裁控制器不需要从 ZooKeeper 加载状态，因为集群的内部状态已经分布在元数据主题中。这大大减少了不可用时间窗口，缩短了系统最坏情况恢复时间。下图显示了使用新的仲裁控制器比使用 ZooKeeper 更快地关闭具有 200 万个分区的 Kafka 集群。新的 KRaft 共识算法和仲裁控制器使得 Kafka 集群可以扩展到数百万个分区，不仅提升了稳定性，让 Kafka 变得更容易监控、管理和支持，而且让整个系统可以有一个单一的安全模型，使...阅读全文
费者和管理客户端KIP-630：Kafka Raft 快照我们在 3.0 中引入的一个主要功能是 KRaft 控制器和 KRaft 代理能够为名为 __cluster_metadata 的元数据主题分区生成、复制和加载快照。Kafka 集群使用此主题来存储和复制有关集群的元数据信息，如代理配置、主题分区分配、领导等。随着此状态的增长，Kafka Raft Snapshot 提供了一种有效的方式来存储、加载和复制此信息.KIP-746：修改 KRaft 元数据记录自第一版 Kafka Raft 控制器以来的经验和持续开发表明，需要修改一些元数据记录类型，当 Kafka 被配置为在没有 ZooKeeper (ZK) 的情况下运行时使用这些记录类型。KIP-730：KRaft 模式下的生产者 ID...阅读全文
作为谷歌开源的容器集群管理系统，Kubernetes 建立在谷歌内部的 Borg 技术之上。发展到今天，Kubernetes 的规模已经变得非常庞大，它被认为是计算基础设施的未来，与虚拟机一脉相承，就像虚拟机取代裸机成为计算部署的最常见单元一样，尤其是在云环境中。 作为业界最主流的容器技术，谷歌会不会考虑迁移到 Kubernetes 呢？ https://www.infoq.cn/article/juhmwqtyaad6z3okkjnj...阅读全文
随着企业的逐步成熟，他们会开发更多工具。在Google，我们持续创建新的外部和内部服务，以及支持这些服务的基础架构。 从2013年起，我们开始放弃之前用来更新和维护服务的简单的自动化工作流。每个服务都要求复杂的更新逻辑，并且还需要适应基础架构的变化，经常性的集群的启动关闭等等。配置多个，互相交互的服务的工作流变得难以维护。 我们需要一种全新的方案来适应业务的增长以及所涉及到的配置的复杂性。为此，我们开发了声明式的自动化系统，作为统一的控制层，并且取代了工作流。这个系统包括两个主要的工具：Podspec，描述服务基础架构的工具，和Annealing，更新生产环境来匹配Prodspec输出的工具。本文讨论我们解决过的问题，以及我们所选择的架构。 Prodspec和Annealing有一个根本共...阅读全文
等可视化工具进行快捷导入。 四、部署 Nacos 这里我们部署 Nacos 集群模式，整体如下示意图，会在 Kubernetes 中创建一个 Service，该 Service 关联 Nacos 中的多个 Pod，一个 Pod 就是 Nacos 节点，Pod 之间通过该 Service 进行交互。最后我们会配置一个 NodePort 方式对外访问。当然，你如果你的 Kubernetes 集群已经部署了 Ingress Controller 则可以创建 Ingress 规则对外提供访问。 ](https://imgchr.com/i/sH7vBF) 1、创建 RBAC 资源 nacos-rbac.yaml apiVersion: v1 kind: ServiceAccount metadata...阅读全文
导语 | kafka3.0的版本已经试推行去zk的kafka架构了，如果去掉了zk，那么在kafka新的版本当中使用什么技术来代替了zk的位置呢，接下来我们一起来一探究竟，了解kafka的内置共识机制和raft算法。一、Kafka简介Kafka是一款开源的消息引擎系统。一个典型的Kafka体系架构包括若干Producer、若干Broker、若干Consumer，以及一个ZooKeeper集群，如上图所示。其中ZooKeeper是Kafka用来负责集群元数据的管理、控制器的选举等操作的。Producer将消息发送到Broker，Broker负责将收到的消息存储到磁盘中，而Consumer负责从Broker订阅并消费消息。（一）Kafka核心组件producer：消息生产者，就是向broker...阅读全文
按Kubernetes每季推出新版本的周期，暨今年3月底发布1.6版后，应该即将有一波大公布。果不其然，作为Kubernetes 1.7开发团队成员之一的Mirantis，在近日宣布，Kubernetes 1.7版会如期在6月底发布。 在1.6版中，Kubernetes不仅新增了角色权限控管，还将集群规模扩大至5,000个节点，但对Kubernetes社区而言，1.6版只不过是求稳定，并无太多新功能。Mirantis表示：1.7版本则是全力锁定推新功能，预计会有超过50个新功能，例如丛集联邦、安全性以及容器网络。 而根据Kubernetes现今对外的文件，还可发现许多有趣的新功能，像是支持容器基础组件Containerd、加强容器Runtime接口等。在容器储存功能方面，则预计开始支持本地...阅读全文
TKE集群在创建时，会设置节点上允许的Pod数量的上限，一般默认是64个。 这里介绍，如何把单节点的 Pod 数量上限，从 32个 调整到 64个，分两种： 1. 新增的节点，需要在创建节点时指定最大Pod 的上限，增加一个自定义项即可，  2. 存量的节点可以使用这个脚本更新一下配置： ``` #!/bin/bash grep MAX_PODS /etc/kubernetes/kubelet if [ $? -eq 0 ]; then echo 'patched already' sed...阅读全文
Spinnaker 是 Netflix 在2015年开源的一款持续交付平台，它继承了 Netflix 上一代集群和部署管理工具 Asgard：Web-based Cloud Management and Deployment的优点，同时根据公司业务以及技术的的发展抛弃了一些过时的设计：提高了持续交付系统的可复用性，提供了稳定可靠的API，提供了对基础设施和程序全局性的视图，配置、管理、运维都更简单，而且还完全兼容 Asgard，总之对于 Netflix 来说 Spinnaker 是更牛逼的持续交付平台。 在深入了解 Spinnaker 之前，先扯一扯 Netflix 的技术文化：这是一家全面拥抱云的公司，据报道数据中心完全部署在 AWS 上，是 AWS 的超级大客户。在上云后他们发现故障仍...阅读全文
在 Elasticsearch 5.0.0 发布之后，Elasticsearch 在 333 个 commite、2236 个合并请求下，发布了基于 Lucene 7.0.1 的 Elasticsearch 6.0.0 正式版。 Elasticsearch 6.0.0 下载地址 Elasticsearch 6.0 重大改变 Elasticsearch 6.0.0 发行说明 Elasticsearch X-Pack 6.0 重大改变 Elasticsearch X-Pack 6.0.0 发行说明 Elasticsearch 6.0.0 部分亮点如下： 无宕机升级： 使之能够从 5 的最后一个版本滚动升级到 6 的最后一个版本，不需要集群的完整重启。无宕机在线升级，无缝滚动升级。 跨多个...阅读全文
在集群化环境里，日志采集是重要基础设施。本文结合最新的 1.0.9 版，对 logpipe 做一个简单的介绍。开源主流解决方案是基于 flume-ng，但在实际使用中发现 flume-ng 存在诸多问题。 比如 flume-ng 的 spoolDir 采集器只能对文件名转档后的大小不能变化的最终日志文件进行采集，不能满足采集时效性要求，如果要采集正在被不断追加的日志文件，只能用 exec 采集器搭配 tail -F 命令，但 tail -F 命令又不能通配目标目录中将来新增的未知文件名。其它解决方案如 logstash 由于是 JAVA 开发，内存占用和性能都不能达到最优。 作为一个日志采集的本地代理，内存占用应该小而受控，性能应该高效，耗费 CPU 低对应用影响尽可能小，要能异步实时追踪...阅读全文
在这篇文章里，我将在 VMWare 里面虚拟四台 Debian 虚拟机，一个做master，三个slave。这四台主机的 hostname 分别是 master、slave1、slave2、slave3。下面的 JDK 和 Hadoop 安装配置操作都是使用普通用户 hadoop 来执行，并非 root。 集群环境准备 1. 静态网络的配置 编辑/etc/network/interfaces文件，注释自动获取IP，并添加下面内容 # static IP address auto ens33 iface ens33 inet static address 192.168.20.101 netmask 255.255.255.0 gateway 192.168.20.2 dns...阅读全文
TiDB 3.1.0 GA 版本现已发布，该版本的更新集中在 Bug 修复。具体的更新有如下内容： 兼容性变化 TiDB支持 TiDB 在启动服务时，在开启 report-status 配置项情况下，如果发现 HTTP 监听端口不可用，则直接退出启动 #16291ToolsBackup & Restore (BR)BR 不支持在 3.1 GA 版本之前的 TiKV 集群上进行恢复 #233 新功能 TiDB支持在 explain format = "dot" 中展示 coprocessor 任务的信息 #16125通过 disable-error-stack 配置项减少日志的冗余 stack 信息 #16182Placement Driver (PD)优化热点 Region 调度...阅读全文
近日，Facebook 开源了一套解决重要计算集群管理问题的 Linux 内核组件和相关工具，这些项目覆盖了资源控制、资源利用、工作负载隔离、负载均衡、测量和监控等方面：BPF、Btrfs、Netconsd、Cgroup2、PSI、Oomd。 Facebook 表示这些项目现在已大规模用于其所有基础设施生产环境中，并用于其它许多企业组织的环境中。 BPF：https://facebookmicrosites.github.io/bpf/ BPF 是 Linux 内核中一种高度灵活、高效率的代码执行引擎，可以让字节码在各个 hook 点运行，以使用自定义代码。虽然 BPF 已广泛用于数据包过滤，但是 BPF 的指令集具有很强的通用性和灵活性，足以支持和允许除网络之外的众多使用场合，比如跟踪和...阅读全文
施： 服务器必须要有防火墙，不能随意对外开放端口；Elasticsearch 集群的端口包括 TCP 和 HTTP，都不能暴露在公网；Elasticsearch 集群禁用批量删除索引功能；Elasticsearch 中保存的数据要做基本的脱敏处理；加强监控和告警，在安全事件发生的第一时间感知并启动紧急预案，将损失降到最低。 除此之外，很多 Elasticsearch 均可公网访问，杨振涛表示很有可能是团队忽视了数据安全，再加上服务器防火墙对于端口开放策略过于激进，导致 Elasticsearch 集群只要一部署即可公网访问。 “公网访问对于有些业务来说是必要的，例如网站搜索服务。” Elastic 架构师吴斌解释道，“我们经常说‘Simple/less is more, but no...阅读全文
于在 Kubernetes 平台上简化证书管理的软件，它支持对接许多不同的证书源，如 Let's Encrypt 和 HashiCorp Vault。 如果你在使用 Apache APISIX Ingress Controller 时，遇到了证书管理的麻烦，那么使用 Cert Manager 将会是一个不错的选择，本文将介绍如何通过 Cert Manager 来创建证书并对接到 Apache APISIX Ingress Controller。 步骤一：环境准备 如果你希望按照本文的指导进行实际的操作，请确保以下环境和工具已准备就绪： 准备一个可用的 Kubernetes 集群，开发环境中，你可以使用 Kind 和 Minikube 安装 kubectl 安装 Helm v3 请注意，下文所...阅读全文
，每一个节点上创建一个 Pod 已经有了一个更新特性，在1.7中添加了更加机智的回滚和历史回溯能力。 一个新的 StorageOS 卷插件能从本地的和连接的节点存储中提供高可用的、集群范围的持久性卷。 可扩展性： 运行时的 API 聚合是这次发布中最强大的特性，可以让高级用户向集群中添加预先构建的、第三方的或者用户自制的具有Kubernetes风格的API。 容器运行时接口（CRI）通过新的从运行时获取容器指标的 RPC 调用得到增强。CRI 的验证测试已经发布，和containerd 1.0的整合处于 alpha 状态，现在支持基本的 Pod 生命周期和镜像管理。可以阅读我们之前深入介绍 CRI 的文章。 其他特性： 引入了对于外部的准入控制器的支持，现在处于 alpha 状态，提供了两种选...阅读全文
要做了哪些定制，有什么特色呢？ 叶理灯：如果说定制 K8S 的话，其实是违背了 K8S 的初衷。我们并没有定制 K8S，我们是基于公有云给用户提供了原生的 K8S 产品。在公有云上提供原生的 K8S，其实要做很多的工作，例如与公有云的计算、网络和存储的整合，给用户提供一个开箱即用的原生K8S集群等等。 我为什么说不应该定制呢？因为大家知道 PaaS 发展到今天，一直存在的一个问题就是供应商绑定的问题。而 K8S 之所以那么有生命力，之所以迅速流行，是因为它提供了一个开源的标准，让用户使用 K8S PaaS 平台，可以避免厂商绑定。也就是说你的服务在某个服务商的 K8S 上运行，可以无缝的迁移到另外一个服务商。 作为云厂商其实最重要的工作是，基于我们自身云平台的体系，提供原生的 K8S 给用户...阅读全文
rkt v1.30.0 发布了。Rocket（也叫 rkt）是 CoreOS 推出的一款容器引擎，和 Docker 类似，帮助开发者打包应用和依赖包到可移植容器中，简化搭环境等部署工作。Rocket 和 Docker 不同的地方在于，Rocket 没有 Docker 那些为企业用户提供的“友好功能”，比如云服务加速工具、集群系统等。反过来说，Rocket 想做的，是一个更纯粹的业界标准。 相信的更新内容如下。 新特性 status: added read from uuid-file (#3860). stage0/run: relax ‘–hosts-entry’ parser (#3833). iottymux: store logs for kubelet in the...阅读全文
流量，也可以处理服务间的东西向流量。它是基于 Nginx 和 etcd 来实现，和传统 API 网关相比，Apache APISIX 具备动态路由和插件热加载，特别适合微服务体系下的 API 管理。 这次发布的0.9版本，带来了很多新特性： 支持使用 Tengine 来运行 APISIX增加了对开发人员更友好的高级调试模式配合 redis，实现集群内限流限速功能新增 URI 重定向插件使用全新的 jsonschema，性能提升一个数量级启用 HTTP2 并支持设置 ssl_protocols 加入 Apache APISIX 如果你希望使用修改任意配置都无需重启的 web 服务器，如果你希望使用代码简洁、云原生友好的微服务网关，那么 Apache APISIX 就是你不二的选择。 你可以加入...阅读全文
