> 作者：[SRE运维博客](https://www.cnsre.cn/) > > 博客地址： [https://www.cnsre.cn/](https://www.cnsre.cn/) > > 文章地址：[https://www.cnsre.cn/posts/211203931498/](https://www.cnsre.cn/posts/211203931498/) > > 相关话题：[https://www.cnsre.cn/tags/aws/](https://www.cnsre.cn/tags/aws/) 因为创建 Amazon EKS 集群时，IAM 用户或角色会自动在集群的 RBAC 配置中被授予 system:masters 权限。例如，IAM 用户或角色可以是创建集群...阅读全文
Rancher 2.2.2 发布了。Rancher 是一个开源的企业级 Kubernetes 平台，可以管理所有云上、所有发行版、所有 Kubernetes 集群，解决了生产环境中企业用户可能面临的基础设施不同的困境，改善 Kubernetes 原生 UI 易用性不佳以及学习曲线陡峭的问题。 新版本的更新亮点有： Rancher CVE-2019-11202 修复 开发团队发现过一个问题：Rancher 首次启动时创建的默认管理员帐户将在 Rancher 的后续重新启动时重新创建，即使 Rancher 管理员明确删除了该帐户，也仍会如此。这会带来一定的安全风险，因为帐户是使用 Rancher 的默认用户名和密码重新创建的。因此，攻击者可以使用这些默认账号密码来获取对 Rancher...阅读全文
LXD 3.8 发布了，LXD 是下一代容器管理程序，它提供类似于虚拟机的用户体验，但使用的是 Linux 容器。LXD 的核心是一个特权守护程序，它通过本地 unix 套接字以及网络暴露 REST API。随后客户端通过该 REST API 执行所有操作，这意味着无论是与本地主机还是远程服务器通信，都以相同的方式运行。LXD 附带提供命令行客户端。 此版本改进了许多功能，还带来一些新功能，包括： 自动化容器快照 引入了三个配置键来控制自动快照并配置它们的命名方式。 支持项目之间的复制/移动 lxc copy 和 lxc move 都添加了一个新的 –target-project 选项，可以在项目之间复制或移动容器。 cluster.https_address 服务器选项 以往，集群...阅读全文
## 概述 Kubernetes 作为 IaaS 和 PaaS 的中间层，当前对于资源的计费依托于 IaaS 层的资源计费。一个 Kubernetes 的集群，按照其购买的节点实例 CVM 计费。而用户则使用的是 Pod，在实际场景中，通常需要面临这些问题，一个 Pod 如何承担成本、如何评估集群的成本、如何进行成本预测和优化建议。针对上述问题，我们推荐用户使用 Kubecost 进行解决。 Kubecost 是一款成本分析工具，可以为集群成本提供洞察、分析、推荐和建议。作为您优化集群成本的财务分析师，Kubecost 可以为您提供全面的成本分析报告。本文将介绍 Kubecost 使用场景、优化建议、详细的功能说明以及如何安装使用。 ## 使用场景 ### 评估每种资源消耗的成本 成本支出...阅读全文
本教程使用的是 Kubernetes 1.14版，这是本文发布时的官方支持版本。 有关最新版本的最新信息，请参阅官方Kubernetes文档中的当前发行说明 。 Kubeadm自动安装和配置Kubernetes组件，例如API服务器，Controller Manager和Kube DNS。 但是，它不会创建用户或处理操作系统级依赖关系及其配置的安装。 对于这些初步任务，可以使用Ansible或SaltStack等配置管理工具。使用这些工具可以更加简单地创建其他集群或重新创建现有集群，并且不易出错。 在本指南中，您将使用Ansible和Kubeadm从头开始设置Kubernetes集群，然后将容器化的Nginx应用程序部署到它。 目标 您的群集将包含以下物理资源： 一个主节点 主节点...阅读全文
Kubernetes 1.7已经发布，该版本聚焦于安全、存储和扩展性等交付特性，其中包括Network Policy API、StatefulSets自动升级策略以及可扩展的API聚合层。Kubernetes的上一个发布版1.6版侧重于解决规模化和自动化上的问题，显然最新的1.7发布版力图为Kubernetes在企业组织中的进一步采用夯实基础。需注意的是，虽然1.7版的核心集群编排功能是以稳定版提供，但是其中给出的一些头条发布特性在文档中被标为Alpha版或Beta版。 新提供的安全特性包括：Network Policy API。该API当前已提升到稳定版，在实现为网络插件时，用户可以设置并强制使用规则，指定可相互通信的Pod（类似于在用的网络/云ACL）；节点授权器（Node...阅读全文
- 框架类组件配置，比如CAT客户端的配置。虽然这类框架类组件是由其他团队开发、维护，但是运行时是在业务实际应用内的，所以本质上可以认为框架类组件也是应用的一部分。这类组件对应的配置也需要有比较完善的管理方式。 2、Why Apollo 正是基于配置的特殊性，所以Apollo从设计之初就立志于成为一个有治理能力的配置管理平台，目前提供了以下的特性： 统一管理不同环境、不同集群的配置 Apollo提供了一个统一界面集中式管理不同环境（environment）、不同集群（cluster）、不同命名空间（namespace）的配置。同一份代码部署在不同的集群，可以有不同的配置，比如zk的地址等通过命名空间（namespace）可以很方便的支持多个不同应用共享同一份配置，同时还允许应用对共享的配置进行覆...阅读全文
等方式已经越来越无法满足开发人员对配置管理的需求。Apollo 配置中心应运而生！ Apollo 配置中心功能特点 正是基于配置的特殊性， Apollo 在设计之初就立志于成为一个有治理能力的配置管理平台。当前提供了以下一些特性， 统一管理不同环境、不同集群的配置 Apollo 提供了一个统一界面集中式管理不同环境（environment）、不同集群（cluster）、不同命名空间（namespace）的配置。同一份代码部署在不同的集群，可以有不同的配置，通过命名空间（namespace）可以很方便的支持多个不同应用共享同一份配置，同时还允许应用对共享的配置进行覆盖。 配置修改实时生效（热发布） 用户在 Apollo 修改完配置并发布后，客户端能实时（1秒）接收到最新的配置，并通知到应用程序...阅读全文
Kubernetes v1.21 下个月就要发布了（v1.21.0 将于 4 月 8 日发布），本文梳理该版本带来的新特性，以便你为下个月的升级做好准备。PodSecurityPolicy 弃用PodSecurityPolicy（PSP）是 Kubernetes 1.8 开始就支持的 Beta 特性，大量应用于容器的安全策略控制。但由于其 API 不够灵活、认证模型不够完善且配置更新繁琐等缺陷，PodSecurityPolicy 将在 v1.21 正式弃用[1]，并将在 v1.25 中从代码库中删除。已经使用 PodSecurityPolicy 的用户建议迁移到 Gatekeeper[2]。不可变 ConfigMap/Secret 进入稳定版当集群包含大量 ConfigMap 和...阅读全文
以同时管理多个 Kubernetes 集群，更方便地管理多个集群。 丰富的权限管理 ：将资源抽象化为部门、项目级别，角色的权限可以更细化的控制，适用于多部门、多项目的统一集中管理。 多种登录模式 ：支持企业级 LDAP 登录、支持 OAuth2 登录，支持数据库登录多种模式。 完备的审计 ：所有操作都会有完整的审计功能，方便追踪操作历史。 开放平台 ：支持 APIKey 开放平台，用户可自主申请相关 APIKey 并管理自己的项目。 多层次监控 ：提供多级别的监控统计信息，实时关注集群的运行状态。 架构图 整体采用前后端分离的方案： 前端采用 Angular 框架进行数据交互和展示，使用 Ace 编辑器进行 Kubernetes 资源模版编辑。 后端采用 Beego 框架做数据接口处理，使用...阅读全文
GitLab 于上周发布了 12.5 新版本，官方在发布说明中介绍到，为了尽可能高效地交付高质量的软件，企业会经常需要跨多云以支持广泛的基础架构，因此新版带来了 EKS 集群和环境面板等功能以支持跨各种配置的项目配置，更方便监控和管理。 轻松创建并部署 EKS 集群 在新版本中 GitLab 添加了 EKS 集成，因此我们可以在 GitLab 集群页面中选择 EKS 作为选项，然后系统会提示进行身份验证以使用 AWS 账户。一旦通过身份验证，只需为集群指定所需的参数，GitLab 将负责完成其余的工作。因此在新版本中，我们只需单击几下就可以在 Amazon 的 EKS 上创建 Kubernetes 集群。 使用 Crossplane 配置多云托管服务 在 GitLab 12.5 中，我们可...阅读全文
。 ceph-mgr还包括一个Prometheus插件。 ceph-mgr现在有一个Zabbix插件。使用zabbix_sender，它可以将集群故障事件发送到Zabbix Server主机。 这样可以方便地监视Ceph群集的状态，并在发生故障时发送通知。 集群的总体可扩展性有所提高。我们已经成功测试了多达10,000个OSD的集群。 目前，每个OSD都具有与其相关联的设备类（例如，hdd或ssd），允许CRUSH规则将数据简单地映射到系统中的设备的子集。 通常不需要手动编写CRUSH规则或手动编辑CRUSH。可以优化CRUSH权重，以保持OSD之间数据的近乎完美的分布。 还有一个新的upmap异常处理机制，允许单个PG移动以实现完美的分发（这需要客户端）。 每个OSD目前可以根据后端设备是HDD还是...阅读全文
; 我们告诉kubeadm使用相同的子网。第二个任务在/home/sammy创建一个.kube目录。 此目录将保存配置信息，例如连接到群集所需的管理密钥文件以及群集的API地址。第三个任务将从kubeadm init生成的/etc/kubernetes/admin.conf文件复制到非root用户的主目录。 这将允许您使用kubectl访问新创建的集群。最后一个任务运行kubectl apply安装Flannel 。 kubectl apply -f descriptor.[yml|json]是告诉kubectl创建描述descriptor.[yml|json]文件中descriptor.[yml|json]的对象的语法。 kube-flannel.yml文件包含在集群中设置Flannel所需的...阅读全文
1. Kafka介绍 1.1.1. Kafka是什么 kafka使用scala开发，支持多语言客户端（c++、java、python、go等） Kafka最先由LinkedIn公司开发，之后成为Apache的顶级项目。 Kafka是一个分布式的、分区化、可复制提交的日志服务 LinkedIn使用Kafka实现了公司不同应用程序之间的松耦和，那么作为一个可扩展、高可靠的消息系统 支持高Throughput的应用 scale out：无需停机即可扩展机器 持久化：通过将数据持久化到硬盘以及replication防止数据丢失 支持online和offline的场景 复制代码 1.1.2. Kafka的特点 Kafka是分布式的，其所有的构件borker(服务端集群)、producer(消息生产...阅读全文
Elasticsearch 群集搜索 和以前一样，Elasticsearch 6.0 能够读取在 5.x 中创建的 Indices ，但不能读取在 2.x 中创建的 Indices 。不同的是，现在不必重新索引所有的旧 Indices ，你可以选择将其保留在 5.x 群集中，并使用跨群集搜索同时在 6.x 和 5.x 群集上进行搜索。 迁移助手 Kibana X-Pack 插件提供了一个简单的用户界面，可帮助重新索引旧 Indices ，以及将 Kibana、Security 和 Watcher 索引升级到 6.0 。 群集检查助手 在现有群集上运行一系列检查，以帮助在升级之前更正任何问题。 你还应该查阅弃用日志，以确保您没有使用 6.0 版中已删除的功能。 使用序列号更快地重启和还原 6.0 版本中最大的一个新特...阅读全文
（RBAC）在 K8s 集群中使用 RBAC 对于正确保护系统至关重要。可以为用户、组和 service account 分配权限，以在特定命名空间（角色）或整个集群（ClusterRole）上执行允许的操作。每个角色可以有多个权限。要将定义的角色绑定到用户、组或 service account，使用 RoleBinding 或 ClusterRoleBinding 对象。RBAC 角色授予应设置为使用最小权限原则，即仅授予所需的权限。例如，管理员组可能有权访问所有资源，而运维人员组可能能够部署，但不能读取 secret。在外部托管Kubernetes集群（使用云服务）在自己的硬件上托管 K8s 集群可能是一项复杂的工作。云服务将 K8s 集群作为平台即服务 (PaaS) 提供，例如 Azure 上...阅读全文
在今年 10 月份，深圳支流科技把微服务网关 APISIX 贡献给 Apache 基金会后，过了仅仅一个多月的时间，Apache APISIX 发布了一个新的版本 0.9。 Apache APISIX 的 0.9 版本，是经过 APISIX 开发者社区和 Apache 孵化器社区投票发布的官方版本，企业和个人用户都免费使用。 Apache APISIX 进入 Apache 孵化器的这一个多月的时间里，代码贡献者从 27 人增加到 45 人，几乎每个工作日都有新的贡献者加入；新合并的 PR 有 82 个，平均每个工作日有 3 个 PR 合并；使用的公司包含了贝壳找房、腾讯云、网易、NASA等知名企业和科研机构， Apache APISIX 是微服务 API 网关，不仅可以帮你处理传统的南北向...阅读全文
GitHub 刚刚通过官方博客发布了 21 日“挂掉”的事件分析。GitHub 指出此次事件发生的原因是在 10 月 21 日 22:52 UTC 进行日常维护——更换发生故障的 100G 光学设备时导致美国东海岸网络中心与美国东海岸数据中心之间的连接断开。 更具体地，GitHub 分析，虽然两地的连接在 43 秒内恢复，但这次短暂的中断引发了一系列事件，这才导致了长达 24 小时 11 分钟的服务降级。 为了大规模提高性能，GitHub 的应用程序将直接写入每个群集的相关主数据库，但在绝大多数情况下将读取请求委派给副本服务器的子集。GitHub 使用 Orchestrator 来管理 MySQL 集群拓扑并处理自动故障转移，Orchestrator 在此过程中考虑了许多变量，并在...阅读全文
findAndModify 命令可以引用现有字段，并加入聚合管道，以获得更强的表现力可还原读写，降低了编写处理临时集群故障的代码的复杂性 客户端字段级加密 (FLE，Client-side Field Level Encryption) 现已是 MongoDB 4.2 的一部分，可以在 beta 版中使用。使用 FLE，可以选择性地保护文档中的敏感字段，每个字段都使用自己的密钥加密，并在客户端上无缝解密。 MongoDB 是现代应用程序的通用数据库，它汇集了文档模型、智能分布式系统以及在任何地方运行它的能力，从笔记本电脑到大型机，在公共和私有云中运行。如果以 MongoDB 4.2 为例，最快和最简单的方法是在 MongoDB Atlas 上启动一个集群，在 AWS、Azure 和 GCP 上的 60 多个区域都可...阅读全文
如果 RabbitMQ 集群只有一个 broker 节点，那么该节点的失效将导致整个服务临时性的不可用，并且可能会导致 message 的丢失（尤其是在非持久化 message 存储于非持久化 queue 中的时候）。可以将所有 message 都设置为持久化，并且使用持久化的 queue，但是这样仍然无法避免由于缓存导致的问题：因为 message 在发送之后和被写入磁盘并执行 fsync 之间存在一个虽然短暂但是会产生问题的时间窗。通过 publisher 的 confirm 机制能够确保客户端知道哪些 message 已经存入磁盘，尽管如此，一般不希望遇到因单点故障导致服务不可用。 如果 RabbitMQ 集群是由多个 broker 节点构成的，那么从服务的整体可用性上来讲，该集群对...阅读全文
费者和管理客户端KIP-630：Kafka Raft 快照我们在 3.0 中引入的一个主要功能是 KRaft 控制器和 KRaft 代理能够为名为 __cluster_metadata 的元数据主题分区生成、复制和加载快照。Kafka 集群使用此主题来存储和复制有关集群的元数据信息，如代理配置、主题分区分配、领导等。随着此状态的增长，Kafka Raft Snapshot 提供了一种有效的方式来存储、加载和复制此信息.KIP-746：修改 KRaft 元数据记录自第一版 Kafka Raft 控制器以来的经验和持续开发表明，需要修改一些元数据记录类型，当 Kafka 被配置为在没有 ZooKeeper (ZK) 的情况下运行时使用这些记录类型。KIP-730：KRaft 模式下的生产者 ID...阅读全文
] else: return '' 需要先上传文件获得media_id，然后使用media_id将文件发送给用户。另外，这里用到了poster，可使用pip安装： pip install poster 之后引入multipart_encode和register_openers函数: from poster.encode import multipart_encode from poster.streaminghttp import register_openers 给群会话发送消息 与给用户发送信息类似，区别是需要群会话id，而不是用户列表，以发送文本消息为例，代码如下： def send_text_to_chat(access_token, chat_id, text): msg_type, msg...阅读全文
虽然AWS平台早已早已为使用者带来了十分详细和高品质的工具箱，但在具体运用中含的软件还没有尤其方便快捷或是能满足客户的必须，因而，紧紧围绕全部AWS平台，客户及其许多专业开发设计AWS专用工具的企业发布了很多和AWS规范专用工具互为补充的第三方开发环境。这种专用工具集中化在系统软件布署管理方法自动化技术，系统架构图自动生成可视化工具，及其服务器资源监管专用工具等AWS技术栈的最底层服务项目。 系统软件布署管理方法自动化技术专用工具. 中国开发者利好消息！AWS（亚马逊云计算）中国区新用户注册即可免费使用12个月云服务产品啦！每注册一个新用户均可享受新的12个月免费云服务器数据库等产品！快来加入我们吧！ 免费12个月链接： https://aws.amazon.com/cn/free...阅读全文
虽然AWS平台早已早已为使用者带来了十分详细和高品质的工具箱，但在具体运用中含的软件还没有尤其方便快捷或是能满足客户的必须，因而，紧紧围绕全部AWS平台，客户及其许多专业开发设计AWS专用工具的企业发布了很多和AWS规范专用工具互为补充的第三方开发环境。这种专用工具集中化在系统软件布署管理方法自动化技术，系统架构图自动生成可视化工具，及其服务器资源监管专用工具等AWS技术栈的最底层服务项目。 系统软件布署管理方法自动化技术专用工具. 中国开发者利好消息！AWS（亚马逊云计算）中国区新用户注册即可免费使用12个月云服务产品啦！每注册一个新用户均可享受新的12个月免费云服务器数据库等产品！快来加入我们吧！ 免费12个月链接： https://aws.amazon.com/cn...阅读全文
Proxmox VE 是基于QEMU/KVM和LXC的开放源码服务器虚拟化管理解决方案。可以使用集成的、易于使用的Web接口或CLI管理虚拟机、容器、集群、存储和网络，PVE有方便易用的WEB界面，用户可通过网页的方式来管理服务器上使用 kvm 以及 lxc 技术运行的虚拟机。同时提供了一些先进功能的支持，如集群、HA等。PVE虽然是开源，却是由一个商业公司在运营、更新以及维护。 一、启动盘准备 1、下载U盘写盘软件 官方网站：https://rufus.ie/（目前比较好用的写盘软件，WIN10也是用着装） 2、下载PVE ISO文件 官方下载：https://www.proxmox.com/en/downloads（速度比较慢） 3、写入PVE，比较简单，基本跟win安装盘一样，选项基...阅读全文
在拉斯维加斯举行的 DEF CON 会议上，Tor 项目联合创始人 Roger Dingledine 试图纠正有关匿名网络的错误观念。他指出，只有 3% 的 Tor 用户访问 Tor 隐藏服务，绝大部分用户是出于完全合法的目的通过 Tor 访问公共网站。这些网民只是想隐藏身份，他们不是什么黑社会恶棍。 他告诉出席 DEF CON 会议的与会者，暗网并不真正存在，它们只是少许网页罢了。Tor 用户访问最多的网站是 Facebook，有超过一百万人通过 Tor 登录 Facebook。一百万，这只是 Facebook 十亿用户群中的一小部分，但对于像 Tor 这样的项目来说却非常重要。 他还解释了 Tor 浏览器继续使用 Firefox 的原因，称 Chrome 的代理绕过仍然引起担忧...阅读全文
### QQ交流群 Linux 新手交流群：342941507 478080401 Linux系统研究群：587850383 k8s/Docker交流群：627309286 Linux 桌面应用： 598585056 ### 网站地址 https://infras.cn 没有微博账号 #### **公众号：InfraPub** #### 联系站长 邮箱： 2036140@qq.com ...阅读全文
Rancher 2.3 GA版本发布了，据说这是Rancher Labs迄今为止最重要的版本更新。Rancher 2.3是业界首个GA支持Windows容器的Kubernetes管理平台，并正式集成了Istio，还引入了创新的“集群模板”功能以增强企业集群的安全性。 支持Windows容器 通过把Kubernetes的所有优势引入Windows，Rancher 2.3极大降低了企业使用Windows容器的复杂性，并为基于Windows遗留应用程序的现代化提供快捷的途径——无论这些程序是在本地运行还是在多云环境中运行。此外，Rancher 2.3还可以将它们容器化并将其转换为高效、安全和可迁移的多云应用程序，从而省去重写应用程序的工作。 正式集成Istio Rancher 2.3正式完成了对...阅读全文
要做了哪些定制，有什么特色呢？ 叶理灯：如果说定制 K8S 的话，其实是违背了 K8S 的初衷。我们并没有定制 K8S，我们是基于公有云给用户提供了原生的 K8S 产品。在公有云上提供原生的 K8S，其实要做很多的工作，例如与公有云的计算、网络和存储的整合，给用户提供一个开箱即用的原生K8S集群等等。 我为什么说不应该定制呢？因为大家知道 PaaS 发展到今天，一直存在的一个问题就是供应商绑定的问题。而 K8S 之所以那么有生命力，之所以迅速流行，是因为它提供了一个开源的标准，让用户使用 K8S PaaS 平台，可以避免厂商绑定。也就是说你的服务在某个服务商的 K8S 上运行，可以无缝的迁移到另外一个服务商。 作为云厂商其实最重要的工作是，基于我们自身云平台的体系，提供原生的 K8S 给用户...阅读全文
个简化的Web应用，由这些部分组成： 为了冗余而在两个集群上运行的二进制文件，实现前段逻辑负载均衡，有集群前和全局的配置全局的Spanner数据库 生产或者服务基础架构提供服务所需的基础模块来服务用户的请求，比如，Borg集群管理系统[2]，网络交换机的firmware等等。每个这些组件都是一个asset。 Shakespeare服务使用多个基础架构提供者：Borg来运行二进制文件，GSLB[1]管理负载均衡，以及Google共享的Spanner基础架构。 控制平面是服务用于管理生产服务基础结构的平面——比如，添加一台VM或者搭建负载均衡器。控制平面可以包括人工（“我会把新的二进制文件拷贝到服务器上”）到复杂的自动化系统（“我使用机器学习来控制变更”）。控制平面包括变更管理：控制平面里的逻辑...阅读全文
我们将介绍，如何在三个树莓派上，创建出一套 Kubernetes 集群并正常使用。在这种场景下，主节点的内存和 CPU 资源较有限，执行 Kubernetes 任务时性能会有折扣，想做升级也不容易。 在开始之前，我们先介绍 K3s 这个项目。K3s 被誉为是最轻量级的 Kubernetes 发行版，它针对低配的 x86 和 ARM 处理器优化，可以让 Kubernetes 在树莓派上运行得更好。 基于 Raspbian 的 kubernetes 集群 本文我们将介绍如何使用 K3s 在树莓派上创建 Kubernetes 集群。系统我们用的是树莓派最流行的 Raspbian。 准备工作 在开始创建 Kubernetes 集群之前，我们需要准备， 至少一个树莓派，包括 SD 卡和电源网线，普通...阅读全文
引入的新的仲裁控制器确保元数据在整个仲裁中可以被准确复制。活动控制器将元数据存储在事件源日志主题中，仲裁中的其他控制器对活动控制器创建的事件做出响应。事件日志定期进行快照，确保日志不会无限增长。与基于 ZooKeeper 的控制器不同，如果出现了问题，仲裁控制器不需要从 ZooKeeper 加载状态，因为集群的内部状态已经分布在元数据主题中。这大大减少了不可用时间窗口，缩短了系统最坏情况恢复时间。下图显示了使用新的仲裁控制器比使用 ZooKeeper 更快地关闭具有 200 万个分区的 Kafka 集群。新的 KRaft 共识算法和仲裁控制器使得 Kafka 集群可以扩展到数百万个分区，不仅提升了稳定性，让 Kafka 变得更容易监控、管理和支持，而且让整个系统可以有一个单一的安全模型，使...阅读全文
" MYSQL_SERVICE_PASSWORD: "123456" 参数说明： MYSQL_SERVICE_HOST：数据库地址（这里使用上面部署的 Mysql，由于部署在 K8S 里面，所以使用 Mysql Service 提供的 K8S 内部地址） MYSQL_SERVICE_PORT: 数据库端口。 MYSQL_SERVICE_DB_NAME: 指定使用的库名称。 MYSQL_SERVICE_USER: 数据库用户名。 MYSQL_SERVICE_PASSWORD: 数据库密码。 NACOS_APPLICATION_PORT：指定 Nacos 端口号。 PREFER_HOST_MODE：配置 Nacos 集群节点间服务发现使用的模式，支持 hostname、ip 两种模式。 JVM_XMS: 设置 JVM 最大堆内存大小...阅读全文
的永久存储和查询能力。 Compactor则是对Bucket里的历史数据进行采样或者清理，有具体需求后再自行研究即可。 上述组件均是可选的，没有历史数据永存需求的可以直接忽略。 方案2：thanos receive + thanos querier thanos提供的另一种方案是计算与存储分离，利用thanos receive组件部署一个分布式存储集群，然后令prometheus通过remote write机制直接写入到thanos receive集群完成分布式存储，这样prometheus本身就无状态了。 再利用thanos querier反向代理到thanos receive集群，最终对外提供统一的promql查询入口，这个阶段就没有prometheus什么事了。 这套方案的工作原理如下...阅读全文
，每一个节点上创建一个 Pod 已经有了一个更新特性，在1.7中添加了更加机智的回滚和历史回溯能力。 一个新的 StorageOS 卷插件能从本地的和连接的节点存储中提供高可用的、集群范围的持久性卷。 可扩展性： 运行时的 API 聚合是这次发布中最强大的特性，可以让高级用户向集群中添加预先构建的、第三方的或者用户自制的具有Kubernetes风格的API。 容器运行时接口（CRI）通过新的从运行时获取容器指标的 RPC 调用得到增强。CRI 的验证测试已经发布，和containerd 1.0的整合处于 alpha 状态，现在支持基本的 Pod 生命周期和镜像管理。可以阅读我们之前深入介绍 CRI 的文章。 其他特性： 引入了对于外部的准入控制器的支持，现在处于 alpha 状态，提供了两种选...阅读全文
000010010 在unix中文件权限是三类用户，三种权限。三类用户分别是文件所有者user(u)，文件所有者所在主群组group(g)、其它用户others(o)，三种权限分别是起读read(r)、写write(w)、执行execute(x)。 如果一个文件的权限如下：所有者有读写的权限，群组有读和执行权限、其它用户有读权限，可以写成： rw-r-xr– 其中前三位指明了所有者的权限、中间三位指明了组权限、最后三位指明了其它用户的权限。我们用ls -l可以看到文件权限详情，列出来的是10位，最前一位如果是d表示是子目录。 说回来，如果把这上面9位字母换成二进制数则是： 110101100 如果换成八进制是多少？ 因此文件权限可以用9位二进制数表示。umask在英文中是屏蔽的意思，那么 umask=022...阅读全文
前言 Kubernetes 中大量用到了证书, 比如 ca证书、以及 kubelet、apiserver、proxy、etcd等组件，还有 kubeconfig 文件。 如果证书过期，轻则无法登录 Kubernetes 集群，重则整个集群异常。 为了解决证书过期的问题，一般有以下几种方式： 大幅延长证书有效期，短则 10年，长则 100 年； 证书快过期是自动轮换，如 Rancher 的 K3s，RKE2 就采用这种方式； 增加证书过期的监控，便于提早发现证书过期问题并人工介入 本次主要介绍关于 Kubernetes 集群证书过期的监控，这里提供 3 种监控方案： 使用 Blackbox Exporter 通过 Probe 监控 Kubernetes apiserver 证书过期时间； 使...阅读全文
将会主动触发一次子任务的执行, 多个子任务用逗号分隔； 22、一致性：“ 调度中心” 通过 DB 锁保证集群分布式调度的一致性, 一次任务调度只会触发一次执行； 23、自定义任务参数：支持在线配置调度任务入参，即时生效； 24、调度线程池：调度系统多线程触发调度运行，确保调度精确执行，不被堵塞； 25、数据加密：调度中心和执行器之间的通讯进行数据加密，提升调度信息安全性； 26、邮件报警：任务失败时支持邮件报警，支持配置多邮件地址群发报警邮件； 27、推送 maven 中央仓库: 将会把最新稳定版推送到 maven 中央仓库, 方便用户接入和使用; 28、运行报表：支持实时查看运行数据，如任务数量、调度次数、执行器数量等；以及调度报表，如调度日期分布图，调度成功分布图...阅读全文
发送消息的客户端。 consumer：消息消费者，就是从broker拉取数据的客户端。consumer group：消费者组，由多个消费者consumer组成。消费者组内每个消费者负责消费不同的分区，一个分区只能由同一个消费者组内的一个消费者消费；消费者组之间相互独立，互不影响。所有的消费者都属于某个消费者组，即消费者组是一个逻辑上的订阅者。broker：一台服务器就是一个broker，一个集群由多个broker组成，一个broker可以有多个topic。topic：可以理解为一个队列，所有的生产者和消费者都是面向topic的。partition：分区，kafka中的topic为了提高拓展性和实现高可用而将它分布到不同的broker中，一个topic可以分为多个partition，每个...阅读全文
如果你想要尝试下更有新鲜感的 GNU/Linux 系统，那么不妨来体验下最新发布的MX Linux 19.1版本更新版。 MX Linux同样是一款非常出色的GNU/Linux发行版本，而且在社区中的人气也处于快速升温状态，不过在普通用户群体中的知名度还不是很高。MX Linux基于Debian，并使用Xfce轻量级桌面环境，预装Firefox、LibreOffice等卓越应用程序。 MX开发团队今天表示：“我们非常欢迎你来使用MX 19.1版本。MX-19.1是MX-19分支的全新版本，包含了大量的BUG修复和软件更新。如果你已安装了MX-19，那么不需要重新安装。所有软件均可通过常规更新渠道获得更新。” 开发团队进一步表示：“由于使用此更新版本的用户（使用更新的硬件，尤其是较新的AMD...阅读全文
UK8S是UCloud推出的Kubernetes容器云产品，完全兼容原生API，为用户提供一站式云上Kubernetes服务。我们团队自研了CNI（Container Network Interface）网络插件，深度集成VPC，使UK8S容器应用拥有与云主机间等同的网络性能（目前最高可达10Gb/s, 100万pps），并打通容器和物理云/托管云的网络。过程中，我们解决了开源kubelet创建多余Sandbox容器导致Pod IP莫名消失的问题，确保CNI插件正常运行，并准备将修复后的kubelet源码提交给社区。 深度集成VPC的网络方案 按照我们的设想，开发者可以在UK8S上部署、管理、扩展容器化应用，无需关心Kubernetes集群自身的搭建及维护等运维类工作。UK8S完全兼容原生...阅读全文
的保证。 NeuVector开源容器镜像可以安装在任何Kubernetes集群上。SUSE Rancher用户也可以通过Rancher应用商店轻松安装。将来，SUSE将实现两者更深层级的集成，以确保NeuVector为Rancher客户提供无与伦比的价值。秉承开放战略，NeuVector将始终致力于成为所有云原生采纳者的优秀解决方案，支持包括红帽OpenShift、VMWare Tanzu、Google GKE、Amazon EKS、Microsoft Azure AKS等在内的众多企业级容器管理平台。 文档下载： **[SUSE-Kubernetes-安全防护终极指南](https://wpfile.debian.cn/uploads/security/SUSE...阅读全文
Kubernetes 1.18 发布了，这是 2020 年首次版本发布。此版本包含 38 项功能增强，其中 15 项为稳定版功能、11 项 beta 功能以及 12 项 alpha 版功能。 主要更新亮点包括： Kubernetes 拓扑管理器 beta 拓扑管理器的作用是让 CPU 与其它设备（例如 SR-IOV-VF）实现 NUMA 对齐，进而让工作负载运行在优化环境中以降低延迟。在拓扑管理器推出之前，CPU 与设备管理器只能彼此独立地做出资源分配决策。此版本拓扑管理器已经发展到 beta 版本。 Serverside Apply beta 2 beta 2 版本将跟踪并管理所有新 Kubernetes 对象的字段变更，确保用户及时了解哪些资源在何时进行过更改。 使用...阅读全文
在集群化环境里，日志采集是重要基础设施。本文结合最新的 1.0.9 版，对 logpipe 做一个简单的介绍。开源主流解决方案是基于 flume-ng，但在实际使用中发现 flume-ng 存在诸多问题。 比如 flume-ng 的 spoolDir 采集器只能对文件名转档后的大小不能变化的最终日志文件进行采集，不能满足采集时效性要求，如果要采集正在被不断追加的日志文件，只能用 exec 采集器搭配 tail -F 命令，但 tail -F 命令又不能通配目标目录中将来新增的未知文件名。其它解决方案如 logstash 由于是 JAVA 开发，内存占用和性能都不能达到最优。 作为一个日志采集的本地代理，内存占用应该小而受控，性能应该高效，耗费 CPU 低对应用影响尽可能小，要能异步实时追踪...阅读全文
在这篇文章里，我将在 VMWare 里面虚拟四台 Debian 虚拟机，一个做master，三个slave。这四台主机的 hostname 分别是 master、slave1、slave2、slave3。下面的 JDK 和 Hadoop 安装配置操作都是使用普通用户 hadoop 来执行，并非 root。 集群环境准备 1. 静态网络的配置 编辑/etc/network/interfaces文件，注释自动获取IP，并添加下面内容 # static IP address auto ens33 iface ens33 inet static address 192.168.20.101 netmask 255.255.255.0 gateway 192.168.20.2 dns...阅读全文
备受期待的Devuan GNU/Linux 1.0.0 “Jessie”操作系统于昨天正式发布，可以在不安装systemd或者没有任意systemd相关安装包的情况下安装到笔记本和工作站上。自2014年11月立项以来，Devuan项目的目标就是在没有systemd初始化进程的情况下开发出Debian GNU/Linux分支。 2014 年，因为选择初始化系统 systemd 引发的争议，一群不满的开发者创建了不使用 systemd 的 Debian 分支 Devuan。现在，Devuan 开发者宣布释出 Devuan Jessie 1.0 正式版。 这主要是因为于2015年发布的Debian 8 Jessie系统中默认初始化系统为systemd，可选使用sysvinit。systemd最受...阅读全文
Proxmox VE 6.2 现已发布，该版本基于新发布的 Debian 10.4，同时引入了 Linux 5.4 LTS 内核、QEMU 5.0、LXC 4.0 和其他更新的软件组件，包括 OpenZFS 0.8.3。Proxmox VE（Proxmox Virtual Environment）是一个非常棒的集成 OPENVZ 支持 KVM 应用的环境。 Proxmox VE 6.2 的一些亮点内容如下 基于 Web 的管理界面的高级选项： 除了已经存在的基于 HTTP 的验证模式之外，Proxmox VE 还通过基于 DNS 的质询机制为 Let’s Encrypt TLS 证书实现了域的内置验证。完全支持多达八个 corosync 网络链接。使用的链接越多，集群可用性就越高。在存储内...阅读全文
近日，Facebook 开源了一套解决重要计算集群管理问题的 Linux 内核组件和相关工具，这些项目覆盖了资源控制、资源利用、工作负载隔离、负载均衡、测量和监控等方面：BPF、Btrfs、Netconsd、Cgroup2、PSI、Oomd。 Facebook 表示这些项目现在已大规模用于其所有基础设施生产环境中，并用于其它许多企业组织的环境中。 BPF：https://facebookmicrosites.github.io/bpf/ BPF 是 Linux 内核中一种高度灵活、高效率的代码执行引擎，可以让字节码在各个 hook 点运行，以使用自定义代码。虽然 BPF 已广泛用于数据包过滤，但是 BPF 的指令集具有很强的通用性和灵活性，足以支持和允许除网络之外的众多使用场合，比如跟踪和...阅读全文
衡量标准。 节点距离：两个节点到达最近的共同祖先的距离总和。 例如，假设有数据中心d1机架r1中的节点n1。该节点可以表示为/d1/r1/n1。利用这种标记，这里给出四种距离描述。 Distance(/d1/r1/n1, /d1/r1/n1)=0（同一节点上的进程） Distance(/d1/r1/n1, /d1/r1/n2)=2（同一机架上的不同节点） Distance(/d1/r1/n1, /d1/r3/n2)=4（同一数据中心不同机架上的节点） Distance(/d1/r1/n1, /d2/r4/n2)=6（不同数据中心的节点） 机架 7.2 机架感知（副本节点选择） 1）低版本Hadoop副本节点选择 第一个副本在client所处的节点上。如果客户端在集群外，随机选一个。 第二个副...阅读全文
在真正的生产环境中，如何合理的分配服务器资源、提高利用率、让整个集群运行的更加稳定使得 k8s-scheduler 这个角色在集群中的地位愈发重要。 kube-scheduler的预选(过滤)和精选(打分) api-server会将创建pod的请求发送给kube-scheduler，并且将pod信息记录在etcd数据库中。之后kube-scheduler会根据预选（过滤）规则，首先过滤掉一部分node节点中的pod，没有被过滤掉的pod可以看做是可以被调度的pod，之后再通过更加严格的规则给剩下的pod打分，这一步也叫作优选。打分最高的pod可以看做被优先分配到pod任务。 调度流程简介 创建pod的命令被api-server的api接口接收到。api-server将pod信息存储在...阅读全文
