Chaos Mesh 的基本功能，包括故障注入、混沌实验场景、可视化操作、安全保障。故障注入故障注入是混沌实验的核心。Chaos Mesh 充分考虑分布式系统可能出现的故障，提供全面、细粒度的故障类型，分为基础资源类型故障、平台类型故障和应用层故障三大类。基础资源类型故障：PodChaos：模拟 Pod 故障，例如 Pod 节点重启、Pod 持续不可用，以及特定 Pod 中的某些容器故障。NetworkChaos：模拟网络故障，例如网络延迟、网络丢包、包乱序、各类网络分区。DNSChaos：模拟 DNS 故障，例如 DNS 域名解析失败、返回错误 IP 地址。HTTPChaos：模拟 HTTP 通信故障，例如 HTTP 通信延迟。StressChaos：模拟 CPU 抢占或内存抢占场景...阅读全文
云存储服务商Backblaze发布了二季度的硬盘故障率统计报告。 此次统计涵盖了BB旗下的177935块机械硬盘，总的年化故障率为1.01%。 硬盘出问题数量最多型号来自希捷4TB（ST4000DM000），但需要注意的是其通电服役时间同样比较长，整体年化故障率1.94%。 有三款硬盘在统计周期内没有故障发生，分别是希捷6TB（ST6000DX000）、HGST 12TB（HUH72122ALE600）和西数16TB（WUH72186ALE6L0）。 综合来看，在二季度，西数以及西数旗下的HGST硬盘，可靠性整体表现还是最为可圈可点。 另外，BB还统计了从2013年至今的硬盘故障率表格，并得出东芝16TB、西数14TB和HGST的12TB/4TB是年化故障率最低的三块硬盘。 - THE...阅读全文
2021 年 1 季度，HDD / SSD 年化故障率对比。在笔记本电脑市场，厂商也愈加倾向于将内置 SSD 作为其轻薄本产品线的唯一选项。此外 BackBlaze 祖辛发表的一项研究，更是揭示了一个有趣的事实 —— SSD 的可靠性，竟然是 HDD 的 21 倍！以定期发表企业存储可靠性报告而被大家所熟知的 BackBlaze，让我们直观地了解到了各款驱动器的平均或年化故障率（AFR）。HDD / SSD 终身年化故障率对比2021 年 1 季度期间，BackBlaze 发现，各品牌机械硬盘的 AFR 为 10.56%，而同期各品牌固态硬盘的 AFR 低至惊人的 0.58% 。换言之，大约每 10 块 HDD 中，就有 1 个发生了故障。而在大约每 200 块 SSD 中，也只有 1 个...阅读全文
Ceph v10.2.7 发布了。Ceph 是加州大学 Santa Cruz 分校的 Sage Weil（DreamHost 的联合创始人）专为博士论文设计的新一代自由软件分布式文件系统。自 2007 年毕业之后，Sage 开始全职投入到 Ceph 开 发之中，使其能适用于生产环境。Ceph 的主要目标是设计成基于 POSIX 的没有单点故障的分布式文件系统，使数据能容错和无缝的复制。 该版本更新日志尚未找到，了解更多请查看 提交记录 或关注 官方博客 。 下载地址 Source code (zip) Source code (tar.gz)...阅读全文
GitHub 刚刚通过官方博客发布了 21 日“挂掉”的事件分析。GitHub 指出此次事件发生的原因是在 10 月 21 日 22:52 UTC 进行日常维护——更换发生故障的 100G 光学设备时导致美国东海岸网络中心与美国东海岸数据中心之间的连接断开。 更具体地，GitHub 分析，虽然两地的连接在 43 秒内恢复，但这次短暂的中断引发了一系列事件，这才导致了长达 24 小时 11 分钟的服务降级。 为了大规模提高性能，GitHub 的应用程序将直接写入每个群集的相关主数据库，但在绝大多数情况下将读取请求委派给副本服务器的子集。GitHub 使用 Orchestrator 来管理 MySQL 集群拓扑并处理自动故障转移，Orchestrator 在此过程中考虑了许多变量，并在...阅读全文
一句话概况：stackstorm是一个事件驱动的自动化引擎。StackStorm 是一坨功能强大的开源自动化平台，可将通过使用插件封装API的方式，将所有应用程序，服务和工作流程连接起来。这里的所有包括了目前我们常用Gitlab、Zabbix、ELK、AWS 等服务。 Stackstorm 具有很好的可扩展性，灵活性，完美支持 ChatOps 和全操作的API实现。通过Stackstorm 可以将您现有的基础架构和应用程序环境联系在一起，以便您可以更轻松地自动化操作该环境。它特别专注于针对事件采取行动。 便利的故障排除 - 触发由Nagios，Sensu，New Relic和其他监控系统捕获的系统故障，在物理节点、OpenStack或Amazon实例和应用程序组件上运行一系列诊断检查，并将...阅读全文
美国海豹突击队有一套 “让自己快速平静下来” 的技术，名曰：作战呼吸法（Combat Tactical Breathing）。这个中文名是我比比的，这三个单词我都认识，放一起这么翻译没错吧。 下次你遇到测试不通过啊，莫名其妙的 Bug，PM 找你改需求，在线系统的莫名其妙故障啊，你感到沮丧或者焦虑的时候，试试这个方法。我保证，效果比你用头撞墙好。 操作步骤（跟着以上 GIF 呼吸）： 吸气 4 秒（蓝色圆圈扩大）保持你的肺部充满空气 4 秒（当蓝色圆圈最大并静止）呼气 4 秒（蓝色圆圈收缩）保持你的肺部空 4 秒（圆收缩并静止） 多次重复以上步骤，直到你恢复了平（lǐ）静（zhì）。然后，回去继续敲代码吧。...阅读全文
LFS的方法生成可以自行启动并安装了足够软件的CD，可以用来在空机器上安装LFS，或者直接在其上运行应用。 Patches 由于软件之间的依赖关系，在升级软件包之后可能会导致LFS的过程出现故障。Patch项目致力于研究最新版本的软件之间的互动，并提供一些补丁修复这些故障。 这次发布的 LFS 和 BLFS 总共有29个包得到了更新，包括启动脚本和安装指南。而 BLFS 则跟上一个旧版本相比，有大概800个包得到了更新，主要更新包括： * glibc-2.24 * binutils-2.27 * gcc-6.2.0 * /lib 移到了 /lib64 * 移除/usr/lib64 目录 * 增加 /usr/bin/ld.gold 可用 LFS 手册： http...阅读全文
MX Linux 是基于 Debian 稳定分支的面向桌面的 Linux 发行，它是 antiX 及早先的 MEPIS Linux 社区合作的产物。它采用 Xfce 作为缺省桌面，是一份中量级操作系统，并被设计为优雅而高效的桌面与如下特性的结合：配置简单、高度稳定、性能可靠、占用空间不大也不小。 MX-17 Beta 1 镜像现在可供下载和测试。 Beta 1 具有以下功能： antiX 项目的最新实时系统更改和修复; Debian（Stretch）的最新更新; 4.9.0-4 内核（alphas 特性 4.9.0-3）; 32 位 ISO 有 PAE 内核，而非 PAE; 更新软件包，包括 LibreOffice 5.4.1 的更新和 mx-apps; mx-tweak 替换了 mx...阅读全文
关。 18. 针对单点故障——实施冗余。 19. 为了容错性和持久性——实施数据复制。 20. 对于用户到用户的快速通信 — 使用 Websockets。 21. 分布式系统中的故障检测——实现心跳。 22. 数据完整性——使用校验和算法。 23. 高效的服务器扩展——一致性哈希。 24. 去中心化数据传输——考虑 Gossip 协议。 25. 基于位置的功能 — 使用四叉树、Geohash 等。 26. 避免特定的技术名称 — 使用通用术语。 27. 高可用性和一致性的权衡——最终一致性。 28. 对于IP解析和域名查询——DNS。 29. 处理网络请求中的大数据——实施分页。 30. 缓存删除策略 — 首选...阅读全文
query using _interval_ms variable throws error #14507 而 Grafana 在 6.0 版本的主要新特性有： Explore – 一个新的查询，专注于数据探索和故障排除的工作流程。Grafana Loki – 与 Grafana Labs 的新开源日志聚合系统集成。Gauge Panel – 一个新的独立仪表板。New Panel Editor UX 改进面板编辑，在不同可视化间的切换变得容易。Google Stackdriver Datasource 已经退出测试，并正式发布。Azure Monitor 插件从外部插件移植到核心数据源。React Plugin 支持（React Plugin support）为构建插件提供了更简单的方式...阅读全文
。 明确处理错误 健壮的程序其实是由处理故障案例的片段组成的，并且需要在故障出现之前处理好。冗余的if err != nil { return err }比出了故障再一个个去处理更有价值。panic 和 recover 也一样。 尽早 return，不要深陷 每次缩进时都会在程序员的堆栈中添加另一个先决条件，这会占用他们短期内存中的 7±2 个片段。避免需要深层缩进的控制流。与其深入嵌套，不如使用守卫子句将成功路径保持在左侧。 并发权留给调用者 让调用者选择是否要异步运行你的库或函数，不要强制他们使用异步。 在启动 goroutine 之前，要知道它什么时候会停止 goroutines 拥有资源、锁、变量与内存等，释放这些资源的可靠方法是停止 goroutine。 避免包级别的状态 要完成明确和...阅读全文
Spinnaker 是 Netflix 在2015年开源的一款持续交付平台，它继承了 Netflix 上一代集群和部署管理工具 Asgard：Web-based Cloud Management and Deployment的优点，同时根据公司业务以及技术的的发展抛弃了一些过时的设计：提高了持续交付系统的可复用性，提供了稳定可靠的API，提供了对基础设施和程序全局性的视图，配置、管理、运维都更简单，而且还完全兼容 Asgard，总之对于 Netflix 来说 Spinnaker 是更牛逼的持续交付平台。 在深入了解 Spinnaker 之前，先扯一扯 Netflix 的技术文化：这是一家全面拥抱云的公司，据报道数据中心完全部署在 AWS 上，是 AWS 的超级大客户。在上云后他们发现故障仍...阅读全文
Consul 1.6.0 已于近日 发布 GA 版本 ，Consul 是 HashiCorp 公司推出的开源工具，也是主流的用于实现分布式系统服务发现与配置的方案。HashiCorp 对 Consul 的介绍是一个多云服务网络平台，用于在跨任何运行时平台和公共云或私有云的场景连接和保护服务。 本次更新主要集中在 Consul Connect（为其增加了一些主要新特性）和 Consul 的服务网格解决方案方面，此外还有一些改进和错误修复。 Consul 1.6 新特性 支持对 L7 层的流量管理 。1.6 使用了新的配置条目类型，可为服务到服务（service-to-service）的请求启用高级流量管理模式。其他配置条目类型如服务解析器、服务隔离器以及服务路由器通过高级服务故障转移和部署模...阅读全文
威瑞森是美国主要的宽带服务提供商。该公司之前曾提醒用户，布鲁克林的一条光纤被切断。发言人里奇·扬（Rich Young）说，公司“意识到了影响整个东北走廊宽带服务质量的问题”。他补充说，威瑞森“已经看到服务水平开始恢复”。与此同时，美国联邦通信委员会（FCC）正在审查有关网络中断的报告。联邦通信委员会代理主席杰西卡·罗森沃塞尔（Jessica Rosenworcel）在Twitter上表示，该监管机构下属的公共安全和国土安全局“正在努力弄清到底发生了什么”。故障监测网站Downdetector.com也显示，康卡斯特公司(Comcast Corp)、Roblox Corp和Slack Technologies Inc.也出现了故障。亚马逊公司的云计算部门在其网站上表示，与其服务相关的连接问...阅读全文
起运维人员挖矿导致百度损失 2.7 万的事件，同样是运维人员在“涉险”，为什么是运维人员呢？ “运维”人员在企业的价值，他们自己的调侃是：当企业没有发生技术故障的时候，大家感觉不到运维人员的存在。当企业发生故障的时候，大家感觉到运维人员确实没有存在的必要。 但调侃归调侃，这反映了技术运维人员在企业中面临的尴尬处境，但实际上，运维人员对于一家企业运营维护的保障，确实是很重要的。他们的职责包括服务器的部署、配置、维护；互联网平台的部署、升级、迁移、数据备份恢复；监控服务器，平台的运行，系统优化等，可以说，他们掌握了企业的后门，一旦运维部门发生危险，公司有可能陷入瘫痪状态，因此，一直以来，运维人员也拥有很多访问权限，而这却变成了运维人员不惜“涉险”的一个原因之一。 于是，如何对运维人员进行权限管理...阅读全文
Linkerd 是一个提供弹性云端原生应用服务网格（service mesh）的开源项目，也是面向微服务的开源 RPC 代理。Linkerd（发音 "linker-DEE"）是一个透明的服务网格，旨在通过透明地将服务发现、负载均衡、故障处理，插桩（instrumentation）和路由添加到所有的服务间通信中，使现代应用程序安全可靠，而无需侵入应用内部本身的实现。 linkerd 作为一个透明的 HTTP/gRPC/thrift/ 等代理，通常可以以最少的配置被加入到现有的应用程序中，不管这些应用程序采用什么语言编写。linkerd 能与许多通用协议和服务发现后端运行，包括 Mesos 和 Kubernetes 等预定好的环境。 Linkerd 基于 Netty 和...阅读全文
。 ceph-mgr还包括一个Prometheus插件。 ceph-mgr现在有一个Zabbix插件。使用zabbix_sender，它可以将集群故障事件发送到Zabbix Server主机。 这样可以方便地监视Ceph群集的状态，并在发生故障时发送通知。 集群的总体可扩展性有所提高。我们已经成功测试了多达10,000个OSD的集群。 目前，每个OSD都具有与其相关联的设备类（例如，hdd或ssd），允许CRUSH规则将数据简单地映射到系统中的设备的子集。 通常不需要手动编写CRUSH规则或手动编辑CRUSH。可以优化CRUSH权重，以保持OSD之间数据的近乎完美的分布。 还有一个新的upmap异常处理机制，允许单个PG移动以实现完美的分发（这需要客户端）。 每个OSD目前可以根据后端设备是HDD还是...阅读全文
期性自动注册任务, 调度中心将会自动发现注册的任务并触发执行。同时，也支持手动录入执行器地址； 6、弹性扩容缩容：一旦有新执行器机器上线或者下线，下次调度时将会重新分配任务； 7、路由策略：执行器集群部署时提供丰富的路由策略，包括：第一个、最后一个、轮询、随机、一致性 HASH、最不经常使用、最近最久未使用、故障转移、忙碌转移等； 8、故障转移：任务路由策略选择” 故障转移” 情况下，如果执行器集群中某一台机器故障，将会自动 Failover 切换到一台正常的执行器发送调度请求。 9、阻塞处理策略：调度过于密集执行器来不及处理时的处理策略，策略包括：单机串行（默认）、丢弃后续调度、覆盖之前调度； 10、任务超时控制：支持自定义任务超时时间，任务运行超时将会主动中断任务； 11、任务失败重试...阅读全文
findAndModify 命令可以引用现有字段，并加入聚合管道，以获得更强的表现力可还原读写，降低了编写处理临时集群故障的代码的复杂性 客户端字段级加密 (FLE，Client-side Field Level Encryption) 现已是 MongoDB 4.2 的一部分，可以在 beta 版中使用。使用 FLE，可以选择性地保护文档中的敏感字段，每个字段都使用自己的密钥加密，并在客户端上无缝解密。 MongoDB 是现代应用程序的通用数据库，它汇集了文档模型、智能分布式系统以及在任何地方运行它的能力，从笔记本电脑到大型机，在公共和私有云中运行。如果以 MongoDB 4.2 为例，最快和最简单的方法是在 MongoDB Atlas 上启动一个集群，在 AWS、Azure 和 GCP 上的 60 多个区域都可...阅读全文
，而我们也开始考虑利用基于kubectl exec构建的工具为开发人员提供支持。此次新增的kubectl debug命令（目前为alpha版）允许开发人员在集群当中轻松调试自己的Pod，进而获得巨大的便利性增益。这项命令将创建一个即席容器，容器运行在待检查Pod旁边，同时附带有控制台以执行交互式故障排查。 SIG-CLI 调试程序的能力变得越来越必要，基于 kubectl exec，增加了 kubectl alpha debug 命令（目前为 alpha 阶段），使开发人员可以轻松地在集群中调试其 Pod。此命令允许创建一个临时容器，该容器在要检查的 Pod 旁边运行，并且还附加到控制台以进行交互式故障排除。 Windows CSI 支持 带来了用于 Windows 的 CSI 代理，目前处于...阅读全文
Linux操作系统为许许多多用户安装和使用，难免会遇到一些问题。正如2016年我们总结过5大Linux故障排除技巧一样，在即将过去的2017年里，我们依然搜集了用户在使用Linux系统时发现的问题，在此总结综述为"2017年五大Linux痛点"，直指用户使用的关键点，希望能对您有所帮助。 1.文档 文档的问题是你今年最大的痛点吗？开源的方式产生了大量优秀的代码，文档的质量也因此上升了一个台阶。随着越来越多的非技术用户采用Linux和开源软件，文件的质量和数量将变得至关重要。如果您想为开源项目做贡献，但又不觉得自己有足够的技术来提供代码，那么改进文档是一个很好的参与方式。许多项目甚至将文档保存在它们的存储库中。因此你可以通过自己的贡献去改进工作的效率。 2.软件/版本不兼容 软件版本不兼容的...阅读全文
GitLab 11.10 已正式发布 ，更新亮点包括将管道功能（pipeline）集成到操作面板、将管道用于合并结果以及针对多行合并请求的建议。 轻松查看跨项目的管道健康状况 此版本通过强大的功能增强了 Operations Dashboard，该功能让用户能直接查看管道状态。 即使在查看单个项目的管道状态时，这也很方便，不过在使用 多项目管道 时尤其有用 —— 当拥有微服务架构并且需要运行管道来测试和部署位于多个不同项目仓库中的代码时，这种情况很常见。现在，我们可以方便看到操作面板上所有管道的运行状况 。 针对合并结果运行管道 现在可以在合并之前 针对合并结果运行管道 。这样可以快速捕获只有经常重新定位时才会出现的错误，从而更快地解决管道故障并更有效地使用 GitLab Runner...阅读全文
控制器故障转移接近瞬时。Kafka 社区计划在下一个版本（3.4）中弃用 ZooKeeper，然后在 4.0 版本中完全删除它。此外，Kafka 3.3 还提供了其他一些新特性，比如添加了与元数据日志处理错误相关的指标，允许用户为其他用户创建委托令牌，以及严格统一的粘性分区器，以缩短分区时间。对于 Kafka Streams，这个版本增加了源/接收器指标，如消费/生产吞吐量、暂停/恢复拓扑，并集成了 KStream transform()和 process()方法。Kafka Connect 增加了对源连接器的精确一次语义支持。原文链接： https://www.infoq.com/news/2022/10/apache-kafka-kraft/...阅读全文
一、0xcc开篇 2020年3月，得物技术团队在三个月的时间内完成了整个交易体系的重构，交付了五彩石项目，业务系统也进入了微服务时代。系统服务拆分之后，虽然每个服务都会有不同的团队各司其职，但服务之间的依赖也变得复杂，对服务治理等相关的基础建设要求也更高。 对服务进行监控是服务治理、稳定性建设中的一个重要的环节，它能帮助提早发现问题，预估系统水位，以及对故障进行分析等等。从 2019 年末到现在，得物的应用服务监控系统经历了三大演进阶段，如今，整个得物的应用微服务监控体系已经全面融入云原生可观测性技术 OpenTelemetry。 回顾过去十年间，应用服务监控行业的竞争也很激烈，相关产品如雨后春笋般涌现，如推特在 2012 年开源的 Zipkin，韩国最大的搜索引擎和门户网站 Naver...阅读全文
SQL审核是保证数据库 DDL 和 DML 安全使用、SQL变更可追溯、降低线上数据事故概率的重要手段。去哪儿网开源的 Inception 工具有较大的使用基础，提供了相对完善的 API 接口，结合一些外层的操作界面，可以实现SQL审核、执行、备份和恢复功能，为DBA操作利器。本文详细介绍如何配置 Inception 和 Yearning 的整合。 Inception Inception是一个自动化运维工具，在Mysql前做一个审核和操作的屏障。跟Inception的交互是程序级别的，即通过Python或其他程序编程实现对Inception的命令调用，并解析结果。 Inception的文档地址：http://mysql-inception.github.io/inception...阅读全文
Ceph 中，默认情况下将数据复制到三个不同的节点，这确保备份始终可用。 商品化硬件。GlusterFS 和 Ceph 是在 Linux 操作系统之上开发的。因此，对硬件唯一的要求是这些产品具有能够运行 Linux 的硬件。任何商品化硬件都可以运行 Linux 操作系统，结果是使用这些技术的公司可以大大减少在硬件上的投资——如果他们这样做的话。然而，实际上，许多公司正在投资专门用于运行 GlusterFS 或 Ceph 的硬件，因为更快的硬件可以更快地访问存储。 去中心化。在云环境中，永远不应该有中心点故障。对于存储，这意味着不应该用一个中央位置存储元数据。GlusterFS 和 Ceph 实现了元数据访问去中心化的解决方案，从而降低了存储访问的可用性和冗余性。 现在来谈谈 GlusterFS 与...阅读全文
/OpenSUSE Linux 微码更新包 警告 ：在某些情况下，微码更新可能会导致引导问题，比如，服务器在引导时被挂起或者自动重置。以下的步骤是在我的机器上运行过的，并且我是一个经验丰富的系统管理员。对于由此引发的任何硬件故障，我不承担任何责任。在做固件更新之前，请充分评估操作风险！ 示例 在使用 Intel CPU 的 Debian/Ubuntu Linux 系统上，输入如下的 apt 命令/apt-get 命令: sudo apt-get install intel-microcode 命令执行成功后，需要重启服务器，以激活微代码的更新。重启以后，我们再次执行 dmesg 命令，可以看到输出已经变为： [ 0.000000] microcode: microcode updated early to...阅读全文
在2018年的 Linux Plumber 大会上，eBPF成了亮点，有24个议题提到了 eBPF，可以预计eBPF会成为一大技术热点。 eBPF(Extended Berkeley Packet Filter) 的核心是驻留在 kernel 的高效虚拟机。最初的目的是高效网络过滤框架，前身是 BPF。 Linux kernel 3.18版本开始包含了eBPF，相对于 BPF 做了一些重要改进，首先是效率，这要归功于 JIB 编译 eBPF 代码；其次是应用范围，从网络报文扩展到一般事件处理；最后不再使用socket，使用map进行高效的数据存储。 根据以上的改进，内核开发人员在不到两年半的事件，做出了包括网络监控、限速和系统监控。目前eBPF可以分解为三个过程： 以字节码的形式创建...阅读全文
如果 RabbitMQ 集群只有一个 broker 节点，那么该节点的失效将导致整个服务临时性的不可用，并且可能会导致 message 的丢失（尤其是在非持久化 message 存储于非持久化 queue 中的时候）。可以将所有 message 都设置为持久化，并且使用持久化的 queue，但是这样仍然无法避免由于缓存导致的问题：因为 message 在发送之后和被写入磁盘并执行 fsync 之间存在一个虽然短暂但是会产生问题的时间窗。通过 publisher 的 confirm 机制能够确保客户端知道哪些 message 已经存入磁盘，尽管如此，一般不希望遇到因单点故障导致服务不可用。 如果 RabbitMQ 集群是由多个 broker 节点构成的，那么从服务的整体可用性上来讲，该集群对...阅读全文
双重身份验证有所改进。 高可用的方案也已得到了改进，并新增了"迁移"关闭策略，可以在关闭时将正在运行的服务迁移到另一个节点，类似于 AWS 的宿主机故障迁移方式。 存储上，版本 6.1 已支持 Ceph 和 KRBD 在较新内核上支持的所有功能。 我们有一些值得注意的错误修复，其中之一是 QEMU 监视器超时问题或 corosync 的稳定性改进。发行说明中列出了无数其他错误修复和较小的改进。详情请参考发行说明。 常见问题： 问题1：我可以用 apt dist-upgrade 把 VE 6.0 升级为 6.1 吗？回答：可以放心使用。可以通过GUI界面，或者命令行把 VE 6.0 升级为最新的 VE 6.1，一般执行以下命令即可 apt update && apt dist-upgrade...阅读全文
1. Robot Framework Robot Framework（RF）是用于验收测试和验收测试驱动开发（ATDD）的自动化测试框架。 基于 Python 编写，但也可以在 Jython（Java）和 IronPython（.NET） 上运行，提供跨平台支持（Windows、Linux 或 MacOS ）。 优点： 通过使用关键字驱动测试（KDT）方法简化了自动化测试过程，方便测试人员创建易读的测试。 测试数据语法简单易用。 生态系统丰富。由各种通用测试库和工具组成，这些工具都是作为独立项目开发的。 具有高度可扩展性。 可通过 pabot 或 Selenium Grid 执行并行测试。 缺点： 自定义 HTML 报告较为麻烦。 如果是针对大范围的库和扩展的 KDT 自动化测试，建议使用...阅读全文
从我们认为 DevOps 只是一个流行语开始，它已经发展了很长的一段时间。现在，DevOps 已经成为了一个主要焦点，并在过去几年一直在塑造着软件世界。专家表示，DevOps 将成为主流，它的流行程度将在 2019 年达到顶峰。 根据 2018 年《DevOps 现状报告》，DevOps 精英级执行团队代码部署频率和发布速度更高，变更故障率更少，事故恢复时间更短，同时高效能团队的比例逐年增长，采用 DevOps 的团队越来越多。 而 Stack Overflow2018 年的薪资计算器报告显示，全球 DevOps 专家的收入最高，美国 DevOps 专家的年薪中位数接近 10 万美元。 以下是“DevOps”一词的 Google Trends 以及 2019 年的预计增长假设。 从统计数据...阅读全文
，以及更低的端到端延迟 持久性日志：Kafka可以为一种外部的持久性日志的分布式系统提供服务。这种日志可以在节点间备份数据，并为故障节点数据回复提供一种重新同步的机制。Kafka中日志压缩功能为这种用法提供了条件。在这种用法中，Kafka类似于Apache BookKeeper项目。 1.1.4. Kafka中包含以下基础概念 1.Topic(话题)：Kafka中用于区分不同类别信息的类别名称。由producer指定 2.Producer(生产者)：将消息发布到Kafka特定的Topic的对象(过程) 3.Consumers(消费者)：订阅并处理特定的Topic中的消息的对象(过程) 4.Broker(Kafka服务集群)：已发布的消息保存在一组服务器中，称之为Kafka集群。集群中的每一个服...阅读全文
用 Marathon 的 Apache Mesos 架构，©AdrianMouat 如图所见，集群中有四个元素。ZooKeeper 帮助 Marathon 查找 Mesos master 的地址，可以使用多个实例来处理故障。 Marathon 负责启动、监视并扩展容器。Mesos master 将分配给节点的任务发送给 Marathon，并在节点具有一些可用的 CPU/RAM 时向 Marathon 提出要约。Mesos slaves 负责运行容器并提交自身可用资源的列表。 Kubernetes Kubernetes 是用于 Docker 容器的编排系统，使用标签和 pods 的概念将容器分为许多逻辑单元。Pod 是 Kubernetes 与其他两种解决方案之间的主要区别所在——它们是位于同...阅读全文
example.tst的Reverse zone配置： 192.168.10.1 IN PTR mail.example.tst. 在配置邮件服务器的过程中，这些记录可以根据系统的要求进行修改。 2.设置主机名 首先，必须在/etc/hostname和/etc/hosts文件中指定邮件服务器的主机名。前者应仅包含主机名。 root@mail:~# vim /etc/hostname mail root@mail:~# vim /etc/hosts ## IP Fully Qualified Domain Name Hostname ## 192.168.10.1 mail.example.tst mail 增加用户 每一个Linux用户，在默认情况下，系统会为其自动创建一个邮箱。这些用户和邮箱将被用作电子邮件帐...阅读全文
prometheus存在单点问题，具体痛点可以这么描述： prometheus单机存储和抓取能力都有上限，容易单点故障。 虽然有一种方式是通过部署N个prometheus分别抓取不同的target来分摊压力的，但是grafana就要为不同的图表配置不同的prometheus地址，复杂程度比较棘手。 thanos+prometheus可以解决这个问题，它提供了一个核心能力： 1，thanos querier组件可以反向代理到N个prometheus，然后grafana直接指向thanos querier即可，thanos querier会从N个prometheus同时查询数据，返回满足Promql的数据结果； 2，如果N个prometheus抓取的数据存在重复的，那么thanos...阅读全文
Prometheus已成为cloud-native世界中的默认监控应用程序和系统。对于真是使用案例，Prometheus应该是高可用的，这是有挑战的。一旦在高可用性模式下运行Prometheus，就会遇到很多问题，例如数据重复，为重复数据实现single pane等。为了解决此问题，Cortex诞生了。Cortex是一个CNCF sandbox project，旨在为使用Prometheus 收集的指标提供长期存储和全局指标视图。首先让我们看一下Cortex的主要目标，然后看一下它为Prometheus解决的一些问题。水平可伸缩性– Cortex可以分成多个微服务，每个微服务都可以独立地水平伸缩。例如，如果许多Prometheus实例正在向Cortex发送数据，则可以扩展Ingester微...阅读全文
新选择4.8分支或者等待4.10版本。如果有了进一步的消息，我们将会在kernel.org网站上进行更新让所有人都知道。” Linux Kernel 4.9的主要特性包括：虚拟映射内核栈分配，英特尔的粗粒度保护机制pkeys系统调用，BBR拥堵控制算法，支持模块化智能手机的Greybus子系统，大量的文件系统改进，驱动更新如改进 AMD Radeon GPU支持，bug修正，等等。4.9包含了16,216个非合并变更集，是内核项目历史上最忙碌的开发周期，AMD贡献了最多的行变更，最活跃的开发者中就有开发AMD PowerPlay驱动的Rex Zhu。...阅读全文
Debian 系统安装以后，可能会遇到网卡设备名不是常见的 eth0 的情况。我们有没有办法统一网卡设备名称呢？ 在服务器环境中，统一网卡设备名是很有必要的。标准化的配置会节省我们大量的时间，这些时间可能会花在排障、监控的配置、状态收集脚本的调整等。 这里我们介绍如何把 Debian 系统中的网卡从非 eth0，调整为 eth0，这个设备名是各 Linux 系统中比较通用的网卡设备名。下面我们以设备名 ens3 为例，介绍在Debian 系统中，如何修改网卡设备名为 eth0 的具体步骤。 首选，我们需要编辑 grub 的配置文件，修改启动参数。使用编辑器打开 /etc/default/grub， 查找： GRUB_CMDLINE_LINUX="" 找到这行，并修改为...阅读全文
以进行故障排除的二进制文件和工具。这就决定了该容器有助于提供安全可靠的运行时环境，但也很难在问题发生时进行调试。 在这种情况下，临时容器发挥作用。它们实现了调试容器附加到主进程的功能，然后你可以用于调试任何类型的问题。调试容器可以基于任何镜像，因此可以根据您的需求进行定制。您可以构建自己的调试镜像，其中包含特殊的调试二进制文件或仅包含curl，OpenSSL和MongoDB客户端之类的工具。但是，您也可以选择Linux发行版（如Ubuntu）或仅运行Busybox镜像，这两个镜像都已经包含了许多有用的工具。 如何使用临时容器？ 临时容器是alpha功能，因此默认情况下处于禁用状态。您将需要激活以下功能门才能使用它们： 临时容器 PodShareProcessNamespace（v1.16中的...阅读全文
站里每次讨论 2FA 的相关话题，总会有很多朋友说他自己在用 Authy 。它通过手机号注册，而且可以多终端同步。因为看到站里有多例微软验证器丢失验证信息的案例，我曾经也考虑使用 Authy 作为第二个篮子，但因为拖延症一直没有行动。没想到 Authy 出个这么个事故。 原因是有一个没有鉴权的 API 接口，攻击者通过这个接口批量验证手机号是否用于注册 Authy 。攻击者最终收集了 33M 个注册了 Authy 的手机号。 以及LocalFileSystem(本地文件系统)了。 在现代的企业环境中，单机容量往往无法存储大量数据，需要跨机器存储。统一管理分布在集群上的文件系统称为分布式文件系统。 HDFS（Hadoop Distributed File System）是 Hadoop 项目的一个子项目。是 Hadoop 的核心组件之一， Hadoop 非常适于存储大型数据 (比如 TB 和 PB)，其就是使用 HDFS 作为存...阅读全文
增强和安全修复，主要针对的场景是数据中心大规模 Java 应用部署情况下，Java 应用稳定性、效率以及性能的优化与提高。从目前公开的功能和披露的规划上来看，Dragonwell 8 具有下述三大重要特性： JwarmUp JwarmUp 是为了解决双十一抢购场景下，阿里巴巴 Java 系统 warmup 的痛点。以普通的 Java 应用举例，JVM 需要经过解释执行 (interpreter) 找到热点，然后通过 JIT 编译器来加速热点方法的运行。对于高并发场景，应用启动之后会有很长时间处于寻找热点、编译热点的状态。这时，很多性能指标 (CPU 使用率、TPS 吞吐量、 RT 响应时间) 不是非常理想。换句话说，当 Java 应用启动并提供服务之后，在相当长的时间内处于 warmup 状...阅读全文
2020年，Torvalds在主系统使用英特尔CPU超过15年后，转而使用基于AMD Threadripper的工作站。...阅读全文
现在是 2017 年，Linux 在统治着计算机世界。不相信？Linux 基金会报告说，Linux 运行着 90% 的公共云工作量，世界上 82% 的智能手机，62% 的嵌入式市场，以及几乎占领了 99% 的超级计算机市场。所有的这些都基于 Linux 内核。在 Linux 基金会 2017 的 Linux Kernel 开发报告中 ，Linux 内核开发者和 LWN.net 的编辑 Jonathan Corbet 以及稳定的 Linux 内核维护者 Greg Kroah-Hartman 报告了 Linux 最新的发展。 报告显示，自 2005 年以来，Linux Kernel 采用 Git 版本控制系统，来自 1,400 多家公司的 15,637 名开发者为 Linux 内核做出了贡献...阅读全文
关于添加TLS 1.2的博文中都没有提到PCI。它表示，它想要删除“弃用旧的安全协议”的障碍，并致力于“一流的加密”。 但是，如果更好的安全性是真正的目标，为什么微软忽略增加其他现代功能？为了公平起见，Windows Server 2008的TLS支持不是过于差劲。由于ECDHE支持，它至少具有PFS（完全正向保密）密码。 有时候，强行优化一个老系统可能会带来更多安全和生态上的落差。因为它使企业和用户有借口坚持早就该被替换或升级的系统。 这也是为什么去年Chrome把整个Diffie-Hellman密码类都移除掉的部分原因。尽管它可以只保留支持更强的2048位参数，直接取消全部更为简单安全。 Debian放出的仅支持TLS1.2的消息可能不是最终决定，但这种胆识确实值得赞许。与此同时，在...阅读全文
