)、consumer(消息消费者)都可以是分布式的。 在消息的生产时可以使用一个标识topic来区分，且可以进行分区；每一个分区都是一个顺序的、不可变的消息队列， 并且可以持续的添加。 同时为发布和订阅提供高吞吐量。据了解，Kafka每秒可以生产约25万消息（50 MB），每秒处理55万消息（110 MB）。 消息被处理的状态是在consumer端维护，而不是由server端维护。当失败时能自动平衡 1.1.3. 常用的场景 监控：主机通过Kafka发送与系统和应用程序健康相关的指标，然后这些信息会被收集和处理从而创建监控仪表盘并发送警告。 消息队列： 应用程度使用Kafka作为传统的消息系统实现标准的队列和消息的发布—订阅，例如搜索和内容提要（Content Feed）。比起大多数的消息系统来说，Kafka...阅读全文
置的执行是按分区严格隔离的asset ID在分区内必须唯一 分区内的asset不是结构化的，而是组织成非排序列表的形式。这些年的经验告诉我们，对于结构化服务asset来说，真的没有一个size适应所有的方案。 但是，我们并不完全放弃结构：asset字段可以包含对其他asset的引用，而不是构建asset本身。这样就可以在同一asset上创建多个层次结构。例如，集群层次结构不同于依赖项层次结构。这些引用字段被显式标记为此类，从而允许以编程的方式发现。 Incarnation 我们通常给分区内容打快照。这些快照成为incarnation，每个incarnation都有唯一ID。incarnation是访问Prodspec数据的唯一方式。incarnation模型不仅是生成逻辑的自然结果（见生成...阅读全文
## 概述 Kubernetes 作为 IaaS 和 PaaS 的中间层，当前对于资源的计费依托于 IaaS 层的资源计费。一个 Kubernetes 的集群，按照其购买的节点实例 CVM 计费。而用户则使用的是 Pod，在实际场景中，通常需要面临这些问题，一个 Pod 如何承担成本、如何评估集群的成本、如何进行成本预测和优化建议。针对上述问题，我们推荐用户使用 Kubecost 进行解决。 Kubecost 是一款成本分析工具，可以为集群成本提供洞察、分析、推荐和建议。作为您优化集群成本的财务分析师，Kubecost 可以为您提供全面的成本分析报告。本文将介绍 Kubecost 使用场景、优化建议、详细的功能说明以及如何安装使用。 ## 使用场景 ### 评估每种资源消耗的成本 成本支出...阅读全文
Prometheus已成为cloud-native世界中的默认监控应用程序和系统。对于真是使用案例，Prometheus应该是高可用的，这是有挑战的。一旦在高可用性模式下运行Prometheus，就会遇到很多问题，例如数据重复，为重复数据实现single pane等。为了解决此问题，Cortex诞生了。Cortex是一个CNCF sandbox project，旨在为使用Prometheus 收集的指标提供长期存储和全局指标视图。首先让我们看一下Cortex的主要目标，然后看一下它为Prometheus解决的一些问题。水平可伸缩性– Cortex可以分成多个微服务，每个微服务都可以独立地水平伸缩。例如，如果许多Prometheus实例正在向Cortex发送数据，则可以扩展Ingester微...阅读全文
3月2日，Docker 官方发布了一篇 blog ，宣布企业版到来。版本也从1.13.x一跃到17.03。之后，Docker 会每月发布一个 edge 版本(17.03, 17.04, 17.05...)，每三个月发布一个 stable 版本(17.03, 17.06, 17.09...)，企业版(EE) 和 stable 版本号保持一致，但每个版本提供一年维护。 Docker 的 Linux 发行版的软件仓库也从以前的 https://apt.dockerproject.org / https://yum.dockerproject.org 变更为目前的 https://download.docker.com/。软件包名变更为 docker-ce (社区版) 和 docker-ee (企...阅读全文
很多同学都已经学习了 Linux ，可能已经在自己的机器上安装过 Linux，甚至都能搭建个简单的个人博客，也有可能编译部署过邮件服务器之类的软件，可是感觉仍然对 Linux 有点摸不着，颇有隔靴挠痒的感受。 总是好奇 Linux 内核是怎么回事，究竟里面有点什么？总是好奇 Linux 是怎么启动起来的，那个什么 GRUB 怎么知道读取引导信息？总是好奇设备怎么就可以被当成文件操作，为什么可以从 /proc 读到进程的信息？总是好奇如何才能构建一个操作系统，从无到有的做成一个可引导的 Linux 启动盘？ 不用羡慕那些说起这些就头头是道是 Linux 极客们，其实你和他们之间只是差一个 LFS 而已。 LFS 是什么？ LFS（英文 Linux From Scratch 的缩写），中文释意...阅读全文
据国外媒体报道，微软公司联合创始人比尔盖茨现在还是世界首富，目前个人财富高达900亿美元。 但比尔盖茨在2008年就退出了微软公司的日常管理，仅作为董事长继续保证公司的正常运营，而在2014年，也就是在他60岁的前一年，他又放弃了微软公司董事长一职。 在离开微软管理层之后，盖茨将大部分精力和财富都放到了慈善事业上，通过慈善活动，他也时常出现在公众的视野之中，但也有很多人好奇，曾经忙于微软公司事务的他，在退休之后的每一天又是怎么度过的？ 事实上在2008年退休之后，如果没有慈善等需要外出的活动，他的一天基本都是在他那历时7年、耗资6300万美元打造的豪宅 “仙乐都2.0” 中度过的，他的一天从豪宅中醒来之后就算开始了。 在早餐方面，盖茨喜欢的早餐是可可泡芙，不过他的妻子梅琳达?盖茨却透露，盖...阅读全文
。去年以来，来自 500 多家公司的 4300 多名开发者对内核做出了贡献。其中 1,670 个是首次贡献，约占贡献者的三分之一。 去年，Linux 内核的十大企业贡献者包括 Intel, Red Hat, Linaro, IBM, Samsung, SUSE, Google, AMD, Renesas 和 Mellanox。微软也仍在 贡献 ，但不再是最大的贡献者。 随着开发人员和公司数量的增加，Linux 的开发速度持续加快。在 2015-16 年，每小时有 7.8 个补丁。去年内核每小时接受的平均更改次数为 8.5 次。这不是打字错误，确实是每小时 8.5 次的代码更改或每天 204 次的代码更改。 因为更高质量的补丁正在被合并，并且社区比以往任何时候都更好地修复回归。此外，英特尔的 0...阅读全文
这些年，机械硬盘容量的提升速度十分缓慢，大有被SSD全面赶超的趋势，不过每个季度，希捷、西部数据都会更新路线图，展望机械硬盘在技术、容量上的发展趋势，尤其是希捷。近日，希捷更是公布了详细的未来技术路线图，计划在2026年左右达到50TB左右，2030年则可以超过120TB。机械硬盘最近几年普遍基于PMR(垂直存储技术)，但即便经过各种优化加强，也已经逼近极限，新的存储技术、机械结构迫在眉睫。比如希捷研发近20年的HAMR(热辅助磁记录)，终于已经开花落地，去年底交付了20TB HAMR硬盘，同时新的多传动器(Muti-Actuator)结构也已经基本成熟，二者结合可让机械硬盘的容量跨上新台阶，2026年达到50TB就靠它们了。类似未来的半导体工艺制程，要想实现更进一步的突破，全新的存储介质...阅读全文
Linux block 子系统的负责人 Jens Axboe 目前就职于 Facebook，他也因开发了 IO_uring 而闻名，他对 IO_uring 的不断开发与优化使得 Linux 系统的 I/O 性能得到巨大提升。一周前，Jens Axboe 开始对内核的 I/O 性能进行了新一轮的优化，以便在单个 CPU 核心上获得 800 万 IOPS。经过一周时间的努力，每个核心能够实现 890 万左右的 IOPS，就当大家以为这个数字已经达到他所使用的硬件极限，没有更多优化空间时，本周他又成功地将每个核心的 IOPS 推到了 1000 万。IOPS（Input/Output Operations Per Second）是一个衡量电脑储存装置（如 HDD、SSD）输入/输出性能高低的指标...阅读全文
最近的互联网线上事故发生比较频繁，9月19日网上爆料出顺丰近期发生了一起线上删库事件，在这里就不介绍了。 这里分享一下最近发生在我公司的事故，以及如何避免，并且如何处理优化。 该宕机的直接原因是使用 Redis 的 keys * 命令引起的，一共造成了某个服务化项目的两次宕机。 间接原因还有很多，技术跟不上业务的发展，由每日百万量到千万级是一个大的跨进，公司对于系统优化的处理优先级不高，技术开发人手的短缺。 第一次宕机 2018年9月13日的某个点，公司某服务化项目的 RDS 数据库实例连接飙升，CPU 升到 100%，拒绝了其他应用的所有请求服务。 整个过程如下： 监控报警，显示RDS的CPU使用率达到80%以上，DBA介入，准备KILL慢SQL 1分钟内，没有发现明显阻塞的SQL...阅读全文
2016年6月份Canonical公司在社区公布的草案，明确自Ubuntu 16.10开始逐步放弃32位支持，并在Ubuntu 18.10中彻底移除对32位架构的支持。今年9月，团队宣布自Ubuntu 17.10开始桌面版本不再提供32位安装镜像；今天工程师Josh Powers再次宣布Ubuntu Server版本将从18.04 LTS不再提供32位（i386）每日ISO镜像。 继Ubuntu桌面版本之后，Ubuntu 服务器版本也将从18.04 LTS（Bionic Beaver）开始不再提供32位版本镜像。 Josh Powers在邮件列表中写道：“在Ubuntu-Server邮件列表中公布之后如果没有人提出异议或者问题，那么自18.04开始将移除Ubuntu Server i386...阅读全文
Redis命令组合在一起，例如： SET a "abc" INCR b HSET c name "hi" 此时便可以使用Redis提供的pipelining功能来实现在一次交互中执行多条命令。 使用pipelining时，只需要从客户端一次向Redis发送多条命令（以rn）分隔，Redis就会依次执行这些命令，并且把每个命令的返回按顺序组装在一起一次返回，比如： $ (printf "PINGrnPINGrnPINGrn"; sleep 1) | nc localhost 6379 +PONG +PONG +PONG 大部分的Redis客户端都对Pipelining提供支持，所以开发者通常并不需要自己手工拼装命令列表。 Pipelining的局限性 Pipelining只能用于执行连续且无相关性的命...阅读全文
Canonical 在其官方博客宣布，Ubuntu 20.04 LTS 已通过对 Raspberry Pi 的认证。在 Ubuntu 20.04 LTS 公开发布的同一天，所有经认证的 Raspberry Pi 上都已添加了对 Ubuntu Server 20.04 的全面支持，用户可以将 20.04 闪存到 Raspberry Pi 中。 去年 11 月，Canonical 曾表示要支持所有 Raspberry Pi 设备，并公开了对 Raspberry Pi 4 的支持计划。随着 Ubuntu 20.04 LTS 的发布，对 Raspberry Pi 的全面支持从认证开始。 认证意味着什么？经过认证后，Pi 将每三周收到经过测试的更新和安全补丁。官方解释，“当用户购买经过认证的主板...阅读全文
PCIe无疑是最为流行的传输总线标准，这几年的更新换代也十分频繁：PCIe 3.0目前还是最普及的，PCIe 4.0正在快速崛起，PCIe 5.0即将和大家见面，PCIe 6.0也正在快速推进制定中。 PCI-SIG组织今天宣布，PCIe 6.0规范已经完成了0.5版本，并提供给组织成员，将在明年按期发布最终正式版。 PCIe每版规范的制定都要经历五个不同版本/阶段： 0.3版本：初步概念，提出新规范的关键特性和架构。0.5版本：初始草案规范，确定新架构的所有层面，并吸收0.3版本基础上组织成员的反馈意见，并加入成员需求的新特性加的新特性。0.7版本：完成版草案，新规范的方方面面都完全确定，电气规范也必须通过测试芯片完成验证。之后不会再加入新功能。0.9版本：最终版草案，组织成员可以据此设...阅读全文
Twitter公司今天在一份新闻稿中宣布，该公司已经接受了埃隆·马斯克以440亿美元收购该公司的提议。最终结果是马斯克以每股54.20美元的价格收购了该公司，这与他本月早些时候提出的初始报价中的价格相同。 Twitter是最著名的社交媒体平台之一，现在正式成为埃隆-马斯克不断扩张的商业帝国的一部分。 新闻稿声明指出： "根据协议条款，在拟议的交易完成后，Twitter股东将为他们拥有的每一股Twitter普通股获得54.20美元的现金。该收购价格比2022年4月1日Twitter的收盘价溢价38%，这也是马斯克先生披露他在Twitter约9%的股份之前的最后一个交易日。" 正如我们在过去几天里广泛报道的那样，这个传奇故事始于4月初，当时马斯克披露了他在Twitter...阅读全文
性就是序列 ID，它允许基于操作的分片恢复。 以前，如果由于网络问题或节点重启而从集群断开连接的节点，则节点上的每个分区都必须通过将分段文件与主分片进行比较并复制任何不同的分段来重新同步。 这可能是一个漫长而昂贵的过程，甚至使节点的滚动重新启动非常缓慢。 使用序列 ID，每个分片将只能重放该分片中缺少的操作，使恢复过程更加高效。 使用排序索引更快查询 通过索引排序，只要收集到足够的命中，搜索就可以终止。它对通常用作过滤器的低基数字段（例如 age, gender, is_published）进行排序时可以更高效的搜索，因为所有潜在的匹配文档都被分组在一起。 稀疏区域改进 以前，每个列中的每个字段都预留了一个存储空间。如果只有少数文档出现很多字段，则可能会导致磁盘空间的巨大浪费。现在，你付出你...阅读全文
"slave1" # slave2 ssh-keygen -t rsa -C "slave2" # slave3 ssh-keygen -t rsa -C "slave3" 5. 免密码登录 在每台主机上执行： ssh-copy-id -i ~/.ssh/id_rsa.pub master ssh-copy-id -i ~/.ssh/id_rsa.pub slave1 ssh-copy-id -i ~/.ssh/id_rsa.pub slave2 ssh-copy-id -i ~/.ssh/id_rsa.pub slave3 6. 创建用户和用户组 在每台主机上执行： useradd -m -s /bin/bash hadoop JDK 安装与配置 1. 手动安装JDK 解压jdk安装包到/usr...阅读全文
个 annotation controller.kubernetes.io/pod-deletion-cost，其值表示删除一个 Pod 的成本，值越小代表越优先删除。当 annotation 不存在时，表示其删除成本为 0。Indexed Jobs Alpha通常，当使用 Job 来运行分布式任务时，用户需要一个单独的系统来在 Job 的不同 worker Pod 之间分配任务。比如，设置一个工作队列，逐一给每个 Pod 分配任务。Kubernetes v1.21 新增的 Indexed Job 会给每个任务分配一个数值索引，并通过 annotation batch.kubernetes.io/job-completion-index 暴露给每个 Pod。使用方法为在 Job spec 中...阅读全文
情况，因为消费者和分区总数是存在绑定关系的，上面也说了，消费者数量最好和所有主题的分区总数一样。那只要消费者数量、主题数量（比如用的正则订阅的主题）、分区数量任何一个发生改变，都会触发重平衡。下面说说重平衡的过程。重平衡的机制依赖消费者和协调者之间的心跳来维持，消费者会有一个独立的线程去定时发送心跳给协调者，这个可以通过参数heartbeat.interval.ms来控制发送心跳的间隔时间。每个消费者第一次加入组的时候都会向协调者发送JoinGroup请求，第一个发送这个请求的消费者会成为“群主”，协调者会返回组成员列表给群主。群主执行分区分配策略，然后把分配结果通过SyncGroup请求发送给协调者，协调者收到分区分配结果。其他组内成员也向协调者发送SyncGroup，协调者把每个消费者的...阅读全文
很快的掌握了这个语言，并用它表达出心里的想法。 在这个过程中，随着需求的出现，他可能会问这样的问题： 这个语言的“变量定义”是什么语法，需要“声明类型”吗，还是可以用“类型推导”？ 它的“类型”是什么语法？是否支持“泛型”？泛型的 “variance” 如何表达？ 这个语言的“函数”是什么语法，“函数调用”是什么语法，可否使用“缺省参数”？ …… 注意到了吗？上面每一个引号里面的内容，都是一种语言特性（或者叫概念）。这些概念可以存在于任何的语言里面，虽然语法可能不一样，它们的本质都是一样的。比如，有些语言的参数类型写在变量前面，有些写在后面，有些中间隔了一个冒号，有些没有。 这些实际问题都是随着写实际的代码，解决手头的问题，自然而然带出来的，而不是一开头就抱着语言手册看得仔仔细细。因为掌握了...阅读全文
，TokyoTyrant及Schooner Membrain等。RethinkDB为各种应用压力下提供高性能和高可靠性 支持，主要应用在下面一些场景： 用来处理一些其它方案无法解决的服务负载（如：要求快速的服务启动，在数据量超出内存大小后还要有高的性能，处理各种不稳定的读写压力，处理大量数据等） 提供性能与数据稳定性之间的精细调控 大大提高你的缓存层和key-value存储的性能，在你现有的硬件条件下，能支持更高的应用负载。 使用费用 RethinkDB目前提供两个版本的支持，一个免费版的，一个商用版的。商用版本的价格是每年每台机器$1500。免费版提供目前所有功能，提供后续所有安全相关的升级。但是新功能的升级只保证在付费版本中保持更新，另外商用版本还提供技术支持。...阅读全文
TurnKey Linux 16.0 稳定版已发布，这也是该发行版首个基于 Debian 10 的衍生版本。 TurnKey Linux 是基于 Debian 的虚拟应用程序库，它将一些最好的开源软件集成到完备可用的解决方案中。每一个虚拟应用程序都为易用性进行了优化，并能在数分钟内就部署在裸机、虚拟机及云中。 每一个虚拟应用都可以光盘镜像或是虚拟机镜像的形式获得，而这份仍在增长的应用列表包括 Bugzilla、Django、Drupal、File Server、Joomla、LAMP、Magento、Mantis、MediaWiki、MoinMoin、Moodle、MovableType、MySQL、Openbravo、phpBB、PostgreSQL、ProjectPier、Rails...阅读全文
2021 年 1 季度，HDD / SSD 年化故障率对比。在笔记本电脑市场，厂商也愈加倾向于将内置 SSD 作为其轻薄本产品线的唯一选项。此外 BackBlaze 祖辛发表的一项研究，更是揭示了一个有趣的事实 —— SSD 的可靠性，竟然是 HDD 的 21 倍！以定期发表企业存储可靠性报告而被大家所熟知的 BackBlaze，让我们直观地了解到了各款驱动器的平均或年化故障率（AFR）。HDD / SSD 终身年化故障率对比2021 年 1 季度期间，BackBlaze 发现，各品牌机械硬盘的 AFR 为 10.56%，而同期各品牌固态硬盘的 AFR 低至惊人的 0.58% 。换言之，大约每 10 块 HDD 中，就有 1 个发生了故障。而在大约每 200 块 SSD 中，也只有 1 个...阅读全文
我刚为 DebianLive 11.1.0 及 11.0.0 （32及64位元）英语版本的 Xfce 桌面系统造了半中文包10个及中文包8个，提供中文支援。 功能: (甲) 每一个半中文包，都可以为适用的 DebianLive 英语版本 Xfce 桌面系统提供中文支援，包括显示中文和输入中文。可选用的中文输入法平台有： 1. 小企鹅输入法平台 (fcitx) - 内含 23 个中文输入法 2. 新一代小企鹅输入法平台 (fcitx5) - 内含 32 个中文输入法 3. 智能汇流排输入法平台 (ibus) - 内含 15 个中文输入法 4. 智能通用输入法平台 (scim) - 内含 22 个中文输入法 5. 小小输入法平台 (yong) - 内含 23 个中文输入法 (B) 每一个名称相...阅读全文
在今年 10 月份，深圳支流科技把微服务网关 APISIX 贡献给 Apache 基金会后，过了仅仅一个多月的时间，Apache APISIX 发布了一个新的版本 0.9。 Apache APISIX 的 0.9 版本，是经过 APISIX 开发者社区和 Apache 孵化器社区投票发布的官方版本，企业和个人用户都免费使用。 Apache APISIX 进入 Apache 孵化器的这一个多月的时间里，代码贡献者从 27 人增加到 45 人，几乎每个工作日都有新的贡献者加入；新合并的 PR 有 82 个，平均每个工作日有 3 个 PR 合并；使用的公司包含了贝壳找房、腾讯云、网易、NASA等知名企业和科研机构， Apache APISIX 是微服务 API 网关，不仅可以帮你处理传统的南北向...阅读全文
AMD表示，公司最新发布的“米兰”服务器芯片比目前最好的数据中心芯片处理速度更快。据悉，AMD完成该芯片的设计，并委托台积电采用7nm芯片制造工艺来实现量产。很快，Intel也要反击，其将在未来几周推出最新的“冰湖”（Ice Lake）服务器芯片，这将是首款采用Intel 10nm制造工艺量产的服务器芯片（据说性能相当于7nm制造工艺的“米兰”芯片）。无论这两款芯片的速度如何，但AMD仍有望拥有一些优势，比如每个芯片上的计算内核数更多，这使得芯片可以同时处理更多的软件应用程序。AMD服务器业务部门高级副总裁兼总经理丹·麦克纳马拉（Dan McNamara）表示，如果公司继续将客户反馈整合到新一代芯片中，就能保住领先地位。第三代EPYC 7003系列采用和锐龙5000系列同款的Zen3架构...阅读全文
定完全禁止 Q&A 环节，以“让它成为对新演讲者更友好的第一个环境”。 这个想法在很大程度上被 Debian 开发者所拒绝，并且看起来不会有足够的动力应用于未来的 DebConf 大会上。虽然有一些开发者支持这个想法，包括一些演讲者 —— 其中英语不是他们的母语，因此希望不必处理问答，而其他人则建议这个政策也许可以由演讲者在每个演示文稿的基础上决定。 有关这想法的讨论，可点此查看(debconf-discuss)，Chris Lamb 在他的每月 Debian 项目负责人笔记中也提到了这件事。...阅读全文
Flask 是一个微型的 Python 开发的 Web 框架，最初构建于 2010 年，至今已发展 8 年。Flask 1.0 近日已正式发布。 Flask 示例代码： from flask import Flask app = Flask(__name__) @app.route("/") def hello(): return "Hello World!" if __name__ == "__main__": app.run() 1.0 版更新亮点： 不再支持 Python 2.6 和 3.3 。 CLI 更加灵活。 如果安装了 python-dotenv，flask CLI 将从 .flaskenv 和 .env 文件加载环境变量，而不必在每个新终端中导出它们。 开发服务器默认情况下...阅读全文
大家详细介绍CET，以及推出它的全球知名数字资产交易服务商CoinEx。 CET（CoinEx Token）诞生于2018年1月，是 CoinEx业务生态内的用户增值服务权益体系，最开始 CET 基于 Ethereum ERC20 协议发行。CoinEx业务生态内的用户增值服务权益体系，CET价值远不止这些。CET可以在多种场景下流通并使用。CET的核心价值包括并不限于： ** 1、长期回购销毁 ** CoinEx每天自动将平台手续费收入的50%用于回购CET，并在每个自然季度结束时将当季回购的CET全部销毁，直至CET总量减至30亿。CET总量减至30亿后，CoinEx将继续把平台手续费收入的20%用于回购并销毁CET，直至CET全部销毁。 ** 2、优惠抵扣平台交易费 ** CoinEx...阅读全文
Redis 6 是有史以来改变最大的 Redis版本，因此即使稳定，也要小心处理，并在投入生产之前对其进行测试，以进行工作量测试。到目前为止，我们从未发现重大问题，但请务必小心。在收集错误报告时，我们将准备尽快发布Redis 6.0.1。 变化如下：除了稳定性之外，RC1和今天之间还有什么变化？ 1. 在某些方面对客户端缓存进行了重新设计，尤其是放弃了缓存插槽方法，而只使用键名。在分析了替代方案之后，在其他Redis核心团队成员的帮助下，这种方法最终看起来更好。除此之外，尤其是“广播模式”，我相信它将成为该功能最流行的使用模式之一。 使用广播时，服务器不再尝试记住每个客户端请求的密钥。相反，客户端订阅密钥前缀：每当与该前缀匹配的密钥被修改时，它们就会收到通知。这意味着可广播更多消息（但仅适...阅读全文
数据也是在三个节点之间同步，但 Queue 的实际存储只会在一个节点。我们发送消息到指定 Queue，其实是发送消息到指定节点下的 Queue。如下图所示，消息发送至队列 testQueue，无论发送者通过哪个 RMQ 节点执行发送，其最终的执行都会是在 MQ03 节点执行消息的存储。 说到这儿，可能有的小伙伴就要问了？说好的，RabbitMQ 集群提供高可用性呢？分析一下，RabbitMQ集群搭建完成后，如果不进行任何高可用配置，会有哪些问题呢？ 单点故障会导致消息丢失：如果 MQ03 节点故障，那么 MQ03 中的消息就会丢失无法最大化的利用 RMQ 提升执行效率：既然每次发送到队列 testQueue 的消息都会在 MQ03 节点存储，那么何必搭建集群。 引入 RabbitMQ 的镜像...阅读全文
{key:{$gt: value}} db.ruochen.find({'likes': {$gt:100}}).pretty() where likes > 100 大于等于 {key:{$gte: value}} db.ruochen.find({'likes': {$gte:200}}).pretty() where likes >= 200 不等于 {key:{$ne: value}} db.ruochen.find({'likes': {$ne:200}}).pretty() where likes != 200 AND条件 find() 方法可以传入多个键(key)，每个键(key)以逗号隔开，即常规 SQL 的 AND 条件 格式： db.ruochen.find({key1...阅读全文
以及 Wasm 带来的高级 “沙箱隔离”。我们可以轻松看到的两种容器之间的其他差异。首先，我们将运行两个 daemon 容器，看看我们如何解释有关它们的一些统计信息。 然后我们将检查容器镜像的差异。容器数据让我们运行两个 daemon 容器 - 一个是从传统的 php 镜像，另一个是从 php-wasm 镜像。docker run --rm -d \ -p 8083:8080 -v $(pwd)/images/php/docroot:/docroot \ php:7.4.32-cli \ -S 0.0.0.0:8080 -t /docroot docker run --rm -d \ --runtime=io.containerd.wasmedge.v1 \ -p 8082:8080 -v...阅读全文
然避免不了，为了更加从容的应对这些故障，就搞了一个工具 Chaos Monkey 会随机停止生产环境中的虚拟机，通过观察系统在真实故障中的表现来确保程序的健壮性，也通过实战来验证各种高可用技术是否靠谱。接着冒出了 Chaos Gorilla，会停止一整个可用域中的所有机器；最后还有Chaos Kong，直接停掉一整个 Region，非常有挑战精神（丧心病狂）。 为了更好的观察系统在故障时的情况，还研发了全局可视化系统，代号 Flux，可以将整个系统的逻辑架构和各服务之间的流量可视化在大屏幕上，效果图如下： 他们每个月有一个活动：将一个 Region 里的机器全部关掉，看 Netflix 服务是否正常。有兴趣看视频的可以移步这里。 另外，Netflix 除了云服务，还有自建CDN，即 Open...阅读全文
Viljoen在其中介绍了Netronome SmartNIC上每个FPC每秒达到300万个数据包，每个SmartNIC有72到120个FPC，可能最大支持eBPF吞吐量4.3 Tbps！（理论上） eBPF 触发了新一代网络、安全性、应用程序配置/跟踪和性能故障排除等领域的工具开发，这些工具不再依赖现有的内核功能，而是在不影响执行效率或安全性的情况下主动重新编程运行时行为。 那我们看看有哪些基于 eBPF 的工程，这些工程或许你已经知道，或是已经经常使用。 基于eBPF的项目 1：bcc BCC是用于创建基于eBPF的高效内核跟踪和操作程序的工具包，其中包括一些有用的命令行工具和示例。 BCC简化了用C进行内核检测的eBPF程序的编写，包括LLVM的包装器以及Python和Lua的前端。它还提供了用于...阅读全文
最近游戏已上线运营，进行服务器内存优化，发现一个非常奇妙的问题，我们的认证服务器（AuthServer）负责跟第三方渠道SDK打交道（登陆和充值），由于采用了curl阻塞的方式，所以这里开了128个线程，奇怪的是每次刚启动的时候占用的虚拟内存在2.3G，然后每次处理消息就增加64M，增加到4.4G就不再增加了，由于我们采用预分配的方式，在线程内部根本没有大块分内存，那么这些内存到底是从哪来的呢？让人百思不得其解。 探索 一开始首先排除掉内存泄露，不可能每次都泄露64M内存这么巧合，为了证明我的观点，首先，我使用了valgrind。 valgrind --leak-check=full --track-fds=yes --log-file=./AuthServer.vlog & 然后启动测试...阅读全文
以及QLC闪存？ TLC = Trinary-Level Cell，即3bit/cell（每个Cell单元储存3个数据，有8个状态，具体如上图，有八种不同电压状态）。主要特点：成本低，容量大，但速度慢，寿命短，约500-1000次擦写寿命。但随着技术的成熟，寿命问题已经得到改善（约1500-2000次擦写寿命），并成为目前闪存颗粒中的最主流产品。 QLC=Quad-Level Cell，即4bit/cell（每个Cell单元储存4个数据，有16个状态，具体如上图，有十六种不同电压状态）。相比于TLC来说，成本比更低，容量更大，而可靠、稳定性及寿命则更差些（此前几年预计的理论可擦写100-150次），不过目前东芝宣称，他们的QLC NAND拥有多达1000次左右的P/E编程擦写循环，几乎已经和...阅读全文
程序和通用App，支持Win 10的所有配置（Windows 10，Windows 10 IoT Core，Windows Mobile）。 另外还提供了对QNX 7和iMX.7的支持。(本段是官方声明的逐字翻译。作为跨平台神器，每个版本支持的系统与平台均不一样，有兴趣的请去看官方日志。我目前只使用linux Qt，关于windows平台版本的问题不要再问我啦。) 还有完全支持C ++ 11， 支持Wayland多进程， 提升了Qt Lite， 提升了Qt串行总线模块用于设备总线通信（CAN＆ModBus）的通信功能，全面支持Gamepad，增加了新模块Qt remote object,还有Web，Network，定位等内容的一些更新。 总结就是眼花缭乱的新特性确实很有亮点，但并不是每个项目...阅读全文
HBM 2内存，核心容量可达8Gb，通过TSV技术可以实现每个CPU支持64GB HBM2内存，每路插槽的带宽可达2TB/s，而到了HBM 4时代，每个CPU支持的容量可达512GB，带宽超过8TB/s。作为对比的话，目前AMD的EPYC处理器支持8通道DDR4内存，虽然最高容量能达到2TB，但是带宽不过150GB/s左右，与HBM内存相比就差远了。 按照他的观点，在一些需要高带宽的场合中，HBM技术无疑远胜DDR内存，所以他说的DDR内存将死在这方面是成立的，比如HPC高性能计算机行业就非常需要HBM。不过话说回来，DDR将死这个判断并不适合桌面市场，HBM技术虽然各种好，但是现在来看成本问题一时半会都没法解决. 目前能生产HBM内存的厂商只有三星、SK Hynix，美光因为有HMC技术，对...阅读全文
OpenJDK 14 已于近日 GA，其在性能方面是否有改进、以及有哪些改进引起了不少开发者的关注。本文将会介绍通过运行新的基准测试以考察从 OpenJDK 8 至 14 的所有主要发行版本，同时考察跨多个工作负载的 JVM 性能，以及 OpenJDK 14 与 JVM 先前版本相比性能如何。 此次测试通过在被测试的每个发行版上使用相同的 Java 字节码编译的 Java 程序来查看 JVM 的性能，并使用被测软件包的参考/上游编译版本。为了保证测试受干扰的因素将降至最低，每次都使用相同的选项，除了交换用于测试每个发行版的 OpenJDK x86_64 Linux 构建之外，没有进行任何其他更改。 通过使用 Phoronix 的测试套件，测试内容包含从 SPECjbb 到 Java 2D...阅读全文
正在直播2022开放原子全球开源峰会！>>>>> 谷歌内部使用了许多不同的操作系统平台，其中包括 Linux。15 多年前，谷歌选择基于 Ubuntu LTS 构建内部 Linux 发行版 Goobuntu，主要是看中了 Ubuntu 具备用户友好、易于使用的特性，以及提供了许多优秀功能。此外，LTS 会获得 Canonical 提供 2 年以上的安全更新。 根据官方介绍，Goobuntu 是谷歌长期以来一直使用的 Linux 发行版。不过 Ubuntu LTS 的两年更新周期意味着谷歌必须在操作系统 EOL 之前，对超过 10 万台设备中的每台机器进行升级。这是一项非常困难且耗时的工作，毕竟每两年让所有工程师从头开始配置他们的工作空间，这对生产力是严重的打击，并且从经济角度来看也是一个不...阅读全文
内容，请查阅GitLab Runner。 缓存key GitLab Runner v1.0.0 开始引入。 key指令允许我们定义缓存的作用域(亲和性)，可以是所有jobs的单个缓存，也可以是每个job，也可以是每个分支或者是任何你认为合适的地方。 它也可以让你很好的调整缓存，允许你设置不同jobs的缓存，甚至是不同分支的缓存。 cache:key可以使用任何的预定义变量。 默认key是默认设置的这个项目缓存，因此默认情况下，每个pipelines和jobs中可以共享一切，从GitLab 9.0开始。 配置示例 缓存每个job： cache: key: "$CI_JOB_NAME" untracked: true 缓存每个分支： cache: key...阅读全文
。事实上，Linux出色的可靠性与灵活性使它成为关键性基础设施内不可或缺的核心要素。 那么究竟是什么神奇的力量让Linux这样一位“私生子”变成世界的主宰?根据VAR Guy网站的总结，Linux成功的原因包括分布式开发方法、务实的意识形态、切实可行的内核设计以及庞大且活跃的Linux社区。 2. Fedora 25成为首款默认使用Wayland的Linux发行版 Fedora 25将Wyland作为它兼容机上的默认显示协议。为什么选择Wayland?Fedora开发者Matthias Clasen表示它能够实现客户端间彼此隔离、更适合现代显示系统(不包含不必要的核心字体或核心渲染等‘累赘’)且能够实现原有X系统无法实现的多种功能(例如输入转换以及在合并桌面与全屏客户端之间进行顺畅过渡...阅读全文
首选从 members 命令的输出中，创建一个 failed 的文件列表，文件内容为 Node 节点名称，每行一个，保存为 /tmp/failed， 然后执行这个命令就可以批量清理了， ``` for i in `cat /tmp/failed`; do echo $i ++++++++++++++; \ curl --request PUT -H 'Content-Type: application/json' 'http://127.0.0.1:8500/v1/agent/force-leave/'$i; \ done ``` /tmp/failed 文本内容，取自 `bin/consul members | awk '{print $1...阅读全文
近日，我们发现曾是全球最大开源软件开发平台和仓库的 SourceForge 对其界面进行了全新的改版。话不多说，上改版后的效果图： 可以看到，本次的改版力度还是相当大的，新版的界面显得更现代化和扁平化，配色较旧版本的沉稳和低调，显得更年轻更张扬，而且主色调也由之前的灰色变成了现在的橙色。此外，我们还发现 SourceForge 的 Logo 也改变了。 SourceForge 也对本次的改版进行了一些总结。我们都知道它已在 2016 年被收购，新的 SourceForge 团队一直在努力改进每个方面，最值得关注的的莫过于从项目中删除了捆绑的推广软件和对广告的处理，想当年这可是导致它很长一段时间内“恶名昭著”。 下面继续介绍官方的总结： 从项目中删除了捆绑的广告软件 为...阅读全文
在本篇文章中，我们将介绍如何在 Debian 和其衍生版上，配置系统自动安装更新，并通过邮件通知系统管理员，每次升级的变更内容。本文中提到的多数命令，由于是系统层面的配置，需要用 root 来执行。 在配置系统更新前，我们需要安装这两个安装包，安装命令如下： # apt update && aptitude install unattended-upgrades apt-listchanges -y unattended-upgrades 是一个可以让系统保持自动更新的包。这些更新包含了安全更新和 Bugfix 等。启用 unattended-upgrades 后，我们还需要知道每次改动的内容，apt-listchanges 解决了这个问题，它将会邮件通知我们升级过程中发生的改变。 依赖包...阅读全文
Django 3.0 发布了第一个版本3.0a1，正式版版本将于今年12月份发布。3.0版的Django带来了一些新特性，其中最值得关注的应当是其开始支持异步功能。 django路线图 此前有草案提出要 让 Django 支持异步 。聚集于 HTTP 中间件视图和 ORM，开发者要在 Django 中添加异步支持，同时维护对同步 Python 的支持，并且将完全向后兼容。 该设想最终会替换掉 Django 中的大多数阻塞部分，包括 Session、Auth、ORM 与 Handlers 等，使其 原生支持异步 。而同步 API 将继续存在并得到完全支持，其中一些最终将转变为原生异步代码的同步包装器。 ASGI 模式将 Django 作为原生异步应用程序运行，原有的 WSGI 模式将围绕每个...阅读全文
。 更快地分析 C＃、C、C++ 和 Objective-C 在此版本中，通过消除分析过程中不必要和多余的工作，加快了针对 C、C++、Objective-C 和 C＃ 的分析速度。对于 C、C++ 和 Objective-C，测试显示分析时间最多可减少 80％，具体取决于项目使用的外部依赖项的数量，而 C＃ 分析显示，时间平均缩短了 25％。 热备份，更快的启动 现在可以进行数据库备份而无需关闭 SonarQube，不必担心数据损坏。SonarQube 在问题索引编制完成之前接受并处理分析报告。这意味着，即使在接口完全可用之前，Quality Gate 的状态也将被更新，并发送 webhooks 和拉取请求。同时，一旦索引了每个项目，就可以浏览每个项目。简而言之，当启动在后台进行时，开发生命周...阅读全文
当时预计该项目将在2020年就会投入使用，但除了要处理跨越各大洲之间的长电缆的复杂问题外，项目负责人当时可能没有为COVID-19全球大流行做好准备。这条近4000英里的电缆总容量为每秒250Tb--或者说足以传输 "整个数字化的美国国会图书馆每秒三次"。与一些老旧的电缆不同，Dunant使用了12对光纤，再加上围绕最大化其带宽的一些技术创新，才实现了这些数字。"谷歌致力于满足对云服务和在线内容的爆炸性需求，这种需求有增无减，"谷歌云基础设施高级总监Mark Sokol说。"凭借创纪录的容量和传输速度，Dunant将帮助用户在任何地方访问内容，并补充互联网上最繁忙的路线之一，以支持谷歌云的发展。Dunant是一项了不起的成就，如果没有SubCom和谷歌员工、合作伙伴和供应商的奉献，他们在今...阅读全文
