GitLab 于上周发布了 12.5 新版本，官方在发布说明中介绍到，为了尽可能高效地交付高质量的软件，企业会经常需要跨多云以支持广泛的基础架构，因此新版带来了 EKS 集群和环境面板等功能以支持跨各种配置的项目配置，更方便监控和管理。 轻松创建并部署 EKS 集群 在新版本中 GitLab 添加了 EKS 集成，因此我们可以在 GitLab 集群页面中选择 EKS 作为选项，然后系统会提示进行身份验证以使用 AWS 账户。一旦通过身份验证，只需为集群指定所需的参数，GitLab 将负责完成其余的工作。因此在新版本中，我们只需单击几下就可以在 Amazon 的 EKS 上创建 Kubernetes 集群。 使用 Crossplane 配置多云托管服务 在 GitLab 12.5 中，我们可...阅读全文
帮助他们采用和适应分布式架构，同时提升开发的质量和速度。 Insnia Designer 的诞生是为了让用户能够模仿团队的工作方式来构建工作流。Insomnia Designer 以 DevOps、CI/CD 和 GitOps 最佳实践为基础构建，能够自动生成 Kubernetes 和 Kong 的声明式配置，使繁琐的流程自动化，并将配置飘移(Configuration Drift)的风险降到最低。 同时，为了提高可视化效果以及协作性，Insomnia Designer 提供了一个文档列表，用于查看和管理 API 规范。此外还提供了用于 API 设计的详细消息以及关于它们的整个 Git 历史记录（已集成 Git）。这样的好处在于用户可以确保对所有 REST 和 GraphQL API 规范文...阅读全文
ARM 公司本周将举行 DevSummit 活动，在活动中，它将讨论其产品的未来，特别是针对开发者。今天，在其中一个主题演讲中，该公司透露ARM CPU将放弃对32位应用的支持。在过去的几年里，32位应用和软件一直在缓慢地被淘汰，各大操作系统开发商都在推动用户向64位发展。 苹果从2015年开始要求应用支持64位架构，2017年，苹果完全放弃了对64位设备上32位应用的支持，所以至少用户不会在苹果那里看到什么变化。 去年，谷歌开始了自己对64位计算的推动，规定新的应用和应用更新必须支持64位，不过一些现有的游戏在2021年8月之前只能获得32位的更新。从明年开始，没有特别支持64位设备的应用将不再向这些设备上的用户提供服务。 当然，这意味着在用户可以使用什么应用方面不会有太大的影响，因为运...阅读全文
PostgreSQL 继续向着将在 2017 年 9 月份发布的第 10 个主版本迈进，EnterpriseDB 首席架构师和 PostgreSQL 贡献者 Robert Hass 根据 PostgreSQL官方路线图 编制 了一份 PostgreSQL 10 重要特性列表。 数月之前发布的 PostgreSQL 10 路线图包含多个单独的路线图，每个路线图对应一个特定的公司或个体贡献者。想要概括地了解路线图的内容并不容易。以下是 Hass 选出的一部分特性： 表分区 ：这可以视为是表继承的简化版本，在表继承中，父表总是为空，子表（分区）有一个隐式约束，当元组插入父表时，它可以影响元组实际上添加到哪个分区。当使用继承关系推导表的属性时，表分区有望简化这个过程，让特定的优化成为可能。 逻辑复...阅读全文
派的运维需负责运行该系统。 老派的运维通常是伪君子。他们主张严苛的 SDLC，然后在维护基础架构时却绕过了同样的 SDLC 。新运维意味着基础架构即代码。配置变化即代码。这两个哪个也没能免于开发人员必须遵守的 SDLC。我们编纂变更请求，使用不可改变的基础架构和 AMI。没经历此进程，我们不会把改变推送到真实环境中。同样地，我们需要对合规性和其他开发人员无法产生共鸣的 SDLC 要求进行编码，编到工具和进程中。进程记录并编纂价值。 老派运维总是同精益思维不一致。它完全是中断驱动——灭火后，一个接一个解决问题。同时，取得平衡非常重要。在集成环境中，使开发者团队能够 SSH 登录进 box 中或者将调试器附加到集合上，会阻止他们正确地调试应用程序吗？会促进痛苦移位吗？在运维思维和开发思维间取得平...阅读全文
施： 服务器必须要有防火墙，不能随意对外开放端口；Elasticsearch 集群的端口包括 TCP 和 HTTP，都不能暴露在公网；Elasticsearch 集群禁用批量删除索引功能；Elasticsearch 中保存的数据要做基本的脱敏处理；加强监控和告警，在安全事件发生的第一时间感知并启动紧急预案，将损失降到最低。 除此之外，很多 Elasticsearch 均可公网访问，杨振涛表示很有可能是团队忽视了数据安全，再加上服务器防火墙对于端口开放策略过于激进，导致 Elasticsearch 集群只要一部署即可公网访问。 “公网访问对于有些业务来说是必要的，例如网站搜索服务。” Elastic 架构师吴斌解释道，“我们经常说‘Simple/less is more, but no...阅读全文
经过 2 年 1 个月零 9 天的开发，Debian 11.0 "bullseye" 正式发布了。该版本包括许多重大的变化，并将在未来 5 年内得到支持。Debian 11 支持的计算机架构包括：32 位 PC（i386）和 64 位 PC（amd64）64 位 ARM（arm64）ARM EABI（armel）ARMv7（EABI 硬浮点 ABI，armhf）MIPS（mipsel）64 位 MIPS（mips64el）PowerPC（ppc64el）IBM System z（s390x）这次发布中有什么新变化Debian 的这次发行再次带来了比上一版本 buster 更多的软件；本次发行包括 11294 个新软件包，软件包的总数达到了 59551 个。这个发行版的多数软件包得到了更新...阅读全文
非常易于使用。如果你的工作习惯与这些概念不一致，可能会强烈反对Ubuntu易于使用这一观点。 然而，虽然Ubuntu源自Debian，但两者的区别还是很明显。从安装和桌面，到程序包管理及社区，大家认为自己对于Ubuntu和Debian了解的情况可能是错误的，或者至少需要作一些严格限制――这一切使选择哪个发行版适合贵公司的业务战略显得非常困难。 安装方面的区别 眼下，你可以使用哪个发行版取决于拥有的硬件。Debian目前面向大约13种硬件架构：从标准的32位和64位英特尔架构到ARM和PowerPC架构，还支持另外两种正在开发的架构。相比之下，Ubuntu支持32位和64位版本这两大不同的计算机桌面环境，现正在为移动设备开发Ubuntu ARM版本。 要考虑的另一个方面是面向每个发行版的安装程...阅读全文
influxdb在内存中引入了大量文件，在内存充足时，会占用较多的空间，用于提高程序读取性能。5.SMP与NUMA?cpu硬件体系架构可以分为:SMP(Symmetric Multi-Processor)/UMA(Uniform Memory Access)模式SMP架构，所有的CPU争用一个总线来访问所有内存，优点是资源共享，而缺点是总线争用激烈。 实验证明，SMP服务器CPU利用率最好的情况是2至4个CPUNUMA(Non-Uniform Memory Access)模式NUMA架构引入了node和distance的概念。对于CPU和内存这两种最宝贵的硬件资源， NUMA用近乎严格的方式划分了所属的资源组（node），而每个资源组内的CPU和内存是几乎相等。在influxdb服务器上，查看当前cpu及...阅读全文
。2024财年；国防部创建了零信任参考架构；美国国家安全局发布了一份Kubernetes 强化指南，专门描述了 Kubernetes 中零信任安全的最佳实践。随着这种噪音，零信任无疑吸引了很多营销关注。但尽管有噪音，零信任不仅仅是一个空洞的术语——它代表了对未来安全的一些深刻和变革性的想法。那么具体来说，什么是零信任，为什么它突然变得如此重要？零信任对 Kubernetes 用户意味着什么？什么是零信任？正如所料，零信任从根本上讲是关于信任。它是解决安全核心问题之一的模型：是否允许 X 访问 Y？换句话说，我们是否相信 X 可以访问 Y？当然，零信任中的“零”有点夸张。要使软件正常工作，显然某些东西需要信任其他东西。因此，零信任并不是完全消除信任，而是将信任降低到最低限度（众所周知的最小特权原则）并...阅读全文
。 仪表板的发布在进行中，工程团队将Bugsnag的后端功能分解成称之为管道（pipeline）的微服务体系。将管道扩展到支持发布，意味着增加新的服务，并修改现有服务，也可预见到许多新的服务器和客户端的交互。为了处理上述架构的变化，需要采用一致性的方式来设计，实施和集成企业的服务。Bugsnag是一家多语言的公司，服务是用Java，Ruby，Go和Node.js等多语言编写，因此企业需要一种与平台无关的方法。 本文将介绍为什么我们最终选择了gRPC作为Pipeline的默认通信框架。 达到REST API设计的极限 现有系统传统上使用具有JSON有效载荷的REST API进行同步通信。这种选择是基于占压倒性比例的成熟度、熟悉度和工具的可用性做出的，但是随着跨洲际工程团队的增长，企业需要设计一致的...阅读全文
开源的 Pinpoint，近几年 Uber 公司开源的 Jaeger，以及我们国内吴晟开源的 SkyWalking。 有人说，这些其实都归功于 Google 在 2010 年基于其内部大规模分布式链路追踪系统 Dapper 实践而发表的论文，它的设计理念是一切分布式调用链追踪系统的始祖，但其实早在二十年前（2002年），当年世界上最大的电商平台 eBay 就已拥有了调用链追踪系统 CAL(Centralized Application Logging)。2011 年，原eBay的中国研发中心的资深架构师吴其敏跳槽至大众点评，并且深入吸收消化了 CAL 的设计思想，主导研发并开源了CAT(Centralized Application Tracking）。 CAT 作为国人主导的开源系统，其本...阅读全文
-threads=1000 --thread-yields=1000 --thread-locks=8 run #互斥锁测试 sysbench --test=mutex --mutex-num=4096 --mutex-locks=50000 --mutex-loops=10000 run #连续读写： sysbench --test=fileio --file-num=2 --file-total-size=64M --file-test-mode=seqrewr run #随机文件读写： sysbench --test=fileio --file-num=2 --file-total-size=64M --file-test-mode=rndwr run #进入系统检查系统版本信息及硬件架构平台信息...阅读全文
"Linux 内核 “社区” 对待安全的优先级并不高，虽然经历了 2000 年代的多次大规模漏洞利用事件但并没有让 Linus Torvalds 本人改变 "A bug is bug" 的哲学，由于 Linux 内核的安全问题逐渐影响到了 Android 和 IoT 设备，一次 华盛顿邮报的曝光促使了 KSPP（Linux 内核自防护项目）的成立。 KSPP 是由 Linux 基金会旗下的 CII（基础架构联盟）管理，其吸纳了来自诸多大厂商（Google, RedHat, Intel, ARM 等）的工程师进行联合工作，可惜的是两年的时间过去了，KSPP 大多时候只是在重复的抄袭 PaX/Grsecurity 的各种特性以获得各自雇主那里的 KPI 和 credit，各种混乱的代码合并到了...阅读全文
Scrapy 是一个为了爬取网站数据，提取结构性数据而编写的应用框架。 可以应用在包括数据挖掘、信息处理或存储历史数据等一系列的程序中。本文着重介绍 Scrapy 架构及其组件之间的交互。 Scrapy 组件介绍 Scrapy Engine 引擎负责控制数据流在系统中所有组件中流动，并在相应动作发生时触发事件。 详细内容查看下面的数据流(Data Flow)部分。 调度器(Scheduler) 调度器从引擎接受request并将他们入队，以便之后引擎请求他们时提供给引擎。 下载器(Downloader) 下载器负责获取页面数据并提供给引擎，而后提供给spider。 Spiders Spider 是 Scrapy用户编写用于分析response并提取item(即获取到的item)或额外跟进的...阅读全文
Kaewkasi：我十分认同这种观点，过去，我们启动运行一组Web服务器是非常困难的，而有了Docker，我们几分钟之内就可以完成。 问：Docker与普通虚拟机有什么不同？ Chanwit Kaewkasi： Docker基本上使用操作系统级别的虚拟化，Linux命名空间和控制组。与虚拟化技术（如虚拟机使用的虚拟机管理程序）相比，Docker开销非常小。 Docker背后的真正引擎是Containerd 问：您如何在日常工作中使用Docker？ Chanwit Kaewkasi： 我曾经帮助过东南亚和欧洲的公司设计和实施使用Docker应用架构，并将它们部署在Docker Swarm集群上。 问：使用Docker时您遇到过什么问题？您认为目前存在的挑战是什么？ Chanwit Kaewkasi： 多集群...阅读全文
GitLab是一个利用Ruby on Rails开发的开源应用程序，实现一个自托管的Git项目仓库，可通过Web界面进行访问公开的或者私人项目。 它拥有与GitHub类似的功能，能够浏览源代码，管理缺陷和注释。可以管理团队对仓库的访问，它非常易于浏览提交过的版本并提供一个文件历史库。 前言 公司目前的开发架构中，使用了gitlab来统一管理上线发布代码的操作。鉴于是之前的前辈搭建的，所以打算自己手动安装一次，来熟悉相关的配置。 安装 中文版gitlab网站：https://www.gitlab.com.cn/installation/ 英文版gitlab网站：https://about.gitlab.com/downloads/ 选择对应的操作系统 我这里选择 Debian 9 版本，因为...阅读全文
Release"会成为今天知名的 Debian 项目，它是最大和最有影响力的自由软件项目之一。它的主要产品是 Debian GNU/Linux，一个适用于计算机的免费操作系统，更是被用作无数其他发行版的基础。流行的 Linux 发行版 Ubuntu 是基于它的，甚至基于 Ubuntu 的 Linux Mint 也有 Debian 版本，更不用说 Raspbian —— 树莓派的官方操作系统，也是基于 Debian 的。 Debian GNU/Linux 被全球数百万计算机用户使用，并在十多种架构上得到支持，在生活中的方方面面为我们提供服务。从你附近机场的内部运作到你的汽车娱乐系统，从托管你喜欢的网站的云服务器到与它们通信的物联网设备，Debian 都是他们背后的支持。 今天，Debian 项目是一个庞大...阅读全文
(SARAO)，加州大学圣克鲁兹分校开放源码软件研究中心(CROSS)等。 Linux基金会执行董事Jim Zemlin说："Ceph在帮助企业有效管理高增长和扩展数据存储需求方面有非常丰富的经验，在Linux基金会下，Ceph基金会将能够利用更多资源来帮助完善Ceph生态系统建设。" Ceph联合创始人&Red Hat Ceph首席架构师 Sage Weil说："Ceph基金会的成立证明了一个多元化的开源社区的力量所在，各方共同联合起来致力于解决数据存储和数据服务的爆炸性增长。" Ceph被世界各地的云提供商和企业使用，包括金融机构（Bloomberg，Fidelity），云服务提供商（Rackspace，Linode），学术和政府机构（Massachusetts Open Cloud），电信基础设...阅读全文
的战略文件战略方法关键考虑因素其他组成确定投资回报率投资目标 这里关键的第一步是创建和将你的开源策略形成文字，该策略将“帮助你最大限度地提高组织从开源中获得的利益。”同时，你详细的策略可以帮助你避免因错误而导致的困难，例如：选择错误的许可证或不正确地维护代码。根据指南，该文件还可以： 让领导者感到兴奋并参与帮助在公司内获得支持促进分散的多部门组织的决策帮助建立一个健康的社区解释贵公司的开源方式和对其使用的支持明确贵公司在社区驱动的外部研发中投资的地方，以及贵公司将重点放在增值差异化的地方 Salesforce 的软件架构师兼本指南的撰稿人 Ian Varley 说：“在 Salesforce 内，我们有内部文件，我们将这些围绕开源战略指导和鼓励的文件分发给我们的工程团队。其中鼓励创建和使用开...阅读全文
心的 Debian GNU/kFreeBSD 系统等。现在大家说 Debian 的时候，默认就是 Debian GNU/Linux。 Debian GNU/Linux 被全球数百万计算机用户使用，并在十多种架构上得到支持，在生活中的方方面面为我们提供服务。从你附近机场的内部运作到你的汽车娱乐系统，从托管你喜欢的网站的云服务器到与它们通信的物联网设备，Debian 都是他们背后的支持。 今天，Debian 项目是一个庞大而蓬勃发展的组织，拥有由志愿者组成的无数自组织团队。虽然它通常看起来很混乱，但该项目由两个主要的组织文件维持：Debian 社会契约(Debian Social Contract)，用以提供改善社会的愿景，以及 Debian 自由软件指南(Debian Free...阅读全文
2021 年每月（以及之后的双月刊）系列“ Debian 热门话题”（日文）撰写在日本组织一些当地 Debian 活动，尤其是东京。Debian 议程为贡献者和用户提供更好的 Debian “体验”。向用户提供“一些尝试”并听取他们的声音，然后在贡献者之间进行讨论。更多的基础设施变化，对 Web、Wiki、BTS、存储库等 Debian 基础架构进行更多更改。知识和技术的更新和转让，与新的贡献者讨论、转移和改进旧的知识体系。此外，Hideki Yamane 还在展示页面中警告“我可能是 DPL 有史以来最差的候选人”：不擅长英语（可以使用 Eng“r”ish ;），所以无法回答一些复杂的问题。没有任何技巧来调解贡献者之间的争吵，只有：保持冷静，保持安全。...阅读全文
Apache 软件基金会发布了包含许多新特性和改进的 Kafka 3.3.1。这是第一个标志着可以在生产环境中使用KRaft（Kafka Raft）共识协议的版本。在几年的开发过程中，它先是在 Kafka 2.8 早期访问版本中发布，然后又在 Kafka 3.0 预览版本中发布。KRaft 是一种共识协议，可以直接在 Kafka 中管理元数据。元数据的管理被整合到了Kafka当中，而不需要使用像ZooKeeper这样的第三方工具，这大大简化了 Kafka 的架构。这种新的 KRaft 模式提高了分区的可伸缩性和弹性，同时简化了 Kafka 的部署，现在可以不依赖 ZooKeeper 单独部署 Kafka 了。KRaft 使用了Raft共识算法的一种基于事件的变体，因此得名。随 KRaft...阅读全文
近日，OSCHINA 和 Gitee 联合发布了《2022 中国开源开发者报告》。其中，云原生社区创始人宋净超在报告中对开源云原生服务网格领域进行了深入解读，以下为主要观点。2022 云原生服务网格五大趋势2022 年，云原生展露了一些趋势。因我更多地关注服务网格领域，在此就该方向谈谈我的观点，欢迎其他专家交流。一是 零信任的云原生安全备受关注。CNCF 在《云原生安全白皮书》中指出，“我们需要在应用安全生命周期中采用更自动化和安全的架构设计（如零信任）”，这表明云原生安全越来越受重视。零信任安全意味着默认情况下，网络内外都不信任任何人，并且要对试图访问网络资源的每一个人进行验证。部署服务网格有助于缩小云原生部署的攻击面，并为构建零信任应用网络提供关键框架。二是 API 网关与服务网格融合...阅读全文
数据库。 6. 拥有复杂的数据（视频、图像、文件）——选择 Blob/对象存储。 7. 复杂的计算——使用消息队列和缓存。 8. 海量数据搜索——考虑搜索索引、尝试搜索引擎。 9. 扩展 SQL 数据库 — 实施数据库分片。 10. 高可用性、性能和吞吐量 — 使用负载均衡器。 11. 全球数据交付——考虑使用 CDN。 12. 图形数据（具有节点、边和关系的数据）——利用图形数据库。 13. 扩展各种组件——实现水平扩展。 14. 高性能数据库查询——使用数据库索引。 15. 批量作业处理——考虑批处理和消息队列。 16. 服务器负载管理和防止 DOS 攻击 - 使用速率限制器。 17. 微服务架构——使用 API 网...阅读全文
本文从 Redis 的基本特性入手，通过讲述Redis的数据结构和主要命令，对 Redis 的基本功能进行直观介绍。之后概览Redis提供的高级能力，并在部署、维护、性能调优等多个方面进行进一步的介绍。本文适合使用Redis的普通开发人员，以及对Redis进行选型、架构设计和性能调优的架构设计人员。 目录 概述 Redis的数据结构和相关常用命令 数据持久化 内存管理与数据淘汰机制 Pipelining 事务与Scripting Redis性能调优 主从复制与集群分片 Redis Java客户端的选择 概述 Redis是一个开源的，基于内存的结构化数据存储媒介，可以作为数据库、缓存服务或消息服务使用。 Redis支持多种数据结构，包括字符串、哈希表、链表、集合、有序集合、位图...阅读全文
. **Infrastructure health**：集群基础架构状态评分，比较像我们的集群巡检，给出一些优化建议，例如： - Worker nodes 跨可用区部署。 - Master 多副本。 - 检测 CPU 被 throttling 的 Pod。 ### Cost Allocation  **上述图中数字序号标示处相关说明可参考下文对应说明介绍**： 1. **显示的指标**： - 累积成本：在选定时间窗口的实际/历史支出。 - 费率指标：每小时、每天或每月的成本，基于所选时间窗口中的样本，也用于预计成本。 2. **聚合**： Cost Allocation 可以查...阅读全文
常见做法。 那如何解决侵入性的问题呢？这个问题随着容器编排技术的成熟有了新的解法。Kubernetes可以不侵入应用层，在容器层解决问题，比如K8S Service就具有服务发现、负载均衡的能力，HPA具有动态扩容的能力。随着K8S的快速发展，云原生的概念，也就越来越深入人心，那如何利用好K8S提供的基座能力，将更多的分布式能力下沉，让应用开发回归业务呢？其中Service Mesh提出的Sidecar模式，就很好的解决了微服务架构中网络通信的问题。Sidecar主要就是用来处理诸如服务发现、负载均衡、请求熔断等一系列非业务需求，应用在部署时动态插入Sidecar，服务间的通信通过Sidecar进行代理，以完成对服务间网络通信的接管。 到这里，微服务开发在Service Mesh的帮助下，已...阅读全文
询时必须提供相同的值。在下面的例子中，这个headers是使用nginx反向代理设置的。架构图Cortex架构（源）Nginx/gateway–一个位于cortex前面的反向代理，将收到的所有请求转发给相应的服务。分发服务器Distributor–处理传入的指标，将其拆分为多个批次，然后将其传递给Ingesters。如果复制因子replication factor设置为> 1，则数据将发送到多个实例。接收器Ingester–此服务负责将数据写入已配置的存储后端。Ingester是半状态的，因为它们保留了最后12个小时的样本。这些样本将被批处理并压缩，然后再写入块存储。查询前端Query Frontend–一个可选组件，用于对查询请求进行排队，并在失败时重试它们。结果也被缓存以提高性能查询器...阅读全文
ghcr.io/vmware-labs/php-wasm 7.4.32-cli-aot 63460740f6d5 44 minutes ago 5.35MB 这是意料之中的，因为对于 Wasm，我们只需要在容器内添加可执行二进制文件，而对于传统容器，我们仍然需要来自运行二进制文件的操作系统的一些基本库和文件。这种大小差异对于第一次拉取镜像的速度以及进行在本地存储库中占用的空间非常有帮助。Wasm 可移植性Wasm 最大优势之一就是它的可移植性。 当人们想要一个可移植的应用程序时，Docker 已经提供了传统的容器作为一种选择。 然而，除了镜像特别大之外，传统容器还绑定到它们运行的平台架构。 作为程序员，相比许多人都经历过这种坎坷：针对不同的架构，必须构建支持的软件版本，并为每种架构打包对应镜像...阅读全文
-masquerade-agent)（RFC-1918），使用户可以在私有IP范围内创建集群并访问资源；服务可通过内部负载均衡（Internal Load Balancers）暴露，这是以Beta版提供的，允许Kubernetes和非Kubernetes服务在私有网络上相互访问（虽然当前通过Cloud VPN访问内部负载均衡的功能依然处于Alpha版）；GKE现在支持在Alpha Clusters中运行NVIDIA K80 GPUs，该特性使得用户可以实验机器学习算法；自动修复，当前是Beta版。它通过对不健康节点进行主动监控，并在无需用户参与的情况下对节点做自动修复，保持了集群的健康运行；一些GCP优化的改进，用于简化集群从底层架构层上做自动扩展。 在Kubernetes博客及GitHub的...阅读全文
存储世界最近发生了很大变化。十年前，Fibre Channel SAN 文件管理器是企业存储的标准。而在目前的环境中，受到基础架构即服务云的影响，数据存储需要更加灵活。 GlusterFS 和 Ceph 是两个灵活的存储系统，在云环境中表现非常出色。 在尝试了解 GlusterFS 与 Ceph 之间的相似之处和不同之处之前，让我们来讨论在云环境中对灵活存储的一些要求。 纵向扩展和横向扩展。在云环境中，必须可以很容易地向服务器添加更多存储空间以及扩展可用存储池。Ceph 和 GlusterFS 都可以通过轻松将新存储设备集成到现有存储产品中来满足这一要求。 高可用性。GlusterFS 和 Ceph 的复制是同时将数据写入不同的存储节点。这样做的结果是，访问时间增加，数据可用性也提高。在...阅读全文
布。这种分离带来了挑战，包括维护向下兼容性。 由于工具和部署选项的性质，移动持续部署面临着一些特定的挑战。Web 部署则更为容易，因为 Facebook 拥有完整的技术栈和工具。为了解决这些挑战，Facebook 已经构建了一些专注于更快的移动开发的工具和库，包括 Buck 、Phabricator、 Infer、 React 以及 Nuclide 。Facebook 的移动部署是以三层来并发运行。 • 构建：合并到移动主分支上的所有代码都会进行构建，这会针对受影响的所有产品（Instagram、Messenger）并且会跨各种芯片架构。 • 静态代码分析：Linters 和静态分析工具的组合，称为 Infer ，用于检查各种问题，包括资源泄漏、未使用的变量、有风险的系统调用和编码准则违规...阅读全文
=0x306a9, pf=0x10, revision=0x1c [ 0.952773] microcode: Microcode Update Driver: v2.2. 如何在 Linux 上使用包管理器去安装微码固件更新 对于运行在 x86/amd64 架构的 CPU 上的 Linux 系统，Linux 自带了工具去更改或者部署微码固件。在 Linux 上安装 AMD 或者 Intel 的微码固件的过程如下： 打开终端应用程序 Debian/Ubuntu Linux 用户推输入：sudo apt install intel-microcode CentOS/RHEL Linux 用户输入：sudo yum install microcode_ctl 对于流行的 Linux 发行版，这个包的名字一般如...阅读全文
一句话概况：stackstorm是一个事件驱动的自动化引擎。StackStorm 是一坨功能强大的开源自动化平台，可将通过使用插件封装API的方式，将所有应用程序，服务和工作流程连接起来。这里的所有包括了目前我们常用Gitlab、Zabbix、ELK、AWS 等服务。 Stackstorm 具有很好的可扩展性，灵活性，完美支持 ChatOps 和全操作的API实现。通过Stackstorm 可以将您现有的基础架构和应用程序环境联系在一起，以便您可以更轻松地自动化操作该环境。它特别专注于针对事件采取行动。 便利的故障排除 - 触发由Nagios，Sensu，New Relic和其他监控系统捕获的系统故障，在物理节点、OpenStack或Amazon实例和应用程序组件上运行一系列诊断检查，并将...阅读全文
的异步模型。2.6 及以前的版本，元数据全部存储在 URL 上，配置信息和注册信息只能存储在注册中心上，注册中心的容量和扩展成为瓶颈。这个限制在使用 ZooKeeper 作为注册中心的大规模 Dubbo 应用场景下尤为突出。在 2.7.0 中，通过对 URL 的改造，将 注册中心拆分成了三个中心 ，分别是注册中心、配置中心和元数据中心，三者各司其责，不仅有效地解决了上述容量问题，而且很好地适应了微服务的技术架构，用户可以开始自由选择适合自己场景的注册中心和配置中心。2.7.0 将内建支持 ZooKeeper、Nacos 和 Apollo 等第三方注册和配置中心，在后续的版本中，还会进一步提供对 Consul 和 etcd 的支持。另外，通过引入一个全新的元数据中心，将与注册配置无关的服务信息...阅读全文
)) } 在 Go1.16 以前输出 2048, 1280。在 Go1.16 及以后输出 1280, 1280，保证了两种的一致。 支持 Apple Silicon M1 众所周知，最新版本的 Mac 采用了新的 64 位 ARM 架构，因此在 Go1.16 后正式支持了 GOOS=darwin 和 GOARCH=arm64。 而相应的先前用于 iOS 端口的，将改为 GOOS=ios 和 GOARCH=arm64。 同时 Apple M1 能不能很好的跑好 Go 语言程序也是各大微信群爱讨论的问题，在 GoLand 上： 图来自网络，路过微信群看见 需要注意，GoLand 的一些与 Go1.16 相关的特性要到后续新版本才可以使用。 调整 Go modules 策略 从 Go1.16 起，Go...阅读全文
10 月 20 日，2021 云栖大会上，阿里云发布全新操作系统“龙蜥”并宣布开源。同时，阿里达摩院操作系统实验室也宣告成立。 龙蜥操作系统定位于服务器端，支持 x86、ARM 等多种芯片架构和计算场景，兼容 CentOS 生态，支持一键迁移，并提供全栈国密能力。 阿里云在大会上透露，龙蜥操作系统已经在阿里巴巴内部打磨 10 年，... 30 13 阿里平头哥宣布开源四款玄铁 RISC-V 系列处理器 10 月 19 日，2021 云栖大会现场，阿里云智能总裁张建锋宣布，平头哥开源玄铁 RISC-V 系列处理器，并开放系列工具及系统软件。 此次开源的 OpenXuantie 系列 RISC-V 处理器，包括玄铁 E902、E906、C906、C910 等 4 款量产处理器，以及基于...阅读全文
多开源项目的贡献者并没有遵守。这样做的开发者不仅可以为成功地推动他们自己的项目，而且也有助于开源社区。 作者简介： Matt Hicks 是 Red Hat 软件工程的副主席，也是 Red Hat 开源合作团队的奠基成员之一。他历时十五年，在软件工程中担任多种职务：开发，运行，架构，管理。 【via: http://www.infoworld.com/article/3156776/open-source-tools/the-6-unwritten-rules-of-open-source-development.html 原作者：Matt Hicks 中文译者：Taylor1024】...阅读全文
新的技术，特别是在网络和云计算领域。在网络方面，与中国三大运营商，包括中国移动、中国电信、中国联通，还有中兴、华为等开展合作。在云计算方面，Linux 有云原生的一些项目，主要是和 BAT三家大的公司来开展合作。 在Jim 看来，新的企业和机构加入到 Linux 的活动当中，会给 Linux 带来更多的价值。 上周日本丰田宣布在销售最好的产品凯美瑞中使用 Linux 系统。汽车行业的加入，意味着将会对 Linux 内核提出新的要求，这对于为嵌入式系统开发解决方案的厂商来说也是很好的消息。加入 Linux 意味着他们的测试覆盖范围更大了，有更多的人对这个代码进行审议。 “总的来说，我们觉得越多的企业和组织架构加入到 Linux 的阵营，实际上对Linux 的发展是越好的。” （二）谈...阅读全文
winehq针对Debian 10的官方源不含包libfaudio0，需要额外安装。 导入FAudio钥匙 下载Release.key，再如下导入： sudo apt-key add Release.key 把下面源添加进/etc/apt/sources.list deb https://download.opensuse.org/repositories/Emulators:/Wine:/Debian/Debian_10 ./ 更新源 sudo apt update 安装官方winehq 添加i386架构 sudo dpkg --add-architecture i386 导入winehq的钥匙并添加 wget -nc https://dl.winehq.org/wine-builds...阅读全文
的内存技术组合的承诺。"万亿GB是三星自40多年前开始生产的内存总量，这一万亿中大约有一半是在过去三年里生产的，这表明数字转型的进展有多快，"三星电子总裁兼内存业务主管Jung-bae Lee说。"随着内存带宽、容量和功率效率的进步使新的平台成为可能，而这些反过来又刺激了更多的半导体创新，我们将越来越多地推动在数字共同进化的道路上实现更高水平的整合。"推进数据智能的DRAM解决方案三星的1b级DRAM目前正在开发中，计划在2023年进行大规模生产。为了克服DRAM扩展到10纳米范围以外的挑战，该公司一直在开发图案化、材料和架构方面的颠覆性解决方案，像High-K材料这样的技术正在顺利进行。该公司随后强调了即将推出的DRAM解决方案，如32Gb DDR5 DRAM、8.5Gbps...阅读全文
储系统. HDFS 使用多台计算机存储文件，并且提供统一的访问接口，像是访问一个普通文件系统一样使用分布式文件系统。 HDFS文件系统 2. HDFS架构 HDFS架构 HDFS是一个主/从（Mater/Slave）体系结构，由三部分组成： NameNode 和 DataNode 以及 SecondaryNamenode： NameNode 负责管理整个文件系统的元数据，以及每一个路径（文件）所对应的数据块信息。 DataNode 负责管理用户的文件数据块，每一个数据块都可以在多个 DataNode 上存储多个副本，默认为3个。 Secondary NameNode 用来监控 HDFS 状态的辅助后台程序，每隔一段时间获取 HDFS 元数据的快照。最主要作用是辅助 NameNode 管理元数...阅读全文
用，容器之间相互隔离，并且能按需分配资源。大大提高了运维效率和资源利用率 架构 Docker使用了 C/S 体系架构，Docker 客户端与 Docker 守护进程通信，Docker 守护进程负责构建，运行和分发 Docker 容器。Docker 客户端和守护进程可以在同一个系统上运行，也可以将Docker客户端连接到远程Docker守护进程。 我们日常在命令行的操作 docker build, docker push, docker pull, docke build 等等操作都是客户端通过 rest api 请求与 Docker 守护进程交互。 实现原理 下面我们就介绍一下 Docker 在实现隔离，资源控制，文件系统等关键部分所采用的的技术 Namespace Linux manaul...阅读全文
优势的角度来看，尽管AMD、英特尔已经证明了多芯片架构具有一定的经济性，但实际上，与微缩晶体管相比，芯片万能胶并不是在所有时候都能带来最大的成本优势。清华大学交叉院博士研究生冯寅潇和清华大学交叉院助理教授马恺声发表了一篇有关Chiplet成本计算的论文，通过建立Chiplet精算师的成本模型对多芯片集成系统的成本效益进行精准评估。结果发现，现阶段的Chiplets方案只有在800平方毫米的大芯片上才真正有收益，且工艺制程越先进，收益效果越明显。对于5nm芯片系统，当产量达到2千万时，多芯片架构才开始带来回报。戴伟民也表示，不是所有芯片都适合用chiplet的方式，不要为了拆分而拆分，不少情况下单颗集成的系统芯片（SoC), 如基于FD-SOI工艺集成射频无线连接功能的物联网系统芯片，更有价值...阅读全文
is greater than 0 5. 4 byte key length, containing length K 6. K byte key 7. 4 byte payload length, containing length V 8. V byte payload 复制代码 2. Kafka深层介绍 2.1.1. 架构介绍 Producer：Producer即生产者，消息的产生者，是消息的⼊口。 kafka cluster：kafka集群，一台或多台服务器组成 Broker：Broker是指部署了Kafka实例的服务器节点。每个服务器上有一个或多个kafka的实 例，我们姑且认为每个broker对应一台服务器。每个kafka集群内的broker都有一个不重复的 编号，如图中的...阅读全文
导语 | kafka3.0的版本已经试推行去zk的kafka架构了，如果去掉了zk，那么在kafka新的版本当中使用什么技术来代替了zk的位置呢，接下来我们一起来一探究竟，了解kafka的内置共识机制和raft算法。一、Kafka简介Kafka是一款开源的消息引擎系统。一个典型的Kafka体系架构包括若干Producer、若干Broker、若干Consumer，以及一个ZooKeeper集群，如上图所示。其中ZooKeeper是Kafka用来负责集群元数据的管理、控制器的选举等操作的。Producer将消息发送到Broker，Broker负责将收到的消息存储到磁盘中，而Consumer负责从Broker订阅并消费消息。（一）Kafka核心组件producer：消息生产者，就是向broker...阅读全文
类的价值观）。风险在于，有人担心懂得“自我改进”的AI有可能会像科幻小说描写的那样，擅自改动代码或修改优化算法。 我深信，真正有利于促进人类和经济的前行的，是一个能够推动科学进步的社会架构。我们能从这样的社会架构中获益很多。 Audience Member：像GPT-3这样的基础模型会如何影响生命科学研究的步伐？生命科学研究中有没有一些技术手段无法克服的限制因素，比如自然规律等？ Sam Altman：目前的可用模型还不够好，不足以对生命科学领域产生重大影响——不少生命科学家了解这些模型之后都说，它们只能在部分情况下发挥些许作用。AI在基因组学领域有一些很有前景的应用方向，但目前尚属起步阶段，不过我很看好。我认为这也是市值千亿的巨头准备进军的领域之一。 如果AI未来真的可以让医药公司的研发速...阅读全文
的就是台积电。 一直以来，Intel 在半导体制程工艺上都具有较大优势。这也为 Intel 在 PC 市场与 AMD 的竞争中带来基础。在吃够了奔四的亏以后，Intel 洗心革面在当年设计极为出色的 P6 架构（比如奔 III 的图拉丁核心）基础上衍生出了迅驰以及酷睿等成功产品，不仅在 CPU 性能上压倒性超越 AMD，并且逐渐整合了北桥，南桥，集成显示核心等。 这个过程中，一系列第三方接口芯片商，显示核心商彻底失去了市场，一台最简化的电脑可以只剩下 Intel 的 CPU+集成电源管理芯片（如 AXP 系列）+无线芯片+RAM+存储（SSD/eMMC）+音频/触摸/显示控制等少数几块芯片。 经过这一番商业大战之后，Intel 独霸电脑芯片后，但也导致一个结果，IC 领域经历过混战幸存到现在...阅读全文
树莓派中的实现，可以将树莓派变成 Chromebook。Windows 10：是的，甚至有用户经过一番折腾，成功在 Raspberry Pi 4 上安装了 Windows 10，但由于硬件架构适配性不足等原因，运行速度很慢，慎用。 Lakka：该操作系统专为一些复古游戏而设计，预装了一系列模拟器，可以将树莓派变成一台老式游戏机。6.太空中运行着两台树莓派这绝对算是一个有趣的冷知识。国际空间站运行着两台“Astro Pis”设备，事实上，这是经过特别改良的 Raspberry Pi B+ 型，这两台树莓派经过“空间改造”以适应太空环境，并配备了官方的 Raspberry Pi Sense HAT。欧洲航天局会举办定期竞赛，孩子们提交的代码可以在外太空的这两台设备上远程运行，以进行一些有趣的空间...阅读全文
