系、构建联盟，找到并解决行业问题。 在这个峰会上，有一个分组研究，在其中，与会者被分成小组，被要求给一个真实存在的核心的开源技术推荐一个开源协议。每个小组都给出了回应。不到十分之一的小组推荐了宽容许可证，没有人推荐 GPL 许可证。 我看到了开源行业对于 Apache 协议以及 MIT 协议的逐步认可，但是他们却对花时间理解、接受和熟悉 GPL 这件事高高挂起。 在这几年里，这种趋势仍在蔓延。除了 Black Duck 的调查之外， 2015 年 GitHub 上的开源协议调查 也显示 MIT 是人们的首选。我还能看到，在我工作的 XPRIZE （我们为我们的 Global Learning XPRIZE 选择了开源协议），在我作为社区领导顾问的工作方面，我也能感觉到那种倾向，因为越来越多的...阅读全文
任何类型的向后兼容的“增量”语言特性变更，因为他们认为无论变更多么小，都要有更全面的支持计划，并将 Go 2 考虑在内。 对于这些累积下来的提案，官方表示现在是时候采取行动了！ 近况 本文发布时，官方表示目前在 Go 2 的提案中，大约有 120 个尚未解决且被标记为提案的 issue。这些提案都涉及到重要的库或语言特性变更，而它们通常不能与 Go 1 互相兼容。Ian Lance Taylor 和 Robert Griesemer 一直在研究这些提案，并对它们进行了分类(Go2Cleanup, NeedsDecision 等)，以理解这些提案背后的含义并使它们后续更易进行。此外，他们还合并了相似的提案，并关闭了那些看似明显超出 Go 范围的提案，或者其他方面无法实现的提案。 早期出现的两个...阅读全文
然避免不了，为了更加从容的应对这些故障，就搞了一个工具 Chaos Monkey 会随机停止生产环境中的虚拟机，通过观察系统在真实故障中的表现来确保程序的健壮性，也通过实战来验证各种高可用技术是否靠谱。接着冒出了 Chaos Gorilla，会停止一整个可用域中的所有机器；最后还有Chaos Kong，直接停掉一整个 Region，非常有挑战精神（丧心病狂）。 为了更好的观察系统在故障时的情况，还研发了全局可视化系统，代号 Flux，可以将整个系统的逻辑架构和各服务之间的流量可视化在大屏幕上，效果图如下： 他们每个月有一个活动：将一个 Region 里的机器全部关掉，看 Netflix 服务是否正常。有兴趣看视频的可以移步这里。 另外，Netflix 除了云服务，还有自建CDN，即 Open...阅读全文
的永久存储和查询能力。 Compactor则是对Bucket里的历史数据进行采样或者清理，有具体需求后再自行研究即可。 上述组件均是可选的，没有历史数据永存需求的可以直接忽略。 方案2：thanos receive + thanos querier thanos提供的另一种方案是计算与存储分离，利用thanos receive组件部署一个分布式存储集群，然后令prometheus通过remote write机制直接写入到thanos receive集群完成分布式存储，这样prometheus本身就无状态了。 再利用thanos querier反向代理到thanos receive集群，最终对外提供统一的promql查询入口，这个阶段就没有prometheus什么事了。 这套方案的工作原理如下...阅读全文
发语言。早在 2016 年，基础架构团队就已经开始基于 Golang 开发内部框架 Kite，并在 2019 年围绕性能和可扩展启动重构，使其能更好地满足业务发展和技术体系演进需求。 2020 年 10 月，Kitex 正式上线。虽然是一个全新的框架，但经过一年的线上应用，目前字节跳动内部已有超过 50% 的 Golang 微服务迁移到了 Kitex。 下面是 Kitex 的一些特性： 高性能：Kitex 默认集成自研网络库 Netpoll 作为网络传输模块，性能相较使用 go net 有显著优势；除了网络库带来的性能收益，Kitex 对 Thrift 编解码也做了优化，这在之前的性能优化实践文章中有介绍。关于性能数据，可参考 https://github.com/cloudwego...阅读全文
, ctrip apollo, disconf, hawk 等配置中心的功能点。综合比较下来携程apollo 更具有优势。 二、简单介绍携程Apollo配置中心 1、What is Apollo 1.1 背景 随着程序功能的日益复杂，程序的配置日益增多：各种功能的开关、参数的配置、服务器的地址…… 对程序配置的期望值也越来越高：配置修改后实时生效，灰度发布，分环境、分集群管理配置，完善的权限、审核机制…… 在这样的大环境下，传统的通过配置文件、数据库等方式已经越来越无法满足开发人员对配置管理的需求。 Apollo配置中心应运而生！ 1.2 Apollo简介 Apollo（阿波罗）是携程框架部门研发的开源配置管理中心，能够集中化管理应用不同环境、不同集群的配置，配置修改后能够实时推送到应用端，并且具备规范...阅读全文
文件这块的原理描述的文章已经非常多了，所以这里我不再做过多的赘述，感兴趣的同学可以从Wikipedia翻阅一下。由于这块内容比较复杂，不属于本文普及的内容，建议读者另行自研，这里我非常推荐马士兵老师将linux文件系统这块，讲解的真的非常好。 select模型 此模型是IO多路复用的最早期使用的模型之一，距今已经几十年了，但是现在依旧有不少应用还在采用此种方式，可见其长生不老。首先来看下其具体的定义（来源于man二类文档）： int select(int nfds, fd_set *readfds, fd_set *writefds, fd_set *errorfds, struct timeval *timeout); 这里解释下其具体参数： 参数一：nfds，也即maxfd，最大的文件描...阅读全文
的，愚蠢的计算机操作员。 [6]指乐于分享，懂得专研和回报的人。 [7]人必自助而后人助之，而后天助之。出自《周易·系辞上》 提问前需要做的事情 在通过邮件、讨论组、论坛或社区提问之前，请先尝试做以下事情寻找答案： 使用论坛、知乎、百度知道、Quaro的搜索功能； 善用google、百度或其他搜索引擎在网络搜寻； 阅读说明书或者使用手册； 阅读网站上「常见问题解答」（FAQ）； 自己检查或做试验； 请教熟悉此问题的朋友； 如果你是程序员，尝试阅读源代码。 提问时，请先表明你已做了上述事情，这将有助于改变你是懒又肥的寄生虫形象，同时给别人一种你不会浪费别人时间的印象。提问时最好再总结一下你从中学到的东西 ，我们喜欢那些善于学习总结的人，也喜欢回答他们提出的问题。 运用搜索策略，比如利用...阅读全文
来分享一下他打造 Debian 的那段历程。 Murdock 第一次接触到 GNU/Linux 是在 1993 年，当时他还是个 20 岁的学生，在普渡大学学习会计学。「那个年代，PC 才刚刚发展到勉强能运行 Unix 操作系统。我当时用的就是 Unix，那时候我觉得 Linux 是能让我更方便地使用 Unix 的一种方式。」用 Murdock 的话来说，当时的软件「完成度还相对粗糙」，但完善、改良软件对他来说也是一种兴趣爱好。 「Linux 最棒的地方之一就是它是第一批你不仅能看到它在干嘛，你还能亲自尝试着对它本身做尝试、做改动的操作系统。」 Murdock 开始研究的时候，GNU/Linux 的发行版还很少。Murdok 当时选择的是 SLS，Softlanding Linux...阅读全文
选择。 如果大家对解析 HTTP/1.x 很感兴趣，可以研究下 http-parser，一个非常高效小巧的 C library，见过不少框架都是集成了这个库来处理 HTTP/1.x 的。 Request/Response HTTP/1.x 另一个问题就在于它的交互模式，一个连接每次只能一问一答，也就是client 发送了 request 之后，必须等到 response，才能继续发送下一次请求。 这套机制是非常简单，但会造成网络连接利用率不高。如果需要同时进行大量的交互，client 需要跟 server 建立多条连接，但连接的建立也是有开销的，所以为了性能，通常这些连接都是长连接一直保活的，虽然对于 server 来说同时处理百万连接也没啥太大的挑战，但终归效率不高。 Push 用...阅读全文
计。 DOH 即将发生的变化是 DOH — DNS over HTTP。大量的研究表明，对网络实施政策干预的一个常用手段是通过 DNS 实现的（无论是代表网络运营商或者一个更大的权力机构）。 使用加密去规避这种控制已经 讨论了一段时间了，但是，它有一个不利条件（至少从某些立场来看）— 它可能与其它通讯区别对待；例如，通过它的端口号被阻止访问。 DOH 将 DNS 通讯搭载在已经建立的 HTTP 连接上，因此，消除了任何的鉴别器。希望阻止访问该 DNS 解析器的网络只能通过阻止对该网站的访问来实现。 例如，如果 Google 在 www.google.com 上部署了它的 基于 DOH 的公共 DNS 服务，并且一个用户配置了它的浏览器去使用它，一个希望（或被要求的）被停止访问该服务的网络，将...阅读全文
） 升级数据库配置 迁移非核心业务到新的RDS实例中去 第二次宕机 由于上一次的宕机原因未找到，所以此次的宕机是可以预见的。 20180919，还是一样的”配方”，还是原来的”味道”。同一个RDS，CPU飙升至100%，接下来就是拒绝服务，宕机。当然，有了第一次的经验，直接主从切换，在几十秒左右就恢复了所有业务，但还是严重影响了公司的业务和形象 原因分析 恢复业务后，公司紧急召开了紧急事故研究会议，当然，我的级别是参与不了的。公司的高管，高层技术架构、DBA、各个项目的主负责人一起进行了会议。 在此次会议中，经过查看各个项目的日志，后台的监控数据，发现在那台RDS数据库CPU飙升时，有一台Redis数据库内存将近100%，然后急剧下降。联系第一次的宕机情况，也是类似的。 接下来就是联系服务器数据...阅读全文
、为Linux做些许贡献，也就知足了。 2，有什么话或者寄语要送给我们 LinuxStory 的读者吗？ 答：想说对一些新手或对自己学习没信心的年轻人说：非计算机专业、30多岁才接触Linux的我都行，你有大把的时间和精力，为什么不行？ 别人都说兴趣不能作为职业，成为职业后你会丢了兴趣。通过对您的了解，小编觉得您是一位真正把Linux当作兴趣、爱好的Linuxer！是一名内心狂热而外显高冷Linux爱好者！正如清风博主这个名字，您对Linux的喜爱如清风一样纯粹！您把对她的关注和钻研悄悄融入了您的生活，您对Linux的态度让小编佩服不已！非常感谢清风老师给小编这样一次机会来了解您，祝您工作顺利，家庭幸福！ 原文出自这里： https://linuxstory.org/qingfeng...阅读全文
Kubernetes对象的关系。 豆荚在Kubernetes中无处不在，因此了解它们将有助于您的工作。部署概述 - 提供部署概述 。 了解部署控制器如何工作非常有用，因为它们在无状态应用程序中经常用于扩展和不健康应用程序的自动修复。服务概述 - 涵盖服务，Kubernetes集群中另一个常用对象。 了解服务类型及其选项对于运行无状态和有状态应用程序至关重要。 您可以研究的其他重要概念是Volumes ， Ingresses和Secrets ，所有这些在部署生产应用程序时都会派上用场。 Kubernetes提供了许多功能和特性。 Kubernetes官方文档是了解概念，查找特定于任务的指南以及查找各种对象的API参考的最佳位置。...阅读全文
是一种强大的安全模型，处于现代安全实践的前沿。如果可以消除围绕它的营销噪音，那么采用零信任有一些深刻而重要的好处。虽然零信任需要对身份等核心理念进行一些根本性的改变，但如果 Kubernetes 用户能够采用服务网格并从纯粹基于边界的网络安全转变为“对每个用户、设备、应用程序和交易的持续验证”，那么他们至少有很大的优势。关于作者William MorganWilliam Morgan是 Buoyant 的联合创始人兼首席执行官，Linkerd 的创建者。在加入 Buoyant 之前，他是 Twitter 的一名基础架构工程师，在那里他帮助将 Twitter 从单体架构转变为微服务。他是 Powerset、Microsoft 和 Adap.tv 的软件工程师，以及 MITRE 的研究科学家。...阅读全文
zookeeper仅使用内存作为存储，所以不能存储太多东西。并发访问zk问题多最好单线程操作zk客户端，不要并发，临界、竞态问题太多。基于以上各种问题，所以提出了脱离zk的方案，转向自助研发强一致性的元数据解决方案，也就是KIP-500。KIP-500议案提出了在Kafka中处理元数据的更好方法。基本思想是"Kafka on Kafka"，将Kafka的元数据存储在Kafka本身中，无需增加额外的外部存储比如ZooKeeper等。去zookeeper之后的kafka新的架构在KIP-500中，Kafka控制器会将其元数据存储在Kafka分区中，而不是存储在ZooKeeper中。但是，由于控制器依赖于该分区，因此分区本身不能依赖控制器来进行领导者选举之类的事情。而是，管理该分区的节点必须实现自我管理的Raft...阅读全文
