...) ... +---------------------------------------------------------------+ Length：也就是 Frame 的长度，默认最大长度是 16KB，如果要发送更大的 Frame，需要显式的设置 max frame size。 Type：Frame 的类型，譬如有 DATA，HEADERS，PRIORITY 等。 Flag 和 R：保留位，可以先不管。 Stream Identifier：标识所属的 stream，如果为 0，则表示这个 frame 属于整条连接。 Frame Payload：根据不同 Type 有不同的格式。 可以看到，Frame 的格式定义还是非常的简单，按照官方协议，可以非常方便的写一个出来。 Multiplexing HTTP/2 通过 stream 支持了连接的多路复用，提高了连接的利用率。Stream 有很多重要特性： 一条连接可以包含多个...阅读全文
很重要，因为在 K8s 中没有为这些设置默认值。例如，如果一个 pod 需要 20 秒才能启动并且缺少就绪探测，那么在启动期间定向到该 pod 的任何流量都会导致失败。就绪探针应该是独立的，并且不考虑对其他服务的任何依赖，例如后端数据库或缓存服务。存活探针试应用程序是否正在运行以将其标记为健康。例如，可以测试 Web 应用程序的特定路径以确保其响应。如果不是，该 pod 将不会被标记为健康，并且探测失败将导致 kubelet 启动一个新的 pod，然后将再次对其进行测试。这种类型的探测用作恢复机制，以防进程无响应。译者：在 Kubernetes 1.18 引入了 StartUp（启动）探针。当容器启动时间较长（要花较长的时间完成初始化工作），此时应该使用启动探针。如果启动探针探测不成功，其他...阅读全文
列中某个节点宕掉的后果： 当slave宕掉了，除了与slave相连的客户端连接全部断开之外，没有其他影响。 当master宕掉时，会有以下连锁反应： 与master相连的客户端连接全部断开；选举最老的slave节点为master。若此时所有slave处于未同步状态，则未同步部分消息丢失；新的master节点requeue所有unack消息，在此我向大家推荐一个架构学习交流圈：830478757 帮助突破瓶颈 提升思维能力,因为这个新节点无法区分这些unack消息是否已经到达客户端，亦或是ack消息丢失在老的master的链路上，亦或者是丢在master组播ack消息到所有slave的链路上。所以处于消息可靠性的考虑，requeue所有unack的消息。此时客户端可能有重复消息；如果客户端连着...阅读全文
定要配置重试要根据业务情况而定。也可以用同步发送的模式去发消息，当然acks不能设置为0，这样也能保证消息发送的有序。 kafka保证全链路消息顺序消费，需要从发送端开始，将所有有序消息发送到同一个分区，然后用一个消费者去消费，但是这种性能比较低，可以在消费者端接收到消息后将需要保证顺序消费的几条消费发到内存队列(可以搞多个)，一个内存队列开启一个线程顺序处理消息。 如果为了性能好，不允许所有消息只在同一个分区，同时又要保证顺序消费，那么可以给每条消息加一个下标，当消费者拿到消息后先不急着消费，而是先判断下标，然后根据下标以此进行消费； 2.1.4 消息积压 1）线上有时因为发送方发送消息速度过快，或者消费方处理消息过慢，可能会导致broker积压大量未消费消息。 此种情况如果积压了上百万未...阅读全文
了答案。 从单机到分布式，是追求更快和更高的性能，但也带来了更多的不确定性。比如，不确定计算机何时异常，不确定磁盘何时损坏，不确定网络通信的延迟，也不确定消息是否被正常消费。这些不确定性构成了分布式应用的挑战，简而言之： 异构的机器与网络：稳定性问题普遍的节点故障：可靠性问题不可靠的网络：一致性问题 面对这些挑战，业界提出了诸多的分布式理论、协议，如CAP定理，BASE理论，一致性协议2PC/3PC/ZAB，来保证系统的正常运行。虽然问题貌似是有了解决方案，但是应用的复杂度升高了。应用除了需要实现业务需求，还要兼顾非业务需求，集成诸如服务发现、负载均衡、失效转移、动态扩容、数据分片、调用链路监控等分布式系统的核心功能，对应用有很强的侵入性，这就是以Spring Cloud为代表的微服务框架的...阅读全文
为Unix套接字文件路径，但需要留心chroot应用及用户的读写权限；
作者：京东零售 石朝阳 在说IO多路复用模型之前，我们先来大致了解下Linux文件系统。在Linux系统中，不论是你的鼠标，键盘，还是打印机，甚至于连接到本机的socket client端，都是以文件描述符的形式存在于系统中，诸如此类，等等等等，所以可以这么说，一切皆文件。来看一下系统定义的文件描述符说明： 从上面的列表可以看到，文件描述符0,1,2都已经被系统占用了，当系统启动的时候，这三个描述符就存在了。其中0代表标准输入，1代表标准输出，2代表错误输出。当我们创建新的文件描述符的时候，就会在2的基础上进行递增。可以这么说，文件描述符是为了管理被打开的文件而创建的系统索引，他代表了文件的身份ID。对标windows的话，你可以认为和句柄类似，这样就更容易理解一些。 由于网上对linux...阅读全文
辟自己独特的商业路径？ Sam Altman：将来应该会出现几个大型的基础模型，开发人员都将基于这些基础模型研发AI应用。但目前的情况依然是某一家公司开发出一个大型语言模型，然后开放API供他人使用。 我认为，将来在基础模型和具体AI应用研发之间会有一个中间层：出现一批专门负责调整大型模型以适应具体AI应用需求的初创企业。能做好这一点的初创公司将会非常成功，但这取决于它们能在“数据飞轮”上走多远。（数据飞轮：使用更多数据可以训练出更好的模型，吸引更多用户，从而产生更多用户数据用于训练，形成良性循环。） 我对初创企业训练模型的能力持怀疑态度，将来承担模型训练角色的应该不会是初创公司，但这些企业可以在上述的中间层角色中发挥巨大价值。 Audience Member：未来会不会出现垂类AI初创公司...阅读全文
：Debian 项目里一些名词的含义 1. Maintainer: 泛指软件包维护人员，包括 Debian Developer (DD)、Debian Maintainers (DM) 和 Sponsored maintainers。 2. Debian Developer (DD): 又称 Debian Member，官方 Debian 开发人员，是 Debian 项目的正式成员。能直接上传到 Debian 的任意仓库，有大部分服务器的登陆帐号，有在全项目内选举、投票和提出议案的权利。 3. Debian Maintainer (DM): DM 是一部分能够直接上传某些特定软件包的开发人员，是打包人员通向正式 Debian Developer 的必经之路。 3. Sponsored...阅读全文
debian-cd 和 Debian Installer 团队合作开发 live-build-ng 。 Debian Live 是一个「官方的」 Debian 项目（也可以是狭义的「官方」），尽管它因为思路上的不同产生过争论。除此之外， vmdebootstrap 的维护者 Neil Willians 为脱离 Debian Live 项目提供了如下的解释: 为了更好的支持 live-build 的代替者, vmdebootstrap 肯定会被推广。为了能够用 live-build 解决目前存在的问题，这项工作会由 debian-cd 团队来负责。这些问题包括可靠性问题，以及不能很好的支持多种机器和 UEFI 等。 vmdebootstrap 也存在着这些问题，我们用来自于对 live-boot 和...阅读全文
被我们称之为“影子层”的地方进行——我们可以在一个非生产环境重放生产网络的流量，这样我们能够在一个非常安全的地方检测系统的稳定性和性能。我们可以像做实验那样一边加大流量一边说：“好了，我先给它（测试环境）5％的生产网络流量，然后一路增加到100%，看看会有什么发现吧。”像做A/B测试那样，我就能得到两个内核在整个实验过程中对比鲜明的数据。 我们有工具能验证内核并帮助测试上游内核。这样比较容易发现上游内核新的有意思的bug，而非只是找到已经被上游内核修复过的bug。 Linux.com：您比较担心什么问题？ Chris Mason：就运行Linux内核或者文件系统而言，我们还没遇到什么问题；况且有这么多的社区在支持Linux，我也没有必要担心什么。 Linux.com：您参与Linux开发也有...阅读全文
的是它不是非黑即白的，更多的时候是两者混合的灰色，很少有公司有自由软件基金会（或者类似的组织，比如软件自由保护组织）的那种纯粹的理念，因此我想那些公司也不喜欢选择和那些理念相关的协议。 我需要说明，我不是在这是说自由软件基金会以及类似的组织（比如软件自由保护组织）的错。他们有着打造完全自由的软件的目标，对于他们来说，走它们选择的路十分合理。自由软件基金会以及软件自由保护组织做了了不起的工作，我将继续支持这些组织以及为他们工作的人们。我只是觉得这种对纯粹性的高要求的一个后果就是让那些公司认为自己难以达到要求，因此，他们使用了非 GPL 的其他协议。 我怀疑 GPL 的使用是随着开源软件增长而变化的。在以前，启动（开源）项目的根本原因之一是对开放性和软件自由的伦理因素的严格关注。GPL 无疑是项...阅读全文
少。 2、透明 这一点很容易理解：我们要使得社区可以观察和了解你正在做的事情：使用易于查找的可公开访问的源代码存储库，使用面向公众的问题跟踪软件，在社区可以找到的地方公布发布计划，以及在公共论坛捕获会议记录(例如归档邮件列表)。 3、开放 对于很多开源项目来说，“透明度”和“开放性”意味着同一件事，但其实这两个术语的含义截然不同。开放不仅仅指的是“一目了然”(这与透明本质上是一样的)。对于许多人来说，开源的“开放”意味着开放新思想，或开放参与。参与开源项目的规则对于每个人应该是一样的(“公平的竞争环境”)：仅仅接受几个补丁是不够的，你必须对新的思路点子开放。总之，你必须允许别人参与你的项目，放弃对项目的绝对控制。 4、保持“公平的竞争环境” 这并不一定意味着你必须让任何人加入项目，而是要确保...阅读全文
程技术平台。而到了 Novell 之后用了不到三年就使这家公司扭亏为盈，最后的亏损其实很大程度上需要归结为微软的打压和互联网泡沫的破裂，那次失败真不是施密特能控制的。所以 Novell 公司在他担任谷歌 CEO 之后依然为他保留了董事会主席席位，以示尊重。 施密特的地位堪比二位创始人 谷歌由佩奇和布林创立于1998年，但是直到2001年施密特担任 CEO，谷歌依然只是一个技术还不错，但是完全没办法赚钱的小公司，施密特本人就曾直言：“他们在各个方面的看法，都与我不尽相同。让人搞不清他们的思路究竟是令人耳目一新的远见，还是单纯天真。” 而施密特的加入，正好为两位创始人天马行空的设想打下了良好的基础——钱。施密特发现了搜索业务和广告之间的高度关联性，并由此创造了搜索广告这一革命性的盈利模式，直到现...阅读全文
一个待处理事件的列表，使用非阻塞 I/O 方式调用“事件处理器”来处理该请求。其处理方式称为“多路 IO 复用方法”，常见的包括以下三种：select 模型、poll 模型、epoll 模型。 针对上面的技术我特意整理了一下，有很多技术不是靠几句话能讲清楚，所以干脆找朋友录制了一些视频，很多问题其实答案很简单，但是背后的思考和逻辑不简单，要做到知其然还要知其所以然。如果想学习Java工程化、高性能及分布式、深入浅出。微服务、Spring，MyBatis，Netty源码分析的朋友可以加我的Java进阶群：433540541，群里有阿里大牛直播讲解技术，以及Java大型互联网技术的视频免费分享给大家。 四. Nginx 设计架构 Nginx 服务器使用 master/worker 多进程模式。多...阅读全文
资源，从而获取虚拟货币的一种程序，需要较高的硬件配置及用电量。 而单凭一个矿工的力量是挖不到比特币的。于是“安某”便想到可以利用自己的职务之便利用百度的服务器来开启自己的发家致富之路，只是他可能没想到的是事情会败露的这么快。 那么，他具体是怎么做的呢？ 首先，他用自己的工作账户上传了一个压缩文件 miner.tar.gz ，其中包含一个名为 java_4u3 的脚本， 而这个脚本可以自动执行解压缩、创建目录、删除目录、自动连接代理进行网络交换，达到控制服务器的目的。 然后，编译了一个挖矿程序，并将上述程序部署非法控制了百度的 155 台服务器上，利用公司为其配备的苹果电脑上的 iterm 软件控制所有服务器的中控机，通过中控机上传挖矿脚本，并通过 iterm 软件发出批量下载指令，让 200...阅读全文
传输协议有 TTHeader、HTTP2。TTHeader 可以和 Thrift、Kitex Protobuf 结合使用；HTTP2 目前主要是结合 gRPC 协议使用，后续也会支持 Thrift。 多消息类型：支持 PingPong、Oneway、双向 Streaming。其中 Oneway 目前只对 Thrift 协议支持，双向 Streaming 只对 gRPC 支持，后续会考虑支持 Thrift 的双向 Streaming。 服务治理：支持服务注册/发现、负载均衡、熔断、限流、重试、监控、链路跟踪、日志、诊断等服务治理模块，大部分均已提供默认扩展，使用者可选择集成。 代码生成工具：Kitex 内置代码生成工具，可支持生成 Thrift、Protobuf 以及脚手架代码...阅读全文
1确保提案所做的任何变更都可以帮助到尽可能多的 Go 开发者（使他们编写的代码更健壮、正确性更高等），条件2则保证了变更将给使用者带来的影响降到最低。 至于条件3，如果提案不能满足该条件，它将不会被实现。即便这项提案能够解决一个很重要的问题，思路也很好，但在没有实现方案的情况下，它将会被拒绝，并需要重新起草。 下一步 在这篇文章发布时，Go 开发团队表示已经执行提案评估流程的第一步，并开始了流程的第二步，关于具体的提案可点此进行查看。 对于 Go 开发团队已经明确并通过的提案，将会继续实现（即评估流程的第3步）。开发团队表示希望在下一个发布周期的第一天（暂定于2019年2月1日）完成这些提案变更的实现，所以这次可能会在较早的时间开始进行，以留出两个月的反馈时间（2018年12月至2019年1...阅读全文
谈及linux内存，很多时候，我们会关注free，top等基础命令。当系统遇到异常情况时，内存问题的根因追溯，现场诊断时，缺乏深层次的debug能力。本篇幅不做深层讨论，能把当前系统的问题描述清楚，是每个SRE应该具备的最基础能力。free========2.1 free命令原理free是通过查看 /proc/meminfo 来获取内存的使用情况。但是 /proc/meminfo 这个文件又是怎么来的？我们先了解下 /proc 目录：/proc 是一个虚拟文件系统，该目录下的所有文件都是伪文件，该类文件只存在于内存中，并不占用空间——使用 du -sh 即可验证，该模具路下的磁盘占用都是0。/proc 下的所有文件都是内核调用proc_create() 接口来创建的虚拟条目。/proc 中...阅读全文
起初GNU/Linux系统中只有.tar.gz。用户 必须自己编译他们想使用的每一个程序。在Debian出现后，人们认为有必要在系统 中添加一种机 制用来管理 安装在计算机上的软件包。人们将这套系统称为 dpkg。至此着名的package首次在GNU/Linux上出现。不久之後红帽子也开始着手建立自己的包管理系统 rpm。 GNU/Linux的创造者们很快又陷入了新的窘境。他们希望通过一种快捷、实用而且高效的方式来安装软件包。这些软件包可以自动处理相互之间 的依赖关系，并且在升级过程中维护他们的配置文件 。Debian又一次充当了开路先锋的角色。它首创了APT（Advanced Packaging Tool）。这一工具后来被Conectiva 移植到红帽子系统中用于对RPM包的管理。在其他...阅读全文
，例如 Pod Yaml 容器挂载配置跟 PodPreset 容器挂载配置为同一路径时，会报错提示冲突。 最后要提一下注意的问题： 目前 PodPreset 的预设功能这块还在演进中，不过已经能大大简化了相关的管理工作，将这些公用配置从开发者手中分离出来，变成系统管理配置。PodPreset 是 Namespace 级别的对象，其作用范围只能是同一个命名空间下容器。目前为 v1alpha1 版本，还不成熟，例如当我们对已创建的 PodPreset 执行非常少量的修改时，重新 apply 或者 replace 时，服务端并没有更新过来（亲测会有问题，只能删除重建），大家可以自己尝试下。 参考资料 PodPreset DocEnable PodPreset...阅读全文
kubecost -o wide ``` 执行结果如下图所示：  ### 更改服务访问方式 1. 登录 [容器服务控制台](https://console.cloud.tencent.com/tke2/cluster)。 2. 单击对应的集群 ID/名称，进入集群管理页面。 3. 单机**服务和路由** > **Service**进入 Service 页面。 4. 找到您想要更改的 Service，在其右侧操作栏下单击**更新访问方式**进入更新访问方式页面。  中弃用它们之后，internal.key.converter并internal.value.converter在 Connect 工作器的配置中作为配置属性和前缀被删除。展望未来，内部 Connect 主题将专门使用JsonConverter来存储没有嵌入模式的记录。任何使用不同转换器的现有 Connect 集群都必须将其内部主题移植到新格式（有关升级路径的详细信息，请参阅KIP-738）。KIP-722：默认启用连接器客户端覆盖从...阅读全文
推动整个行业向前发展。"不过， PCIe经历了十多年的发展才成为主流，UCIe1.0的出现只是Chiplet时代真正到来的起点，距离Chiplet真正成为主流也还有一段路要走。即便是强大如英特尔，也需要花费大量的时间和精力才能实现量产。工艺实现成第一难，工程费用无人愿承担"事实上Chiplet的发展，最大的难度不是在协议制定上，而是在产品定义以及制造环节，统一协议和标准是为了降低研发成本和加快市场应用。"创享投资的投资总监刘凌韬向雷峰网(公众号：雷峰网)表示。刘宏钧持有同样的观点，他认为虽然UCIe统一标准的建立为产业界指明了方向，但在具体物理层指标带来的工艺能力要求和大规模制造环节仍然有不少挑战，例如封装体中多层材料的堆叠，从硅之间的堆叠到硅、有机材料、金属等多种材料。"将这些材料连接起来...阅读全文
。 默认情况下，job artifacts 只正对成功的jobs收集。 artifacts用于指定成功后应附加到job的文件和目录的列表。只能使用项目工作间内的文件或目录路径。如果想要在不通的job之间传递artifacts，请查阅依赖关系。以下是一些例子： 发送binaries和.config中的所有文件： artifacts: paths: - binaries/ - .config 发送所有没有被Git跟踪的文件： artifacts: untracked: true 发送没有被Git跟踪和binaries中的所有文件： artifacts: untracked: true paths: - binaries/ 定义一个空的dependencies可以禁用artifact传递： job...阅读全文
。 ## 用 KFServing 自动扩展 TensorFlow 模型 KFServing 是一种无服务器平台，它可以轻松地将训练好的 TensorFlow 模型转换为从 Kubernetes 集群外部访问的推理服务。通过 Istio, KFServing 可以实现网络和入口、健康检查、金丝雀发布（canary rollouts）、时间点快照、流量路由以及针对你部署的 TensorFlow 模型灵活地配置服务器。 同时，KFServing 还支持开箱即用的训练 TensorFlow 模型的自动扩展。在底层，KFServing 依赖于 Knative Serving 的自动扩展能力。Knative 提供了两个自动扩展的实现。一种是基于 Knative Pod Autoscaler（KPA）工具，另一种个...阅读全文
决定离开贡献18年之久的 Debian。促使他离开的直接原因是，Debian 社区对于是否接受 systemd（一种 init 进程）争执不下。这件事引起了 Debian 内部长达数年的争论，至今仍然没有定论。 当然，systemd 事件仅仅是一个引子，Joey 已经感受到了 Debian 社区背后所隐藏的某种“病态”。 “ 我第一次感觉到 Debian 的这种（病态），是在 Debian 改变‘ /usr/doc’这一错误的文件保存路径（系统文件的标准要求被保存在‘usr/share/doc’中）的时候，完成这样一个再简单不过的操作更改，Debian 居然花了6年之久。” 在 Joey Hess 看来，这实在太荒诞了。 要知道，Joey 并不是为此离开的第一位前辈。此前，Matthew...阅读全文
外指定的某种形式的策略来捕获它。拥有明确的策略允许我们在不修改应用程序代码的情况下审核和更改访问权限。为了实现我们的零信任目标，这些策略可能非常复杂。我们可能有一个策略，它将对服务的访问限制为只有那些需要访问它的服务调用方（即，在双方都使用工作负载身份）。我们可能会进一步细化，只允许访问该服务上的某些接口（HTTP 路由、gRPC 方法）。更进一步，根据请求的用户身份限制访问。在所有情况下，目标都是最低权限——只有在非常必要时才能访问系统和数据。执行最后，零信任要求我们在最细粒度的级别上同时执行身份验证（确认身份）和授权（验证策略是否允许该操作）。每个授予数据或计算访问权限的系统都应该设置从外围到单个组件的安全边界。与策略类似，这种执行理想情况下是在整个堆栈中统一完成的。不是每个组件都使用自...阅读全文
。 init 函数的一些实际可以是配置路由表、定义 ACL 规则等。 Node 的注册 node 的注册是通过 contructor scheme 的 (attribute((constructor))）来完成的。下面显示了一个非常简单的 node 注册示例。需要强调的是： .process 的函数定义突出了向量数据包处理的概念 （需要处理的报文 (**objs) 及其数量 (nb_objs)）。 /** * @param objs * Pointer to an array of objects to be processed. * @param nb_objs * Number of objects in the array. * */ /* This hello world node...阅读全文
partition都是有序的，即消息发送到队列的顺序跟消费时拉取到的顺序是一致的。replication：副本。一个topic对应的分区partition可以有多个副本，多个副本中只有一个为leader，其余的为follower。为了保证数据的高可用性，leader和follower会尽量均匀的分布在各个broker中，避免了leader所在的服务器宕机而导致topic不可用的问题。 （二）kafka2当中zk的作用/admin：主要保存kafka当中的核心的重要信息，包括类似于已经删除的topic就会保存在这个路径下面。/brokers：主要用于保存kafka集群当中的broker信息，以及没被删除的topic信息。/cluster: 主要用于保存kafka集群的唯一id信息，每个kafka集群都会给分配...阅读全文
求头 Expect 中指定的预期内容无法被服务器满足，或者这个服务器是一个代理服务器，它有明显的证据证明在当前路由的下一个节点上，Expect 的内容无法被满足。 421 从当前客户端所在的IP地址到服务器的连接数超过了服务器许可的最大范围。通常，这里的IP地址指的是从服务器上看到的客户端地址（比如用户的网关或者代理服务器地址）。在这种情况下，连接数的计算可能涉及到不止一个终端用户。 422 请求格式正确，但是由于含有语义错误，无法响应。（RFC 4918 WebDAV）423 Locked 当前资源被锁定。（RFC 4918 WebDAV） 424 由于之前的某个请求发生的错误，导致当前请求失败，例如 PROPPATCH。（RFC 4918 WebDAV） 425 在WebDav...阅读全文
人员都可以使用这款敏捷项目管理工具，围绕一个共享的，带有优先级的 backlog 进行实时协作。 Trello Trello 是基于 Web 的看板风格列表制作应用程序，是 Atlassian 的子应用。 许多团队在规划各个 sprint 时都会用它。 Azure Boards 可以跟踪软件项目，并使用敏捷工具（包括 Scrum boards、看板 boards 和仪表板等）改进规划工作。同时，还有工具可以帮助你可视化工作、共享计划、跟踪进度，并确保你正在向目标迈进。 问题跟踪 问题跟踪阶段是为了提供客户响应能力，减少知识浪费，缩短反馈链路。目前业内比较常用的问题跟踪工具包括 Atlassian Jira、JetBrains YouTrack 和 ZenDesk。 Atlassian...阅读全文
域本质上是不利的。用户只有在出现问题时才会查看系统，并且通常没有一个好的调查起点。我们正在努力更好地表示系统的状态，以及为什么以及如何做出决定，以便在出现问题时改善内省。 - END - 往期回顾 ◆Redis和Mysql如何保持数据一致性 ◆软件架构可能不是你想象的那个样子 ◆容器与Pod到底有什么区别和联系？ ◆如何从0到1进行电商平台订单系统的搭建？ ◆SRE本质就是一个懂运维的资深开发 ◆Spring Cloud应用的优雅下线与灰度发布 ◆一文帮你彻底掌握Nginx ◆Redis 7.0 新功能新特性总览 ◆漫画 | Kubernetes 如果是个水族馆 ◆7 种提升 Spring Boot 吞吐量神技！ ◆大型 SaaS 平台产品架构设计 ◆代码规范&设计模式落地之路 技术交流，请...阅读全文
