Spinnaker 是 Netflix 在2015年开源的一款持续交付平台，它继承了 Netflix 上一代集群和部署管理工具 Asgard：Web-based Cloud Management and Deployment的优点，同时根据公司业务以及技术的的发展抛弃了一些过时的设计：提高了持续交付系统的可复用性，提供了稳定可靠的API，提供了对基础设施和程序全局性的视图，配置、管理、运维都更简单，而且还完全兼容 Asgard，总之对于 Netflix 来说 Spinnaker 是更牛逼的持续交付平台。 在深入了解 Spinnaker 之前，先扯一扯 Netflix 的技术文化：这是一家全面拥抱云的公司，据报道数据中心完全部署在 AWS 上，是 AWS 的超级大客户。在上云后他们发现故障仍...阅读全文
众所周知，在Java的知识体系中，并发编程是非常重要的一环，也是面试的必问题，一个好的Java程序员是必须对并发编程这块有所了解的。为了追求成为一个好的Java程序员，我决定从今天开始死磕Java的并发编程，尽量弥补自己在这方面的知识缺陷。 并发必须知道的概念 在深入学习并发编程之前，我们需要了解几个基本的概念。 同步和异步同步和异步用请求返回调用的方式来理解相对简单。 同步：可以理解为发出一个请求后，必须等待返回结果才能执行下面的操作。 异步：请求发出后，不需要等待返回结果，可以继续执行后续操作，异步请求更像是在另一个 “空间” 中处理请求的结果，这个过程不会影响请求方的其他操作。 举个生活中的例子，比如我们去实体店买衣服，挑选完款式后下单让售货员去仓库拿货，在售货员拿货的过程你需要在店...阅读全文
## 概述 Kubernetes 作为 IaaS 和 PaaS 的中间层，当前对于资源的计费依托于 IaaS 层的资源计费。一个 Kubernetes 的集群，按照其购买的节点实例 CVM 计费。而用户则使用的是 Pod，在实际场景中，通常需要面临这些问题，一个 Pod 如何承担成本、如何评估集群的成本、如何进行成本预测和优化建议。针对上述问题，我们推荐用户使用 Kubecost 进行解决。 Kubecost 是一款成本分析工具，可以为集群成本提供洞察、分析、推荐和建议。作为您优化集群成本的财务分析师，Kubecost 可以为您提供全面的成本分析报告。本文将介绍 Kubecost 使用场景、优化建议、详细的功能说明以及如何安装使用。 ## 使用场景 ### 评估每种资源消耗的成本 成本支出...阅读全文
你想明白了该做什么，就不要犹豫，快速行动起来去完成优先事项。毕竟成功人士就没有执行力弱的。 7 努力工作 通过运用自己的聪明才智或者勤奋努力，一个人可以达成工作领域里百分之九十的成就，能做到这一点已经很不错了。但是要想尽量做到完美，达成百分之九十九的成就，那就必须要兼顾聪明与勤奋，因为这一阶段你的竞争者往往是两者兼备的人。 有付出才有收获，付出越多收获也就越大。努力工作可能会造成工作与生活失衡，我完全可以理解有的人选择去更好地平衡工作与生活，在工作中不那么拼命。但是拼命工作确实有很多好处，在多数情况下，努力工作会产生叠加效应，越是成功的人就越能成功。 这通常很有趣。生活中最大的乐趣之一就是找到你的目标，并且有所建树，然后你会发现你在这件事上的影响力比你自己本身更重要。一位YC创始人表示：他在...阅读全文
处，那么自linux 2.6之后新增的epoll模型，则彻底解决了性能问题，一举使得单机承受百万并发的课题变得极为容易。现在可以这么说，只需要一些简单的设置更改，然后配合上epoll的性能，实现单机百万并发轻而易举。同时，由于epoll整体的优化，使得之前的几个比较耗费性能的问题不再成为羁绊，所以也成为了linux平台上进行网络通讯的首选模型。 讲解之前，还是linux man文档镇楼：linux man epoll 4类文档 linux man epoll 7类文档，俩文档结合着读，会对epoll有个大概的了解。和之前提到的select和poll不同的是，此二者皆属于系统调用函数，但是epoll则不然，他是存在于内核中的数据结构，可以通过epoll_create，epoll_ctl及...阅读全文
序迁出，就很难总结出共同的部分。 工作流也很脆弱。原生工作流有很多关于生产状态的隐性假设，这会导致不可预期的故障。要避免错误，我们添加了前提条件：金丝雀集群是否服务于真实流量？底层有没有运行中断？但是因为我们需要扩展到数十个基础架构提供者和上百个服务，这些Web的前提条件变得非常tricky。每个工作流都需要知道其他工作流的状态。 交互变成了N²问题，这里N是组成服务基础架构的asset数量。当你更新单个asset时，需要考虑它可能带给别的asset或者工作流的影响。比如，现在是否能够重启缓存，或者是否需要等待另一个缓存稳定了之后？如果需要手动变更某个在线的工作流，有没有哪些别的工作流也需要操作的？ — 3 — 我们的方案：Prodspec和Annealing 手动设计每个工作流变得不太可能...阅读全文
php/php-7.4.32/ && tree build-output/php/php-7.4.32/bin/ ... ( a few minutes and hundreds of build log lines)几分钟和数百行构建日志 build-output/php/php-7.4.32/bin/ ├── php-cgi-wasmedge └── php-wasmedge PHP 是用 autoconf 和 make 构建的。 所以如果你看一眼脚本 scripts/wl-build.sh ，你会注意到我们设置了所有相关变量，如 CC、LD、 CXX 等，以使用来自 WASI_SDK 的编译器。export WASI_SYSROOT="${WASI_SDK_ROOT}/share/wasi...阅读全文
，它的价值马上就体现出来了。而写一份文档，随着时间的推移，它的价值才会逐渐体现出来。 你可能只写一次文档，将来它会被阅读上百次、上千次，因为一份好的文档可以在未来替你向别人回答类似下面这些问题。 1. 为什么当时是这么决策的？ 2. 为什么代码是这样实现的？ 3. 这个项目里都有哪些概念？ 4. …… 写文档同样对于写作者也有非常大的收益： - 帮你构思规范化API： 写文档的过程也是你审视你API的过程，写文档时会让你思考你API设计是否合理，考虑是否周全。如果你没法用语言将API描述出来，那么说明你当前的API设计是不合理的。 - 文档也是代码的另一种展现： 比如你两年后回过头来看你写过的代码，如果有注释和文档，你可以很快速理解代码。 - 让你的代码看起来更专业： 我们都有个感觉，只要文档...阅读全文
选择。 如果大家对解析 HTTP/1.x 很感兴趣，可以研究下 http-parser，一个非常高效小巧的 C library，见过不少框架都是集成了这个库来处理 HTTP/1.x 的。 Request/Response HTTP/1.x 另一个问题就在于它的交互模式，一个连接每次只能一问一答，也就是client 发送了 request 之后，必须等到 response，才能继续发送下一次请求。 这套机制是非常简单，但会造成网络连接利用率不高。如果需要同时进行大量的交互，client 需要跟 server 建立多条连接，但连接的建立也是有开销的，所以为了性能，通常这些连接都是长连接一直保活的，虽然对于 server 来说同时处理百万连接也没啥太大的挑战，但终归效率不高。 Push 用...阅读全文
，关注 Dragonwell JDK 的开发者应该知道，Dragonwell 与 OpenJDK 上游相比提供了一些专有特性，比如 JFR，JwarmUp 等。作为全球最大的 Java 用户之一，阿里巴巴内部拥有数量非常庞大的 Java 开发人员和服务器，这也是其业务发展使然。上述新加入的特性在阿里巴巴内部得到了广泛应用，为阿里巴巴 Java 业务的稳定运行立下了汗马功劳，也可以说是 Dragonwell JDK 的独门武器。在本次的 GA 版本中，阿里巴巴也针对 JFR 特性做了一些 BUG 修复和兼容性上的改进，具体详情可以访问 Github 上的Release Notes。 三大重要特性 Alibaba Dragonwell 是一款免费的 OpenJDK 发行版，其提供长期支持，包括性能...阅读全文
管理、流量分割和版本管理。然而，这个选项并没有提供自动扩展功能。 - **Seldon Core** 是一款第三方工具，可用于 Kubeflow 抽象和资源。它支持多种机器学习框架，包括 TensorFlow，并允许将训练好的 TensorFlow 模型转换为 REST/gRPC 微服务，运行在 Kubernetes 中。Seldon Core 默认支持模型自动扩展。 - **BentoML** 是 Kubeflow 使用的另一个第三方工具，它提供高级的模型服务功能，包括自动扩展，以及支持微批处理的高性能 API 模型服务器。 在下一节中，我将展示如何使用 KFServing 对训练好的 TensorFlow 模型进行自动扩展，KFServing 是默认的 Kubeflow 安装中的一个模块...阅读全文
的技术问题。 如果你是因为需要帮助正在阅读本文，还想着直接从作者那取得帮助（答案），然后挥一挥衣袖转身离开，那么你就不幸成了我们所说的白痴之一。别向我们提问，我们不会理你的。我们只是在这教你「如何从那些真正懂得问题答案的人那里取得帮助」的方法。不过，在99.9％的时间里我们不会是那些百事通。除非你非常地确定本文的作者是你的问题专家，否则请不要打扰，这样大家都更开心一点。 引言 在黑客[3]的世界里，你所提技术问题的解答很大程度上取决于你提问的方式与此问题的难度，本文将教你如何提问才更有可能得到满意的答复。 开源程序的应用已经很广，你通常可以从其他更有经验的用户而不是黑客那里得到解答。这是好事，因为他们更能够容忍一般的新手错误。但我们还建议你使用我们推荐的方法，像对待黑客那样对待这些有经验的用...阅读全文
gRPC是一个高性能、开源、通用的RPC框架，面向移动和HTTP/2设计，是由谷歌发布的首款基于Protocol Buffers的RPC框架。 gRPC基于HTTP/2标准设计，带来诸如双向流、流控、头部压缩、单TCP连接上的多复用请求等特性。这些特性使得其在移动设备上表现更好，更省电且节省空间占用。gRPC 1.0版本是2015年面世以后的第一次版本发布，开发者可以把该版本用于生产。API现在也是很稳定的。 Bugsnag（注：一家云端bug监控服务商）每天处理数以亿计的错误信息，为了处理这些数据，考虑优先构建一个可扩展，性能强大的后端系统，并从中学到很多有挑战性的技术。最近，我们推出了新版本的仪表板，这个项目要求扩展系统，来处理服务呼叫的显著增加，这些呼叫是跟踪用户发布和会话所需的...阅读全文
读取。用户态进程读取这些数据后，进一步关联 Kubernetes 元数据后推送到存储端。这是整体处理过程。eBPF 的超能力体现在能订阅各种内核事件，如文件读写、网络流量等，运行在 Kubernetes 中的容器或者 Pod 里的一切行为都是通过内核系统调用来实现的，内核知道机器上所有进程中发生的所有事情，所以内核几乎是可观测性的最佳观测点，这也是我们为什么选择 eBPF 的原因。另一个在内核上做监测的好处是应用不需要变更，也不需要重新编译内核，做到了真正意义上的无侵入。当集群里有几十上百个应用的时候，无侵入的解决方案会帮上大忙。但作为新技术，人们对 eBPF 也存在些许担忧，比如安全性与探针性能。为了充分保证内核运行时的安全性，eBPF 代码进行了诸多限制，如最大堆栈空间当前为 512、最...阅读全文
的监控： RPC 调用排障，调用方除了拥有下游接口信息，也可溯源自身触发该调用的接口。 接口高耗时分析，根据指标，可还原出单位时间窗口的耗时分解图快速查看耗时组件。 3.2 关于选型的疑问 你可能会问，链路监控领域在业内有现成的 APM 产品，比如 Zipkin, Pinpoint, SkyWalking 等，为什么当时会选择 OpenTracing + Prometheus 自行埋点？主要有两大因素： 第一，在当时，CAT 无法满足全链路监控和一些定制化的报表分析，而得物交易链路五彩石项目交付也趋于尾声，贸然去集成外部一款庞大的 APM 产品在没有充分的验证下，会给服务带来稳定性风险，在极其有限的时间周期内不是个理智的选择。 第二，监控组件是随着统一的基础框架来发布，同时，由另一团队牵头开...阅读全文
导语 | kafka3.0的版本已经试推行去zk的kafka架构了，如果去掉了zk，那么在kafka新的版本当中使用什么技术来代替了zk的位置呢，接下来我们一起来一探究竟，了解kafka的内置共识机制和raft算法。一、Kafka简介Kafka是一款开源的消息引擎系统。一个典型的Kafka体系架构包括若干Producer、若干Broker、若干Consumer，以及一个ZooKeeper集群，如上图所示。其中ZooKeeper是Kafka用来负责集群元数据的管理、控制器的选举等操作的。Producer将消息发送到Broker，Broker负责将收到的消息存储到磁盘中，而Consumer负责从Broker订阅并消费消息。（一）Kafka核心组件producer：消息生产者，就是向broker...阅读全文
配置。 HDFS 文件的限额配置允许我们以文件个数，或者文件大小来限制我们在某个目录下上传的文件数量或者文件内容总量，以便达到我们类似百度网盘网盘等限制每个用户允许上传的最大的文件的量。 hdfs dfs -count -q -h /user/root/dir1 #查看配额信息 结果： 5.1.1. 数量限额 hdfs dfs -mkdir -p /user/root/dir #创建hdfs文件夹 hdfs dfsadmin -setQuota 2 dir # 给该文件夹下面设置最多上传两个文件，发现只能上传一个文件 hdfs dfsadmin -clrQuota /user/root/dir # 清除文件数量限制 5.1.2. 空间大小限额 在设置空间配额时，设置的空间至少是...阅读全文
一、HAProxy简介 （1）HAProxy 是一款提供高可用性、负载均衡以及基于TCP（第四层）和HTTP（第七层）应用的代理软件，支持虚拟主机，它是免费、快速并且可靠的一种解决方案。 HAProxy特别适用于那些负载特大的web站点，这些站点通常又需要会话保持或七层处理。HAProxy运行在时下的硬件上，完全可以支持数以万计的 并发连接。并且它的运行模式使得它可以很简单安全的整合进您当前的架构中， 同时可以保护你的web服务器不被暴露到网络上。 （2）HAProxy 实现了一种事件驱动、单一进程模型，此模型支持非常大的并发连接数。多进程或多线程模型受内存限制 、系统调度器限制以及无处不在的锁限制，很少能处理数千并发连接。事件驱动模型因为在有更好的资源和时间管理的用户端(User...阅读全文
