火焰图（flame graph）是性能分析的利器。本文介绍它的基本用法。 一、perf 命令 让我们从 perf 命令（performance 的缩写）讲起，它是 Linux 系统原生提供的性能分析工具，会返回 CPU 正在执行的函数名以及调用栈（stack）。 通常，它的执行频率是 99Hz（每秒99次），如果99次都返回同一个函数名，那就说明 CPU 这一秒钟都在执行同一个函数，可能存在性能问题。 $ sudo perf record -F 99 -p 13204 -g -- sleep 30 上面的代码中，perf record表示记录，-F 99表示每秒99次，-p 13204是进程号，即对哪个进程进行分析，-g表示记录调用栈，sleep 30则是持续30秒。 运行后会产生一个庞大...阅读全文
产者如果重启则会生成新的PID。 Sequence Number：对于每个 PID，该 Producer 发送到每个 Partition 的数据都有对应的序列号，这些序列号是从0开始单调递增的。 2.1.9 kafka的事务 Kafka的事务不同于Rocketmq，Rocketmq是保障本地事务(比如数据库)与mq消息发送的事务一致性，Kafka的事务主要是保障一次发送多条消息的事务一致性(要么同时成功要么同时失败)，一般在kafka的流式计算场景用得多一点，比如，kafka需要对一个topic里的消息做不同的流式计算处理，处理完分别发到不同的topic里，这些topic分别被不同的下游系统消费(比如hbase，redis，es等)，这种我们肯定希望系统发送到多个topic的数据保持事务一致...阅读全文
) 对style的操作(对不同的属性操作，影响不一样) 还有一种是用户的操作，比如改变浏览器大小，改变浏览器的字体大小等(回流+重绘) 4、本地存储 本地存储最原始的方式就是 cookie,cookie 是存放在本地浏览器的一段文本，数据以键值对的形式保存，可以设置过期时间。 但是 cookie 不适合大量数据的存储，因为每请求一次页面，cookie 都会发送给服务器，这使得 cookie 速度很慢而且效率也不高。因此cookie的大小被限制为4k左右(不同浏览器可能不同,分HOST)，如下所示： Firefox和Safari允许cookie多达4097个字节，包括名（name）、值（value）和等号。 Opera允许cookie多达4096个字节，包括：名（name）、值（value）和等号...阅读全文
黄金法则， 精练的标题是你吸引专家注意的黄金机会，别喋喋不休地用诸如「帮帮我」的标题，这种主题只会被条件反射式地删掉，浪费掉一次提问的机会。不要试图用你深深的痛苦来打动我们，相反，要在讨论空间中使用简明扼要语句来描述问题。 撰写主题的规则是「对象──偏差」式的描述，许多技术支持组织就是这样做的。「对象」部分需要指明是哪一个或哪一组项目有问题，「偏差」部分则描述与期望的行为不一致的地方。 愚蠢的问题描述：救命啊！我的笔记本播放不了视频！ 明智的问题描述：X.org 6.8.1 鼠标光标出现偏差，MV1005型号的某显卡芯片组 更明智的问题描述：使用 MV1005 型号的某显卡芯片组在 X.org 6.8.1 的鼠标光标出现偏差 撰写「对象──偏差」式的主题描述有助于引发你对问题的细致思考：是什...阅读全文
要给唯一id，以及对应的版本号。/config: 集群配置信息。/controller：kafka集群当中的控制器信息，控制器组件（Controller），是Apache Kafka的核心组件。它的主要作用是在Apache ZooKeeper的帮助下管理和协调整个Kafka集群。/controller_epoch：主要用于保存记录controller的选举的次数。/isr_change_notification：isr列表发生变更时候的通知，在kafka当中由于存在ISR列表变更的情况发生,为了保证ISR列表更新的及时性，定义了isr_change_notification这个节点，主要用于通知Controller来及时将ISR列表进行变更。/latest_producer_id_block...阅读全文
他们的努力开发出可行的、可靠的、经过完善测试替代品，以及一个合适的取代 live-build 的候选者，这对于 Debian 项目有利无害。如果他们继续做这件事，他们不会「用一个官方改良，但不可靠且几乎没有经过测试的待选者取代 live-build 」。到目前为止，我还没有看到他们那样做的迹象。其间， live-build 仍保留在存档中——它仍然处于良好状态，且没有一种经过改良的继任者来取代它，因此开发团队没有必要尽快删除它。 11 月 24 号， Armstrong 也在他的博客上发布了一个有关 Debian Live 的新消息。它展示了从 Baumann 退出起两周内的令人高兴的进展。甚至有迹象表明 Debian Live 项目与 live-wrapper 开发者开展了合作。博客上也有...阅读全文
将会主动触发一次子任务的执行, 多个子任务用逗号分隔； 22、一致性：“ 调度中心” 通过 DB 锁保证集群分布式调度的一致性, 一次任务调度只会触发一次执行； 23、自定义任务参数：支持在线配置调度任务入参，即时生效； 24、调度线程池：调度系统多线程触发调度运行，确保调度精确执行，不被堵塞； 25、数据加密：调度中心和执行器之间的通讯进行数据加密，提升调度信息安全性； 26、邮件报警：任务失败时支持邮件报警，支持配置多邮件地址群发报警邮件； 27、推送 maven 中央仓库: 将会把最新稳定版推送到 maven 中央仓库, 方便用户接入和使用; 28、运行报表：支持实时查看运行数据，如任务数量、调度次数、执行器数量等；以及调度报表，如调度日期分布图，调度成功分布图...阅读全文
然避免不了，为了更加从容的应对这些故障，就搞了一个工具 Chaos Monkey 会随机停止生产环境中的虚拟机，通过观察系统在真实故障中的表现来确保程序的健壮性，也通过实战来验证各种高可用技术是否靠谱。接着冒出了 Chaos Gorilla，会停止一整个可用域中的所有机器；最后还有Chaos Kong，直接停掉一整个 Region，非常有挑战精神（丧心病狂）。 为了更好的观察系统在故障时的情况，还研发了全局可视化系统，代号 Flux，可以将整个系统的逻辑架构和各服务之间的流量可视化在大屏幕上，效果图如下： 他们每个月有一个活动：将一个 Region 里的机器全部关掉，看 Netflix 服务是否正常。有兴趣看视频的可以移步这里。 另外，Netflix 除了云服务，还有自建CDN，即 Open...阅读全文
Debian 项目团队宣布其稳定发行版 Debian 10 （代号 "buster"）的第八次更新。本次更新主要是对安全问题进行了修正，同时也对一些严重的问题进行了调整。安全公告已经单独发布，并在可用的地方进行了参考。 需要注意的是，这个点发行版（point release）并不构成 Debian 10 的新版本，只是更新了其中的一些软件包。没有必要扔掉旧的 "buster "介质。安装后，可以使用最新的Debian镜像将软件包升级到当前版本。 那些经常从 security.debian.org 安装更新的人不会需要更新很多软件包，大多数这样的更新都包含在点发布中。新的安装镜像很快就会在常规位置提供。 将现有的安装升级到这个版本可以通过将软件包管理系统指向Debian的许多HTTP镜像之一...阅读全文
用（默认），1表示启用。可以理解为oom机制的开关，默认为禁用——表示要让oom触发器正常执行。其他有兴趣的话，可以自行man proc6. 结语如有纰漏欢迎指正。作者：SRE团队技术小编-小凌原文链接 本文为阿里云原创内容，未经允许不得转载javascriptcss3阅读 176发布于 2 月 9 日赞2收藏2分享本作品系原创，采用《署名-非商业性使用-禁止演绎 4.0 国际》许可协议阿里云栖号汇集阿里技术精粹-yq.aliyun.com关注专栏...阅读全文
废话不多说，先来看看 Go 2.0 有哪些值得关注的内容： 最大程度保持对 1.x 的兼容，以避免分裂 Go 语言生态系统 采用增量升级的方式，而非单独发布重大更新版本 实施新的提案评估流程，以评估尚未解决且被标记为提案的 issue 将会在 Go 1.13 版本中选择 Go 2 部分的提案 背景 早在2017年的 GopherCon 大会上，Russ Cox（Go 核心开发团队的技术 leader）就已经正式开始思考 Go 的下一个大版本（相关文章）。当时官方非正式地将它称为 Go 2，但我们知道，所谓的 Go 2.0 并非一个单独的重大更新版本，而是通过“增量更新(incremental)”的方式以逐渐抵达 "Go 2.0"。所以本文对这个未来版本的称号 —— 也暂且用 Go 2 来描...阅读全文
据《欧盟一般个人数据保护条例》（GDPR）第4条第1款的规定，“个人数据”指与已经识别（identified）或可被识别（identifiable）的自然人（“数据主体”）相关的任何信息。 其中，“可被识别的自然人”，指通过姓名、识别号码、位置数据、在线身份识别码等标识符，或通过针对该自然人的身体、生理、遗传、心理、经济、文化或社会身份等特定相关的一个或多个要素，能够直接或间接地被识别出的个人[1]。 判断自然人是否可被识别，应考虑数据控制者或另外一人可能合理使用到的所有方式（all the means reasonably likely to be used）。判断何种方式为“可能合理使用到”，应考虑所有客观因素：例如当前现有的技术、技术的发展、识别所需的成本和时间等[2]。 由于实践中交...阅读全文
点：系统架构感知：系统架构图是程序员了解一个新系统的重要参考，当拿到一个系统，起码需要知晓流量入口在哪里，有哪些核心模块，依赖了哪些内部外部组件等。在异常定位过程中，有一张全局架构的图对异常定位进程有非常大推动作用。依赖分析：有一些问题是出现在下游依赖，如果这个依赖不是自己团队维护就会比较麻烦，当自己系统和下游系统没有足够的可观测性的时候就更麻烦了，这种情况下就很难跟依赖的维护者讲清楚问题。在我们的拓扑中，通过将黄金指标的上下游用调用关系连起来，形成了一张调用图。边作为依赖的可视化，能查看对应调用的黄金信号。有了黄金信号就能快速地分析下游依赖是否存在问题。分布式 Tracing 助力根因定位协议 Trace 同样是无入侵、语言无关的。如果请求内容中存在分布式链路 TraceID，能自动识别...阅读全文
婆/女朋友的电脑！！！ 7.您对自己的孩子在开源或者计算机领域有什么期许？或者他有没有因为你对Linux的热爱影响他去关注、喜欢Linux？ 答：对于孩子来说，顺其自然吧，不会刻意去引导他。 8.作为一名老师更是一名家长，您觉得“Linux要从孩子抓起”有必要吗，特别是在中国? 答：这些年喊的口号不少了，有用么？现在的教育制度问题，作为教育工作者更加无奈，其他教育方面的问题更多，计算机教育、Linux教育。。。不乐观！ 9.您觉得中国有必要在教育行业推广Linux吗? 答：答案是肯定的，只是限于体制、师资、观念等方面原因，很有可能沦为形象工程或某些人赢利的工具而已。但，该做的还要去做，不去做，永远不会有改观。 10.小编知道您有一个自己的网站（http://phpcj.org/），上面更新的...阅读全文
，Debian似乎很成熟老练，但是讨论仍有时变成一场混战。过去，Debian被被描述成是一种对女性不友好的环境；而近来，将init换成systemd方面的争论变得非常激烈，结果好几个资深开发人员选择走人，而不是忍受虐待。 与此同时，Debian奉行精英民主，所有官方维护人员投票表决Debian领导者及其他所有议题。虽然被任命的岗位有时是权力来源，但是Debian工作人员普遍推行的领导方式还是提建议和实行民主，而不是直接发号施令。 Ubuntu有别于Debian的地方在于，Ubuntu为社区活动制定了行为规范。时至今日，Ubuntu的社区管理员是Jono Bacon，他写过一本书，介绍《社区之道》，还投入了大量的精力来消除冲突。此外，每年都会选择技术委员会(Technical Board)和社区理事会...阅读全文
都是你的，随便用，管够。可事实上呢，操作系统只是给它们画了个大饼，这些内存说是都给了 P1 和 P2，实际上只给了它们一个序号而已。只有当 P1 和 P2 真正开始使用这些内存时，系统才开始使用辗转挪移，拼凑出各个块给进程用，P2 以为自己在用 A 内存，实际上已经被系统悄悄重定向到真正的 B 去了，甚至，当 P1 和 P2 共用了 C 内存，他们也不知道。 操作系统的这种欺骗进程的手段，就是虚拟内存。对 P1 和 P2 等进程来说，它们都以为自己占用了整个内存，而自己使用的物理内存的哪段地址，它们并不知道也无需关心。 分页和页表 虚拟内存是操作系统里的概念，对操作系统来说，虚拟内存就是一张张的对照表，P1 获取 A 内存里的数据时应该去物理内存的 A 地址找，而找 B 内存里的数据应该去物...阅读全文
下面的逻辑来覆盖默认设置： 主配置文件最先被读取， 优先级也最低。 所有 *.conf.d/ 中的配置文件 都会覆盖主配置文件中的设置。 所有 *.conf.d/ 中的配置文件(无论位于哪个目录中)， 统一按照文件名的字典顺序处理。 当多个配置文件都设置了同一个选项的时候： (1)如果该选项仅接受一个单一值，那么仅以文件名最靠后(字典顺序)的那一个为准； (2)如果该选项可接受一个值列表，那么将会按照文件名的字典顺序将所有值列表拼接起来。 为了便于排序， 建议给所有 *.conf.d/ 中的配置文件 都加上两位十进制数字的文件名前缀。 如果系统管理员想要屏蔽 /usr/lib/ 目录中的某个配置文件， 那么最佳做法是在 /etc/ 目录中 创建一个指向 /dev/null 的同名符号链接...阅读全文
13:51 user -> 'user:[4026531837]' lrwxrwxrwx 1 root root 0 Jan 20 12:11 uts -> 'uts:[4026532340]' 每个文件都是对应 namespace 的文件描述符，方括号里面的值是 namespace 的 inode，如果两个进程所在的 namespace 一样，那么它们列出来的 inode 是一样的。 我们对比一下另外一个宿主机上的进程 1 2 3 4 5 6 7 8 9 10 root@lxkaka-server:~# ls -l /proc/20/ns total 0 lrwxrwxrwx 1 root root 0 Jan 20 12:19 cgroup -> 'cgroup:[4026531835...阅读全文
提供关注点分离，并专注于特定功能，以减少意大利面条的依赖性和不可测的组件 对于Sidecar容器一般来说主要体现在以下4种角色： 代理。例如现在Istio中的Envoy。 通过这种Sidercar 模式，代理可以拦截进出主容器的流量从而Istio可以提取有关流量行为的大量信号作为属性。 Istio可以使用这些属性来执行策略决策，并将其发送到监视系统以提供有关整个网格行为的信息。 Sidecar代理模型还允许您将Istio功能添加到现有部署中，而无需重新构造或重写代码。 适配器。适配器容器对输出进行标准化。考虑监视N个不同应用程序的任务。可以使用不同的导出监视数据的方式来构建每个应用程序。 （例如JMX，StatsD，特定于应用程序的统计信息），但每个监控系统都希望其收集的监控数据具有一致且统...阅读全文
重置工具添加“ ”选项通过kafka-streams-application-reset添加新的命令行参数，应用程序重置工具的 Streams 使用变得更加灵活：–internal-topics. 新参数接受逗号分隔的主题名称列表，这些名称对应于可以使用此应用程序工具安排删除的内部主题。将此新参数与现有参数相结合，–dry-run允许用户在实际执行删除操作之前确认将删除哪些主题并在必要时指定它们的子集。MirrorMakerKIP-720：弃用 MirrorMaker v1在 3.0 中，不推荐使用 MirrorMaker 的第一个版本。展望未来，新功能的开发和重大改进将集中在 MirrorMaker 2 (MM2) 上。KIP-716：允许使用 MirrorMaker2 配置偏移同步主题的...阅读全文
is greater than 0 5. 4 byte key length, containing length K 6. K byte key 7. 4 byte payload length, containing length V 8. V byte payload 复制代码 2. Kafka深层介绍 2.1.1. 架构介绍 Producer：Producer即生产者，消息的产生者，是消息的⼊口。 kafka cluster：kafka集群，一台或多台服务器组成 Broker：Broker是指部署了Kafka实例的服务器节点。每个服务器上有一个或多个kafka的实 例，我们姑且认为每个broker对应一台服务器。每个kafka集群内的broker都有一个不重复的 编号，如图中的...阅读全文
> | MATCHING
荷。 Protobuf消息使用关联的IDL进行描述，它提供了一个紧凑的，强类型的，向后兼容的格式来定义消息和RPC服务。我们使用最新的proto3规范，并在此处显示protobuf消息的实际示例。 所有字段proto3都是可选的。如果未设置字段，将始终使用默认值。这与字段编号相结合提供了一个API，可以非常抵抗打破变化。通过遵循一些简单的规则，向前和向后兼容性可以成为大多数API更改的默认值。 protobuf格式还允许定义RPC服务本身。服务端点与消息结构共存，在单个protobuf文件中提供RPC服务的自包含定义。对于我们的跨洲际的工程团队来说，这非常有用，他们可以从一个文件中了解服务如何工作，生成客户端并开始使用它。以下是我们的服务之一： 该框架能够生成代码来使用protobuf文件与...阅读全文
依靠 Checkpoint 机制，进行二阶段提交，从而保证数据的 Exactly-once 一致性。 具体可以这样说：在 Checkpoint 过程中，每个算子只会进行准备提交的操作。比如数据会提交到外部的临时存储目录下，所有任务都完成这次 Checkpoint 后会收到一个信号，之后才会执行正式的 commit，把所有分布式的临时文件一次性以事务的方式提交到外部系统。 这种算法在当前有限流的情况下，作业结束后并不能保证有 Checkpoint，那么最后一部分数据如何提交？ 在 1.14 中，这个问题得到了解决。Task 处理完所有数据之后，必须等待 Checkpoint 完成后才可以正式的退出，这是流批一体方面针对有限流任务结束的一些改进。 三、checkpoint 机制 1. 现有...阅读全文
，OS里指进程识别号）namespace是划分那些一个进程可以查看并与之交互的PID的方式。当我们创建一个新的 PID namespace时，第一个进程的PID会被赋值为1。进程退出时，内核会杀死这个namespace内的其他进程。让我们来通过制作 skeleton.c副本开始我们的改变。 > cp skeleton.c pid.c 创建一个新的 PID namespace，我们需要设置clone_flags为 CLONE_NEWPID. 该变量应该看起来像int clone_flags = CLONE_NEWPID | SIGCHLD;，我们在shell中运行 ps aux，然后以相同的参数编译和运行我们的pid.c二进制文件。 > ps aux USER PID %CPU %MEM VSZ...阅读全文
本章将介绍如何在Apollo配置中心中删除已经发布的项目。 专栏目录： 携程 Apollo 配置中心 | 学习笔记 序章 欢迎关注个人公众号： Coder编程 欢迎关注个人网站：https://coder-programming.cn/ 一、前言 之前一直学习SpringCloud, 对于配置中心，一直也是采用的Spring Cloud Config,但是用久了，发现很多地方满足不了要求，同时也感觉很low(个人看法勿喷)。在学习Spring cloud config 的时候也有听到过携程的apollo，但一直没时间去弄。直到昨天看了一张图，如下：使我下定决心去看看携程的apollo配置中心。 这张图也算是综合对比了spring cloud config,netflix archaius...阅读全文
value值自增指定的整型数值，并返回自增后的值。只对可以转换为整型的String数据起作用。时间复杂度O(1) DECR/DECRBY：同INCR/INCRBY，自增改为自减。 INCR/DECR系列命令要求操作的value类型为String，并可以转换为64位带符号的整型数字，否则会返回错误。 也就是说，进行INCR/DECR系列命令的value，必须在[-2^63 ~ 2^63 – 1]范围内。 前文提到过，Redis采用单线程模型，天然是线程安全的，这使得INCR/DECR命令可以非常便利的实现高并发场景下的精确控制。 例1：库存控制 在高并发场景下实现库存余量的精准校验，确保不出现超卖的情况。 设置库存总量： SET inv:remain "100" 库存扣减+余量校验： DECR...阅读全文
于intent模型。数据pipeline和批处理job就是这样的例子。比如，可以构造一个代表批处理job的intent——asset可以表示“这个job必须在过去24小时运行至少一次”——当约束条件不再有效时，插件负责启动job。但是，这种设置有点尴尬，我们尚未探索通过Prodspec和Annealing对数据pipeline和批处理job的适当支持。 管理turndown时间（从生产环境中移除一些基础设施）也很棘手。我们的许多用户都要求“因缺失而关闭”，即让系统将从Prodspec中消失的asset视为必须删除相应基础设施的隐含信号。 这种方法在某些有限的情况下是可以的，但我们通常不会支持它，因为它给整个生产环境带来了太大的风险。配置系统里更为常见的故障模式是返回部分内容——比如，如果在分...阅读全文
Subversion 是一个软件版本和修订控制系统，其根据 Apache 许可开源。软件开发人员可使用 Subversion 来维护源代码、网页和文档等文件的当前和历史版本。 构建工具 构建阶段主要是为了保持打包的一致性，自动执行容易出错的活动，生成早期质量信号。目前业内比较常用的构建工具包括 Maven/Gradle、MSBuild、Rake、JFrog Artifactory、Sonatype Nexus 和 NuGet。 Maven/Gradle Maven 是主要用于 Java 项目的自动化构建工具。Maven 还可以构建和管理以 C#、Ruby、Scala 等语言编写的项目。 Gradle 是一个开源的自动化构建系统，其基于 Apache Ant 和 Apache Maven 的理念，并引入了基于...阅读全文
记录的更改）。在我们的例子中，控制器通过一个 Informer 注册一个创建事件的特定回调函数（更多信息参加下文）。 当 Deployment 第一次对外可见时，该 Controller 就会将该资源对象添加到内部工作队列，然后开始处理这个资源对象： 通过使用标签选择器查询 kube-apiserver 来检查该 Deployment 是否有与其关联的 ReplicaSet 或 Pod 记录。 有趣的是，这个同步过程是状态不可知的，它核对新记录与核对已经存在的记录采用的是相同的方式。 在意识到没有与其关联的 ReplicaSet 或 Pod 记录后，Deployment Controller 就会开始执行弹性伸缩流程： 创建 ReplicaSet 资源，为其分配一个标签选择器并将其版本号设置...阅读全文
