新选择4.8分支或者等待4.10版本。如果有了进一步的消息，我们将会在kernel.org网站上进行更新让所有人都知道。” Linux Kernel 4.9的主要特性包括：虚拟映射内核栈分配，英特尔的粗粒度保护机制pkeys系统调用，BBR拥堵控制算法，支持模块化智能手机的Greybus子系统，大量的文件系统改进，驱动更新如改进 AMD Radeon GPU支持，bug修正，等等。4.9包含了16,216个非合并变更集，是内核项目历史上最忙碌的开发周期，AMD贡献了最多的行变更，最活跃的开发者中就有开发AMD PowerPlay驱动的Rex Zhu。...阅读全文
#2342TiFlash添加上报 DeltaTree 引擎读写负载相关 metrics 信息支持 fromUnixTime 和 dateFormat 函数下推默认禁用粗粒度索引过滤器TiDB Ansible新增 TiFlash 监控 #1253 #1257优化 TiFlash 配置参数 #1262 #1265 #1271优化 TiDB 启动脚本 #1268 Bug 修复 TiDB修复 merge join 在某些场景下 panic 的问题 #15920修复在计算选择率时重复考虑某些表达式的问题 #16052修复极端情况下 load 统计信息可能出现的 panic 的问题 #15710修复 SQL query 中存在等价表达式在某些情况下无法识别导致报错的问题 #16015修复从一个数据库中查询另一个数据库的...阅读全文
SK海力士今天正式发布了最新款的企业级SSD PE8000系列，包括PE8010、PE8030、PE8111三款型号，这也是其首款PCIe 4.0 SSD，无论存储密度、容量还是性能都是世界一流的，甚至是超一流的。 PE8010、PE8030都配备了SK海力士自产的96层堆叠4D TLC NAND闪存颗粒，搭配自研主控，最大容量8TB，兼容U.2、U.3接口，其中PE8010面向读取密集型应用，PE8030则为读写混合应用而优化。 性能方面，持续读写速度最高均可达8.3GB/s、3.7GB/s，随机读写速度最高则可达1100K IOPS、320K IOPS。 相比于去年的上代产品，持续读取性能提升103％，随机写入性能提升357％，另外最大功耗为17W。 PE8111则是针对读取密集型负载...阅读全文
随着技术的发展，我们使用的存储器也各种各样，虽然都基于芯片颗粒，但表现截然不同，比如说读写次数限制，或者叫寿命，SSD固态硬盘就有限制，DRAM内存却没有。 按照分布位置的不同，DRAM内存属于内部存储器，紧挨着CPU处理器，用来临时存放后者需要的运算数据，并与外部存储器进行交换，起到桥梁的作用。 DRAM内存的特点是读写速度快、延迟低，但属于易失性存储，也就是一旦断电，数据就会全部丢失。 DRAM内存颗粒利用晶体管加电容来保存数据，而且只是临时存储数据，并没有实质性的写入，不涉及对物理单元结构、属性的改变，所以可以无限次读写。 当然，这并不意味着DRAM内存就可以永久使用，毕竟其中的晶体管、电容等物理结构也会慢慢老化，所有电子设备都是如此，只是这个过程非常非常缓慢，正常使用根本感觉不到...阅读全文
以及QLC闪存？ TLC = Trinary-Level Cell，即3bit/cell（每个Cell单元储存3个数据，有8个状态，具体如上图，有八种不同电压状态）。主要特点：成本低，容量大，但速度慢，寿命短，约500-1000次擦写寿命。但随着技术的成熟，寿命问题已经得到改善（约1500-2000次擦写寿命），并成为目前闪存颗粒中的最主流产品。 QLC=Quad-Level Cell，即4bit/cell（每个Cell单元储存4个数据，有16个状态，具体如上图，有十六种不同电压状态）。相比于TLC来说，成本比更低，容量更大，而可靠、稳定性及寿命则更差些（此前几年预计的理论可擦写100-150次），不过目前东芝宣称，他们的QLC NAND拥有多达1000次左右的P/E编程擦写循环，几乎已经和...阅读全文
pwru 是 Cilium 推出的基于 eBPF 开发的网络数据包排查工具，它提供了更细粒度的网络数据包排查方案。本文将介绍 pwru 的使用方法和经典场景，并介绍其实现原理。...阅读全文
、材料是必不可少的。对此，希捷也有长远的规划，首先是所谓的“颗粒介质”(Granular)，可以让存储密度达到4-6Tb每平方英寸，3.5寸硬盘能够藉此做到90TB左右。接下来是进化版的“有序颗粒介质”(Ordered-Granular)，存储密度进一步提升到5-7Tb每平方英寸，3.5寸硬盘可继续扩大到105TB左右。更遥远的是“比特晶格介质”(Bit Patterned)，存储密度将能够突破8TB每平方英寸，120TB乃至更大容量就靠它了。这个目标计划在2030年落地，而到那时候，单碟容量将达到10TB，而目前只有2TB多一点。但即便如此，120TB也需要多达12张碟片，而目前的极限是9张，显然在硬盘封装技术上，也需要有所突破。至于SSD彻底取代机械硬盘，希捷不敢苟同，而是认为二者都有各自...阅读全文
英特尔刚刚发布了迄今为止最为密集的 SSD 产品，它就是面向数据中心应用的 P4500 。为了将 32TB 的容量纳入单块 SSD，尽管其身材依然纤薄（宽高 1.5×0.3 英寸 / 3.8×0.8 厘米），但长度已经达到了丧心病狂的 12 英寸（30.5 厘米）。存储颗粒方面，其选用了 64 层堆叠的 3D NAND 架构。不过英特尔表示，它只需一半的气流，即可满足运行时的散热需求。 Intel P4500 是当前最密集的 SSD，将 32TB 容量纳入 12 英寸“标尺”外形。32 组 P4500 SSD 可纳入一个标准服务器插槽，总容量达到 1PB（1024TB）。 这些 3D NAND SSD 的功耗只有 1PB SATA 机械硬盘的 10%，空间占用更是只有 5% 。对于 IBM...阅读全文
随着互联网的高速发展，云存储技术已经相当成熟了，网盘成了人们工作和学习中不可缺少的部分。尽管如此，离线存储技术也无法被取代，毕竟在没有网络的情况下，离线存储才是最佳的解决方案。 而目前使用的最多的且最方便的离线存储设备就是U盘，凭借小巧便携的体型设计赢得了广大用户的喜爱，但随着数据的日益膨胀，小小的U盘无论是在读写速度还是在容量上已经无法满足我们日益增长的存储需求。 而今天，金士顿在CES大会上展示了一款离线存储设备——HyperX Savage EXO外置SSD。HyperX Savage EXO外置SSD外壳采用聚碳酸酯打造，存储颗粒为3D TLC NAND闪存，拥有480GB和960GB两种容量可供选择。 外置SSD的接口为USB3.1 Gen 2，带宽高达10Gbps，实际连续读写...阅读全文
SourceForge 上的每个项目进行恶意软件扫描 构建了一个 HTML5 速度测试站点 增加了多因素认证 创建了一个广告报告工具和团队，以消除不良、欺骗性广告 为开发者移除了广告（已登录的用户不会看到任何广告） 增加了对项目托管网站的 HTTPS 支持 SourceForge 表示现在正在为所有用户推出重新设计的 SourceForge。这个 UX 和新的 logo 只是第一步。他们将在今年发布进一步的改进和新的 SourceForge 功能。 新的 SourceForge 不仅在设计上显着改善，而且在针对为项目管理员提供的统计数据的细节和粒度上也有了明显的提高。SourceForge Directory 也更易于使用，现在所有的项目分类类型都可以作为目录页面左侧的过滤器。 SourceForge 还创建了...阅读全文
追踪和日志功能，以此为快速调试提供监控数据支持。精细的路由和控制 ：Kuma 提供细粒度的流量控制功能，支持四层路由的熔断和健康检查。 Kuma 由 Kong 开发并提供支持，通过简化服务间的通信，以实现使数据随时随地可用的愿景。Kuma 的开发基于 150 余个企业在生产环境中使用服务网格的积累的经验。在未来 Kong 也会继续向 Envoy 贡献代码。 阅读 入门指南 了解 Kuma 服务网格的使用方法。...阅读全文
地化工作也是做得非常到位，而凭借着架构简单，开箱即用的特点，CAT 也是我们得物使用的第一个应用监控系统。 二、 0x01 第一阶段 从0～1基于CAT的实时应用监控 在得物五彩石项目交付之前，系统仅有基础设施层面的监控，CAT 的引入，很好地弥补了应用监控盲区。它支持提供各个维度的性能监控报表，健康状况检测，异常统计，对故障问题排查起到了积极推动的作用，同时也提供简单的实时告警的能力。 CAT 拥有指标分钟级别的聚合统计的能力，从 UI 上不难看出，它拥有丰富的报表统计能力和问题排障能力。 但随着公司业务规模逐步扩大，微服务粒度也不可避免地变小，我们发现，CAT 已经逐步无法满足我们的使用场景了： 无法直观呈现全链路视图： 问题排障与日常性能分析的场景也越来越复杂，对于一个核心场景，其内部...阅读全文
减少耦合的操作，需要通过提供类型需要的依赖项作为该类型上的字段，而不是使用包变量。 简单性很重要 简单性不是老练的代名词。简单并不意味着粗糙，它意味着可读性和可维护性。如果可以选择，请遵循较简单的解决方案。 编写测试以确认包 API 的行为 软件包的 API 是与使用者的一份合约，不管先后，不管多少，一定要进行测试。测试是确定合约的保证。要确保测试使用者可以观察和依赖的行为。 如果你认为速度缓慢，先通过基准测试进行验证 以性能之名会犯下许多危害可维护性的罪行。优化会破坏抽象、暴露内部和紧密耦合。如果要付出这样的代价，请确保有充分理由这样做。 节制是一种美德 适度使用 goroutine、通道、锁、接口与嵌套。...阅读全文
Nginx， systemctl reload nginx 就是这么简单粗暴，基本上，只需要改动一个PHP的版本号，就设置好了。...阅读全文
时间来看，整个任务初始化，调度以及部署的阶段，大概能够减少分钟级的时间消耗。 2. 细粒度资源管理 细粒度资源管理在过去很多的版本都一直在做，在 Flink1.14 终于可以把这一部分 API 开放出来在 DataSteam 提供给用户使用了。用户可以在 DataStream 中自定义 SlotSharingGroup 的划分情况，如下图所示的方式去定义 Slot 的资源划分，实现了支持 DataStream API，自定义 SSG 划分方式以及资源配置 TaskManager 动态资源扣减。 对于每一个 Slot 可以通过比较细粒度的配置，我们在 Runtime 上会自动根据用户资源配置进行动态的资源切割。 这样做的好处是不会像之前那样有固定资源的 Slot，而是做资源的动态扣减，通过这样...阅读全文
Chaos Mesh 的基本功能，包括故障注入、混沌实验场景、可视化操作、安全保障。故障注入故障注入是混沌实验的核心。Chaos Mesh 充分考虑分布式系统可能出现的故障，提供全面、细粒度的故障类型，分为基础资源类型故障、平台类型故障和应用层故障三大类。基础资源类型故障：PodChaos：模拟 Pod 故障，例如 Pod 节点重启、Pod 持续不可用，以及特定 Pod 中的某些容器故障。NetworkChaos：模拟网络故障，例如网络延迟、网络丢包、包乱序、各类网络分区。DNSChaos：模拟 DNS 故障，例如 DNS 域名解析失败、返回错误 IP 地址。HTTPChaos：模拟 HTTP 通信故障，例如 HTTP 通信延迟。StressChaos：模拟 CPU 抢占或内存抢占场景...阅读全文
的最细粒度的身份验证和授权。虽然服务网格可以提供帮助，但 Kubernetes 安全性仍然是一个复杂而微妙的话题，需要从多个层次进行了解。零信任是一种位于现代安全实践前沿的强大的安全模型。这也是一个容易引起轰动和炒作的术语，因此很难消除噪音。那么，究竟什么是零信任，对于 Kubernetes，它究竟意味着什么？在本文中，我们将从工程的角度探讨什么是零信任，并构建一个基本框架来理解它对 Kubernetes 运维和安全团队等的影响。介绍如果你正在构建现代云软件，无论是采用 Kubernetes 还是其他软件，可能都听说过“零信任”一词。零信任的安全模式变得如此重要，以至于美国联邦政府已经注意到：白宫最近发布了一份联邦零信任战略的备忘录，要求所有美国联邦机构在年底前满足特定的零信任安全标准...阅读全文
2018年11月12日，北京时间16:00，Linux基金会在德国柏林“Ceph Day”上正式宣布成立“Ceph基金会”来支持Ceph开源项目。Ceph基金会接受Linux基金会的管理，它的成立将为Ceph社区的合作和成长提供一个中立的机构。高级会员和一般会员每年缴纳会员费，准会员是教育机构或政府组织，并被邀请免费加入。 理事会由所有高级成员，普通成员代表，准成员代表和Ceph领导团队（技术治理机构）代表组成。董事会负责： 建立并批准用于支持Ceph项目的年度预算 建立特设委员会以满足项目的当前需求 协调外展或营销 定期开会讨论基金会活动，Ceph项目的现状以及整体项目战略 在董事会面前对任何决定或事项进行投票 Ceph基金会董事会不对Ceph的技术治理负责，也没有任何直接控制权。开发和...阅读全文
：支持自定义任务失败重试次数，当任务失败时将会按照预设的失败重试次数主动进行重试；其中分片任务支持分片粒度的失败重试； 12、任务失败告警；默认提供邮件方式失败告警，同时预留扩展接口，可方面的扩展短信、钉钉等告警方式； 13、分片广播任务：执行器集群部署时，任务路由策略选择” 分片广播” 情况下，一次任务调度将会广播触发集群中所有执行器执行一次任务，可根据分片参数开发分片任务； 14、动态分片：分片广播任务以执行器为维度进行分片，支持动态扩容执行器集群从而动态增加分片数量，协同进行业务处理；在进行大数据量业务操作时可显著提升任务处理能力和速度。 15、事件触发：除了”Cron 方式” 和” 任务依赖方式” 触发任务执行之外，支持基于事件的触发任务方式。调度中心提供触发任务单次执行的 API 服...阅读全文
效率；二是新 IP 的灵活性使地址分割简化了边界路由器的设计，边界路由器不需要维护地址映射指令。 目前，New IP 网络架构技术已在建设中，将于 2021 年开始测试。 New IP 是否会带来垄断？ 正如一切新事物在诞生初期都往往会招致人们的质疑和误会一样，New IP 也正深处这样的困境当中。 对于华为提出的 New IP 提案，沙特阿拉伯、伊朗、俄罗斯等国家均表示了支持。不过，有部分学者对这一“新事物”怀有质疑，主要有两方面立场： 一是关于绝对控制权。哈佛大学的社会科学家 Shoshana Zuboff 认为，华为提出新 IP 是为了通过技术基础设施赋予他们政治上的绝对控制权； 二是关于安全和人权。网络安全公司牛津信息实验室认为，New IP 虽能对网络基础进行细粒度控制，但网络协议...阅读全文
了这个身份后才可以参与Ubuntu社区委员会的选举，也才有机会参与Planet Ubuntu计划（注：这是一个类似于集体博客的计划），此外，还可以获得一个@ubuntu.com邮件别名。 对于开发人员，情况更复杂：Wiki页面列出了不少于5种身份。最初，开发人员分为Ubuntu核心开发人员（UCD）和Ubuntu宇宙大师（MOTU），后者负责universe/multiverse部分的归档，而前者则有main/restricted部分的上传权限。不过，受到Debian维护人员角色的启发以及在归档方面面临的一些具体问题，Ubuntu修改了底层结构，以提供更细粒度的包上传控制。（注：Ubuntu主要分为四大组件：Main，Restricted，Universe，以及Multiverse。Main...阅读全文
CERN 无需过多介绍了吧。CERN 创建了 万维网(World Wide Web)（WWW）和 大型强子对撞机(Large Hadron Collider)（LHC），这是世界上最大的 粒子加速器(particle accelerator)，就是通过它发现了 希格斯玻色子(Higgs boson)。负责该组织 IT 操作系统和基础架构的 Tim Bell 表示，他的团队的目标是“为全球 13000 名物理学家提供计算设施，以分析这些碰撞，了解宇宙的构成以及是如何运转的。”CERN 正在进行硬核科学研究，尤其是大型强子对撞机，它在运行时 生成大量数据。“CERN 目前存储大约 200 PB 的数据，当加速器运行时，每月有超过 10 PB 的数据产生。这必然会给计算基础架构带来极大的挑战，包...阅读全文
://main.qcloudimg.com/raw/def229e1eeb39af2abb6c029294329dd.png) ### Reports Reports 主要保存一些观测数据，观测粒度和 Cost Allocation 里一致，支持按照某种方式聚合/观测数据之后，一键保存。如下图所示：  ## 操作步骤 ### 安装 helm 登录到某个 Node 节点，执行以下命令安装 helm： ```sh curl https:``//raw.githubusercontent.com/helm/helm/master/scripts/get-helm-3 | bash...阅读全文
，字体加粗，迅速添加链接等。文本挂件的功能更加强大，使用也更加简单了。 链接边界 你在编辑链接和更新链接的时候，是否有过不方便，很难正确编辑的时候呢？比如想要更新链接的文字，却发现文字在链接之外。 链接边界功能主要就是解决这个问题。当你的鼠标光标进入链接区之后，将自动进入链接编辑模式，再进行任何修改，都是在修改锚文本。当光标离开链接范围之后，自动退出链接编辑模式。 细微之处的改进，却非常实用哦。 附近的 WordPress 活动 WordPress 社区非常活跃，在全球 400 多个城市举办过线下活动。WordPress 现在将这些活动的信息显示在 WordPress 的管理后台，吸引用户关注和参与这些活动，提升你的 WordPress 使用技术，结交好友等！ 这是许多用户所喜爱的一个新功能...阅读全文
{namespace} 这个方法简单粗暴有效。因为 Kubernetes 是声明式 API，所以删掉了之后，Pod API 对象就与预期的不一致了，便会自动重新创建 Pod 保持与预期一致。但是如果ReplicaSet 管理的 Pod 对象很多的话，那么要一个个手动删除，会很麻烦，所以可以使用命令来删除 ReplicaSet， kubectl delete replicaset {rs_name} -n {namespace} 由于 Deployment 对象并不是直接操控的 Pod 对象，而是操控的 ReplicaSet 对象，而 ReplicaSet 对象就是由副本数目的定义和Pod 模板组成，所以我们也可以通过调整 ReplicaSet 的数量来实现重启，比如先 scale 到 0，然后再 scale...阅读全文
正如体育界不成文的规定一样，这些规则基本上不会出现在官方文档和正式记录上。比如说，在棒球运动中，从比分领先时不要盗垒，到跑垒员跑了第一时也不要放弃四坏球保送。对于圈外人来讲，这些东西很难懂，甚至觉得没什么意义。但是对于那些想成为 MVP 的队员来说，这些都是理所当然的。 软件开发，特别是开源软件开发中，也有一套不成文的规定。和其它的团队运动一样，这些规定很大程度上决定了开源社区如何看待一名开发者，特别是新加入社区的开发者。 按部就班，循序渐进 在参与社区之前，比如开放源代码或者其它什么的，你需要做一些基本工作。对于有眼界的开源贡献者，这意味这你需要理解社区的目标，并学习应该从哪里起步。人人都想贡献源代码，但是只有少量的人做过准备，并且乐意、同时也有能力完成这项艰苦卓绝的工作：测试补丁、复审...阅读全文
很多人误以为shell脚本只能在命令行下使用。其实shell也可以调用一些GUI组件，例如菜单，警告框，进度条等等。你可以控制最终的输出，光标位置还有各种输出效果。下面我将介绍一些工具，帮助你创建强大的，互动的，用户友好的 Unix/Linux shell脚本。我在FreeBSD和Linux下测试过这些工具，不过其他UNIX系列的操作系统应该都支持的。 1. notify-send 命令 这个命令可以让你通过通知进程发送一个桌面通知给用户。这可以用来向用户发送提示，或者显示一些信息而不用打断用户工作。你需要安装如下软件包： $ sudo apt-get install libnotify-bin 下面这个例子展示了如何从命令行向桌面发送一个简单的消息： notify-send...阅读全文
get everything on the same page）。因此，在可观测性平台产品设计上需要以指标、链路、日志为基本，向外集成阿里云自家的各类云服务，同时也支持开源产品数据接入，将关键上下文信息关联起来，方便不同背景的工程师理解，进而加速问题排查。信息没有有效地组织就会产生理解成本，信息粒度上以事件->指标->链路->日志由粗到细地组织到一个页面中，方便下钻，不需要多个系统来回跳转，从而提供一致体验。那么具体怎么关联呢？信息怎么组织呢？主要从两方面来看：1、端到端：展开说就是应用到应用，服务到服务，Kubernetes 的标准化和关注点分离，各自开发运维各自关注各自领域，那么端到端的监测很多时候成了”三不管“区域，出现问题的时候很难排查链路上哪个环节出了问题。因此从端到端的角度来看，两...阅读全文
早在 Ubuntu 诞生之前，作为完全由自有软件组成的类 UNIX 操作系统 Debian 凭借着惊人的软件数量、高度集成的软件包、良好的安全等特性成为 Linux 领域的佼佼者。不过如今看来，Debian 的流行度开始大大减弱。 日前，维护 Debian 包近 10 年的开发者 Michael Stapelberg 发文表示，要在维护的 Debian 包中删除自己的姓名，并让这些包自生自灭，彻底放手 Debian，而这究竟是何原因使得 Debian 惨遭嫌弃？ 作者 | Michael Stapelberg 译者 | 弯月 责编 | 屠敏 出品 | CSDN（ID：CSDNNews） 以下为译文： 这篇文章我写得十分艰难，一来是感情上的纠结，二来是我没有时间。因此，在阅读本文时请注意，我...阅读全文
展已经有一段时间了，但业内一直各自为政，由于没有统一的接口标准，"胶水"芯片生态难建，大公司止步不前，小公司也不敢迈出第一步。长期以来，摩尔定律的持续演进被视为芯片性能提升的主要途径。经历四十多年的发展，构成芯片的晶体管几乎要缩小到原子级别，不仅面临难以突破的物理极限问题，制程升级的投入产出比也大幅下降，业界开始寻找新的办法提升产品性能，例如，通过改变封装的方式提升晶体管密度。提出摩尔定律的戈登本人也意识到了封装的重要性，他在论文中写道："事实证明用较小的功能模块构建大型系统可能会更经济，这些功能模块将分别进行封装和互连。"简单来讲，也就是将原先生产好的芯片集成到一个封装中，达到减少产品开发时间和成本的目的，这些芯片模块可以是不同工艺节点，最终通过裸片对裸片的方式连接在一起，这一类似于用胶水...阅读全文
的技术问题。 如果你是因为需要帮助正在阅读本文，还想着直接从作者那取得帮助（答案），然后挥一挥衣袖转身离开，那么你就不幸成了我们所说的白痴之一。别向我们提问，我们不会理你的。我们只是在这教你「如何从那些真正懂得问题答案的人那里取得帮助」的方法。不过，在99.9％的时间里我们不会是那些百事通。除非你非常地确定本文的作者是你的问题专家，否则请不要打扰，这样大家都更开心一点。 引言 在黑客[3]的世界里，你所提技术问题的解答很大程度上取决于你提问的方式与此问题的难度，本文将教你如何提问才更有可能得到满意的答复。 开源程序的应用已经很广，你通常可以从其他更有经验的用户而不是黑客那里得到解答。这是好事，因为他们更能够容忍一般的新手错误。但我们还建议你使用我们推荐的方法，像对待黑客那样对待这些有经验的用...阅读全文
prometheus存在单点问题，具体痛点可以这么描述： prometheus单机存储和抓取能力都有上限，容易单点故障。 虽然有一种方式是通过部署N个prometheus分别抓取不同的target来分摊压力的，但是grafana就要为不同的图表配置不同的prometheus地址，复杂程度比较棘手。 thanos+prometheus可以解决这个问题，它提供了一个核心能力： 1，thanos querier组件可以反向代理到N个prometheus，然后grafana直接指向thanos querier即可，thanos querier会从N个prometheus同时查询数据，返回满足Promql的数据结果； 2，如果N个prometheus抓取的数据存在重复的，那么thanos...阅读全文
InfoQ 此前的粗略统计，仅 2019 年 2 月份，就发生了六起数据泄漏事件，而原因均是：Elasticsearch 服务器没有密码保护。即便是使用云端服务，企业也不可将数据安全的责任全部押到云厂商身上，云厂商只可以在有限的权限范围内提供安全防护，企业还是需要具备安全意识。 Elasticsearch 中文社区深圳分会杨振涛此前在接受 InfoQ 采访时表示：“不少开发人员及其团队在认知上更多地把 Elasticsearch 看成是与 MySQL 同等的存储系统，所以在部署以后并没有太多地关心其访问控制策略和数据安全。而且 Elastisearch 开箱即用的特点也让开发和运维人员放松了对安全的重视。” 对于避免 Elasticsearch 在使用时发生数据泄露，杨振涛给出了几个最基本的低成本措...阅读全文
动收集指标和跟踪信息可以快速回答常见问题，例如“我的服务对请求响应缓慢吗？”以及“请求失败的频率如何？”。 熔断 - 这种模式可以通过自动检测问题和快速失败来防止级联服务故障。也可以由长时间缓慢的请求来触发，以提供响应降级的服务而不是不断地超时。 缓存和批处理 - 通过使用缓存或批处理请求来加速请求。 大多数框架不会提供所有功能，但至少它们应该是可扩展的，以便在需要时添加。 什么是gRPC和协议缓冲区？ 没有一个框架是万能的。我们探索的一些选项包括Facebook的Thrift，Apache Hadoop的Avro，Twitter的Finagle，甚至使用JSON模式。 我们的需求更接近于远程程序调用（RPC），给予所需要的细粒度控制。使用RPC的另一个吸引力是使用接口描述语言或IDL...阅读全文
齐全的API都是设计良好的API，虽然这个感觉并不完全正确，但这两者确实是强相关的，所以在很多人眼里，文档的完善度也成为衡量一个产品专业度的指标。 - 避免被重复的问题打扰： 有些问题你只需要写在文档里，这样有人来问你的时候你就可以让他直接去看文档了，而不是又给他解释一遍。 ## 为什么大多数人都不喜欢写文档？## 关于文档的重要性，每个技术人或多或少都知道一些，但很多人还是没有写文档的习惯，为什么？ 除了上文中提到的文档的收益滞后性外，还有以下几点原因： - 很多工程师习惯将写代码和写作割裂开，不仅仅是在工作上，而且在思想上就认为它们是完全不相关的两项工作，这就导致好多人重代码不重文档。 - 也有很多工程师认为自己不善写作，索性就不写了。 这实际是个偷懒的借口，写文档不需要华丽的辞藻、生动...阅读全文
来分享一下他打造 Debian 的那段历程。 Murdock 第一次接触到 GNU/Linux 是在 1993 年，当时他还是个 20 岁的学生，在普渡大学学习会计学。「那个年代，PC 才刚刚发展到勉强能运行 Unix 操作系统。我当时用的就是 Unix，那时候我觉得 Linux 是能让我更方便地使用 Unix 的一种方式。」用 Murdock 的话来说，当时的软件「完成度还相对粗糙」，但完善、改良软件对他来说也是一种兴趣爱好。 「Linux 最棒的地方之一就是它是第一批你不仅能看到它在干嘛，你还能亲自尝试着对它本身做尝试、做改动的操作系统。」 Murdock 开始研究的时候，GNU/Linux 的发行版还很少。Murdok 当时选择的是 SLS，Softlanding Linux...阅读全文
目的是建立一个可扩展且高效的系统，以支持当前和将来的各种框架。这也是主要问题所在：Hadoop 和 MPI 之类的框架都是独立开发的，因此无法在各个框架之间进行细粒度的共享。 Mesos 的对策是添加一个资源共享薄层，为框架提供访问集群资源的公共接口。Mesos 正在将对调度的控制权委派给框架，因为许多框架已经实现了复杂的调度机制。 根据要在集群上运行的作业类型可以将框架分为四类，其中一些具有 Marathon 之类的原生 Docker 支持。Mesos 0.20.0 中添加了对 Docker 容器的支持。 我们将重点介绍 Mesos 与 Marathon 的搭配用法，因为后者是 Mesosphere 积极维护的框架，在调度方面提供了许多功能，如约束、运行状况检查、服务发现和负载平衡等。 使...阅读全文
Linux 的 I/O 调度器是一个以块式 I/O 访问存储卷的进程，有时也叫磁盘调度器。Linux I/O 调度器的工作机制是控制块设备的请求队列：确定队列中哪些 I/O 的优先级更高以及何时下发 I/O 到块设备，以此来减少磁盘寻道时间，从而提高系统的吞吐量。 目前 Linux 上有如下几种 I/O 调度算法： noop - 通常用于内存存储的设备。 cfq - 完全公平调度器。进程平均使用IO带宽。 Deadline - 针对延迟的调度器，每一个 I/O，都有一个最晚执行时间。 Anticipatory - 启发式调度，类似 Deadline 算法，但是引入预测机制提高性能。 查看设备当前的 I/O 调度器： # cat /sys/block//queue/scheduler 假设磁...阅读全文
、API 应用相同的上下文中运行程序或脚本。可以上传并运行可执行文件，例如 cmd、bat、exe、psl 等等。WebJobs 提供 SDK 用于简化针对 Web 作业可以执行的常见任务，例如图像处理、队列处理、RSS 聚合、文件维护，以及发送电子邮件等等。 Serverless 架构原则 按需使用计算服务执行代码 Serverless 架构是 SOA 概念的自然延伸。在 Serverless 架构中，所有自定义代码作为孤立的、独立的、细粒度的函数来编写和执行，这些函数在 AWS Lambda 之类的无状态计算服务中运行。开发人员可以编写函数，执行常见的任务。在比较复杂的情况下，开发人员可以构建更复杂的管道，编排多个函数调用。 编写单一用途的无状态函数单单负责处理某一项任务的函数很容易测试，并稳...阅读全文
schema。我们还需要检查check插件来避免周末的推送。 Annealing插件和Kubernetes控制器在有些方面很类似，它们都抽象了操作生产环境特殊方面的逻辑。但是，实现上这两有所不同： Kubernetes控制器监控资源的变化。Annealing插件除非被显式调用否则什么也不做。Annealing插件更细粒度。一个Kubernetes控制器可能会检查某个操作是否需要（asset插件diff），验证现在是否可以推送这个变更（check插件），以及执行变更（asset插件push）。 Enforcer独立处理每个asset。最初，我们在决策之前都会尝试评估所有asset，但是遇到了可扩展性的问题。 如图9所示，Enforcer按照如下步骤为每个asset运行着一个永久的循环： Pinning...阅读全文
trzsz ( trz / tsz ) 是一个兼容 tmux 的文件传输工具，和 lrzsz ( rz / sz ) 类似，并且有进度条和支持目录传输。trzsz-iterm2 是 trzsz 在 iTerm2 上使用的客户端。GitHub: https://github.com/trzsz/trzsz安装指南用 Python3 安装sudo python3 -m pip install --upgrade trzsz-iterm2 用 Homebrew 安装brew update brew install trzsz 配置指南找出 trzsz-iterm2 安装的绝对路径 ( 可以是软链，但不支持相对路径 )。which trzsz-iterm2 下文中的 /usr/local/bin...阅读全文
近日全球著名开源社区 Apache 基金会，宣布“百度开源的 ECharts 项目全票通过进入 Apache 孵化器”。这是百度第一个进入国际顶级开源社区的项目，也标志着百度开源正式进入开源发展的快车道。 ECharts 成为 Apache 孵化器项目之前，已经是国内可视化生态领域的领军者，近年内连续被开源中国评选为“年度最受欢迎的中国开源软件”，并广泛被各行业企业以及事业单位、科研院所应用。涉及行业包含金融、教育、医疗、物流、气候监测等众多领域，其中甚至包括阿里巴巴、腾讯、华为、联想、小米、国家电网、中国石化等。 ECharts 负责人祖明介绍到：“ ECharts 作为拥有丰富的可视化图表类型和深度交互能力的开源可视化库，配置便捷容易上手，同时上千的配置项和不同层面的扩展机制带来了灵活...阅读全文
Let’s Encrypt是一家得到Mozilla Firefox和Google Chrome支持的自动化证书颁发机构。今天该机构宣布了一项新措施，从而进一步保护用户免受网络攻击的侵害。这项新功能称之为多角度域验证（multi-perspective domain validation），可帮助证书颁发机构（CA）证明申请人对他们想要获得证书的域具有掌控权。 单角度域验证方式 多角度域验证方式 域验证并不是什么新问题，但在验证过程中还存在很多的漏洞，这意味着网络攻击者可以诱使CA机构错误的颁发证书。通过多角度域认证，网络攻击者需要同时破坏三个不同的网络路径，这不仅大大提高了安全系数，而且在互联网拓扑社区中也能更快发现网络攻击行为。 在新闻稿中，Let’s Encrypt特别感谢了普林斯顿大...阅读全文
在已经被广泛部署，并且被所有的主流浏览器和 web 服务器支持。 从网络的角度来看，HTTP/2 带来了一些显著变化。首先，这是一个二进制协议，因此，任何假定它是 HTTP/1.1 的设备都会出现问题。 这种破坏性问题是导致 HTTP/2 中另一个重大变化的主要原因之一：它实际上需要加密。这种改变的好处是避免了来自伪装的 HTTP/1.1 的中间人攻击，或者一些更细微的事情，比如 strip headers 或者阻止新的协议扩展 —— 这两种情况都在工程师对协议的开发中出现过，导致了很明显的支持问题。 当它被加密时，HTTP/2 请求也要求使用 TLS/1.2，并且将一些已经被证明是不安全的算法套件列入黑名单—— 其效果只允许使用短暂密钥ephemeral keys。关于潜在的影响可以去看...阅读全文
虽然GIMP 3.0的开发工作拖拖拉拉，但GIMP 2.10.x稳定系列继续迎来新的功能。今天新出炉GIMP 2.10.22支持基于AV1的AVIF图像格式的导入和导出。AVIF是一种非常有前途的图像格式，基于免版税的AV1技术，已经被Firefox和Google Chrome等网络浏览器支持，同时继续在其他照片/图像软件中得到采用。 相比较 WebP 和 JPEG 等格式，AVIF 的压缩能力明显更好。AVIF 支持全分辨率下的 10 位和 12 位色彩，以及高动态范围（HDR）。AV1 还使用了一种新的压缩技术：从色度到亮度。大多数图像格式将亮度与色相分开存储。AVIF 使用亮度通道来猜测颜色通道的样子，它们通常是相关的，所以AVIF可以提供更小的文件大小和更清晰的边缘。 不仅如此...阅读全文
Go 语言官方博客公布了 2016 年 Go 语言使用调查。在 3,595 名被调查者中，89% 称他们在工作中或工作之外用 Go 编程；63% 称他们的工作是 Web 开发，但只有 9% 的人只从事 Web 开发，一半以上被调查者的工作涉及三个以上领域；63% 的人用 Go 开发命令行程序，60% 写 API 或 RPC 服务，52% 写 Web 服务。 被调查者对 Go 的满意度非常高（这显然与被调查者这一群体高度相关），他们主要在 Linux 上进行开发，其次是 MacOS，第三是 Windows；最爱的编辑器是 Vim，其次是 VSCode、Atom、IntelliJ、Sublime Text 和 Emacs；大部分人主要通过 Stack Overflow 寻找 Go 相关问题的答...阅读全文
Scrapy 是一个为了爬取网站数据，提取结构性数据而编写的应用框架。 可以应用在包括数据挖掘、信息处理或存储历史数据等一系列的程序中。本文着重介绍 Scrapy 架构及其组件之间的交互。 Scrapy 组件介绍 Scrapy Engine 引擎负责控制数据流在系统中所有组件中流动，并在相应动作发生时触发事件。 详细内容查看下面的数据流(Data Flow)部分。 调度器(Scheduler) 调度器从引擎接受request并将他们入队，以便之后引擎请求他们时提供给引擎。 下载器(Downloader) 下载器负责获取页面数据并提供给引擎，而后提供给spider。 Spiders Spider 是 Scrapy用户编写用于分析response并提取item(即获取到的item)或额外跟进的...阅读全文
得益于传输距离更广（300 米）、功耗更低、速度更快（2Mbps）、可同时连接两个音频设备等特性，蓝牙 5.0（2016 年 6 月正式发布）正快速普及中。 本周，蓝牙 SIG 组织宣布， 蓝牙 5.1 已交付开发者，新变化中最值得一说的便是位置查找（ “direction finding” ）特性。蓝牙组织希望借助 5.1 标准，取代 Wi-Fi 的辅助定位角色，为需要 GPS 等位置服务的场景助力， 包括确定距离甚至精确位置 。 蓝牙 SIG 称，5.1 的定位精度可达厘米级（目前 1 到 10 米），在室内导航、快速找寻手环/遥控板等情景，将发挥重要作用。 其它特性还有优化的 GATT（通用属性配置文件），提高配对和通信速度；有助于避免数据包冲突的随机信道索引确保蓝牙广告抵达率等。...阅读全文
Debian 开发者最近一直在讨论一个不太正统的想法 —— 在他们的年度 DebConf 开发者大会上，嘉宾在发表演讲后不允许向其提问，或要求他们回答。据说，这种禁止问答的想法来自 Python 开发者大会的政策，他们的会议也禁止在演讲后向嘉宾提问/回答，目的是帮助新人。 Debian 开发者大都拒绝了在 DebConf 大会上发表演讲后不允许进行 Q&A 的想法，因为开发者/贡献者的年度聚会是关于协作和为这个领先的 Linux 发行版培养新的想法。禁止 Q&A 这个想法是由 Debian 项目负责人 Chris Lamb 提出的，他在看到 PyCascades Python 大会上演讲完明确禁止进行问答环节后，发起了对这个想法的讨论。 这个在太平洋西北地区举办的年度 Python 大会决...阅读全文
2021 年 1 季度，HDD / SSD 年化故障率对比。在笔记本电脑市场，厂商也愈加倾向于将内置 SSD 作为其轻薄本产品线的唯一选项。此外 BackBlaze 祖辛发表的一项研究，更是揭示了一个有趣的事实 —— SSD 的可靠性，竟然是 HDD 的 21 倍！以定期发表企业存储可靠性报告而被大家所熟知的 BackBlaze，让我们直观地了解到了各款驱动器的平均或年化故障率（AFR）。HDD / SSD 终身年化故障率对比2021 年 1 季度期间，BackBlaze 发现，各品牌机械硬盘的 AFR 为 10.56%，而同期各品牌固态硬盘的 AFR 低至惊人的 0.58% 。换言之，大约每 10 块 HDD 中，就有 1 个发生了故障。而在大约每 200 块 SSD 中，也只有 1 个...阅读全文
