在这个互联网时代，游戏、电影、照片等数据越来越大，硬盘容量将会面临着前所未有的挑战。虽然传统的机械硬盘可以解决容量问题，但是速度太慢，体验糟糕，并不是最优的个人存储解决方案。我们渴求大容量的SSD，不过超过TB大容量SSD动不动就几千元的售价，对于支付能力有限用户实际上没有意义。SSD的成本主要来源于闪存，在TLC闪存能够实现TB容量可惜价格未能降下来。只有不断开发新类型的闪存，解决容量与价格的矛盾，才能让SSD真正在大数据时代发挥应有作用。 这时，QLC 闪存就应运而生， 目前，东芝和西数先后宣布成功开发基于四比特单元3D NAND闪存芯片，即QLC闪存，这也意味着QLC SSD将要来临。那么，它与TLC闪存又有什么区别，能否取代TLC成为SSD主流闪存之选？ 先来了解一下什么是TLC...阅读全文
在 Elasticsearch 5.0.0 发布之后，Elasticsearch 在 333 个 commite、2236 个合并请求下，发布了基于 Lucene 7.0.1 的 Elasticsearch 6.0.0 正式版。 Elasticsearch 6.0.0 下载地址 Elasticsearch 6.0 重大改变 Elasticsearch 6.0.0 发行说明 Elasticsearch X-Pack 6.0 重大改变 Elasticsearch X-Pack 6.0.0 发行说明 Elasticsearch 6.0.0 部分亮点如下： 无宕机升级： 使之能够从 5 的最后一个版本滚动升级到 6 的最后一个版本，不需要集群的完整重启。无宕机在线升级，无缝滚动升级。 跨多个...阅读全文
作为社区 RoadMap 的重要组成部分，是大数据实时化必然的趋势。但是另一方面，传统离线的计算需求其实并不会被实时任务完全取代，而是会长期存在。 在实时和离线的需求同时存在的状态下，以往的流批独立技术方案存在着一些痛点，比如： 需要维护两套系统，相应的就需要两组开发人员，人力的投入成本很高； 另外，两套数据链路处理相似内容带来维护的风险性和冗余； 最重要的一点是，如果流批使用的不是同一套数据处理系统，引擎本身差异可能会存在数据口径不一致的问题，从而导致业务数据存在一定的误差。这种误差对于大数据分析会有比较大的影响。 在这样的背景下，Flink 社区认定了实时离线一体化的技术路线是比较重要的技术趋势和方向。 Flink 在过去的几个版本中，在流批一体方面做了很多的工作。可以认为 Flink...阅读全文
11 月 1 日，开源数据库 MariaDB 在官网正式宣布已完成由阿里巴巴领投的 C 轮 2700 万美元的融资。融资完成后，MariaDB 将具备更强的实力参与数据库竞争。阿里巴巴集团旗下云计算部门阿里云已在今年 3 月成为 MariaDB 白金赞助商，双方后续将继续合作，为云端和新兴用例提供新的解决方案。 MariaDB 公司创始人 Michael Wideneus 表示：“ MariaDB 获得本轮融资，得益于基于我们为下一代应用而推出的一整套完备的数据基础应用功能建设。同时，在发布基于人工智能的，面向云和自动化的新一代解决方案之后，这轮融资将使得 MariaDB 未来得以高速发展。” 阿里云副总裁李津也表示：“ MariaDB 正在成为企业级开源数据库的标准。我们相信，在开源社区...阅读全文
当 Torvalds 将某些代码标记为“dontuse”，通常表明这个问题比较大。在 5.12 首个候选版本更新中，破坏了交换文件（swapfile）的处理。具体来说，更新后的代码会失去指向 swapfile 开头的正确偏移。用 Torvalds 自己的话来说，“交换还是会发生，但它发生在文件系统的错误部分，最终结果显然是灾难性的”。这样 Linux 内核如果想要将内存中的内容分页到磁盘上的时候，数据就会落在相同磁盘和 swapfile 活跃的分区的随机部分上，而且这不是作为文件，而是作为垃圾直接写入到磁盘的原始扇区。这意味着不仅要覆盖现有文件中的数据，还要覆盖相当大块的元数据，这些元数据的损坏很可能会导致整个文件系统无法挂载和使用。Torvalds 继续指出，如果你根本不使用 swap...阅读全文
，则理解起来就容易多了。比如我们可以这样认为： 如果将上图中的方块看做是buffer的话，那么理解起来则就更加容易了，比如针对水平触发，buffer只要是一直有数据，则一直通知；而边缘触发，则buffer容量发生变化的时候，才会通知。虽然可以这样简单的理解，但是实际上，其细节处理部分，比图示中展现的更加精细，这里来详细的说一下。 边缘触发 针对读操作，也就是当前fd处于EPOLLIN模式下，即可读。此时意味着有新的数据到来，接收缓冲区可读，以下buffer都指接收缓冲区： buffer由空变为非空，意即有数据进来的时候，此过程会触发通知。 buffer原本有些数据，这时候又有新数据进来的时候，数据变多，此过程会触发通知。 buffer中有数据，此时用户对操作的fd注册EPOLL_CTL_MOD...阅读全文
获取数据时的延迟。此功能在大规模的应用程序上十分重要，因为数据离应用程序越近，程序就能更快获取到数据。 antirez 受 Ben Malec 演讲的启发，他想到可以将大部分需要频繁存和取的数据直接放在服务器的内存中，以便让 Redis 为客户端完成部分工作，并使客户端缓存更简单、更有效。这个就是 Client side caching（客户端缓存）的概念。 不过这个思路有一个需要解决的问题是，如何控制数据的有效时间？在程序允许的情况下，虽然可以直接设置数据的有效时间，让数据在一段时间后失效。但 antirez 表示，大多数的应用程序无法接受提供过时的数据的风险，因此必须找到更理想的方案来控制数据的失效时间。 所以 antirez 决定开发新的协议 RESP3，在协议中加入新特性来支持客户端...阅读全文
要参与者 使用易于读取且标准的文件格式发送问题 本章阅读提示[14]。 如果你将问题搞得复制难以阅读，它多半会被忽略，人们更愿读易懂的问题，所以： 使用纯文本而不是HTML格式； 发送邮件时如有附件，记得添加附件，同时记得检查附件内容是否能正常打开； 不要发送整段的文字，尝试将文字按主题分段； 发送数据时应该发送原始数据，让回复者看到的东西与你看到的一样； 很多邮件程序并不支持「Quoted-Printable」MIME编码，所以谨慎使用； 不要指望黑客们阅读封闭格式的文档，诸如微软公司的Word或Excel文件等。大多数黑客讨厌这种文件格式。即使他们能够处理，也很厌恶这么做； 如果你用Windows操作系统发送电子邮件，关闭微软的「引用」功能，以免在你的邮件中出现乱码； 切勿在在论坛勿滥用...阅读全文
当时预计该项目将在2020年就会投入使用，但除了要处理跨越各大洲之间的长电缆的复杂问题外，项目负责人当时可能没有为COVID-19全球大流行做好准备。这条近4000英里的电缆总容量为每秒250Tb--或者说足以传输 "整个数字化的美国国会图书馆每秒三次"。与一些老旧的电缆不同，Dunant使用了12对光纤，再加上围绕最大化其带宽的一些技术创新，才实现了这些数字。"谷歌致力于满足对云服务和在线内容的爆炸性需求，这种需求有增无减，"谷歌云基础设施高级总监Mark Sokol说。"凭借创纪录的容量和传输速度，Dunant将帮助用户在任何地方访问内容，并补充互联网上最繁忙的路线之一，以支持谷歌云的发展。Dunant是一项了不起的成就，如果没有SubCom和谷歌员工、合作伙伴和供应商的奉献，他们在今...阅读全文
，CPU持续上升到99% 5分钟内，大量应用报警，并且拒绝服务，RDS的监控显示出现大量慢SQL，联系服务器数据库提供商进行协助 8分钟内，进行数据库主备切换（业务会受损，但是也没办法，没有定位到问题） 9分钟内，部分业务恢复，但是一些业务订单的回调消息堆积超过20w，备库的CPU使用率也持续上升 15分钟内，备库CPU使用率超过97%，业务再次中断，进行切回主库，并进行限流 20分钟内，关闭一些次要应用的流量入口 25分钟内，主库CPU使用率恢复正常 30分钟内，逐步开启关闭的限流应用 35分钟内，所有应用恢复正常 接下来就是与服务器数据库提供商成立应急小组紧急优化可能出现的慢SQL，虽然说可能解决了一些慢SQL，但此次并没有定位到具体的问题，也就为几天后再次发生宕机事件埋下了伏笔 事故影响 某...阅读全文
4月1日，腾讯公司发布了一段短片，跟大家开了个愚人节玩笑。腾讯宣布，筹备近两年的“AI生态鹅厂”已在贵州贵安新区完成项目主体建设，预计于年内投产运行。由于企鹅所需饲养条件较高，目前腾讯将先以贵州平坝灰鹅作为试点，未来或考虑引入天鹅和企鹅。据说还有鹅脸识别、鹅语翻译、觅影治鹅、鹅屎咖啡等技术。 今天腾讯宣布，养鹅是不存在的，但贵州贵安新区的那个山洞却是真正存在的。它叫腾讯贵安七星数据中心，是一个特高等级数据中心。 2017年10月，腾讯贵安七星数据中心工程正式进入项目建设施工阶段，项目主体为五横一竖共六个隧道。工程建成后,整个数据中心的工作、电力等设备将全部置于其中。 腾讯表示，它具有高度安全，高隐蔽、高防护的特点，将用来放置腾讯业务最核心的数据，代表着腾讯在数据产业的前瞻战略。 数据中心是...阅读全文
、 OpenSSH 和 Mutt 的部分语言的手册页，例如法语、西班牙语和马其顿语，得到了明显改进。欲获得此项改进，请安装 manpages-*xx*（其中 xx 是您所需的自然语言的代码）。在 bullseye 的生命周期中，进一步的翻译改进将会通过 backports 仓库提供。更多详情可查看：https://www.debian.org/News/2021/20210814 图像 小部件...阅读全文
得在最小打包的上下文下运行应用程序配置变得更加容易，而不会影响主机操作系统上的任何其他应用程序。 但是，仍然需要分发与其运行时和必要的库捆绑在一起的应用程序。 安全边界由 Linux 内核提供。现在有了 WebAssembly。 它的技术特性和可移植性使得分发应用程序成为可能，无需 ship 操作系统级别的依赖项，并且可以在严格的安全约束下运行。鉴于所有这些，开发者通常将 WebAssembly 视为容器的 “继承者”，以及基础设施部署的自然而然的下一步。然而，另一种看待 WebAssembly 的方式是将其作为 Docker 工具的另一个 “后端” 选择。 可以使用相同的命令行工具和工作流，替代 Linux 容器，使用基于 WebAssembly 的容器等同等的东西来实现。 本文的其余部分...阅读全文
以同时管理多个 Kubernetes 集群，更方便地管理多个集群。 丰富的权限管理 ：将资源抽象化为部门、项目级别，角色的权限可以更细化的控制，适用于多部门、多项目的统一集中管理。 多种登录模式 ：支持企业级 LDAP 登录、支持 OAuth2 登录，支持数据库登录多种模式。 完备的审计 ：所有操作都会有完整的审计功能，方便追踪操作历史。 开放平台 ：支持 APIKey 开放平台，用户可自主申请相关 APIKey 并管理自己的项目。 多层次监控 ：提供多级别的监控统计信息，实时关注集群的运行状态。 架构图 整体采用前后端分离的方案： 前端采用 Angular 框架进行数据交互和展示，使用 Ace 编辑器进行 Kubernetes 资源模版编辑。 后端采用 Beego 框架做数据接口处理，使用...阅读全文
AMD表示，公司最新发布的“米兰”服务器芯片比目前最好的数据中心芯片处理速度更快。据悉，AMD完成该芯片的设计，并委托台积电采用7nm芯片制造工艺来实现量产。很快，Intel也要反击，其将在未来几周推出最新的“冰湖”（Ice Lake）服务器芯片，这将是首款采用Intel 10nm制造工艺量产的服务器芯片（据说性能相当于7nm制造工艺的“米兰”芯片）。无论这两款芯片的速度如何，但AMD仍有望拥有一些优势，比如每个芯片上的计算内核数更多，这使得芯片可以同时处理更多的软件应用程序。AMD服务器业务部门高级副总裁兼总经理丹·麦克纳马拉（Dan McNamara）表示，如果公司继续将客户反馈整合到新一代芯片中，就能保住领先地位。第三代EPYC 7003系列采用和锐龙5000系列同款的Zen3架构...阅读全文
知道他们可以通过勒索软件赚钱，并且在索要赎金方面变得越发大胆。常见的勒索软件攻击包括勒索软件运营商对数据进行加密，并强迫受害者支付赎金以解锁数据。在双重勒索中，勒索软件运营商会加密并窃取数据，进一步胁迫受害者支付赎金。如果不支付，勒索软件运营商就会将数据公布到泄漏网站或暗网，大部分数据泄漏网站都托管在暗网，而这些托管站点由勒索软件运营商创建和管理。在新冠疫情下，医疗行业成今年勒索软件最大目标。不法之徒得知医疗机构需要继续营运以治疗新冠患者，无法承担系统被锁定的后果，继而通过勒索软件进行攻击。勒索软件Ryuk在众多勒索软件中尤其猖獗。利用这种手段最多的勒索软件是NetWalker。从2020年1月到2021年1月，NetWalker泄漏了全球113家受害企业的数据（见下图），远远超过了其他勒索...阅读全文
Querier–查询器处理PromQL的求值。如果是最近的数据，则从大块存储和或内部获取样本其他组件：Ruler–处理alertmanager产生的警报Alertmanager –评估警报规则ConfigsAPI –在Postgres中存储Ruler和Alertmanager的配置Table Manager–负责在选定的块chunk/索引index存储后端中创建表Consul –存储分发服务器distributor生成的一致的哈希环(hash ring)。分发服务器在发送指标时使用散列值来选择ingester。与其他选项的异同ThanosThanos和Cortex具有非常相似的目标：聚合指标，将其存储在块存储中，并为所有度量使用一块single pane。因此，两个项目重用大量Prometheus代码也...阅读全文
（"hot spot"热点竞争问题）工作负载。 2. NoSQL：MySQL 从 5.7 版本开始提供 NoSQL 存储功能，目前在 8.0 版本中这部分功能也得到了更大的改进。该项功能消除了对独立的 NoSQL 文档数据库的需求，而 MySQL 文档存储也为 schema-less 模式的 JSON 文档提供了多文档事务支持和完整的 ACID 合规性。 3. 窗口函数(Window Functions)：从 MySQL 8.0 开始，新增了一个叫窗口函数的概念，它可以用来实现若干新的查询方式。窗口函数与 SUM()、COUNT() 这种集合函数类似，但它不会将多行查询结果合并为一行，而是将结果放回多行当中。即窗口函数不需要 GROUP BY。 4. 隐藏索引：在 MySQL 8.0 中，索引可以被...阅读全文
了一个小时。但是我的水平有限，结果可想而知。我肯定也知道没过，然后我就请教面试官，需要提升的地方，学**哪方面的内容。 于是我去学习，一个月过去了。 第二次面试，也是阿里 B2B 的岗位，我不知道那个时候有没有招聘的公海，按照我的理解是没有的，然后我肯定不会有这么多次机会。这次的面试和上次很像，只不过内容换成了多线程并发相关的知识。我又不知道，面试官还是很容忍我，最后没通过，我同样为了需要什么提高。 于是我去学习，一个月又过去了。 第三次面试，是淘宝，应该是广告部门。这次面试，我觉得除了不知道的内容，其他的内容都还回答的蛮正确的。但是面试官，拿着面试题就和我聊了，然后讲到一个数据库方面的知识时（内连接，外连接），我说不知道。面试官说：这么基础的问题你都不会，这是不能容忍的，其实当时很伤心。有...阅读全文
Zen 3将覆盖四大平台，最高端的HEDT也就是ThreadRipper（线程撕裂者），AM4接口的CPU代号“Vermeer（弗美尔）”、APU代号“Renoir（雷诺阿）”。同时还有一个更入门、主打性价的移动APU平台，代号“Dali(达利)”，它是首次出现，依然采用了西方艺术家的命名。 定位方面，HEDT号称要夺回x86市场皇冠上的明珠，取得领导权。 不过，随后一张跟进的ThreadRipper路线图并没有确认2020年的Zen 3会延续这样的家族命名（接口依旧是TR4），仅仅覆盖到2019年。 其中2018年的TR升级为12nm工艺、主频和加速性能更好，2019年代号“Catle Peak”，号称会比Core i9还收市场欢迎（稳上4GHz+、堆32核？）。...阅读全文
10 月 31 日消息，Intel 宣布，已经为广泛部署傲腾数据中心用、非易失性内存条（Optane DC persistent memory）做好了准备。 目前，Beta 项目已经启动，参与的 OEM（原始设备制造商，如华为、联想等）和 CSP 伙伴（云服务伙伴，如谷歌、阿里巴巴、亚马逊、微软等）可以更早地向客户接入由傲腾非易失性内存条驱动的系统， 从而为 2019 年上半年批量上线奠定基础。 傲腾非易失性内存基于 3D Xpoint 技术，和目前的傲腾 SSD 共享存储芯片，从而弥补了传统 DDR4 内存不具备的数据永固和大容量特性， 单条最大 512GB，可配合 Xeon Scalable 处理器使用。 特别的，Intel 此次为傲腾 DC 非易市内存提供应用模式和内存模式，前者可理...阅读全文
Apache 软件基金会发布了包含许多新特性和改进的 Kafka 3.3.1。这是第一个标志着可以在生产环境中使用KRaft（Kafka Raft）共识协议的版本。在几年的开发过程中，它先是在 Kafka 2.8 早期访问版本中发布，然后又在 Kafka 3.0 预览版本中发布。KRaft 是一种共识协议，可以直接在 Kafka 中管理元数据。元数据的管理被整合到了Kafka当中，而不需要使用像ZooKeeper这样的第三方工具，这大大简化了 Kafka 的架构。这种新的 KRaft 模式提高了分区的可伸缩性和弹性，同时简化了 Kafka 的部署，现在可以不依赖 ZooKeeper 单独部署 Kafka 了。KRaft 使用了Raft共识算法的一种基于事件的变体，因此得名。随 KRaft...阅读全文
在真正的生产环境中，如何合理的分配服务器资源、提高利用率、让整个集群运行的更加稳定使得 k8s-scheduler 这个角色在集群中的地位愈发重要。 kube-scheduler的预选(过滤)和精选(打分) api-server会将创建pod的请求发送给kube-scheduler，并且将pod信息记录在etcd数据库中。之后kube-scheduler会根据预选（过滤）规则，首先过滤掉一部分node节点中的pod，没有被过滤掉的pod可以看做是可以被调度的pod，之后再通过更加严格的规则给剩下的pod打分，这一步也叫作优选。打分最高的pod可以看做被优先分配到pod任务。 调度流程简介 创建pod的命令被api-server的api接口接收到。api-server将pod信息存储在...阅读全文
/archlinuxarm/ 华南农业大学（华南用户） Raspbian http://mirrors.scau.edu.cn/raspbian/ 大连东软信息学院源（北方用户） Raspbian http://mirrors.neusoft.edu.cn/raspbian/raspbian/ 重庆大学源（中西部用户） Raspbian http://mirrors.cqu.edu.cn/Raspbian/raspbian/ 中山大学 已跳转至中国科学技术大学源 Raspbian http://mirror.sysu.edu.cn/raspbian/raspbian/ 新加坡国立大学 Raspbian http://mirror.nus.edu.sg/raspbian/raspbian 牛津大学 Raspbian...阅读全文
本文从 Redis 的基本特性入手，通过讲述Redis的数据结构和主要命令，对 Redis 的基本功能进行直观介绍。之后概览Redis提供的高级能力，并在部署、维护、性能调优等多个方面进行进一步的介绍。本文适合使用Redis的普通开发人员，以及对Redis进行选型、架构设计和性能调优的架构设计人员。 目录 概述 Redis的数据结构和相关常用命令 数据持久化 内存管理与数据淘汰机制 Pipelining 事务与Scripting Redis性能调优 主从复制与集群分片 Redis Java客户端的选择 概述 Redis是一个开源的，基于内存的结构化数据存储媒介，可以作为数据库、缓存服务或消息服务使用。 Redis支持多种数据结构，包括字符串、哈希表、链表、集合、有序集合、位图...阅读全文
打印“Hello World！”，进而要他们记忆 printf 的各种“格式字符”的意义，要他们实现各种复杂格式的打印输出，甚至要求打印到文本文件里，然后再读出来…… 可是殊不知，这种输出输入操作其实根本不算是语言的一部分，而且对于掌握编程的核心概念来说，都是次要的。有些人的 Java 课程进行了好几个星期，居然还在布置各种 printf 的作业。学生写出几百行的 printf，却不理解变量和函数是什么，甚至连算术语句和循环语句都不知道怎么用！这就是为什么很多初学者感觉编程很难，我连 %d，%f，%.2f 的含义都记不住，还怎么学编程！ 然而这些野鸡大学的“教授”头衔是如此的洗脑，以至于被他们教过的学生（比如我女朋友）到我这里请教，居然骂我净教一些没用的东西，学了连 printf 的作业都没...阅读全文
, ctrip apollo, disconf, hawk 等配置中心的功能点。综合比较下来携程apollo 更具有优势。 二、简单介绍携程Apollo配置中心 1、What is Apollo 1.1 背景 随着程序功能的日益复杂，程序的配置日益增多：各种功能的开关、参数的配置、服务器的地址…… 对程序配置的期望值也越来越高：配置修改后实时生效，灰度发布，分环境、分集群管理配置，完善的权限、审核机制…… 在这样的大环境下，传统的通过配置文件、数据库等方式已经越来越无法满足开发人员对配置管理的需求。 Apollo配置中心应运而生！ 1.2 Apollo简介 Apollo（阿波罗）是携程框架部门研发的开源配置管理中心，能够集中化管理应用不同环境、不同集群的配置，配置修改后能够实时推送到应用端，并且具备规范...阅读全文
。 跨平台性, 无论你是 widows,linux, 还是 mac, 甚至是树莓派, 都可以很好的运行 proxy. 多协议支持, 支持 HTTP(S),TCP,UDP,Websocket,SOCKS5 代理. TCP/UDP 端口转发. 支持内网穿透, 协议支持 TCP 和 UDP. SSH 中转,HTTP(S),SOCKS5 代理支持 SSH 中转, 上级 Linux 服务器不需要任何服务端, 本地一个 proxy 即可开心上网. KCP 协议支持,HTTP(S),SOCKS5 代理支持 KCP 协议传输数据, 降低延迟, 提升浏览体验. 集成外部 API，HTTP(S),SOCKS5 代理认证功能可以与外部 HTTP API 集成，可以方便的通过外部系统控制代理用户． 反向代理, 支持直接...阅读全文
本文将介绍如何远程升级 Debian 11 Bullseye 到最新的稳定版 Debian 12 Bookworm。本升级流程简单、快速，适用于绝大部分运行在 公有云 上的主机实例。 在升级之前，建议妥善备份重要的数据，InfraPub 有一个简单的备份策略，只需要一个文件列表 记录需要备份的文件及目录，即可实现快速备份， ``` ## cat /root/backup.list /var/lib/mysql /etc/mysql /var/www /etc/nginx ``` 随后使用一条命令即可备份: `tar czvf /tmp/backup.tgz --files-from /root/backup.list` 稳妥期间，备份时把数据库类的服务停一下...阅读全文
这些漏洞（被追踪为 CVE-2021-27363、CVE-2021-27364 和 CVE-2021-27365）存在于内核的 iSCSI 模块中。虽然在默认情况下该模块是没有被加载的，但是 Linux 内核对模块按需加载的支持意味着它可以很容易地被调用到行动中。安全专家在 Red Hat 所有已测试版本和其他发行版本中均存在这些漏洞。在 GRIMM 博客上，安全研究员 Adam Nichols 表示：“我们在 Linux mainline 内核的一个被遗忘的角落里发现了 3 个BUG，这些 BUG 已经有 15 年的历史了。与我们发现的大多数积满灰尘的东西不同，这些 BUG 依然存在影响，其中一个原来可以作为本地权限升级（LPE）在多个 Linux 环境中使用”。这些漏洞存在于无法远程访...阅读全文
索引所需的整体空间使用率，同时提高了整体查询性能。 PostgreSQL 13 引入了增量排序，即在查询中较早步骤的排序数据可以加速后面步骤的排序。此外，PostgreSQL 现在可以使用扩展的统计信息（可通过CREATE STATISTICS访问）来为带有OR子句和IN/ ANY查找列表的查询创建改进的计划。 在 PostgreSQL 13 中，更多类型的聚合查询和分组查询可以利用 PostgreSQL 的高效哈希聚合功能，因为具有大型聚合的查询不必完全放入内存。对分区表的查询也得到了性能提升，因为现在有更多的情况下可以修剪分区和直接联接分区。 优化管理 清理(Vacuuming)是 PostgreSQL 管理的一个重要部分，使数据库在更新和删除行后能够回收存储空间。此过程也会带来管理上的...阅读全文
。 pipeline 在图片的中部，有两个小企鹅扛着管道（PipeLine）在行走，一只小企鹅可以把自己手上的东西通过这个管道，传递给后面的小企鹅。不过怎么看起来前面这种（男？）企鹅累得满头大汗，而后面那只（女？）企鹅似乎游刃有余——喂喂，前面那个，裤子快掉了~ Wine 在这一层还有另外的一个小企鹅，它手上拿着一杯红酒，身上写着 411，看起来有点不胜酒力。它就是红酒（Wine）小企鹅,它可以干（执行）一些来自 Windows 的任务。 跃层 在一层之上，还有一个跃层，这里有很多不同的屏幕，每个屏幕上写着 TTY（这就是对外的终端）。比如说最左边 tty4 上输入了“fre”——这是想输入“freshmeat...”么 ：d ；它旁边的 tty2 和 tty3 就正常多了，看起来是比较正常的命令；tty7...阅读全文
增强和安全修复，主要针对的场景是数据中心大规模 Java 应用部署情况下，Java 应用稳定性、效率以及性能的优化与提高。从目前公开的功能和披露的规划上来看，Dragonwell 8 具有下述三大重要特性： JwarmUp JwarmUp 是为了解决双十一抢购场景下，阿里巴巴 Java 系统 warmup 的痛点。以普通的 Java 应用举例，JVM 需要经过解释执行 (interpreter) 找到热点，然后通过 JIT 编译器来加速热点方法的运行。对于高并发场景，应用启动之后会有很长时间处于寻找热点、编译热点的状态。这时，很多性能指标 (CPU 使用率、TPS 吞吐量、 RT 响应时间) 不是非常理想。换句话说，当 Java 应用启动并提供服务之后，在相当长的时间内处于 warmup 状...阅读全文
结果发布到IM中，比如 HipChat、JIRA 或者 Slack 等。 自动修复 - 识别和验证OpenStack计算节点上的硬件故障，正确排空实例并向管理员发送关于潜在停机时间的电子邮件，但如果出现任何问题 - 冻结工作流程并呼叫PagerDuty唤醒人员。 持续部署 - 与Jenkins一起构建和测试，配置新的AWS群集，基于NewRelic的应用程序性能数据，打开负载均衡器的一些流量，以及前滚或回滚。 Stackstorm工作原理 主要组件角色： 传感器（Sensors） 用于分别接收或监视事件的入站或出站集成的Python插件。 当来自外部系统的事件发生并由传感器处理时，StackStorm触发器将发射到系统中。 触发器（Triggers）外部事件的StackStorm表示形式...阅读全文
播，Windows 和 Linux 的开放源码贡献者能够共享两个生态系统的精华。 2.兼容性 目前尚不清楚如果 Windows 用户空间从 NT 迁移到 Linux 内核，是否能够保持良好的兼容性，特别是那些拥有关键任务应用、付费获取的东西。 Windows 没有像 Linux 那样严格区分内核空间和用户空间。NT 内核大约有 400 个已记录的 syscalls 以及大约 1700 个已记录的 Win32 API 调用。对于重新部署从而确保 Windows 开发者和他们工作达到预期的兼容性这是非常庞大的工作量，这完全超过了 Wine 提供的修正贡献。 Linux 在 arm64 上只有 313 个 syscalls，而另一个原因是微软已经从 WSL 1 中的 syscall 翻译层...阅读全文
。 BlueStore支持Ceph存储的所有的完整的数据和元数据校验。 BlueStore内嵌支持使用zlib，snappy或LZ4进行压缩。（Ceph还支持zstd进行RGW压缩，但由于性能原因，不为BlueStore推荐使用zstd）。 EC池现在完全支持覆盖，允许它们与RBD和CephFS一起使用。 ceph-mgr: ceph-mgr是一个新的后台进程，这是任何Ceph部署的必须部分。虽然当ceph-mgr停止时，IO可以继续， 但是度量不会刷新，并且某些与度量相关的请求（例如，ceph df）可能会被阻止。我们建议您多部署ceph-mgr的几个实例来实现可靠性。 ceph-mgr守护进程daemon包括基于REST的API管理。注：API仍然是实验性质的，目前有一些限制，但未来会成为API管理的基础...阅读全文
中共中央办公厅、国务院办公厅印发了《推进互联网协议第六版（IPv6）规模部署行动计划》，计划全面推进部署 IPv6，协同推进网络实名制。 通知称，用 5 到 10 年时间，建成全球最大规模的 IPv6 商业应用网络。具体计划包括： 1．到 2018 年末，IPv6 活跃用户数达到 2 亿，在互联网用户中的占比不低于 20%，并在以下领域全面支持 IPv6：国内用户量排名前 50 位的商业网站及应用，省部级以上政府和中央企业外网网站系统，中央和省级新闻及广播电视媒体网站系统，工业互联网等新兴领域的网络与应用；域名托管服务企业、顶级域运营机构、域名注册服务机构的域名服务器，超大型互联网数据中心（IDC），排名前 5 位的内容分发网络（CDN），排名前 10 位云服务平台的 50% 云产品；互联...阅读全文
制将在编译期检测。func f1(out chan<- int) {} func f2(out chan<- int, in <-chan int){} 在调用f1或f2的时候，传入的chan类型参数会自动隐式转换为chan<- int 和<-chan int类型，这种转换只是单向的，没有单向channel类型转换为chan类型。因为关闭操作只用于断言不再向channel发送新的数据，所以只有在发送者所在的goroutine才会调用close函数，因此对一个只接收的channel调用close将是一个编译错误。带缓存的channel带缓存的Channel内部持有一个元素队列。队列的最大容量是在调用make函数创建channel时通过第二个参数指定的。通过内置函数cap() 可以获得...阅读全文
储系统. HDFS 使用多台计算机存储文件，并且提供统一的访问接口，像是访问一个普通文件系统一样使用分布式文件系统。 HDFS文件系统 2. HDFS架构 HDFS架构 HDFS是一个主/从（Mater/Slave）体系结构，由三部分组成： NameNode 和 DataNode 以及 SecondaryNamenode： NameNode 负责管理整个文件系统的元数据，以及每一个路径（文件）所对应的数据块信息。 DataNode 负责管理用户的文件数据块，每一个数据块都可以在多个 DataNode 上存储多个副本，默认为3个。 Secondary NameNode 用来监控 HDFS 状态的辅助后台程序，每隔一段时间获取 HDFS 元数据的快照。最主要作用是辅助 NameNode 管理元数...阅读全文
按计划，JDK 10 将于 3 月 20 日正式发布。据前 Oracle 员工 Simon Ritter 的统计，JDK 10 总共包含 109 项新特性。当然，在最终发布前，可能还会发生变化。 新特性中最重要的，是我们之前曾报道过的 12 个 JEP ： JEP 286: 局部变量的类型推断。该特性在社区讨论了很久并做了调查，可查看 JEP 286 调查结果。 JEP 296: 将 JDK 的多个代码仓库合并到一个储存库中。 JEP 304: 垃圾收集器接口。通过引入一个干净的垃圾收集器（GC）接口，改善不同垃圾收集器的源码隔离性。 JEP 307: 向 G1 引入并行 Full GC。 JEP 310: 应用类数据共享。为改善启动和占用空间，在现有的类数据共享（“CDS”）功能上再次拓...阅读全文
一个原因是 Kubernetes 可以在任何云端工作。大多数企业在现有的内部数据中心和公共云之间共享资产，对混合云技术的需求至关重要。 Kubernetes 可以部署在公司先前存在的数据中心内、任意一个公共云环境、甚至可以作为服务运行。由于 Kubernetes 抽象了底层基础架构层，开发人员可以专注于构建应用程序，然后将它们部署到任何这些环境中。这有助于加速公司的 Kubernetes 采用，因为它可以在内部运行 Kubernetes，同时继续构建云战略。 现实世界的案例 Kubernetes 继续增长的另一个原因是，大型公司正在利用这项技术来解决业界最大的挑战。Capital One、Pearson Education 和 Ancestry.com 只是少数几家公布了...阅读全文
类别的覆盖范围：A2-身份验证失败、A3-敏感数据暴露、A4-XML 外部实体（XXE）和 A6-安全性错误配置。 XXE for C、C++ 和不安全函数的使用 除了 Python，C 和 C++ 中也添加了 XXE 检测功能。 Java 和 C＃ 不安全反序列化检测 添加了针对 C＃ 和 Java 的反序列化漏洞的检测。不过针对 Java，这是一项商业功能。 22 条新的 Python 规则，更好的类型处理、Flake8 支持 Python 增加了 14 条新的 Bug 规则和 8 条新的 Code Smells，其中包括 4 条有关类型检查的规则。此外，Python 分析现在可以理解 TypeShed 类型，因此现有规则变得更加智能。同时，Flake8 用户现在可以轻松导入这些问题...阅读全文
，App开发运营者加强前端和后端安全防护、访问控制、技术加密、安全审计等工作，主动监测发现个人信息泄露等违规行为，及时响应处置要求。App开发运营者还要履行国家规定的其他个人信息保护义务。 尽管《规定》尚未正式发布实施，但是主流平台企业已经用实际行动认可了各自的信息保护义务。 7月6日，阿里巴巴开放平台发布《依法加强消费者订单中敏感信息保护的公告》，称将启动订单处理链路的消费者敏感信息保护方案，对涉及消费者个人敏感信息采取加密、去标识化等安全技术措施。 7月9日，京东发布《JD用户订单隐私安全方案》，称为保障京东用户和商家数据信息安全，京东商家开放平台将对订单中手机号和座机号进行脱敏。 7月20日，抖音电商运营团队发布公告，为防止消费者隐私信息泄露，抖店将启动消费者隐私数据...阅读全文
Spinnaker 是 Netflix 在2015年开源的一款持续交付平台，它继承了 Netflix 上一代集群和部署管理工具 Asgard：Web-based Cloud Management and Deployment的优点，同时根据公司业务以及技术的的发展抛弃了一些过时的设计：提高了持续交付系统的可复用性，提供了稳定可靠的API，提供了对基础设施和程序全局性的视图，配置、管理、运维都更简单，而且还完全兼容 Asgard，总之对于 Netflix 来说 Spinnaker 是更牛逼的持续交付平台。 在深入了解 Spinnaker 之前，先扯一扯 Netflix 的技术文化：这是一家全面拥抱云的公司，据报道数据中心完全部署在 AWS 上，是 AWS 的超级大客户。在上云后他们发现故障仍...阅读全文
Web前端技术由html、css和javascript三大部分构成，是一个庞大而复杂的技术体系，其复杂程度不低于任何一门后端语言。而我们在学习它的时候往往是先从某一个点切入，然后不断地接触和学习新的知识点，因此对于初学者很难理清楚整个体系的脉络结构。本文将对Web前端知识体系进行简单的梳理，对应的每个知识点点到为止，不作详细介绍。目的是帮助大家审查自己的知识结构是否完善，如有遗漏或不正确的地方，希望共勉。 JAVASCRIPT 篇 0、基础语法 Javascript基础语法包括：变量定义、数据类型、循环、选择、内置对象等。 数据类型有string,number,boolean,null,undefined,object等。其中，string,number和boolean是基础类型,null...阅读全文
Harbor 1.9 发布了，此版本新功能众多，包括 tag 保留和配额、可与 CI/CD 工具集成的 Webhook 通知、数据复制、Syslog 集成以及 CVE 例外策略等安全功能。 Webhook 如果您是项目管理员，可以通过 Webhook 的通知机制，将 Harbor 的项目与您技术栈的其余部分连接在一起。简言之，如果您配置了 Webhook，Harbor 会就把该项目中发生的某些事件（包括推送、拉取、删除镜像和 Helm Charts、镜像扫描及 CVEanqu 漏洞发现）向 Webhook 端点发出通知。通过这些事件，您可以将 Harbor 与其他系统集成在一起，以简化持续集成和开发过程。理想情况下，获得 Webhook 的端点应具有一个操作侦听器，用于解释 JSON 格式...阅读全文
是我们可以对这一列进行修改（alter），Postgres就会将这一列识别为一个序列，这样操作会简化我们数据库中的日常操作。 正如我们预料到的那样，Postgres 10存在一些不向后兼容的改动。对浮点时间戳的支持已经被抛弃了，对于低于版本8的 pg_dump也已经不再提供支持，有关复制（replication）和pg_basebackup工具的一些默认值也有所变化。版本编号由三部分改为了两部分，同时开发者的脚本不能直接运行，而是使用类似于server_version_num这种查询，它返回的是一致的的可排序的和可比较的（sortable and comparable）版本号。 查看英文原文：Postgres 10 Features for Developers，本文转载自InfoQ.com...阅读全文
，Trace 被认为是 Span 的有向无环图（DAG）。官方也例举了以下 8 个 Span 的因果关系和他们组成的单 Trace示例图： 在当时， OpenTracing 相关的开源社区也是异常活跃，它使用 Jaeger 来解决数据的收集，调用链则使用了甘特图展示： 在 OpenTracing 生态中，我们对链路的采样使用头部采样策略， 对于指标 Metrics，OpenTracing 并没有制定它的规范，但在 Google SRE Book 里，关于 Monitoring Distributed System 章节中提到了四类黄金指标： 吞吐量：如每秒请求数，通常的实现方式是，设定一个计数器，每完成一次请求将自增。通过计算时间窗口内的变化率来计算出每秒的吞吐量。 延迟：处理请求的耗时。 错误率/错...阅读全文
：STIG for Debian "2015年6月19日，Hardened GNU/Linux社区公布了STIG for Debian的第一个版本，STIG（安全技术实现指南）是由DISA为了给DoD(美国国防部）提供的一套防御指南，随着Sn0wd3n曝光BIG BROTHER在攻击方面的信息越来越多，关注老大哥怎么做防御是需要的，在今年的某会上，有一位speaker在其题目为《从工程化实施角度构建私有云安全防护体系》也曾经提到过STIG的参考价值。 为什么会选Debian GNU/Linux呢？ 有几点原因：1,Debian的稳定性非常好，运行在世界很多数据中心的生产环境。 2, Debian的安全性较好，除了Gentoo外几乎其他GNU/Linux发行版无法比拟,而Debian也有Mempo项目...阅读全文
Nginx 在 1.13.10 中，新增了对gRPC的原生支持，Nginx 1.14.0 主线版已经发布。本文将介绍，如何配置 Nginx 中的 gRPC 服务。gRPC 服务做为一个 TCP 服务，配置方式与 HTTP/HTPTS 类似。 安装 Nginx Nginx版本要求：1.13.10+。gRPC必须使用 HTTP/2 传输数据，支持明文和TLS加密数据，支持流数据的交互。这是为了充分利用 HTTP/2 连接的多路复用和流式特性。所以在安装部署nginx时需要安装http/2。使用源码安装，编译时需要加入http_ssl和http_v2模块： $ auto/configure --with-http_ssl_module --with-http_v2_module 以明文的方式发布...阅读全文
