在三星宣布量产 QLC SATA SSD 之后，英特尔这边也宣布了自家的最新竞品 —— 价格媲美 SATA 型号、但支持 NVMe 协议的 660p 系列 SSD 。据 Anandtech 所述， 英特尔 660p 采用了自家的 64 层 1-Tb 3D QLC NAND 闪存，容量有 512GB / 1TB / 2TB 三档，但性能表现颇为一致。此外，660p 还搭配了大容量伪 SLC 缓存机制、辅以 256MB DRAM 。 英特尔 660p 系列 SSD 采用了 M.2 2280 封装规格 据悉，512GB 版本可选择调用 6~76GB 的容量当做缓存，1TB 版本可动用 12~140GB，2TB 版本则是 24~280GB 。当然，随着数据的大量写入，SLC 缓存机制的效用会明显下...阅读全文
少。 2、透明 这一点很容易理解：我们要使得社区可以观察和了解你正在做的事情：使用易于查找的可公开访问的源代码存储库，使用面向公众的问题跟踪软件，在社区可以找到的地方公布发布计划，以及在公共论坛捕获会议记录(例如归档邮件列表)。 3、开放 对于很多开源项目来说，“透明度”和“开放性”意味着同一件事，但其实这两个术语的含义截然不同。开放不仅仅指的是“一目了然”(这与透明本质上是一样的)。对于许多人来说，开源的“开放”意味着开放新思想，或开放参与。参与开源项目的规则对于每个人应该是一样的(“公平的竞争环境”)：仅仅接受几个补丁是不够的，你必须对新的思路点子开放。总之，你必须允许别人参与你的项目，放弃对项目的绝对控制。 4、保持“公平的竞争环境” 这并不一定意味着你必须让任何人加入项目，而是要确保...阅读全文
为了保护数据不被泄漏，我们使用软件和硬件防火墙来限制外部未经授权的访问，但是数据泄露也可能发生在内部。 为了消除这种可能性，机构会限制和监测访问互联网，同时禁用 USB 存储设备。 在本教程中，我们将讨论三种不同的方法来禁用 Linux 机器上的 USB 存储设备。所有这三种方法都在 CentOS 6＆7 机器上通过测试。那么让我们一一讨论这三种方法。 方法 1：伪安装 在本方法中，我们往配置文件中添加一行 install usb-storage /bin/true， 这会让安装 usb-storage 模块的操作实际上变成运行 /bin/true， 这也是为什么这种方法叫做伪安装的原因。 具体来说就是，在文件夹 /etc/modprobe.d 中创建并打开一个名为...阅读全文
Prometheus已成为cloud-native世界中的默认监控应用程序和系统。对于真是使用案例，Prometheus应该是高可用的，这是有挑战的。一旦在高可用性模式下运行Prometheus，就会遇到很多问题，例如数据重复，为重复数据实现single pane等。为了解决此问题，Cortex诞生了。Cortex是一个CNCF sandbox project，旨在为使用Prometheus 收集的指标提供长期存储和全局指标视图。首先让我们看一下Cortex的主要目标，然后看一下它为Prometheus解决的一些问题。水平可伸缩性– Cortex可以分成多个微服务，每个微服务都可以独立地水平伸缩。例如，如果许多Prometheus实例正在向Cortex发送数据，则可以扩展Ingester微...阅读全文
是 Linux 文件系统的一种新压缩技术，你可以选择待定的文件扩展技术。 4、解决 32 位系统的 2038 年问题 Unix 和 Linux 将时间值以 32 位有符号整数格式存储，其最大值为 2147483647。时间值如果超过这个数值则将由于整数溢出而存储为负数。 这意味着对于 32 位系统，时间值不能超过 1970 年 1 月 1 日后的 2147483647 秒。也就是说，在 UTC 时间 2038 年 1 月 19 日 03:14:07 时，由于整数溢出，时间将显示为 1901 年 12 月 13 日而不是 2038 年 1 月 19 日。 Linux kernel 5.6 解决了这个问题，因此 32 位系统也可以运行到 2038 年以后。 5、改进硬件支持 很显然，在下一个发布...阅读全文
本文从 Redis 的基本特性入手，通过讲述Redis的数据结构和主要命令，对 Redis 的基本功能进行直观介绍。之后概览Redis提供的高级能力，并在部署、维护、性能调优等多个方面进行进一步的介绍。本文适合使用Redis的普通开发人员，以及对Redis进行选型、架构设计和性能调优的架构设计人员。 目录 概述 Redis的数据结构和相关常用命令 数据持久化 内存管理与数据淘汰机制 Pipelining 事务与Scripting Redis性能调优 主从复制与集群分片 Redis Java客户端的选择 概述 Redis是一个开源的，基于内存的结构化数据存储媒介，可以作为数据库、缓存服务或消息服务使用。 Redis支持多种数据结构，包括字符串、哈希表、链表、集合、有序集合、位图...阅读全文
CERN 无需过多介绍了吧。CERN 创建了 万维网(World Wide Web)（WWW）和 大型强子对撞机(Large Hadron Collider)（LHC），这是世界上最大的 粒子加速器(particle accelerator)，就是通过它发现了 希格斯玻色子(Higgs boson)。负责该组织 IT 操作系统和基础架构的 Tim Bell 表示，他的团队的目标是“为全球 13000 名物理学家提供计算设施，以分析这些碰撞，了解宇宙的构成以及是如何运转的。”CERN 正在进行硬核科学研究，尤其是大型强子对撞机，它在运行时 生成大量数据。“CERN 目前存储大约 200 PB 的数据，当加速器运行时，每月有超过 10 PB 的数据产生。这必然会给计算基础架构带来极大的挑战，包...阅读全文
从这一过程当中汲取到经验，并在过去几次发布周期内对全部四种资源进行了针对性调整，最终使得DaemonSet与StatefulSet也加入到稳定版本队伍中来。此次发布的v1版本代表着其针对生产需求进行强化且准备就绪，拥有长期向下兼容性保证。 Windows支持（beta测试阶段） Kubernetes最初专门针对Linux系统开发而成，但随着我们的用户越来越多地意识到容器编排功能的优势，我们发现Kubernetes也确有必要运行Windows工作负载。12个月之前，我们开始认真探索Kubernetes支持Windows Server的相关工作。SIG-Windows[3]如今已经将这一功能提升至beta测试版本，意味着大家能够通过实际使用对其效果进行评估。 存储增强 自第一个版本开始...阅读全文
什么是装饰器？ 装饰器（Decorator）相对简单，咱们先介绍它：“装饰器的功能是将被装饰的函数当作参数传递给与装饰器对应的函数（名称相同的函数），并返回包装后的被装饰的函数”，听起来有点绕，没关系，直接看示意图,其中 a 为与装饰器 @a 对应的函数， b 为装饰器修饰的函数，装饰器@a的作用是： 简而言之：@a 就是将 b 传递给 a()，并返回新的 b = a(b) 栗子： 上面使用@dobi来表示装饰器，其等同于：qinfeng = dobi(qinfeng)因此装饰器本质上就是个语法糖，其作用为简化代码，以提高代码可读性，运行上段代码的结果为： 解析过程是这样子的： 1.python 解释器发现@dobi，就去调用与其对应的函数（ dobi 函数） 2.dobi 函数调用前要指...阅读全文
Cortex-M33 CPU 开始使用。这将使得 Arm 客户能够向基于 Cortex-M 的 IoT CPU 添加自定义指令，以针对特定市场量身定制芯片。 Dirvin 说到：“例如，有些数学算法是重复的。如果我们要使用一块硅存储片来维护它，那么拥有一条指令将会非常好。但这与 Arm 想要的不符。不过现在使用自定义指令后，我们的合作伙伴将能够针对该市场专门对芯片进行优化。” 为此，许多行业从业者和分析家将 Arm 的这些声明视为对 RISC-V 日益严峻挑战的回应。由于 RISC-V 具有相当吸引人的优势 —— 高度的自由性、轻量级和可扩展性，它已引起 NVIDIA 和 Qualcomm 等技术巨头的广泛关注。 Dirvin 则强调，即使没有 RISC-V 的兴起，Arm 也会推出其政策变更。“创新...阅读全文
表明他在 Debian Live 项目上的努力一直没有被重视或没有被足够重视。最具决定性的因素是因为在「包的含义」上存在冲突， R.Learmonth 申请了新的包名，而这侵犯了在 Debian Live 上使用的命名空间。 考虑到最主要的 Debian Live 包之一被命名为 live-build ，而 R.Learmonth 申请的新包名却是 live-build-ng ，这简直是对 live-build 的挑战。 live-build-ng 意为一种围绕 vmdebootstrap（LCTT 译注：创造真实的和虚拟机Debian的磁盘映像）工具的外部包装，这种包装是为了创造 live 介质（光盘和USB的插入），也是 Debian Live 最需要的的部分。但是当 Baumann...阅读全文
说明 文件随机读写 不支持 21.8336 无 互斥锁性能 0.0231s 0.0186s 1.24倍 Debain 9 文件系统采用了三星与华为合力开发的f2fs，针对mmc和emmc还有tf存储进行了优化，除了大大提升了性能之外，还增加了TF卡的使用寿命，提供了意外断电文件系统的保护，大大避免意外断电导致的文件系统崩溃的情况。 其中由于TF卡的细微差异，导致文件连续读写出现了反转，实际上通过测试文件连续读写的性能方面，f2fs更加优化，超越ext4很多倍。 总体上，64位的系统提供了更好的使用体验，曾经抱怨树莓派跑opencv性能不佳的朋友应该是看到希望了！ 以上测试并非使用官方系统，但能够让大家看到软硬件匹配64位之后，树莓派性能上的提升潜力。作为树莓派爱好者，一起期待官方发布64位系...阅读全文
本文介绍了如何从 Debian 9 Stretch 升级到 Debian 10 Buster 的过程。Debian Buster 正式版预计在下个月7月6号发布。在执行系统更新时，建议提前做好必要的数据备份，尽管这个过程是比较安全的。 更新Debian系统为升级准备 在执行升级之前，我们需要确保当前的 Debian Stretch 为最新的状态，以减少干扰，执行以下命令，更新系统到最新的状态； #apt-get update #apt-get upgrade #apt-get dist-upgrade 将包存储库更新到 Debian Buster ＃sed -i 's/stretch/buster/g' /etc/apt/sources.list ＃sed -i 's/jessie...阅读全文
理音视频材料，包括通过机器学习 物联网（例如 IoT 传感器维持长期连接并寻求最小功耗） WebRTC 工作组正对现有及新的用例进行迭代，重点理解全部需求及其优先级。W3C 近期开始的 WebTransport 和 Web Codecs 工作预计将低延迟流媒体的优势引入更广大的媒体和娱乐生态系统。 WebRTC 成为 W3C 为应用程序开发定义开放 Web 平台的众多标准之一，具有前所未有的潜力。其让开发人员能够构建丰富的交互体验，由巨大的数据存储提供动力，可用于任何设备以及环境。 WebRTC 标准文档：https://www.w3.org/TR/webrtc/...阅读全文
PIM存内计算是近年来的热门领域，与传统诺伊曼体系面临着越来越严重的存储贷款瓶颈不同，PIM直接在存储芯片上集成了计算功能，而不是CPU、内存数据分离，这样就能极大地提高带宽，在AI人工智能领域这个更重要。得益于这一突破，三星首发的HBM-PIM技术实现了2倍的性能，同时功耗还降低了70%，还能兼容目前的HBM接口，便于客户通过HBM-PIM来构建自己的AI加速器。三星计划今年上半年推出HBM-PIN芯片完成客户验证工作，何时量产、商用还没信息。...阅读全文
prometheus存在单点问题，具体痛点可以这么描述： prometheus单机存储和抓取能力都有上限，容易单点故障。 虽然有一种方式是通过部署N个prometheus分别抓取不同的target来分摊压力的，但是grafana就要为不同的图表配置不同的prometheus地址，复杂程度比较棘手。 thanos+prometheus可以解决这个问题，它提供了一个核心能力： 1，thanos querier组件可以反向代理到N个prometheus，然后grafana直接指向thanos querier即可，thanos querier会从N个prometheus同时查询数据，返回满足Promql的数据结果； 2，如果N个prometheus抓取的数据存在重复的，那么thanos...阅读全文
SolydXK 9 已正式发布，它基于最近发布的 Debian 9。 自上个 beta 版本发布以来，团队一直在测试、改进和开发。除了基于新的 Debian 9，SolydXK 已默认删除了 Backports 存储库（尽管可以重新启用），添加了一个工具来协助分区加密以及引入新的桌面主题。 更新内容： SolydX 和 SolydK 的新主题，可以选择一个亮色或暗色的主题 SolydXK 系统现在有一个 GUI，你可以在其中加密分区（和你的 USB闪存驱动器），本地化你的系统，选择最快的存储库，管理软件包和清理系统。此应用程序的加密部分现可正常工作，但仍处于测试阶段，注意风险 默认情况下，后端存储库已被删除，但可以在新的 SolydXK 系统应用程序中启用 solydx/k-info 软件...阅读全文
道实现自动化，这将提高应用程序部署效率和速度。CI/CD 还将提供部署的审计跟踪。Git 应该是所有自动化的单一事实来源，并将实现对 K8s 集群的统一管理。还可以考虑使用专用的基础架构交付平台，例如 Spacelift，它最近引入了 Kubernetes 支持。缩小容器的大小较小的映像大小将有助于加快构建和部署速度，并减少容器在 K8s 集群上消耗的资源量。应尽可能删除不必要的软件包，并应优先使用诸如 Alpine 之类的小型操作系统分发映像。较小的图像可以比较大的图像更快地拉取，并且消耗更少的存储空间。遵循这种方法还将提供安全优势，因为恶意行为者的潜在攻击媒介将会减少。用标签整理对象K8s 标签是附加到对象用来组织集群资源的键值对。标签应该是有意义的元数据，提供一种机制来跟踪 K8s 系...阅读全文
Java 进程后来变得比较空闲，被占用掉的内存也不会归还操作系统，从资源利用角度，这会带来某种意义上的浪费。阿里巴巴方面表示，ElasticHeap 主要用于改变这一情况。 据介绍，ElasticHeap 是一个基于 G1 GC 的动态堆弹性伸缩功能，可以有效节约 Java 进程实际物理内存占用。Dragonwell JDK 的 ElasticHeap 提供更敏捷有效的归还内存方式，主要有如下特点： 不依赖 Full GC 和其他 STW 暂停处理弹性堆伸缩，不增加额外 STW 开销，不影响 Java 线程服务；支持多种模式。 根据内存分配速度和 GC 压力自适应调整堆大小（自动归还内存）；根据 jcmd/MXBean 命令主动式限制堆大小 (可整堆限制或分代限制）； 下图是阿里巴巴电商应用在双...阅读全文
的主要问题是缺乏对现代密码的支持(如ECDHE和AEAD)，在规范中存在支持旧密码的要求，在计算机工程发展的现阶段，其可靠性受到质疑(例如，要求支持 TLS_DHE_DSS_WITH_3DES_EDE_CBC_SHA，MD5 和 SHA-1 用于完整性检查和认证)。对传统算法的支持已经导致了ROBOT、DROWN、BEAST、Logjam和FREAK等攻击。然而，这些问题并不是协议的直接漏洞，而是在执行层面上被关闭了。TLS 1.0/1.1协议本身并不包含可以被利用来进行实际攻击的关键漏洞。...阅读全文
Kubernetes 1.14 发布了，些版本主要关注可扩展性并支持更多工作负载，带来了 30多项功能增强，其中包括从 beta 到稳定的 10 项功能。亮点包括以下几部分。 持久化本地存储 持久性本地存储的主要用例是数据库和分布式文件系统。这是一个重要里程碑，显然，本地存储的性能优于远程磁盘，无论该存储是由云提供商提供的本地 SSD 还是连接到裸机系统的磁盘。 Windows 节点的生产级支持 绝大多数企业都拥有包含 Windows 工作负载的异构环境，现在不必寻找其它协调器来管理这些 Windows 容器。Kubernetes v1.14 改进支持了 pod、服务类型、工作负载控制器和 metrics/quotas，使得与 Linux 功能相当。 PID 限制 目前处在测试阶段...阅读全文
来自以色列的安全机构CTS-Labs突然曝出猛料，声称AMD Zen架构处理器存在四组12个高位安全漏洞，涉及Ryzen、EPYC全线产品。AMD第一时间对此发表了一份官方声明。 “我们刚刚收到一家名为CTS-Labs的公司的报告，声称我们的特定处理器产品可能存在安全漏洞。我们正在积极进行调查和分析。这家公司AMD从未听闻，而且不同寻常的是，这家安全机构直接将自己的发现公布给了媒体，却没有给AMD合理的时间调查和解决问题。安全是AMD的首要职责，我们持续努力确保我们客户的安全，应对新的安全威胁。如有后续进展我们会第一时间公告。” 可以看出，由于事发突然，特别是这些漏洞发现并没有按照行业惯例提前通知并给予90天的静默期，AMD被打了个措手不及，目前还无法完全证实这些漏洞的真伪。 即便是真的存...阅读全文
随着64层堆栈3D NAND闪存的大规模量产，全球6大NAND闪存厂商今年都开始转向96层堆栈的新一代3D NAND，几家厂商的技术方案也不太一样，SK Hynix给他们的新闪存起了个4D NAND闪存的名字。 在今年的FMS国际闪存会议上正式宣告了业界首个基于CTF技术的4D NAND闪存，日前他们又宣布4D NAND闪存正式量产，目前主要是TLC类型，96层堆栈，512Gb核心容量，使用该技术可以减少30%的核心面积，读取、写入速度分别提升30%、25%。 根据SK Hynix之前公布的信息，所谓的4D NAND闪存其实也是3D NAND，它是把NAND闪存Cell单元的PUC（Peri Under Cell）电路从之前的位置挪到了底部，所以叫了4D NAND闪存，本质上其实还是3D...阅读全文
本周的 Intel 数据创新大会上，傲腾持久内存正式发布，采用 DDR4 接口和协议，既可以当纯粹的 DDR4 内存，又可以做存储型缓存盘。 Intel 借助 3D Xpoint 技术实现了 DRAM 和 NAND Flash 共享同一种存储芯片，即傲腾（Optane）。按照 Intel 公布的信息，傲腾内存条容量目前提供 128GB、256GB、512GB。 虽然 Intel 没有公布价格，但美国采购商已经偷跑， 其中 128GB 在 842~893 美元（约最低 5656 元），256GB 在 2668~2850 美元（约最低 1.79 万元），512GB 还不详（预计 6000~7000 美元）。 显然，比起同容量的 SSD 着实贵了不少，但比起企业级内存条（128GB 要 4500...阅读全文
Go 1.10 还没发布，下面将简单介绍正在进行中的 Go 1.10 发布说明草案。Go 1.9 已于 2017 年 8 月发布，最新的 Go 1.10 预计将于 Go 1.9 发布六个月后 —— 2018 年 2 月发布。 Go 1.10 大部分的变更仍然集中在工具链、运行时和库的实现上。一如既往地，此版本依然会 保持与 Go 1.x 的兼容性 ，官方表示几乎所有的 Go 应用程序都能像以前一样继续编译和运行。 语言特性方面的改变 语言特性方面没有实质性的变化。 极端情况下，由无类型常量引起的变化已经弄清楚。因此，编译器也已进行升级，它可允许这样的索引表达式 x[1.0 << s] 通过编译，其中 s 是一个无类型常量。go/types 包也已完善。 方法表达式的语法 (grammar...阅读全文
2021 年每月（以及之后的双月刊）系列“ Debian 热门话题”（日文）撰写在日本组织一些当地 Debian 活动，尤其是东京。Debian 议程为贡献者和用户提供更好的 Debian “体验”。向用户提供“一些尝试”并听取他们的声音，然后在贡献者之间进行讨论。更多的基础设施变化，对 Web、Wiki、BTS、存储库等 Debian 基础架构进行更多更改。知识和技术的更新和转让，与新的贡献者讨论、转移和改进旧的知识体系。此外，Hideki Yamane 还在展示页面中警告“我可能是 DPL 有史以来最差的候选人”：不擅长英语（可以使用 Eng“r”ish ;），所以无法回答一些复杂的问题。没有任何技巧来调解贡献者之间的争吵，只有：保持冷静，保持安全。...阅读全文
据外媒报道，磁性随机存取内存(MRAM)将在今年达到一个新的里程碑。Everspin宣布开始尝试打造1Gb (128MB)的ST-MRAM芯片，另外他们已经将这款高寿命、非易失性的内存芯片生产提上议程。 Everspin的ST-MRAM能够提供持久的记忆能力，相较于普通的NAND闪存技术，它可以减少写入放大倍数并拥有更好的耐用性。 这款新芯片采用的则是一个兼容DDR4的接口。这家公司表示，供应商可以利用持久的记忆技术设计企业级SSD或对现有的储存产品展开进一步的改善。 据了解，ST-MARAM的密度要比公司旗下现有的任何256MB(32MB)芯片大得多。Everspin指出，从Global Foundries的40nm工艺到foundry 28nm工艺的转变是开发这种千兆级芯片的关键，另外...阅读全文
"read" from the disk and stored for later use. 2.1 Cache Cache：高速缓存，是位于CPU与主内存间的一种容量较小但速度很高的存储器。 由于CPU的速度远高于主内存，CPU直接从内存中存取数据要等待一定时间周期，Cache中保存着CPU刚用过或循环使用的一部分数据，当CPU再次使用该部分数据时可从Cache中直接调用,这样就减少了CPU的等待时间,提高了系统的效率。 Cache又分为一级Cache(L1 Cache)和二级Cache(L2 Cache)，L1 Cache集成在CPU内部，L2 Cache早期一般是焊在主板上,现在也都集成在CPU内部，常见的容量有256KB或512KB L2 Cache。 2.2 Buffer Buffer：缓...阅读全文
Canonical 在其官方博客宣布，Ubuntu 20.04 LTS 已通过对 Raspberry Pi 的认证。在 Ubuntu 20.04 LTS 公开发布的同一天，所有经认证的 Raspberry Pi 上都已添加了对 Ubuntu Server 20.04 的全面支持，用户可以将 20.04 闪存到 Raspberry Pi 中。 去年 11 月，Canonical 曾表示要支持所有 Raspberry Pi 设备，并公开了对 Raspberry Pi 4 的支持计划。随着 Ubuntu 20.04 LTS 的发布，对 Raspberry Pi 的全面支持从认证开始。 认证意味着什么？经过认证后，Pi 将每三周收到经过测试的更新和安全补丁。官方解释，“当用户购买经过认证的主板...阅读全文
Kubernetes 1.7已经发布，该版本聚焦于安全、存储和扩展性等交付特性，其中包括Network Policy API、StatefulSets自动升级策略以及可扩展的API聚合层。Kubernetes的上一个发布版1.6版侧重于解决规模化和自动化上的问题，显然最新的1.7发布版力图为Kubernetes在企业组织中的进一步采用夯实基础。需注意的是，虽然1.7版的核心集群编排功能是以稳定版提供，但是其中给出的一些头条发布特性在文档中被标为Alpha版或Beta版。 新提供的安全特性包括：Network Policy API。该API当前已提升到稳定版，在实现为网络插件时，用户可以设置并强制使用规则，指定可相互通信的Pod（类似于在用的网络/云ACL）；节点授权器（Node...阅读全文
按Kubernetes每季推出新版本的周期，暨今年3月底发布1.6版后，应该即将有一波大公布。果不其然，作为Kubernetes 1.7开发团队成员之一的Mirantis，在近日宣布，Kubernetes 1.7版会如期在6月底发布。 在1.6版中，Kubernetes不仅新增了角色权限控管，还将集群规模扩大至5,000个节点，但对Kubernetes社区而言，1.6版只不过是求稳定，并无太多新功能。Mirantis表示：1.7版本则是全力锁定推新功能，预计会有超过50个新功能，例如丛集联邦、安全性以及容器网络。 而根据Kubernetes现今对外的文件，还可发现许多有趣的新功能，像是支持容器基础组件Containerd、加强容器Runtime接口等。在容器储存功能方面，则预计开始支持本地...阅读全文
SK海力士今天正式发布了最新款的企业级SSD PE8000系列，包括PE8010、PE8030、PE8111三款型号，这也是其首款PCIe 4.0 SSD，无论存储密度、容量还是性能都是世界一流的，甚至是超一流的。 PE8010、PE8030都配备了SK海力士自产的96层堆叠4D TLC NAND闪存颗粒，搭配自研主控，最大容量8TB，兼容U.2、U.3接口，其中PE8010面向读取密集型应用，PE8030则为读写混合应用而优化。 性能方面，持续读写速度最高均可达8.3GB/s、3.7GB/s，随机读写速度最高则可达1100K IOPS、320K IOPS。 相比于去年的上代产品，持续读取性能提升103％，随机写入性能提升357％，另外最大功耗为17W。 PE8111则是针对读取密集型负载...阅读全文
ListBucket 操作，它将返回有关存储段中项目的信息。任何您没有显式允许的操作都将被拒绝。 资源：您允许对哪些资源执行操作。例如，您将允许用户对哪些特定 Amazon S3 存储段执行ListBucket 操作？用户不能访问任何您没有显式授予许可的任何资源。 效果：当用户请求访问权限时将产生什么效果（允许或拒绝）。因为默认设置为拒绝用户访问资源，因此您通常需要指定您将允许用户访问资源。 AWS IAM 最佳实践 隐藏您的 AWS 账户根用户 访问密钥创建单独的 IAM 用户使用组向 IAM 用户分配权限授予最低权限利用 AWS 托管策略开始使用权限使用客户托管策略而不是内联策略使用访问权限级别查看 IAM 权限为您的用户配置强密码策略为特权用户启用 MFA针对在 Amazon EC2 实例上运行的应用程...阅读全文
华为提供了一个基于 CentOS 的企业级 Linux 发行版 EulerOS，华为也发布了一个名为 openEuler 的 EulerOS 社区版。 openEuler 的源代码也一同发布了，源代码可以在 Gitee 找到。它有两个独立的代码库，一个用于存储源代码；另一个作为软件包的源代码，存储有助于构建该操作系统的软件包。 openEuler 基础架构团队分享了他们使源代码可用的经验： 我们现在很兴奋。很难想象我们会管理成千上万的仓库。为了确保它们能被成功地编译，我们要感谢所有参与贡献的人。 openEuler 是基于 CentOS 的 Linux 发行版 与 EulerOS 一样，openEuler OS 也是基于 CentOS，但华为技术有限公司为企业应用进一步开发了该操作系统...阅读全文
如果你经常让你的系统经历休眠周期，那么从即将开始的 Linux 5.10 周期开始，性能应该会好很多。在即将到来的Linux 5.10合并窗口中，有一个变化允许对休眠/恢复的I/O请求进行批处理，以加快休眠和恢复进程。 到目前为止，Linux 内核依靠为每一页数据提交单独的 I/O 请求，但现在 Linux 5.10+ 的时候，它设置为使用 batch 与 blk_plug。 开发者Xiaoyi Chen的内核补丁解决了这一问题：合并I/O请求让系统休眠和恢复的速度提升了一个数量级以上。在使用的32GB内存中，16GB内存的一个休眠和恢复周期在改变前需要21分钟左右，在存储IOPS有限的系统上，改变后仅需要1分钟。" Xiaoyi Chen在亚马逊EC2旗下主导了这项工作，这项改变是在系统...阅读全文
的异步模型。2.6 及以前的版本，元数据全部存储在 URL 上，配置信息和注册信息只能存储在注册中心上，注册中心的容量和扩展成为瓶颈。这个限制在使用 ZooKeeper 作为注册中心的大规模 Dubbo 应用场景下尤为突出。在 2.7.0 中，通过对 URL 的改造，将 注册中心拆分成了三个中心 ，分别是注册中心、配置中心和元数据中心，三者各司其责，不仅有效地解决了上述容量问题，而且很好地适应了微服务的技术架构，用户可以开始自由选择适合自己场景的注册中心和配置中心。2.7.0 将内建支持 ZooKeeper、Nacos 和 Apollo 等第三方注册和配置中心，在后续的版本中，还会进一步提供对 Consul 和 etcd 的支持。另外，通过引入一个全新的元数据中心，将与注册配置无关的服务信息...阅读全文
IPv4 和 IPv6 两个地址。注意，如果使用了 CNI 插件和云服务商扩展（Cloud Provider），CNI 插件和云服务商扩展也需要支持 IPv4/IPv6 双栈。CSIVolumeHealth Alpha 和 CSIStorageCapacity Beta从 v1.21 开始，Kubernetes 支持 CSI 存储插件的 Volume 健康检查（Alpha 版），CSI 插件需要实现外部健康监控控制器。当 Volume 或者 Node 出现异常时，该控制器会向 Volume 所属的 PVC 以及使用该 PVC 的 Pod 发送一个异常事件。CSIStorageCapacity 用于跟踪 CSI 存储容量并确保 Pod 调度到足够存储容量的节点上。该特性从 v1.21 开始进入...阅读全文
费者和管理客户端KIP-630：Kafka Raft 快照我们在 3.0 中引入的一个主要功能是 KRaft 控制器和 KRaft 代理能够为名为 __cluster_metadata 的元数据主题分区生成、复制和加载快照。Kafka 集群使用此主题来存储和复制有关集群的元数据信息，如代理配置、主题分区分配、领导等。随着此状态的增长，Kafka Raft Snapshot 提供了一种有效的方式来存储、加载和复制此信息.KIP-746：修改 KRaft 元数据记录自第一版 Kafka Raft 控制器以来的经验和持续开发表明，需要修改一些元数据记录类型，当 Kafka 被配置为在没有 ZooKeeper (ZK) 的情况下运行时使用这些记录类型。KIP-730：KRaft 模式下的生产者 ID...阅读全文
系统菜单中的 Lite Tweaksv 工具，选择“Kernel Installer”功能来安装更新，同样在安装完成之后需要重启你的电脑。 Linux Kernel 4.14 LTS 的主要功能就是为 x86 硬件部署了更大的存储限制，虚拟地址空间提升至 128PiB，物理硬件空间提升至 4PiB。此外还引入了全新的 ORC unwinder 来改进内核追踪和内核尺寸。 Linux Kernel 4.14 LTS 同时为 Btrfs 和 SquashFS 文件系统引入了 zstd 压缩，能够从用户存储到 sockets 实现 zero-copy 数据，改进 SMP 的 cpufreq 协调，同步 non-blocking buffered 读取，以及对 PCID 指令更快的 TBL 刷新。...阅读全文
node。graph 作为调度 node 的全局数据结构，而 node 则是用来封装业务逻辑。 Graph 3 个node; 1 个 source node (源节点)和 2 个 node (非源节点)的 graph 结构 上图显示了具有 3 个节点的 graph 结构，包含以下关键组件： graph_list 存储所有创建成功的 graph。如果 graph 创建成功，graph 会被添加到 graph_list 中。与传统的 main loop 设计相比（把函数直接挂载到 CPU 核上），用户可以透过这种管理模式把 graph_list 中的 graph 映射到不同的 CPU 核上。 graph->node_list 每个创建成功的 graph 中的 node_list 都包含了先前添加到...阅读全文
Linux 的 I/O 调度器是一个以块式 I/O 访问存储卷的进程，有时也叫磁盘调度器。Linux I/O 调度器的工作机制是控制块设备的请求队列：确定队列中哪些 I/O 的优先级更高以及何时下发 I/O 到块设备，以此来减少磁盘寻道时间，从而提高系统的吞吐量。 目前 Linux 上有如下几种 I/O 调度算法： noop - 通常用于内存存储的设备。 cfq - 完全公平调度器。进程平均使用IO带宽。 Deadline - 针对延迟的调度器，每一个 I/O，都有一个最晚执行时间。 Anticipatory - 启发式调度，类似 Deadline 算法，但是引入预测机制提高性能。 查看设备当前的 I/O 调度器： # cat /sys/block//queue/scheduler 假设磁...阅读全文
(SARAO)，加州大学圣克鲁兹分校开放源码软件研究中心(CROSS)等。 Linux基金会执行董事Jim Zemlin说："Ceph在帮助企业有效管理高增长和扩展数据存储需求方面有非常丰富的经验，在Linux基金会下，Ceph基金会将能够利用更多资源来帮助完善Ceph生态系统建设。" Ceph联合创始人&Red Hat Ceph首席架构师 Sage Weil说："Ceph基金会的成立证明了一个多元化的开源社区的力量所在，各方共同联合起来致力于解决数据存储和数据服务的爆炸性增长。" Ceph被世界各地的云提供商和企业使用，包括金融机构（Bloomberg，Fidelity），云服务提供商（Rackspace，Linode），学术和政府机构（Massachusetts Open Cloud），电信基础设...阅读全文
为“从零开始构建的 Linux”。好吧！看起来很高大上 OTZ，可它到底是什么东西呢？感觉上它好像经常和 RedHat，Debain 这类发行版混在一起，那它应该也是个发行版吧！ 这样理解其实也没有什么不对，但比起发行版来，它其实更像一本书。书本只提供知识，它只教你做，不会帮你做。这才是 LFS 和别的发行版的本质区别。这本书可以教你如何亦步亦趋的从零开始搭建一个具体而微的 Linux 系统，没错，就是从零开始，是不是有一种上帝视角的感觉呢？ 那么在哪儿可以找到这本“书”呢？你可以在网上找到电子版，当然，乐意的话，你可以打印出来——不过，我认为这没必要。你只需要按照这本书的指导，一个字母都不要敲错，你就能在它手把手地指导下，打磨出你自己的 Linux 系统啦！ LFS 是本好书吗？ 是的...阅读全文
，消费消息也是一个道理，一次拉取一批次的消息进行消费。并且Producer、Broker、Consumer都使用了优化后的压缩算法，发送和消息消息使用压缩节省了网络传输的开销，Broker存储使用压缩则降低了磁盘存储的空间。参考资料：1.《深入理解Kafka：核心设计实践原理》2.状态机程序设计套路3.raft算法源码4.https://www.bbsmax.com/A/QW5Y3kaBzm/ 作者简介屈志平腾讯数据研发工程师腾讯数据研发工程师，目前负责QQ浏览器、搜狗小说、搜狗浏览器、bingo等多款产品的数据建设。有丰富的数据治理、数仓建设、数据平台平台相关的经验。参考阅读：BIGO RTC如何低成本实现高画质一文读懂 Web3：互联网发展的新时代还是骗局？解析分布式系统的缓存设计日志中台...阅读全文
的文件，大多反馈系统信息的实时情况（进程、内存、cpu、设备信息等）。结论： /proc/meminfo 是 /proc 文件系统下保存你内存相关信息的"伪文件"。2.2 命令输出简介每个发行版输出都有一定差异，我们以debian8 4.19.x发行版为例。root@4f996feeb851:~# free -m total used free shared buffers cached Mem: 1991 1909 81 4 155 836 -/+ buffers/cache: 917 1073 Swap: 1023 1 1022大部分的命令输出意思，大家可以在man文档中找到解析，这里不做赘述。used: 已使用的内存 used = total - free -buffers...阅读全文
导致访问受限而引起的时序攻击(Timing Attack)。 其他一些变更： 安全方面的改进，主要是修复针对 HTTP/2 客户端可能导致过多内存消耗和 CPU 使用率升高的问题修复 nginx 在某些情况下可能过多占用 CPU 的问题，以及许多其他错误修复需要使用 OpenSSL 0.9.8 或更高版本 nginx 1.18.0 下载地址：http://nginx.org/en/download.html 根据 nginx 发布新版的策略，“稳定”指的是功能和更新频率，它与软件质量无关。稳定分支在其生命周期中从不接收新功能，并且通常仅接收一个或两个更新，用于修复严重的错误。另外，稳定版本通常 fork 自最新的 mainline 版本。 因此，nginx 1.18.0 fork 自最新的...阅读全文
Debian 项目团队宣布其稳定发行版 Debian 10 （代号 "buster"）的第八次更新。本次更新主要是对安全问题进行了修正，同时也对一些严重的问题进行了调整。安全公告已经单独发布，并在可用的地方进行了参考。 需要注意的是，这个点发行版（point release）并不构成 Debian 10 的新版本，只是更新了其中的一些软件包。没有必要扔掉旧的 "buster "介质。安装后，可以使用最新的Debian镜像将软件包升级到当前版本。 那些经常从 security.debian.org 安装更新的人不会需要更新很多软件包，大多数这样的更新都包含在点发布中。新的安装镜像很快就会在常规位置提供。 将现有的安装升级到这个版本可以通过将软件包管理系统指向Debian的许多HTTP镜像之一...阅读全文
，意味着树莓派 4 能够支持高动态范围（HDR）的 4K p60 HEVC 视频解码、并同时带动两台 4K 显示器。同时，这是消费者首次能够选择 1GB / 2GB / 4GB 运存，且起售价维持 35 美元（240 RMB）不变。 本次升级后，你可以将树莓派 4 当做一台完整的台式电脑来使用，因为官方提供了一整套的桌面配件。套件中包括了主板、机箱、USB 键鼠、电源、两根 HDMI 线、32GB Micro SD 存储卡、以及初学者指南，可帮助您充分发挥设备的潜力，价格为 105 英镑（919 RMB）。 显然，随着树莓派 4 带来的最新改进，树莓派基金会有望帮助人们解决更多的问题。下面是树莓派 4 的详细规格： 处理器：博通 BCM2711，四核 Cortex-A72、64 位 SoC、主...阅读全文
。 － 大容量：支持扩展的内存寻址功能。 － 支持即插即用：在电脑开机时可以直接插入标准的双列内存插槽，并立刻与同一总线上的DDR内存交互操作。 NVDIMM-P的主要特征： － 与现有DDR通道完全兼容，包括物理接口、电气性能、协议、时钟。 － 保证为下一代CPU插槽增加的针脚尽可能少。 － 协议支持数据读取时的不确定延迟。 － 确保数据在非易失内存中的事务性操作。 － 从NAND到DRAM多种延迟模式的支持(在模块级别)。 － 内存本身具备高可靠性、链路错误保护功能。 事实上，NVDIMM是一个系列标准，除了这里说的NVDIMM-P，还有NVDIMM-F、NVDIMM-N、NVDIMM-H。 NVDIMM-F本质上就是DDR接口的SSD固态盘，只使用NAND闪存，优点是延迟低(纳秒级别)、带宽高...阅读全文
10 月 31 日消息，Intel 宣布，已经为广泛部署傲腾数据中心用、非易失性内存条（Optane DC persistent memory）做好了准备。 目前，Beta 项目已经启动，参与的 OEM（原始设备制造商，如华为、联想等）和 CSP 伙伴（云服务伙伴，如谷歌、阿里巴巴、亚马逊、微软等）可以更早地向客户接入由傲腾非易失性内存条驱动的系统， 从而为 2019 年上半年批量上线奠定基础。 傲腾非易失性内存基于 3D Xpoint 技术，和目前的傲腾 SSD 共享存储芯片，从而弥补了传统 DDR4 内存不具备的数据永固和大容量特性， 单条最大 512GB，可配合 Xeon Scalable 处理器使用。 特别的，Intel 此次为傲腾 DC 非易市内存提供应用模式和内存模式，前者可理...阅读全文
