前不久组内又有一次我比较期待的分享：“Linux 的虚拟内存”。是某天晚上加班时，我们讨论虚拟内存的概念时，leader 发现几位同事对虚拟内存认识不清后，特意给这位同学挑选的主题。 我之前了解一些操作系统的概念，主要是毕业后对自己大学四年的荒废比较懊恼，觉得自己有些对不起计算机专业出身，于是在工作之余抽出时间看了哈工大在网易云课堂的操作系统公开课，自己也读了一本讲操作系统比较浅的书 《Linux内核设计与实现》，而且去年自己用 C 写简单的服务器时，也追根究底了解了更多的系统底层知识。多亏了这些知识，让我对应用层的知识更有掌控感，也在上次排查问题时（从应用到内核查接口超时）助了我一臂之力。 前几天另一位同事来问另一个虚拟内存相关的问题，我才发现对于虚拟内存，我的理解还不够深刻，一些概念还...阅读全文
在Linux的内存分配机制中，优先使用物理内存，当物理内存还有空闲时(还够用)，不会释放其占用内存，就算占用内存的程序已经被关闭了，该程序所占用的内存用来做缓存使用，对于开启过的程序、或是读取刚存取过得数据会比较快。 一. 内存使用说明 Free 命令相对于top 提供了更简洁的查看系统内存使用情况： [root@debian ~]$ free total used free shared buffers cached Mem: 1035108 1008984 26124 0 124212 413000 -/+ buffers/cache: 471772 563336 Swap: 2096472 842320 1254152 这里显示的单位是KB。 在Linux的内存分配机制中，优先使用物...阅读全文
这一年来有关国内公司进军内存产业的消息甚嚣尘上，紫光公司凭借原有的英飞凌、奇梦达基础在DDR3内存上已经作出了突破，小批量生产了DDR3内存，下半年还会推出更主流的DDR4内存芯片，正在努力追赶国际主流水平。但是放眼整个内存市场，DDR5内存很快就要来了，更可怕的是未来即便是DDR5内存也很可能被更新的技术淘汰。 业界已经有人提出了DDR内存将死的看法，未来需要高带宽的产品将转向HBM内存，2020年会有HBM 3内存，2024年则会有HBM 4内存，届时带宽可达8TB/s，单插槽容量可达512GB。 对于HBM内存，DIY玩家可以说也是相当熟悉了，AMD在2015年的Fury系列显卡上首次商用第一代HBM技术，超高的带宽、超低的面积占用彻底改变了当时的显卡设计，随后NVIDIA在...阅读全文
谈及linux内存，很多时候，我们会关注free，top等基础命令。当系统遇到异常情况时，内存问题的根因追溯，现场诊断时，缺乏深层次的debug能力。本篇幅不做深层讨论，能把当前系统的问题描述清楚，是每个SRE应该具备的最基础能力。free========2.1 free命令原理free是通过查看 /proc/meminfo 来获取内存的使用情况。但是 /proc/meminfo 这个文件又是怎么来的？我们先了解下 /proc 目录：/proc 是一个虚拟文件系统，该目录下的所有文件都是伪文件，该类文件只存在于内存中，并不占用空间——使用 du -sh 即可验证，该模具路下的磁盘占用都是0。/proc 下的所有文件都是内核调用proc_create() 接口来创建的虚拟条目。/proc 中...阅读全文
我们知道，传统的DDR DIMM内存是易失性的，也就是必须维持通电才能保持数据，一旦断电就都没了。 Intel创造了Optane傲腾持久内存，做到了非易失性，也兼容DDR DIMM，但仅用于数据中心，和普通用户无关。 现在，JEDEC固态技术标准协会发布了DDR4 NVDIMM-P非易失内存标准规范，序列编号JESD304-4.01，也可以在断电后不丢失数据，而且完全兼容DDR4内存标准。 根据规范，这种新内存兼容普通的DIMM内存标准、固件，可以最大程度减少对于现有设备、平台的更改，同时为新内存提供了低延迟接口，提高了易用性，未来也会兼容支持DDR5。 NVDIMM-P的新功能： － 持久性：操作系统能够低延迟、高带宽访问非易失内存。 － 虚拟化的内存：在DDR通道启用尽可能多的内存容量...阅读全文
1.新的问题influxdb目前支持内存型索引inmem及文件型索引tsi1。之前追踪篇将influxd索引修改为tsi1之后，经过一段时间的运行，从监控观察到，由于调用方采用异步队列+批处理的方案将数据写入influxdb，会在某些时刻调用方内部出现数据堆积，指标如图:横坐标: 时间轴，从12-29 00:00 到 12-30 00:00纵坐标: 队列中数据堆积长度，坐标最大值250k，即最大25w个数据堆积从上图可以看到，当天监控出现数次堆积，上午7:00-10:00尤为严重。在堆积时，登录influxdb服务器，查看机器状态如下:top - 09:40:58 up 120 days, 19:18, 1 user, load average: 32.29, 32.32, 29.82...阅读全文
本周的 Intel 数据创新大会上，傲腾持久内存正式发布，采用 DDR4 接口和协议，既可以当纯粹的 DDR4 内存，又可以做存储型缓存盘。 Intel 借助 3D Xpoint 技术实现了 DRAM 和 NAND Flash 共享同一种存储芯片，即傲腾（Optane）。按照 Intel 公布的信息，傲腾内存条容量目前提供 128GB、256GB、512GB。 虽然 Intel 没有公布价格，但美国采购商已经偷跑， 其中 128GB 在 842~893 美元（约最低 5656 元），256GB 在 2668~2850 美元（约最低 1.79 万元），512GB 还不详（预计 6000~7000 美元）。 显然，比起同容量的 SSD 着实贵了不少，但比起企业级内存条（128GB 要 4500...阅读全文
最近游戏已上线运营，进行服务器内存优化，发现一个非常奇妙的问题，我们的认证服务器（AuthServer）负责跟第三方渠道SDK打交道（登陆和充值），由于采用了curl阻塞的方式，所以这里开了128个线程，奇怪的是每次刚启动的时候占用的虚拟内存在2.3G，然后每次处理消息就增加64M，增加到4.4G就不再增加了，由于我们采用预分配的方式，在线程内部根本没有大块分内存，那么这些内存到底是从哪来的呢？让人百思不得其解。 探索 一开始首先排除掉内存泄露，不可能每次都泄露64M内存这么巧合，为了证明我的观点，首先，我使用了valgrind。 valgrind --leak-check=full --track-fds=yes --log-file=./AuthServer.vlog & 然后启动测试...阅读全文
10 月 31 日消息，Intel 宣布，已经为广泛部署傲腾数据中心用、非易失性内存条（Optane DC persistent memory）做好了准备。 目前，Beta 项目已经启动，参与的 OEM（原始设备制造商，如华为、联想等）和 CSP 伙伴（云服务伙伴，如谷歌、阿里巴巴、亚马逊、微软等）可以更早地向客户接入由傲腾非易失性内存条驱动的系统， 从而为 2019 年上半年批量上线奠定基础。 傲腾非易失性内存基于 3D Xpoint 技术，和目前的傲腾 SSD 共享存储芯片，从而弥补了传统 DDR4 内存不具备的数据永固和大容量特性， 单条最大 512GB，可配合 Xeon Scalable 处理器使用。 特别的，Intel 此次为傲腾 DC 非易市内存提供应用模式和内存模式，前者可理...阅读全文
美光于前日宣布已经开始向业界中的核心客户出样DDR5内存（RDIMM）了，目前他们在DDR5内存上面使用的是自家最新的1z nm工艺。 JEDEC于2016年就开始制定DDR5 SDRAM规范了，不过到目前为止，DDR5标准仍然处于完善期，JEDEC还没有公布它的最终版本，预计它将会在今年正式完成DDR5标准的制定。反而是LPDDR5快了一步，在去年2月份标准就已经正式公布，并且有厂商已经推出了实际产品，并且在今年已经有移动处理器支持它了。 美光的DDR5技术文档也得以让我们一窥DDR5内存的特性。首先，在同样的等效频率下，DDR5内存能够提供更高的有效带宽，比如同样处于3200MT/s下，DDR5-3200的有效带宽比DDR4-3200的要高出36%；其次是DDR5（在JEDEC标准范围...阅读全文
电子测量企业 Keysight Technologies 近日推出了业界第一个完整的 DDR5 DRAM 测试与验证系统“N6475A DDR5 Tx”，为新一代内存的研发打开了方便之门。 这套系统包括 Keysight N6475A DDR5 Tx 兼容测试软件、M8040A 64 Gbaud 高性能比特误码率测试仪 (BERT) 和 Infiniium UXR 系列实时示波器两种硬件，可对 DDR5 内存进行抖动、电子、时序、波形、眼图方面的测试，包括 DDR5 芯片、数据缓冲、寄存器芯片的发射器物理层。 程序会自动将测试结果与 DDR5 标准规范的兼容标准进行对比，展示产品是否通过每一项测试。 在此之前，DDR5 产品的开发者们必须自己设计软件，或者手动执行所有测试、分析，现在有了...阅读全文
全球的内存市场主要被三星、SK Hynix和美光三家公司垄断，他们三家加起来的份额高达95%，中国要想在内存市场突破封锁并不容易，尽管有紫光、长鑫、兆易创新等公司投身存储芯片市场，但在现有的DDR内存技术上，中国公司技术、产能还差得远呢。 此外，内存也不止传统的DDR技术，还有很多新兴领域正在发展，比如PCM相变存储，相比传统内存它的优势很多，比如速度快了1000倍，耐用性也是传统内存的1000倍，江苏淮安市时代芯存公司投资130亿元建设了国内最大的相变存储基地，上周已经开始正式运营，预计年产值45亿元。 来自中国江苏网的消息称，淮安市集成电路产业现场推进暨江苏时代芯存半导体有限公司相变存储器工厂竣工运营启动仪式在淮安高新技术产业开发区顺利举行，此举标志着130亿元投资的相变存储项目开始进...阅读全文
新年假期，Linus Torvalds在邮件列表中发表的一篇火热的帖子引发技术社区关注，人们借此讨论ECC内存的重要性，Torvalds在文章中抨击了英特尔在这方面的"坏政策"，因为特定的市场细分使ECC内存不那么普及。Linus认为，纠错码(ECC)内存 "绝对重要"，但 "英特尔在扼杀整个ECC产业方面起到了重要作用。" Torvalds用它惯常的热辣语言评论了ECC的重要性以及行业领导者和下游厂商有意无意地偷工减料："因为它可怕的糟糕的市场细分政策......英特尔对整个行业和用户都是有害的，反对ECC的论点一直都是完全的不知所云......现在，即使是内存制造商也开始在内部做ECC，因为他们终于承认了一个事实，那就是他们绝对必须这样做。而内存制造商声称这是因为经济和低功率。而他们都...阅读全文
DDR4 内存目前还是绝对主流，不断被深入挖潜，频率已经突破 5GHz，不过下一代 DDR5 也已经蠢蠢欲动了。Cadence 公司今天就宣布了 DDR5 的全新进展，无论工艺还是频率都相当领先。 目前，JEDEC 标准组织正在研究 DDR5 内存规范，已经有了初步版本，Cadence 此番拿出的就是面向新规范的第一个 DDR5 IP物理层接口芯片。 该测试芯片采用台积电7nm工艺制造，数据率可达4400MT/s，也就是频率高达4400MHz，相比目前商用最快的DDR4-3200快了多达37.5％。 为了支持Cadence DDR5 PHY物理层的验证和协作，美光也向其提供了DDR5内存初步版本的工程原型。 在此之前，Rambus也曾经提到过7nm工艺下的DDR5 IP，并预计DDR5内存...阅读全文
树莓派（Raspberry Pi）微型计算机是备受全球开发者和极客们欢迎的产品，树莓派基金会于去年6月发布了Raspberry Pi 4 Model B，换用了速度更快的CPU，并提供了4GB大内存版本，还引入了USB 3.0，支持双屏4K输出与H.265解码。 今年，树莓派即将迎来8岁生日，为了庆祝，树莓派基金会宣布，2GB内存版的树莓派4B降价，由原价45美元下调至35美元，同时原售价35美元的1GB版本停止发售。而4GB内存版价格保持不变，仍然是55美元。 根据去年底的统计数据，树莓派累计销量已超3000万件。树莓派4B算是一次较为重大的升级，核心处理器为博通BCM2711，采用四核Cortex A72架构，28nm工艺，主频1.5GHz。最高可选4GB LPDDR4内存，并提供千兆...阅读全文
Redis 官网 redis.io 昨日罕见地宕机了一段时间。宕机原本不是什么新鲜事，但戏剧性的是网站的报错信息居然是连接不上 Redis。 Redis::CannotConnectError at / Error connecting to Redis on 127.0.0.1:6379 (Errno::ECONNREFUSED) ▲ 看到这，忍不住刷一句：禁止套娃！ Redis 作者 Antirez 很快修复了问题，并解释了宕机的原因。原来是因为他最近在运行 redis.io 的实例上安装了 Try Redis（用于在线体验 Redis 数据库），可能是未能对 session key 进行良好的垃圾回收，从而导致内存累积，最终因为内存溢出（OOM ）引发宕机。对此，Antirez 表示...阅读全文
Nginx 1.14.1 稳定版和 Nginx 1.15.6 主线版已发布，主要修复了 HTTP/2 （CVE-2018-16843，CVE-2018-16844）以及 MP4 模块（CVE-2018-16845）中的漏洞，具体如下： Nginx 1.14.1 Security: 在使用 HTTP/2 时可能导致客户端内存消耗过大 (CVE-2018-16843)，CPU 使用率过高 (CVE-2018-16844)； Security: 使用 ngx_http_mp4_module 处理特制的 mp4 文件可能导致工作进程内存泄露（CVE-2018-16845）； Bugfix: 使用 gRPC 后端可能会导致内存过度消耗。 Nginx 1.15.6 在 1.14.1 的基础上额外包含...阅读全文
AMD即将推出第二代Ryzen 2000系列处理器，各方面全面提升，从最近泄露的规格和性能看十分值得期待。Ryzen二代基于12nm新工艺和Zen+新架构，频率平均提升400MHz，并支持更高级的动态加速技术，超频空间也更大，同时改进了缓存、内存性能。 权威评测软件SiSoftware不小心泄露了一份Ryzen 7 2700X、Ryzen 5 2600的评测报告，虽然很快被撤下还是有网友保留了下来。这份评测都是考察SiSoftware的理论性能项目，没有实际应用和游戏测试，但是Ryzen二代的架构提升已经十分明显。 首先来看一下这两款新品的主要规格和 SiSoftware 的评价： 内存频率： 2400MHz提高到2933MHz，可以大大改进内存性能，就是现在高频内存太贵了。 核心线程...阅读全文
随着技术的发展，我们使用的存储器也各种各样，虽然都基于芯片颗粒，但表现截然不同，比如说读写次数限制，或者叫寿命，SSD固态硬盘就有限制，DRAM内存却没有。 按照分布位置的不同，DRAM内存属于内部存储器，紧挨着CPU处理器，用来临时存放后者需要的运算数据，并与外部存储器进行交换，起到桥梁的作用。 DRAM内存的特点是读写速度快、延迟低，但属于易失性存储，也就是一旦断电，数据就会全部丢失。 DRAM内存颗粒利用晶体管加电容来保存数据，而且只是临时存储数据，并没有实质性的写入，不涉及对物理单元结构、属性的改变，所以可以无限次读写。 当然，这并不意味着DRAM内存就可以永久使用，毕竟其中的晶体管、电容等物理结构也会慢慢老化，所有电子设备都是如此，只是这个过程非常非常缓慢，正常使用根本感觉不到...阅读全文
Raspberry Pi 4 发布了 8GB 内存版本，同时带来 64 位镜像（beta 中）。 去年 6 月发布的 Raspberry Pi 4，带来了可选内存 1GB、2GB 与 4GB DDR4 版本，官方博客介绍：“我们在 Raspberry Pi 4 上使用的 BCM2711 芯片可以寻址高达 16GB 的 LPDDR4 SDRAM，因此，我们提供更大内存版本的真正障碍是缺少 8GB LPDDR4 封装。”该问题最终由合作伙伴 Micron 解决，于是有了目前 8GB 版本的诞生。 8GB 版本售价 $75。这么大的内存，对于打算编译和链接大型软件或运行繁重的服务器工作负载，或者只是希望能够一次打开更多浏览器选项卡的用户来说，都绝对够用了。 此次发布的版本，同时还从电路板右侧靠近...阅读全文
最近腾讯云活动不断，双十一智慧上云服务器的优惠力度非常的大，可以说是前所未有的历史低价了。赶紧行动吧， 2核4GB内存50GB硬盘，3Mbps带宽的国内主机，三年只需要688元，1核2GB内存50GB硬盘，1Mbps带宽的国内主机三年也只要268块，1核1GB内存50GB硬盘，1Mbps带宽的香港主机，三年只要428块。 需要特别提醒的一句是，如果你的账号之前就已注册，但是没有购买记录，也是可以参加的。活动页面也是很炫的，如果不想买国内主机，还有免备案的香港主机可选，价格都很良心， 相比此前的方案，优惠力度绝对是杠杠的， 活动地址（已更新）： 1核1GB 1Mbps 只要88/年：直达链接2核4GB 3Mbps 带宽 仅688元/三年：直达链接 目前活动优惠力度历史新低，建议大家尽快下单...阅读全文
由 Red Hat 工程师牵头的团队，正在为 Linux/开源社区研究名为 NVFS 的文件系统。NVFS 的目标是成为像英特尔 Optane DCPMM 那样的高速文件系统。NVFS面向基于DAX的设备（直接访问），并将整个设备映射成一个线性地址空间，从而绕过 Linux 内核的块层（block layer）和缓冲区缓存。 在 NVFS 文件系统之前，开源社区有个用于持久性内存的 NOVA 文件系统，但该项目在去年意外结束了。在没有另一个面向高性能持久性内存设备的 Linux 文件系统的情况下，Red Hat 的 Mikulas Patocka 一直在领导 NVFS 的工作。 尽管 NVFS 是面向基于 DAX 的设备，但它采用了与 EXT4 类似的设计方法，并与 Linux 的 VFS...阅读全文
几个星期前，我一个朋友问我：“为什么要关心 Go 语言”？ 因为他们知道我热衷于 Go 语言，但他们想知道为什么我认为 其他人 也应该关心。本文包含三个我认为 Go 是重要的编程语言的原因。 安全 个人而言，你和我或许完全有能力在 C 中编写程序，既不会泄漏内存，也不会不安全地重复使用内存。然而，整体上，即使有超过40年的经验，用 C 的程序员也无法可靠地这样做。 尽管静态代码分析、valgrind、tsan 以及 “-Werror” 已经存在了几十年，却很少有证据表明这些工具被广泛认可，更不用说广泛采用。总而言之，事实表明，程序员根本无法安全地管理自己的内存。现在是离开 C 的时候了。 Go 不需要程序员直接管理内存，所有内存分配都由语言运行时自行管理，使用前初始化，必要时检查边界。它肯...阅读全文
去年的时候，Google 旗下 Project Zero 团队发现了一个由 CPU “ 预测执行 ” 导致的严重安全漏洞，而它也是一项被大多数现代处理器使用的性能优化方案。根据研究人员 Jann Horn 的演示，恶意攻击者可借此读取不该被它访问到的系统内存。某个未经授权的一方，可能在系统内存中读取到一些敏感信息，比如密码、加密密钥、或者在应用程序中打开的其它机密信息。 测试还表明，在一台虚拟机上发起的攻击，甚至能够访问到主机的物理内存。基于此，还可以获取在同一主机上、不同虚拟机的内存读取访问。 该漏洞影响许多 CPU，包括来自英特尔、AMD、ARM 的芯片，以及搭配运行的设备和操作系统。在获悉这种新型攻击的第一时间，谷歌安全和产品开发团队就积极动员了起来，以保护自家系统和用户数据。 万幸...阅读全文
： sysbench —test=cpu —num-threads=8 —max-requests=100000 run #测试内存性能 #内存随机测试： sysbench —test=memory --memory-block-size=1K –memory-total-size=1G --memory-access-mode=rnd run #内存连续测试： sysbench —test=memory --memory-block-size=1K –memory-total-size=1G --memory-access-mode=seq run #测试网络性能： iperf3 -c 192.168.1.2 #八线程测试共享线程锁： sysbench --test=threads --num...阅读全文
Linus Torvalds 宣布推出最新的 Linux Kernel 4.14 稳定版，并开始接受 4.15 合并请求。 Linux 4.14 带来了许多新功能和变化，主要包括对驱动程序和硬件启用的改进，文件系统调整和性能优化等等，并将成为下一个长期支持版本（LTS）。 该版本优化了对 x86_64 硬件的内存支持，从原来的 256TiB 虚拟地址空间和 64TiB 物理地址限制优化至 128PiB 和 4PiB 。 其他更改： 新 Realtek Wi-Fi 驱动（RTL8822BE) 支持 Btrfs Zstd 压缩 支持 HDMI CEC（Raspberry Pi） 内存安全加密（AMD EPYC 处理器） 支持华硕 T100 触摸板 Heterogeneous Memory...阅读全文
迷你机渐渐成为一些PC用户的心头好，尤其是对那些只考虑软路由、HTPC、办公、影音、轻度游戏等需求的消费者。日前我们发现一款来自国内厂商、正在阿里速卖通上销售的锐龙迷你机。这款产品来自大唐（Maxtang），尺寸仅为18x18.2x3.7cm，也就是1.2L，重量1kg，手掌就能托起。 配置方面，搭载的是AMD锐龙V1605B嵌入式处理器，4核8线程，加速3.6GHz，15瓦 TDP，CPU性能看齐i5-8205U，GPU性能更是远超UHD620。 其它方面，双通道DDR4内存，两个M.2扩展位，两个千兆网口，八个USB接口、4个DP接口（国内版是1DP+1HDMI、六USB）。 速卖通上，无内存/硬盘版本414美元，8+256GB版本495美元，国行4+128GB起步价2699元，不知道...阅读全文
，卷上的典型操作（如快照、克隆、扩展等）也被支持。Kubelet 内存控制策略 Alpha内存控制策略是 Kubelet 在 v1.21 中新增的一个 Alpha 特性，用于为 Pod 提供 NUMA 内存。Kubelet 新增了 --memory-manager-policy 用于配置内存控制策略，它支持两个策略：默认策略是 none，等同于内存控制策略未开启；static 策略：为 Pod 分配 NUMA 内存并确保 Guaranteed Pod 预留足够的内存（Kubelet 状态保存在 /var/lib/kubelet/memory_manager_state 文件中）。image.pngServiceLoadBalancerClass Alpha以前 LoadBalancer 类型的...阅读全文
访问购买页面: SAMSUNG - 三星旗舰店 今年的活动有800多名客户和合作伙伴参加，三星的内存和系统LSI业务领导人--包括内存业务总裁兼负责人Jung-bae Lee、系统LSI业务总裁兼负责人Yong-In Park和执行副总裁兼设备解决方案（DS）美洲办事处负责人Jaeheon Jeong，一同就公司的最新进展和未来愿景发表了演讲。系统LSI业务亮点在今年技术日的上午会议上，系统LSI业务强调了其目标，即通过最大限度地发挥其独特和广泛的产品系列之间的协同作用，成为一个"整体解决方案无工厂"。作为三星电子的无晶圆厂IC设计公司，系统LSI业务目前提供约900种产品，其中包括SoC（片上系统）、图像传感器、调制解调器、显示驱动IC（DDI）、电源管理IC（PMIC）和安全解决方案...阅读全文
展，以允许应用类放置在共享存档中。 JEP 312: 线程局部管控。允许停止单个线程，而不是只能启用或停止所有线程。 JEP 313: 移除 Native-Header Generation Tool (javah) JEP 314: 额外的 Unicode 语言标签扩展。包括：cu (货币类型)、fw (每周第一天为星期几)、rg (区域覆盖)、tz (时区) 等。 JEP 316: 在备用内存设备上分配堆内存。允许 HotSpot 虚拟机在备用内存设备上分配 Java 对象堆。 JEP 317: 基于 Java 的 JIT 编译器（试验版本）。 JEP 319: 根证书。开源 Java SE Root CA 程序中的根证书。 JEP 322: 基于时间的版本发布模式。“Feature...阅读全文
个干净的垃圾收集器（GC）接口，改善不同垃圾收集器的源码隔离性。 JEP 307: 向 G1 引入并行 Full GC JEP 310: 应用类数据共享。为改善启动和占用空间，在现有的类数据共享（“CDS”）功能上再次拓展，以允许应用类放置在共享存档中 JEP 312: 线程局部管控。允许停止单个线程，而不是只能启用或停止所有线程 JEP 313: 移除 Native-Header Generation Tool (javah) JEP 314: 额外的 Unicode 语言标签扩展。包括：cu (货币类型)、fw (每周第一天为星期几)、rg (区域覆盖)、tz (时区) 等 JEP 316: 在备用内存设备上分配堆内存。允许 HotSpot 虚拟机在备用内存设备上分配 Java 对象堆...阅读全文
据外媒报道，近日 nginx 被爆出存在安全问题，有可能会致使 1400 多万台服务器易遭受 DoS 攻击。而导致安全问题的漏洞存在于 HTTP/2 和 MP4 模块中。nginx Web 服务器于11月6日发布了新版本，用于修复影响 1.15.6, 1.14.1 之前版本的多个安全问题，被发现的安全问题有一种这样的情况 —— 允许潜在的攻击者触发拒绝服务(DoS)状态并访问敏感的信息。 “在 nginx HTTP/2 实现中发现了两个安全问题，这可能导致过多的内存消耗(CVE-2018-16843)和CPU使用率(CVE-2018-16844)”，详见 nginx 的安全建议。 此外，“如果在配置文件中使用"listen"指令的"http2"选项，则问题会影响使用...阅读全文
CDS Archives 默认类数据共享归档文件344Abortable Mixed Collections for G1 可中止的 G1 Mixed GC346Promptly Return Unused Committed Memory from G1 G1 及时返回未使用的已分配内存 下边分别来看看： Shenandoah: A Low-Pause-Time Garbage Collector (Experimental) Shenandoah：低暂停时间的 GC（实验性功能） 新增了一个名为 Shenandoah 的 GC 算法，通过与正在运行的 Java 线程同时进行 evacuation 工作来减少 GC 暂停时间。使用 Shenandoah 的暂停时间与堆大小无关，这意味着无论堆是...阅读全文
) - [简单聊聊内存逃逸？](https://github.com/lifei6671/interview-go/blob/master/question/q019.md) - [字符串转成byte数组，会发生内存拷贝吗？](https://github.com/lifei6671/interview-go/blob/master/question/q020.md) - [http包的内存泄漏](https://github.com/lifei6671/interview-go/blob/master/question/q021.md) ## Golang 理论 - [Go语言的GPM调度器是什么？](https://github.com/lifei6671/interview-go...阅读全文
题。 Cgroup2：https://facebookmicrosites.github.io/cgroup2/ Cgroup2 是下一代 Linux 内核机制，用于分组和构造工作负载，以及控制分配给每个组的系统资源量。它具有内存、I/O、中央处理单元等控制器，它还允许隔离工作负载，并为每个工作负载确定资源分配的优先级和配置。 PSI：https://facebookmicrosites.github.io/psi/ PSI（Pressure Stall Information，压力失速信息）首次提供了一种规范，通过内存、CPU 和 I/O 这三种主要资源的新压力指标来量化资源短缺。这些压力指标与此次开源的其它内核和用户空间工具相结合，可以在智能开发和响应时检测资源短缺。PSI 统计数据为即...阅读全文
(container_spec_cpu_quota{image!=""}/100000) by (pod_name, namespace)) 将上面两个公式的结果相除，就得到了容器的CPU使用率： sum(rate(container_cpu_usage_seconds_total{image!=""}[1m])) by (pod_name, namespace) / (sum(container_spec_cpu_quota{image!=""}/100000) by (pod_name, namespace)) * 100 Pod内存使用率计算 Pod 内存使用率的计算就简单多了，直接用内存实际使用量除以内存限制使用量即可： sum(container_memory_rss{image!=""}) by(pod_name...阅读全文
版本中，当 JFR 功能被打开，JVM 能以非常小的性能开销记录 Java 运行过程中产生的各种运行时数据。产生的 JFR 数据包含 JVM 运行时的各种微观细节，可以被 JMC(Java Mission Control) 进行分析。JMC 是一个桌面应用程序，通过解析 JFR 数据，JMC 能够高效快速定位线上产品环境的各种故障，分析内存分配热点，方法调用热点，方法调用超时分析，内存泄漏，IO 活动，线程活动等，帮助 Java 用户保证服务稳定。 据了解，阿里巴巴日常开发过程中遇到的很多问题都是通过 JFR 得到解决的，可以说是 Java 故障诊断利器。如上所言，JFR 功能在 OpenJDK 11 以及以上版本才有，但是在阿里巴巴的推动努力下，JFR 功能已经被 OpenJDK 8u 社...阅读全文
在 Debian/Ubuntu 下，如何查看，当前系统的显卡有多少内存？参考命令： lspci|grep -i "VGA Compatible Controller"|cut -d' ' -f1|xargs lspci -v -s|grep ' prefetchable' 参考 https://www.computerhope.com/issues/ch001307.htm...阅读全文
据外媒报道，磁性随机存取内存(MRAM)将在今年达到一个新的里程碑。Everspin宣布开始尝试打造1Gb (128MB)的ST-MRAM芯片，另外他们已经将这款高寿命、非易失性的内存芯片生产提上议程。 Everspin的ST-MRAM能够提供持久的记忆能力，相较于普通的NAND闪存技术，它可以减少写入放大倍数并拥有更好的耐用性。 这款新芯片采用的则是一个兼容DDR4的接口。这家公司表示，供应商可以利用持久的记忆技术设计企业级SSD或对现有的储存产品展开进一步的改善。 据了解，ST-MARAM的密度要比公司旗下现有的任何256MB(32MB)芯片大得多。Everspin指出，从Global Foundries的40nm工艺到foundry 28nm工艺的转变是开发这种千兆级芯片的关键，另外...阅读全文
SK海力士宣布，已经成功研发出新一代DRAM内存“HBM2E”，可视为HBM2的增强版，拥有业界最高的传输带宽，相比现在的HBM2提升了大约50％，同时容量也翻了一番。 SK海力士的HBM2E每个针脚传输速率为3.6Gbps，搭配1024-bit位宽的话可以提供超过460GB/s的超高带宽，无可比拟。 AMD Radeon VII显卡曾经率先实现1TB/s的显存带宽，但应用了4096-bit的位宽，如果换成HBM2E总带宽可以轻松超过1.8TB/s。 同时得益于TSV硅通孔技术，HBM2E内存可以最多垂直堆叠八颗16Gb芯片，单颗封装总容量因此可达16GB，是目前的两倍。 SK海力士表示，超高带宽的HBM2E可用于工业4.0、高端GPU显卡、超级计算机、机器学习、AI人工智能等各种尖端领域...阅读全文
] Service discovery：为 kubernetes 添加新的节点地址类型 #5902[ENHANCEMENT] UI：如果查询返回了一些警告，则显示警告 #5964[ENHANCEMENT] Remote write：减少系列缓存的内存使用量 #5849[ENHANCEMENT] Remote read：使用远程读取流传输以减少内存使用量 #5703[ENHANCEMENT] Metrics：添加了将远程最大/最小/所需分片写入队列管理器的指标 #5787[ENHANCEMENT] Promtool：在标签查询期间显示警告 #5924[ENHANCEMENT] Promtool：改进了解析错误规则时的错误消息 #5965[ENHANCEMENT] Promtool：更多提示规则 #5515...阅读全文
如果你经常让你的系统经历休眠周期，那么从即将开始的 Linux 5.10 周期开始，性能应该会好很多。在即将到来的Linux 5.10合并窗口中，有一个变化允许对休眠/恢复的I/O请求进行批处理，以加快休眠和恢复进程。 到目前为止，Linux 内核依靠为每一页数据提交单独的 I/O 请求，但现在 Linux 5.10+ 的时候，它设置为使用 batch 与 blk_plug。 开发者Xiaoyi Chen的内核补丁解决了这一问题：合并I/O请求让系统休眠和恢复的速度提升了一个数量级以上。在使用的32GB内存中，16GB内存的一个休眠和恢复周期在改变前需要21分钟左右，在存储IOPS有限的系统上，改变后仅需要1分钟。" Xiaoyi Chen在亚马逊EC2旗下主导了这项工作，这项改变是在系统...阅读全文
新年假期，Linus Torvalds在邮件列表中发表的一篇火热的帖子引发技术社区关注，人们借此讨论ECC内存的重要性，Torvalds在文章中抨击了英特尔在这方面的"坏政策"，因为特定的市场细分使E... 01月05日 222 评论...阅读全文
新年假期，Linus Torvalds在邮件列表中发表的一篇火热的帖子引发技术社区关注，人们借此讨论ECC内存的重要性，Torvalds在文章中抨击了英特尔在这方面的"坏政策"，因为特定的市场细分使E... 01月05日 222 评论...阅读全文
新年假期，Linus Torvalds在邮件列表中发表的一篇火热的帖子引发技术社区关注，人们借此讨论ECC内存的重要性，Torvalds在文章中抨击了英特尔在这方面的"坏政策"，因为特定的市场细分使E... 01月05日 222 评论...阅读全文
用于选定的前缀），但服务器端无需进行任何内存操作。此外，现在支持选择加入/退出模式，因此，对于不使用广播模式的客户端，可以将其将缓存的内容准确告知服务器，以减少无效消息的数量。从根本上说，现在该功能在需要低内存模式和需要选择性（低带宽）模式时都更好。 2.这是许多用户的旧请求。现在，Redis支持一种模式，用于复制的RDB文件会在不再有用时立即删除。在某些环境中，最好不要将数据存储在磁盘上，而要存储在内存中。 3. ACL在某些方面更好。首先，有一个新的ACL LOG命令，该命令允许查看所有违反ACL的客户端，访问不应该访问的命令，不应该访问的密钥或尝试失败的身份验证。该日志实际上位于内存中，因此每个外部代理都可以调用“ ACL LOG”以查看发生了什么。这对于调试ACL问题非常有用。 但是...阅读全文
） 升级数据库配置 迁移非核心业务到新的RDS实例中去 第二次宕机 由于上一次的宕机原因未找到，所以此次的宕机是可以预见的。 20180919，还是一样的”配方”，还是原来的”味道”。同一个RDS，CPU飙升至100%，接下来就是拒绝服务，宕机。当然，有了第一次的经验，直接主从切换，在几十秒左右就恢复了所有业务，但还是严重影响了公司的业务和形象 原因分析 恢复业务后，公司紧急召开了紧急事故研究会议，当然，我的级别是参与不了的。公司的高管，高层技术架构、DBA、各个项目的主负责人一起进行了会议。 在此次会议中，经过查看各个项目的日志，后台的监控数据，发现在那台RDS数据库CPU飙升时，有一台Redis数据库内存将近100%，然后急剧下降。联系第一次的宕机情况，也是类似的。 接下来就是联系服务器数据...阅读全文
Redis 创始人兼核心开发者 antirez 在博客 介绍 了将在 Redis 6 提供的新功能 —— Client side caching（客户端缓存）。 antirez 表示 全新的 Redis 协议 RESP3 将是 Redis 6 中最重要的特性，并解释了他为何如此急切地改进 Redis 协议，原因主要有两个，一是因为希望能为客户端提供更多的语义化回复（semantical replies），以开发使用旧协议难以实现的功能；另一个原因也是 antirez 认为最重要的一个，实现 Client side caching（客户端缓存）功能 。 这个功能十分常见，但 Redis 尚未提供。 当使用者需要进行快速存储或快速取操作时，就需要在客户端内存中存储一小部分信息，这是为了降低程序...阅读全文
于 RPM 的 Linux 发行版上安装、更新和删除软件包。引入 Cockpit 服务器远程管理器，这是一个简单、轻量级但功能强大的交互式 GNU/Linux 服务器远程管理器，可通过 Web 浏览器提供实时 Linux 会话。 内核 modinfo 命令已更新，可识别和显示使用 CMS 和 PKCS#7 格式签名的模块签名信息。一组内核模块移动到 kernel-modules-extra 包中，这意味着默认情况下这些模块都不安装，非 root 用户也无法加载这些组件，因为默认情况下它们也被列入黑名单。内存总线限制已扩展到 128 PiB 的虚拟地址空间和 4 PB 的物理内存容量。Linux 内核中的 I/O 内存管理单元（IOMMU）代码也会更新以启用 5 级分页表。kdump 特性可以...阅读全文
片的反应“令人愉快”，Norrod说。 这一代Naples仅面向单插槽以及双插槽市场。双插槽系统最多支持八个内存通道，适合数据库等对宽带有更高要求的内存应用程序。 Naples比同级别的英特尔芯片提供更多I/O和内存容量。这一特性将为机器学习带来方便，特别是在芯片与GPU等协处理器协同运行时。AMD希望将Zen芯片与即将推出的Vega GPU配对，打造专为机器学习而生的芯片组合。 芯片中连接两个插槽的高带宽架构独一无二，这使得它成为双插槽服务器的理想选择。 AMD已授权中国天津海光先进技术投资有限公司（简称THATIC)生产Zen芯片。 Naples芯片将同英特尔Skylake服务器芯片进行直接对决，目前谷歌云服务使用的便是Skylake。高性能应用是AMD的弱项，而英特尔一直在高性能计算领...阅读全文
