理内存，当物理内存还有空闲时(还够用)，不会释放其占用内存，就算占用内存的程序已经被关闭了，该程序所占用的内存用来做缓存使用，对于开启过的程序、或是读取刚存取过得数据会比较快。有关linux内存机制参考： Linux 内存机制 Mem：表示物理内存统计。 -/+ buffers/cached：表示物理内存的缓存统计 Swap：表示硬盘上交换分区的使用情况。只有mem被当前进程实际占用完,即没有了buffers和cache时，才会使用到swap。 Mem 行(第一行)数据说明： Total：1035108KB。表示物理内存总大小。 Used：1008984KB。表示总计分配给缓存(包含buffers 与cache )使用的数量，但其中可能部分缓存并未实际使用。 Free：26124KB。表示未...阅读全文
-cachedfree: 未使用的内存 memFree & swapFree in /proc/meminfoshared: tmpfs使用的内存 shmem in /proc/meminfobuffers：被内核缓冲去使用的内存cached: 被页缓存和slabs使用的内存buffers/cache： 表示buffers和cache的总和swap： 交换分区的使用量2.3 buffer和cache会使用内存吗？答案是肯定的，先来了解下buffer和cache。cache（缓存）官方定义是用来弥补高速设备和低速设备之间的访问速度不匹配而预留的一段空间，用来加快资源的访问。 简单讲就是读的更快。buffer（缓冲）是为了做资源写入整形，计算机遇到大量的“小规模IO”时，会将其整形为少量的“大规模IO”，降低写入次...阅读全文
0.269t 0.053t 0.025t D 14.6 86.2 1081:18 influxd在出现堆积时，wa很高，说明问题再次出现在磁盘io上，而且influxd的SHR空间占用了25g，又是为什么？面对新出现的问题，当前的主要手段仍然是从influxdb配置文件入手，但是该如何优化?2.tsi原理工欲善其事，必先利其器。查阅了相关资料之后，整理了influxdb使用tsi索引时原理图:说明:写入influxdb时，会同时写wal文件及cache内存, wal用于宕机恢复cachecache在达到配置中的阈值时，会进行snapshot快照,进行落盘influxdb的series及index索引会在内存中全量保存，用于快速检索wal文件大小在达到配置中阈值时，会进行压缩转换到index索引...阅读全文
=, RuntimeMaxFiles= 限制日志文件的大小上限。 以 "System" 开头的选项用于限制磁盘使用量， 也就是 /var/log/journal 的使用量。 以 "Runtime" 开头的选项用于限制内存使用量， 也就是 /run/log/journal 的使用量。 以 "System" 开头的选项仅在 /var/log/journal 目录确实存在且可写时才有意义。 但以 "Runtime" 开头的选项永远有意义。 也就是说， 在系统启动早期 /var 尚未挂载时、 或者系统管理员禁止在磁盘上存储日志的时候， 仅有 "Runtime" 开头的选项有意义。 journalctl 与 systemd-journald 工具会忽略日志目录中 所有后缀名不等于 ".journal" 或 ".journal~" 的文...阅读全文
> 6.1 抽象为block块的好处 1) 一个文件有可能大于集群中任意一个磁盘 10T*3/128 = xxx块 2T，2T，2T 文件方式存—–>多个block块，这些block块属于一个文件 2) 使用块抽象而不是文件可以简化存储子系统 3) 块非常适合用于数据备份进而提供数据容错能力和可用性 6.2 块缓存 通常 DataNode 从磁盘中读取块，但对于访问频繁的文件，其对应的块可能被显示的缓存在 DataNode 的内存中，以堆外块缓存的形式存在。默认情况下，一个块仅缓存在一个DataNode的内存中，当然可以针对每个文件配置DataNode的数量。作业调度器通过在缓存块的DataNode上运行任务，可以利用块缓存的优势提高读操作的性能。 例如： 连接（join）操作中使用的一个小的查询表...阅读全文
有些矛盾。于是翻一下资料重新整理一下这些知识，希望下次在用到它们时能更顺畅。转载随意，请注明来源，文章持续修订。 由来 虚拟内存 毋庸置疑，虚拟内存绝对是操作系统中最重要的概念之一。我想主要是由于内存的重要”战略地位”。CPU太快，但容量小且功能单一，其他 I/O 硬件支持各种花式功能，可是相对于 CPU，它们又太慢。于是它们之间就需要一种润滑剂来作为缓冲，这就是内存大显身手的地方。 而在现代操作系统中，多任务已是标配。多任务并行，大大提升了 CPU 利用率，但却引出了多个进程对内存操作的冲突问题，虚拟内存概念的提出就是为了解决这个问题。 虚拟内存简单直观的解释 操作系统有一块物理内存（中间的部分），有两个进程（实际会更多）P1 和 P2，操作系统偷偷地分别告诉 P1 和 P2，我的整个内存...阅读全文
; getchar(); getchar(); pthread_create( &th, 0, thread_run, 0 ); while ( (getchar() ) ) { start = 1; } return(0); } 其运行结果如下图，刚开始时，进程占用虚拟内存14M，输入0，创建子线程，进程内存达到23M，这增加的10M是线程堆栈的大小（查看和设置线程堆栈大小可用ulimit -s），第一次输入1，程序分配1k内存，整个进程增加64M虚拟内存，之后再输入2，3，各再次分配1k，内存均不再变化。 这个结果让我欣喜若狂，由于以前学习过谷歌的Tcmalloc，其中每个线程都有自己的缓冲区来解决多线程内存分配的竞争，估计新版的glibc同样学习了这个技巧，于是查看pmap $(pidof main...阅读全文
在集群化环境里，日志采集是重要基础设施。本文结合最新的 1.0.9 版，对 logpipe 做一个简单的介绍。开源主流解决方案是基于 flume-ng，但在实际使用中发现 flume-ng 存在诸多问题。 比如 flume-ng 的 spoolDir 采集器只能对文件名转档后的大小不能变化的最终日志文件进行采集，不能满足采集时效性要求，如果要采集正在被不断追加的日志文件，只能用 exec 采集器搭配 tail -F 命令，但 tail -F 命令又不能通配目标目录中将来新增的未知文件名。其它解决方案如 logstash 由于是 JAVA 开发，内存占用和性能都不能达到最优。 作为一个日志采集的本地代理，内存占用应该小而受控，性能应该高效，耗费 CPU 低对应用影响尽可能小，要能异步实时追踪...阅读全文
辨率得到了改进，以使其永远不会比当前的“ HZ”值更糟，不管客户端连接的数量是多少。 6. RDB文件现在可以更快地加载。根据文件的实际组成（较大或较小的值），您可以期望获得20/30％的改进。现在，当有许多客户端连接时，INFO也更快，这是一个长期存在的问题，现在终于消失了。 7. 我们有一个新命令STRALGO，它实现了复杂的字符串算法。到目前为止，唯一实现的方法是LCS（最长的公共子序列），LCS是一种重要算法，用于比较冠状病毒的RNA（通常比较其他生物的DNA和RNA）。冠状病毒这件事太大，Redis内部需要保留一些痕迹。 原文参考 Redis 6.0.0 GA is out!...阅读全文
4.17 内核将删除 blackfin，cris，frv，m32r，metag，mn10300，score 和 tile（包括关联的设备驱动程序）的整个架构代码。我一直与每个维护人员一起工作，以确保我的解释是正确的，许多人都对在各支持这些 CPU 架构开展的工作留下了美好的回忆，但也认为在没有任何用户的情况下保持这些 CPU 架构活力毫无意义。” 在即将发布的版本中放弃对旧 CPU 架构的支持，会减小内核的大小，并且如果存在任何潜在的错误，它还可以减少内核中的攻击媒介的数量。...阅读全文
AMD即将推出第二代Ryzen 2000系列处理器，各方面全面提升，从最近泄露的规格和性能看十分值得期待。Ryzen二代基于12nm新工艺和Zen+新架构，频率平均提升400MHz，并支持更高级的动态加速技术，超频空间也更大，同时改进了缓存、内存性能。 权威评测软件SiSoftware不小心泄露了一份Ryzen 7 2700X、Ryzen 5 2600的评测报告，虽然很快被撤下还是有网友保留了下来。这份评测都是考察SiSoftware的理论性能项目，没有实际应用和游戏测试，但是Ryzen二代的架构提升已经十分明显。 首先来看一下这两款新品的主要规格和 SiSoftware 的评价： 内存频率： 2400MHz提高到2933MHz，可以大大改进内存性能，就是现在高频内存太贵了。 核心线程...阅读全文
的基础设施，6.0 集成了最新的 ceph 14.2 版本的特性，并为基于 web 的用户界面带来了许多新的管理功能安装程序现在通过 UEFI 支持 ZFS 根目录，例如可以在 NVMe SSD 上启动 ZFS 镜像Promxox VE 6.0 中包含了新的 QEMU 功能Proxmox VE 6.0 提供了对自定义 Cloudinit 配置的支持，并允许用户将其存储为代码片段Corosync 现在使用单播作为默认传输方法ZFS 的新特性包括增强安全性和数据保护，这是因为通过将加密直接集成到“zfs”实用程序中，增加了对本机加密和舒适的密钥处理的支持 其他更改： 自动清理旧内核映像：旧内核映像不再被标记为‘NeverAutoRemove’，这有助于防止在小分区上安装/引导时出现问题安装程序中...阅读全文
。 4、盒子模型 Box 盒子模型是css最重要的一个概念，也是css布局的基石。 常见的盒子模型有块级盒子(block)和行内盒子(inline-block)，盒子最关键的几个属性包括margin、border、padding和content,这几个元素可以设置盒子和盒子之间的关系以及盒子和内容之间的关系。还有一个问题是计算盒子的大小，需要注意的是，box-sizing属性的设置会影响盒子的width和height。只有普通文档流中块框的垂直外边距才会发生外边距合并。行内框、浮动框或绝对定位之间的外边距不会合并。 5、弹性布局 Flex Flex布局的容器是一个伸缩容器，首先容器本身会更具容器中的元素动态设置自身大小；然后当Flex容器被应用一个大小时（width和height），将会自动调整...阅读全文
Redis的一些开发规范和建议： 1.冷热数据分离，不要将所有数据全部都放到Redis中 虽然Redis支持持久化，但是Redis的数据存储全部都是在内存中的，成本昂贵。建议根据业务只将高频热数据存储到Redis中【QPS大于5000】，对于低频冷数据可以使用MySQL/ElasticSearch/MongoDB等基于磁盘的存储方式，不仅节省内存成本，而且数据量小在操作时速度更快、效率更高！ 2.不同的业务数据要分开存储 不要将不相关的业务数据都放到一个Redis实例中，建议新业务申请新的单独实例。因为Redis为单线程处理，独立存储会减少不同业务相互操作的影响，提高请求响应速度；同时也避免单个实例内存数据量膨胀过大，在出现异常情况时可以更快恢复服务！ 在实际的使用过程中，redis最大的瓶颈一般是...阅读全文
，TokyoTyrant及Schooner Membrain等。RethinkDB为各种应用压力下提供高性能和高可靠性 支持，主要应用在下面一些场景： 用来处理一些其它方案无法解决的服务负载（如：要求快速的服务启动，在数据量超出内存大小后还要有高的性能，处理各种不稳定的读写压力，处理大量数据等） 提供性能与数据稳定性之间的精细调控 大大提高你的缓存层和key-value存储的性能，在你现有的硬件条件下，能支持更高的应用负载。 使用费用 RethinkDB目前提供两个版本的支持，一个免费版的，一个商用版的。商用版本的价格是每年每台机器$1500。免费版提供目前所有功能，提供后续所有安全相关的升级。但是新功能的升级只保证在付费版本中保持更新，另外商用版本还提供技术支持。...阅读全文
％ – 50％ 没有太多查询，平均负载的 磁盘 I / O<1％ 它也能够适应未来几年现代计算环境日益增长的动态特性。 过时处理 另外，Prometheus 也发生了一些大大小小的变化，使其更加一致和直观。最值得注意的是 过时处理 ，这是最古老的路线图项目之一。随着新的改进，从这些目标中消失的监控目标或系列现在被明确地跟踪，这减少了人为因素的查询和提高警报响应。 其他改进 Prometheus 2.0 还内置支持 整个数据库的快照备份 。 完整更新内容请查看 发布主页 。 下载地址：https://prometheus.io/download/#prometheus...阅读全文
据Android Police报道，谷歌的全新操作系统Fuchsia正在Pixelbook平台上进行测试。测试的项目是打开开发者模式和实现USB启动。Pixelbook发布于今年10月份，运行Chrome OS系统，采用12.3寸触控屏幕，QHD分辨率高清屏，像素密度高达235ppi，支持背光的软触键盘，可选酷睿i5/i7处理器、最高16GB内存+512GB 存储，10小时电池续航，拥有2× USB-C接口。 此前，Fuchsia还支持了宏碁的Switch Alpha 2和Intel NUC，看起来测试的范围相当广泛。 资料显示，Fuchsia最大的不同的是，拒绝使用Linux内核，而是启用了自己开发的微内核Magenta（或者说Zircon）。 Fuchsia使用了多种语言，包括C...阅读全文
Raspberry Pi 4 发布了 8GB 内存版本，同时带来 64 位镜像（beta 中）。 去年 6 月发布的 Raspberry Pi 4，带来了可选内存 1GB、2GB 与 4GB DDR4 版本，官方博客介绍：“我们在 Raspberry Pi 4 上使用的 BCM2711 芯片可以寻址高达 16GB 的 LPDDR4 SDRAM，因此，我们提供更大内存版本的真正障碍是缺少 8GB LPDDR4 封装。”该问题最终由合作伙伴 Micron 解决，于是有了目前 8GB 版本的诞生。 8GB 版本售价 $75。这么大的内存，对于打算编译和链接大型软件或运行繁重的服务器工作负载，或者只是希望能够一次打开更多浏览器选项卡的用户来说，都绝对够用了。 此次发布的版本，同时还从电路板右侧靠近...阅读全文
channel通道golang的并发模型是序列通信处理CSP（communicating sequential process）——使用通信来共享内存 ，避免goroutine因竞争共享内存频繁加锁产生的性能问题。基本数据结构golang中提供了一个特殊的类型channel实现goroutine之间的通信。channel类似于队列，先进先出。channel数据结构源码在src/runtime/chan.go下。chan 使用 hchan 表示，它的传参与赋值始终都是指针形式，每个 hchan 对象代表着一个 chan。hchan 中包含一个缓冲区 buf，它表示已经发送但是还未被接收的数据缓存。buf 的大小由创建 chan 时的参数来决定。qcount 表示当前缓冲区中有效数据的总量...阅读全文
如，一组开发人员可能只能访问名为 dev 的命名空间，并且无法访问 production 命名空间。 将不同团队限制在不同命名空间的能力对于避免重复工作或资源冲突可能很有价值。还可以针对命名空间配置 LimitRange 对象，以定义部署在命名空间中的容器的标准大小。ResourceQuotas 还可用于限制命名空间内所有容器的总资源消耗。可以对命名空间使用网络策略来限制 pod 之间的流量。使用就绪和存活探针Readiness（就绪）和 Liveness（存活）探针本质上都是健康检查的类型。这些是在 K8s 中使用的另一个非常重要的概念。就绪探针确保仅当 pod 准备好为请求提供服务时，才会将对 pod 的请求定向到它。如果它还没有准备好，那么请求将被定向到其他地方。为每个容器定义就绪探针...阅读全文
这一年来有关国内公司进军内存产业的消息甚嚣尘上，紫光公司凭借原有的英飞凌、奇梦达基础在DDR3内存上已经作出了突破，小批量生产了DDR3内存，下半年还会推出更主流的DDR4内存芯片，正在努力追赶国际主流水平。但是放眼整个内存市场，DDR5内存很快就要来了，更可怕的是未来即便是DDR5内存也很可能被更新的技术淘汰。 业界已经有人提出了DDR内存将死的看法，未来需要高带宽的产品将转向HBM内存，2020年会有HBM 3内存，2024年则会有HBM 4内存，届时带宽可达8TB/s，单插槽容量可达512GB。 对于HBM内存，DIY玩家可以说也是相当熟悉了，AMD在2015年的Fury系列显卡上首次商用第一代HBM技术，超高的带宽、超低的面积占用彻底改变了当时的显卡设计，随后NVIDIA在...阅读全文
Beta 阶段，并默认开启。注意，使用该特性需要 CSI 驱动程序实现对应的接口。TTL 控制器 BetaTTL 控制器用来自动清理已经结束的 Pod，如处于 Complete 或 Failed 状态的 Job。Pod 停止之后的 TTL 可以通过 .spec.ttlSecondsAfterFinished 来设置。注意，该特性要求集群中各节点（包括控制节点）的时间一致，比如在所有节点中运行 NTP 服务。GenericEphemeralVolume Beta通用临时卷（GenericEphemeralVolume）类似于 emptyDir 卷，但它更加灵活：存储可以是本地的，也可以是网络存储。卷可以有固定的大小，Pod 不能超量使用。卷可能有一些初始数据，这取决于驱动程序和参数。当驱动程序支持...阅读全文
Java 进程后来变得比较空闲，被占用掉的内存也不会归还操作系统，从资源利用角度，这会带来某种意义上的浪费。阿里巴巴方面表示，ElasticHeap 主要用于改变这一情况。 据介绍，ElasticHeap 是一个基于 G1 GC 的动态堆弹性伸缩功能，可以有效节约 Java 进程实际物理内存占用。Dragonwell JDK 的 ElasticHeap 提供更敏捷有效的归还内存方式，主要有如下特点： 不依赖 Full GC 和其他 STW 暂停处理弹性堆伸缩，不增加额外 STW 开销，不影响 Java 线程服务；支持多种模式。 根据内存分配速度和 GC 压力自适应调整堆大小（自动归还内存）；根据 jcmd/MXBean 命令主动式限制堆大小 (可整堆限制或分代限制）； 下图是阿里巴巴电商应用在双...阅读全文
是说谎的混蛋，这些问题已经存在了好几代了，但这些混账的家伙却乐此不疲地把坏掉的硬件卖给消费者，并声称这是一种 "攻击性的市场策略"，而实际上翻译一下就是'我们在偷工减料'。" Torvalds继续在他的长文中说："'现代DRAM非常可靠，不需要ECC'一直都是小孩子的睡前故事，翻车的次数不是一次两次。是的，我为此很生气。你可以找到我抱怨这个的字面意思，已经几十年了。我不想说'我是对的'。我希望这个问题得到解决，我希望有ECC，而AMD做到了。英特尔没有。" 他的评论赞扬了AMD更广泛地支持ECC内存，尤其是在消费类台式机硬件上配备，而英特尔的市场细分显而易见扼杀了大多数消费市场产品对ECC内存的采用。 这些言论是在Torvalds还在AVX-512问题上抨击英特尔几个月后发表的。也是在...阅读全文
随着互联网的高速发展，云存储技术已经相当成熟了，网盘成了人们工作和学习中不可缺少的部分。尽管如此，离线存储技术也无法被取代，毕竟在没有网络的情况下，离线存储才是最佳的解决方案。 而目前使用的最多的且最方便的离线存储设备就是U盘，凭借小巧便携的体型设计赢得了广大用户的喜爱，但随着数据的日益膨胀，小小的U盘无论是在读写速度还是在容量上已经无法满足我们日益增长的存储需求。 而今天，金士顿在CES大会上展示了一款离线存储设备——HyperX Savage EXO外置SSD。HyperX Savage EXO外置SSD外壳采用聚碳酸酯打造，存储颗粒为3D TLC NAND闪存，拥有480GB和960GB两种容量可供选择。 外置SSD的接口为USB3.1 Gen 2，带宽高达10Gbps，实际连续读写...阅读全文
访问购买页面: SAMSUNG - 三星旗舰店 今年的活动有800多名客户和合作伙伴参加，三星的内存和系统LSI业务领导人--包括内存业务总裁兼负责人Jung-bae Lee、系统LSI业务总裁兼负责人Yong-In Park和执行副总裁兼设备解决方案（DS）美洲办事处负责人Jaeheon Jeong，一同就公司的最新进展和未来愿景发表了演讲。系统LSI业务亮点在今年技术日的上午会议上，系统LSI业务强调了其目标，即通过最大限度地发挥其独特和广泛的产品系列之间的协同作用，成为一个"整体解决方案无工厂"。作为三星电子的无晶圆厂IC设计公司，系统LSI业务目前提供约900种产品，其中包括SoC（片上系统）、图像传感器、调制解调器、显示驱动IC（DDI）、电源管理IC（PMIC）和安全解决方案...阅读全文
] Service discovery：为 kubernetes 添加新的节点地址类型 #5902[ENHANCEMENT] UI：如果查询返回了一些警告，则显示警告 #5964[ENHANCEMENT] Remote write：减少系列缓存的内存使用量 #5849[ENHANCEMENT] Remote read：使用远程读取流传输以减少内存使用量 #5703[ENHANCEMENT] Metrics：添加了将远程最大/最小/所需分片写入队列管理器的指标 #5787[ENHANCEMENT] Promtool：在标签查询期间显示警告 #5924[ENHANCEMENT] Promtool：改进了解析错误规则时的错误消息 #5965[ENHANCEMENT] Promtool：更多提示规则 #5515...阅读全文
户设计 pipeline 的灵活度，但 graph 框架也同时带来下列缺点： 引入潜在内存安全风险 复杂的代码逻辑，需要大量的测试工作 初学者学习曲线陡峭 总体而言，与传统的 pipeline 模式相比，graph 框架也会出现 tradeoff。使用者需要考虑其业务逻辑的复杂程度，才能有计划地设计出可管理的 graph pipeline。graph 模型更适用于 pipeline 比较复杂的场景。有兴趣的读者可以持续关注后期即将发布的《DPDK Graph Pipeline 框架示例和性能分析》，以更好地理解 DPDK libgraph 的性能和实际用途。...阅读全文
从 Notion 到 Focalboard近两年来，Notion 作为一款在线笔记应用，以其强大的功能和优雅的颜值获得了大量用户的关注和喜爱。大量的用户通过 Notion 的 Block 、Database等功能，挖掘了适合教育、营销、市场管理、开发等多个场景的使用模版。然而，Notion 在国内使用也有不少槽点：加载速度慢、迟迟没有提供汉化版、不能离线使用、本地存储等。当然，这些槽点也有一些解决方案。比如，针对网络问题，可以使用 Notion Fast等插件进行加速；针对语言问题，现在已经有了非官方的汉化方案。离线使用和本地存储的话，不知道 Notion 是否有相关规划。Notion对于一些用户而言，由于工作环境存在数据加密等需求，离线使用和本地存储成为刚需。对此，Anytype 这款开...阅读全文
) right_metric其他常用的比较运算符：==、!=、>、<、>=、≤。 直方图分位数过去5分钟内，每个标签维度请求延迟的90%分位数： histogram_quantile(0.9, rate(my_request_durations_seconds_bucket[5m]))只针对 method 和 path 维度的90%分位数： histogram_quantile( 0.9, sum by(le, path, method) ( rate(my_request_durations_seconds_bucket[5m]) ) ) Gauges 的变化过去一小时内的绝对值变化： delta(my_gauge[1h])基于过去4小时的数据来预测1小时后的数据： predict_linear(my_gauge...阅读全文
个。 镜像的层就像 Git 的提交（commit）一样。Docker 的层用于保存镜像的上一版本和当前版本之间的差异。就像 Git 的提交一样，如果你与其他存储库或镜像共享它们，就会很方便。 实际上，当你向注册表请求镜像时，只是下载你尚未拥有的层。这是一种非常高效地共享镜像的方式。但额外的层并不是没有代价的。层仍然会占用空间，你拥有的层越多，最终的镜像就越大。Git 存储库在这方面也是类似的，存储库的大小随着层数的增加而增加，因为 Git 必须保存提交之间的所有变更。 过去，将多个 RUN 语句组合在一行命令中或许是一种很好的做法，就像上面的第一个例子那样，但在现在看来，这样做并不妥。 1. 通过 Docker 多阶段构建将多个层压缩为一个 当 Git 存储库变大时，你可以选择将历史提交记录...阅读全文
Linux block 子系统的负责人 Jens Axboe 目前就职于 Facebook，他也因开发了 IO_uring 而闻名，他对 IO_uring 的不断开发与优化使得 Linux 系统的 I/O 性能得到巨大提升。一周前，Jens Axboe 开始对内核的 I/O 性能进行了新一轮的优化，以便在单个 CPU 核心上获得 800 万 IOPS。经过一周时间的努力，每个核心能够实现 890 万左右的 IOPS，就当大家以为这个数字已经达到他所使用的硬件极限，没有更多优化空间时，本周他又成功地将每个核心的 IOPS 推到了 1000 万。IOPS（Input/Output Operations Per Second）是一个衡量电脑储存装置（如 HDD、SSD）输入/输出性能高低的指标...阅读全文
通过先后收购HGST（日立）、SanDisk（闪迪），西部数据坐上了全球硬盘界的头把交椅。虽然西数和希捷一样看到了SSD的巨大势头，但出于各种因素，仍不敢贸然掉头。近日，西数在官方博客秀出了新一代的充氦硬盘的内部，高达8碟装。 早在2013年，HGST率先推出充氦技术的时候，当时设定的技术极值是7碟6TB，现在已经发展到8碟最高12TB，据说两年内还有14和16TB。 充氦的目的是减少碟片间距便于封装多碟，这一方式比提高单位面积的存储量在技术上要稍微容易点。 具体来说，充氦硬盘的外观看上去和普通机械硬盘一模一样，也是标准的3.5寸规格，内部机械结构也是相同的，仅仅是将内部填充的普通空气换成了氦气。 但就是这点变化，可以大大缩短碟片之间的距离，彼此靠得更近。在这项技术诞生前，硬盘最多只能塞进...阅读全文
Cincoze 刚刚推出了面向嵌入式应用的全新紧凑型迷你工作站，除了采用至强 E 系列处理器，还支持自定义 I/O 扩展。从外形来看，Diamond Extreme 系列的 DX-1100 周身被硕大的散热片包围，但较小的体型，很适合空间受限的环境。处理器方面，客户可选英特尔八代酷睿、或至强 E-2100 系列 CPU 。 值得一提的是，DX-1100 工作站为办公室和工业环境提供了极其强大的连接选项，可定制 I/O 的功能相当受客户欢迎。 Cincoze DX-1100 采用了全金属机身，能够为容量 3.2L 的内部空间带来不错的被动式散热性能（TDP 80W 封顶）。 此外，主板上提供了 2 根 DDR4 SO-DIMM 内存插槽、2 个前端可访问的 2.5 英寸热插拔 SATA 托架...阅读全文
Redis 创始人兼核心开发者 antirez 在博客 介绍 了将在 Redis 6 提供的新功能 —— Client side caching（客户端缓存）。 antirez 表示 全新的 Redis 协议 RESP3 将是 Redis 6 中最重要的特性，并解释了他为何如此急切地改进 Redis 协议，原因主要有两个，一是因为希望能为客户端提供更多的语义化回复（semantical replies），以开发使用旧协议难以实现的功能；另一个原因也是 antirez 认为最重要的一个，实现 Client side caching（客户端缓存）功能 。 这个功能十分常见，但 Redis 尚未提供。 当使用者需要进行快速存储或快速取操作时，就需要在客户端内存中存储一小部分信息，这是为了降低程序...阅读全文
. udp收发缓冲区默认值 [root@ www.linuxidc.com]# cat /proc/sys/net/core/rmem_default 111616：udp接收缓冲区的默认值 [root@ www.linuxidc.com]# cat /proc/sys/net/core/wmem_default 111616 111616：udp发送缓冲区的默认值 4. tcp 或udp收发缓冲区最小值 tcp 或udp接收缓冲区的最小值为 256 bytes，由内核的宏决定； tcp 或udp发送缓冲区的最小值为 2048 bytes，由内核的宏决定 二：socket编程设置读写缓冲区大小： http://blog.csdn.net/maopig/article/details/6982457...阅读全文
点 。 日志可以确保数据库在恢复时处于一致状态，它会保存日志写入时的所有数据。日志写入的时间间隔可以使用运行时选项 commitIntervalMs 来配置。 为了确保写入，就要确保 在配置文件中启用日志（storage.journal.enabled），而且提交间隔要和你能够承担的数据丢失相对应。 无索引排序 在搜索和聚合中，你经常希望排序数据。但愿那是在最后阶段完成的，在结果过滤之后，从而减少需要排序的数据量。即使在那个时候，你需要 一个可以覆盖排序的索引 。单键索引或混合索引都可以。 当没有合适的索引可用时，MongoDB 就不得不在没有索引的情况下排序。对于排序操作中所有文档的总大小， 有 32MB 的内存限制 ，如果 MongoDB 达到了这个限值，它就会产生错误，或者有时候 仅仅...阅读全文
(25.0MB, MD5, includes flwm only). TinyCoreLinux 是一份很小（10 MB）的最低限度 Linux 桌面。最新版本基于 Linux 3.x 内核、Busybox、Tiny X、FLTK 图形用户界面、JWM 窗口管理器，全部运行在内存中。它并非一份完整的桌面，也不完整支持所有的硬件；它只代表能引导进入一份最小 X 窗口桌面 所需的核心内容，典型情况下可包含对有线网络的访问。...阅读全文
kernel 5.2.5 和 Xorg 7.7(核心 1.20.4) 来支持当前的计算机硬件。内核补丁：Cloop，aufs32 位和 64 位内核都支持新旧计算机，64 位版本还支持具有超过 4GB RAM 和 chroot 到 64 位安装系统崩溃修复任务的系统。如果检测到具有 64 位功能的 CPU，引导加载程序将自动启动 64 位内核 (如果不是手动指定的话)。对于只能从 CD 启动的计算机，而不是从 DVD 或 USB 闪存笔启动的计算机，在“KNOPPIX”文件夹中放置了一个可启动的小型 CD 映像，该文件夹可以与完整的 USB 或 DVD 版本一起使用，以便在旧计算机上启动。QEMU-KVM 3.1 作为可编写脚本的虚拟化解决方案隐私增强的 tor 浏览器，可升级并可通过 knoppix...阅读全文
基本概念 Prometheus 所有采集的监控数据均以指标（metric）的形式保存在内置的时间序列数据库当中（TSDB）：属于同一指标名称，同一标签集合的、有时间戳标记的数据流。除了存储的时间序列，Prometheus 还可以根据查询请求产生临时的、衍生的时间序列作为返回结果。 样本在时间序列中的每一个点称为一个样本（sample），样本由以下三部分组成： 指标（metric）：指标名称和描述当前样本特征的 labelsets； 时间戳（timestamp）：一个精确到毫秒的时间戳； 样本值（value）： 一个 folat64 的浮点型数据表示当前样本的值。
在 trace 工具加入了 Mutator Utilization 图的支持，它可以方便发现 GC 性能受限的情况；不再支持 go tool vet；go tool tour 不再包含在主二进制发行版中，需要手动安装；Go 1.12 是最后一个支持 binary-only packages 的版本；……Runtime 方面，Go 1.12：提升了大量堆（Heap）活跃状态情况下的扫除（Sweeping）性能，这减少了垃圾回收之后的分配延迟，可以更好地将内存释放回操作系统；Runtime 的 timer 和 deadline 代码随着 CPU 数目的增加，会有更好的表现。这提升了网络连接最后期限（deadline）相关操作的性能；通过大型堆分配的相关修复，提升了内存配置文件的精确性；……平台相...阅读全文
CDS Archives 默认类数据共享归档文件344Abortable Mixed Collections for G1 可中止的 G1 Mixed GC346Promptly Return Unused Committed Memory from G1 G1 及时返回未使用的已分配内存 下边分别来看看： Shenandoah: A Low-Pause-Time Garbage Collector (Experimental) Shenandoah：低暂停时间的 GC（实验性功能） 新增了一个名为 Shenandoah 的 GC 算法，通过与正在运行的 Java 线程同时进行 evacuation 工作来减少 GC 暂停时间。使用 Shenandoah 的暂停时间与堆大小无关，这意味着无论堆是...阅读全文
虽然GIMP 3.0的开发工作拖拖拉拉，但GIMP 2.10.x稳定系列继续迎来新的功能。今天新出炉GIMP 2.10.22支持基于AV1的AVIF图像格式的导入和导出。AVIF是一种非常有前途的图像格式，基于免版税的AV1技术，已经被Firefox和Google Chrome等网络浏览器支持，同时继续在其他照片/图像软件中得到采用。 相比较 WebP 和 JPEG 等格式，AVIF 的压缩能力明显更好。AVIF 支持全分辨率下的 10 位和 12 位色彩，以及高动态范围（HDR）。AV1 还使用了一种新的压缩技术：从色度到亮度。大多数图像格式将亮度与色相分开存储。AVIF 使用亮度通道来猜测颜色通道的样子，它们通常是相关的，所以AVIF可以提供更小的文件大小和更清晰的边缘。 不仅如此...阅读全文
由于缺乏新的贡献者加入，Django 董事会于 9 月 23 日发起了一份 “改革草案 ”，有意对项目当前的管理模式进行整改。11 月 20 日，Django 董事会成员，同时也是核心团队成员的 James Bennett ，在其博客上发布了一篇名为“Core no more”的文章，详细描述了 Django 当前存在的问题，以及草案的大意内容。 Django 是非常流行的 Python Web 框架，被世界各地被许多大型企业以及组织采用，但也遇到了多数大型开源项目难以避免的问题：活跃贡献者流失，新贡献者供不应求。James Bennett 提到，不少开源项目依赖企业支持来解决此类问题，借由企业员工帮忙维护项目以确保持续发展。Django 早期也是以这样的方式生存，遗憾的是，最终没有发展成...阅读全文
项目）仍应由各自的所有者负责，但重要的是默认情况应该是相反的。 Debian缺乏管理重大变更的工具：很难用程序的方式处理包和存储库（请参见下一小节的内容）。最近一次发送过来要求审核的更改是一个附带补丁的bug报告。我认为接受bug报告更改的流程太复杂，然后开始尝试mergebot，但只有Guido曾经表示对该项目感兴趣。 在文化方面，Debian的评论和反应都很慢。凡事都没有截止期限。有时我会收到电子邮件，通知我说我在几年前（！！）发送的补丁现在终于合并了。只有短短数周的项目拖到了数年，对我来说这是一个巨大的消极影响。 有趣的是，你可以看到缓慢的线上活动也影响到了线下的文化：我不想在第一次听到systemd后，过10年之久再讨论它。 最后，如果有人坚持拒绝合作，那么你做出的变更很容易就会被一...阅读全文
从这一过程当中汲取到经验，并在过去几次发布周期内对全部四种资源进行了针对性调整，最终使得DaemonSet与StatefulSet也加入到稳定版本队伍中来。此次发布的v1版本代表着其针对生产需求进行强化且准备就绪，拥有长期向下兼容性保证。 Windows支持（beta测试阶段） Kubernetes最初专门针对Linux系统开发而成，但随着我们的用户越来越多地意识到容器编排功能的优势，我们发现Kubernetes也确有必要运行Windows工作负载。12个月之前，我们开始认真探索Kubernetes支持Windows Server的相关工作。SIG-Windows[3]如今已经将这一功能提升至beta测试版本，意味着大家能够通过实际使用对其效果进行评估。 存储增强 自第一个版本开始...阅读全文
otherfilename //编辑文件名为otherfilename的文件。 十一、修改文件格式 :set fileformat=unix //将文件修改为unix格式，如win下面的文本文件在linux下会出现^M。 注意：如果不知道自己处在什么模式时可以按2次Esc键即可回到命令模式，会有最后提醒一点：注意大小写！！【本文转载自 欲思博客 略有增删】...阅读全文
second是比较好的折中方案，每秒fsync一次 AOF + fsync never会提供AOF持久化方案下的最优性能 使用RDB持久化通常会提供比使用AOF更高的性能，但需要注意RDB的策略配置 每一次RDB快照和AOF Rewrite都需要Redis主进程进行fork操作。fork操作本身可能会产生较高的耗时，与CPU和Redis占用的内存大小有关。根据具体的情况合理配置RDB快照和AOF Rewrite时机，避免过于频繁的fork带来的延迟 Redis在fork子进程时需要将内存分页表拷贝至子进程，以占用了24GB内存的Redis实例为例，共需要拷贝24GB / 4kB * 8 = 48MB的数据。在使用单Xeon 2.27Ghz的物理机上，这一fork操作耗时216ms。 可以通过INFO命...阅读全文
TLC闪存旗鼓相当。 注：每Cell单元存储数据越多，单位面积容量就越高，但同时导致不同电压状态越多，越难控制，导致颗粒稳定性越差，寿命低，利弊都有。 不得不承认，TLC闪存的出现大大提升了SSD的容量，并在一定程度上降低了SSD的价格。不过，依旧没解决SSD价格的难题，大容量SSD仍旧贵。小容量SSD+大容量HDD的存储方案，终究没有单纯大容量SSD来得好。 当QLC 闪存的诞生，也许既廉价又拥有超大容量的SSD，从理想变为现实。 QLC与TLC之间的区别： 1、寿命 前段时间，东芝称其QLC NAND拥有多达1000次左右的P/E编程擦写循环，打破100-150次魔咒，可以与TLC闪存颗粒寿命想媲美。如果真的达到这个标准，那么QLC SSD就能够“理直气壮”进入市场了。 1000次寿命,对于...阅读全文
Linus Torvalds近日发布了Linux内核5.8，近一个半月后，他撰文回顾了这一版本，并宣布这个版本是一个 "真正的大更新"，以至于让人想起4.9版本。"我一直到最后一刻才考虑做一个rc8，但考虑到周围没有任何大的迫在眉睫的担忧时，不希望再等一周。"Torvalds解释道。 在这个新版本的内核带来了更新后的驱动程序，添加支持一系列的Adreno GPU芯片，如405，640，和650版本，新的Spectre补丁，以及exFAT完善。 Radeon驱动在这个版本中也得到了改进的支持，Power 10芯片也是如此，其推出目前预计将在明年某个时候进行。 但正如Torvalds在6月时所说，Linux内核5.8是一个大规模升级的版本，而且有数不清的小改进。"在5.8合并窗口中，我们已经修...阅读全文
