当 Torvalds 将某些代码标记为“dontuse”，通常表明这个问题比较大。在 5.12 首个候选版本更新中，破坏了交换文件（swapfile）的处理。具体来说，更新后的代码会失去指向 swapfile 开头的正确偏移。用 Torvalds 自己的话来说，“交换还是会发生，但它发生在文件系统的错误部分，最终结果显然是灾难性的”。这样 Linux 内核如果想要将内存中的内容分页到磁盘上的时候，数据就会落在相同磁盘和 swapfile 活跃的分区的随机部分上，而且这不是作为文件，而是作为垃圾直接写入到磁盘的原始扇区。这意味着不仅要覆盖现有文件中的数据，还要覆盖相当大块的元数据，这些元数据的损坏很可能会导致整个文件系统无法挂载和使用。Torvalds 继续指出，如果你根本不使用 swap...阅读全文
的最终设计目标是10Tbpsi。 另外，西部数据日前宣布了MAMR“微波辅助磁记录”(microwave-assisted magnetic recording)硬盘，与HAMR的区别在于利用微波取代HAMR里的激光来作为辅助媒介，2019年出货，号称密度高达4Tb。 希捷再次强调了时间节点，2018年试产并展示16TB HAMR硬盘、2019年大规模量产20TB以上的机械硬盘，2023年把容量提升到40TB以上，2030年推出100TB。...阅读全文
公司使用的openstack的备份服务组件karbor，要查询所使用的备份nas磁盘使用率的需求，根据以前的查询语句，很快写出如下的prom sql 100-topk(1,node_filesystem_free{device=~":/.*"}*100/node_filesystem_size{device=~":/.*"}) 不久后，同事过来说给出的使用率不严谨，和在系统上通过df -h的命令不一样，分别是prom：10%，df结果是11%。嘴上说着差异不大不用管，身体却很实诚，马上去主机上通过df -h查看了使用率 :/var/lib/docker/nfs 147G 15G 125G 11% /var/lib/docker/volumes/volume-nfs/_data 通过prom...阅读全文
安装Proxmox VE最好的方式是用官方ISO，刻录成光盘后安装。但是也可以用Debian官方的ISO先装操作系统，然后在 Debian 上安装Proxmox VE。具体步骤可以参考Proxmox VE官方wiki. 在 Debian Jessie 上安装 Proxmox VE 的过程如下： 使用Debian官方ISO安装操作系统。在安装过程中，使用LVM方式划分磁盘分区，并设置swap、root、data三个LV，其中swap用于交换分区，root挂载到/，data挂载到 /var/lib/vz。 安装好操作系统后，修改/etc/apt/sources.list文件，添加如下内容以设置Proxmox官方源。 deb http://download.proxmox.com/debian...阅读全文
influxdb会对磁盘数据文件{{index+data}}按照分片shard维度进行四次压缩(level1,2,3及full)，以节约磁盘空间3.堆积的原因在队列堆积的时间点，经过多次对比influxdb的日志:#调用方队列堆积时，influxdb的关键日志如下: #influx开始执行第四次全量压缩策略，tsm1_strategy=full ts=2021-01-05T10:30:02.049644Z lvl=info msg="TSM compaction (start)" log_id=0RVRbtjl000 engine=tsm1 tsm1_strategy=full tsm1_optimize=false trace_id=0RWXOKGG000 op_name...阅读全文
随着希捷、东芝先后推出16TB容量的HDD硬盘，现今的垂直磁道PMR机械硬盘不论容量还是技术水平应该是到头了，西数计划今年出样18TB及20TB的硬盘，会用上MAMR全新技术。 访问购买页面： 西部数据自营旗舰店 机械硬盘要想再提高容量，现在的磁记录技术已经没多少潜力可挖了，新一代HDD硬盘技术会转向HAMR热磁辅助记录技术，不过西数认为HAMR使用激光辅助加热，技术复杂，成本高，可靠性也低，所以他们更倾向于MAMR微波辅助磁记录技术。 根据西数所说，MAMR硬盘技术的成本和传统垂直记录类似，复杂性、可靠性也都更可控(99.99％的MAMR磁头写入寿命HAMR磁头高出几个数量级)，生态方面也不需要更换新的主机管理损耗均衡。 西数最新表态今年底会推出两款MAMR技术的容量，一款是18TB容量...阅读全文
随着热辅助磁记录（HAMR）技术的成熟，希捷也终于拿出了 16TB 的 3.5 英寸 Exos HAMR 硬盘驱动器。目前该产品已在全面测试阶段，且较西部数据（WD）的微波辅助磁记录（MAMR）技术有更大的优势。HAMR 可借助激光对下方盘片进行加热，使磁头更易于记录、从而实现更高的存储密度。 希捷表示，HAMR 磁头的可靠性，已经超越了“行业标准”。 目前希捷正在对 16-TB HAMR 驱动器进行一系列的基准和集成测试，例如检查它们是否能够对控制器的命令做出了适当的响应。该制造商指出，客户无需做出任何特殊的改动，即可直接像传统 3.5" 硬盘驱动器那样使用 HAMR 驱动器。 如果一切顺利，希捷有望在 2020 年提供容量高达 20 TB 的 HAMR 硬盘驱动器产品。...阅读全文
inactive list，内核线程kswapd会定期将active list中的页面移至 inactive list中。如果系统的inactive的内存过大，可以通过如下操作对其做回收。sync; echo 3 > /proc/sys/vm/drop_caches虚拟内存========现代x86系统，计算机能够使用的内存会大于其物理内存的上限，依靠的就是虚拟内存机制。Linux支持虚拟内存机制和实模式机制。实模式下，计算机会直接申请物理内存， 虚拟内存机制下，系统会把磁盘当成内存的扩展，已增加可使用的内存大小。并通过映射map的机制，来保存和物理内存的真实对应关系。在磁盘和内存之间传送Page的活动叫做swapping或者页面调度(paging)，被用作虚拟内存的磁盘分区称为swap。可以通过在线添加...阅读全文
性就是序列 ID，它允许基于操作的分片恢复。 以前，如果由于网络问题或节点重启而从集群断开连接的节点，则节点上的每个分区都必须通过将分段文件与主分片进行比较并复制任何不同的分段来重新同步。 这可能是一个漫长而昂贵的过程，甚至使节点的滚动重新启动非常缓慢。 使用序列 ID，每个分片将只能重放该分片中缺少的操作，使恢复过程更加高效。 使用排序索引更快查询 通过索引排序，只要收集到足够的命中，搜索就可以终止。它对通常用作过滤器的低基数字段（例如 age, gender, is_published）进行排序时可以更高效的搜索，因为所有潜在的匹配文档都被分组在一起。 稀疏区域改进 以前，每个列中的每个字段都预留了一个存储空间。如果只有少数文档出现很多字段，则可能会导致磁盘空间的巨大浪费。现在，你付出你...阅读全文
背景 在查看k8s的环境的时候，突然发现存在n多个pod状态为Evicted。差不多得有几百个。 解决 同事愉快的丢了个链接给我，让我自己看一波：What will happen to evicted pods in kubernetes? 查看了一下pod的信息。结果发现是磁盘满了。 kubectl describe pod {pode_name} -n {namespace} 但是得手动删除Evicted状态的pod kubectl get pods --all-namespaces -o json | jq '.items[] | select(.status.reason!=null) | select(.status.reason | contains("Evicted...阅读全文
kubernetes 中的垃圾回收机制主要有两部分组成：一是由 kube-controller-manager 中的 gc controller 自动回收 kubernetes 中被删除的对象以及其依赖的对象；二是在每个节点上需要回收已退出的容器以及当 node 上磁盘资源不足时回收已不再使用的容器镜像；本文主要分析 kubelet 中的垃圾回收机制，垃圾回收的主要目的是为了节约宿主上的资源，gc controller 的回收机制可以参考以前的文章 garbage collector controller 源码分析。kubelet 中与容器垃圾回收有关的主要有以下三个参数:--maximum-dead-containers-per-container: 表示一个 pod 最多可以保存多少个...阅读全文
西部数据开发了有一段时间的Zonefs已经确定要在Linux 5.6内核中登场了，这并不是一个传统意义上面的通用文件系统（比如Ext4、NTFS），而是一个针对特定硬件设备的文件系统，它为分区式存储设备进行了高度的优化。 熟悉Linux的朋友应该知道，在Linux下面内核会将存储设备视为块设备，比如目前会将SATA存储设备视为/dev/sdX。传统文件系统是在这个块设备上面进行操作，而应用程序则是通过系统提供的接口对块设备上面的数据进行访问。 但SMR HDD（叠瓦式硬盘）有一个毛病，它只有在顺序写入时才能正常发挥性能，一旦要进行数据覆盖写入，就需要改写这块数据所在区块内的所有磁道，造成严重的性能下降。传统的文件系统不会因为SMR HDD的特性而特别对待它，而Zonefs就是西部数据对...阅读全文
理内存，当物理内存还有空闲时(还够用)，不会释放其占用内存，就算占用内存的程序已经被关闭了，该程序所占用的内存用来做缓存使用，对于开启过的程序、或是读取刚存取过得数据会比较快。有关linux内存机制参考： Linux 内存机制 Mem：表示物理内存统计。 -/+ buffers/cached：表示物理内存的缓存统计 Swap：表示硬盘上交换分区的使用情况。只有mem被当前进程实际占用完,即没有了buffers和cache时，才会使用到swap。 Mem 行(第一行)数据说明： Total：1035108KB。表示物理内存总大小。 Used：1008984KB。表示总计分配给缓存(包含buffers 与cache )使用的数量，但其中可能部分缓存并未实际使用。 Free：26124KB。表示未...阅读全文
Linux 的 I/O 调度器是一个以块式 I/O 访问存储卷的进程，有时也叫磁盘调度器。Linux I/O 调度器的工作机制是控制块设备的请求队列：确定队列中哪些 I/O 的优先级更高以及何时下发 I/O 到块设备，以此来减少磁盘寻道时间，从而提高系统的吞吐量。 目前 Linux 上有如下几种 I/O 调度算法： noop - 通常用于内存存储的设备。 cfq - 完全公平调度器。进程平均使用IO带宽。 Deadline - 针对延迟的调度器，每一个 I/O，都有一个最晚执行时间。 Anticipatory - 启发式调度，类似 Deadline 算法，但是引入预测机制提高性能。 查看设备当前的 I/O 调度器： # cat /sys/block//queue/scheduler 假设磁...阅读全文
--num-records 1000000 --record-size 1024 --throughput -1 --producer-props bootstrap.servers=192.168.65.60:9092 acks=1 网络上很多资料都说分区数越多吞吐量越高 ， 但从压测结果来看，分区数到达某个值吞吐量反而开始下降，实际上很多事情都会有一个临界值，当超过这个临界值之后，很多原本符合既定逻辑的走向又会变得不同。一般情况分区数跟集群机器数量相当就差不多了。 当然吞吐量的数值和走势还会和磁盘、文件系统、 I/O调度策略等因素相关。 注意：如果分区数设置过大，比如设置10000，可能会设置不成功，后台会报错"java.io.IOException : Too many open files...阅读全文
并记牢，超级管理员账户啊。 建立新用户，这个只是个昵称，不是登录时的用户名，可以根据自己喜好填。 这玩意就是登录时的用户名了，设置时要多注意，并且一定要记住（其实记不住也没事，还有root呢）。 设置用户密码。 接下来该磁盘分区了，我用的虚拟机，但是方法上都一样的。 有空闲分区的话推荐使用安装程序进行自动分区，当然也可以手动分区。自动分区的话如果是新手推荐“将所有文件放在同一个分区中”，有经验的就根据自己喜好调整吧。 手动分区的话一定要记住挂载/根目录，否则会报错。Swap分区（交换分区）推荐大小为物理内存的两倍，比如我的实际内存为2G，swap给上4G就行了。 完成调整后保存分区表即可。需要注意的是需要记住挂载 根目录/ 的分区号，方便后面安装grub， 选是。 对于软件安装，教程既然写的...阅读全文
持久储存功能、磁盘快照（Storage Volume Snapshots）。...阅读全文
Kubernetes 1.14 发布了，些版本主要关注可扩展性并支持更多工作负载，带来了 30多项功能增强，其中包括从 beta 到稳定的 10 项功能。亮点包括以下几部分。 持久化本地存储 持久性本地存储的主要用例是数据库和分布式文件系统。这是一个重要里程碑，显然，本地存储的性能优于远程磁盘，无论该存储是由云提供商提供的本地 SSD 还是连接到裸机系统的磁盘。 Windows 节点的生产级支持 绝大多数企业都拥有包含 Windows 工作负载的异构环境，现在不必寻找其它协调器来管理这些 Windows 容器。Kubernetes v1.14 改进支持了 pod、服务类型、工作负载控制器和 metrics/quotas，使得与 Linux 功能相当。 PID 限制 目前处在测试阶段...阅读全文
买单。用户只需要为实际使用的资源付费，这也是用户选择云主机可以大幅降低成本的一个主要因素。7.用户可以选择安装操作系统吗？当然可以。云主机与传统物理服务器在产品使用上没有明显区别，用户可以根据自己的需求灵活选择或更换操作系统。8.如果你想购买这项服务需要多长时间？扩张需要多长时间？注册用户->在线支付->购买云服务器，实时打开。打开后，登录用户管理区→云服务器管理→管理→预装操作系统。可以选择Windows 2008、Windows 2012、Cent OS 6.5等操作系统。系统安装需要10~25分钟。系统安装完成后，您可以通过远程连接执行其他应用程序操作。9.租用云服务器需要交押金吗？与传统的物理服务器租赁不同，云服务器租赁用户无需支付押金即可享受服务。10.如何查看租用主机的配置？由于...阅读全文
这些年，机械硬盘容量的提升速度十分缓慢，大有被SSD全面赶超的趋势，不过每个季度，希捷、西部数据都会更新路线图，展望机械硬盘在技术、容量上的发展趋势，尤其是希捷。近日，希捷更是公布了详细的未来技术路线图，计划在2026年左右达到50TB左右，2030年则可以超过120TB。机械硬盘最近几年普遍基于PMR(垂直存储技术)，但即便经过各种优化加强，也已经逼近极限，新的存储技术、机械结构迫在眉睫。比如希捷研发近20年的HAMR(热辅助磁记录)，终于已经开花落地，去年底交付了20TB HAMR硬盘，同时新的多传动器(Muti-Actuator)结构也已经基本成熟，二者结合可让机械硬盘的容量跨上新台阶，2026年达到50TB就靠它们了。类似未来的半导体工艺制程，要想实现更进一步的突破，全新的存储介质...阅读全文
当然，无论西数还是希捷都在努力开发新的存储技术，目前出货的14TB和即将推出的16TB、18TB都是传统充氦垂直记录技术，接下来就要上新的HAMR热辅助磁记录技术，2030年前有望带来100TB的总容量。 希捷此前称会在2018年内出样HAMR硬盘，2019年量产，初期容量20TB，而最新说法让人更加振奋： 希捷表示，HAMR技术进展顺利，下一代大容量近线硬盘的单盘容量可达24TB，预计2019年批量上市。 当然，希捷还有多驱动技术(Multi-Actuator)，硬盘内存同时使用多个机械臂进行读写操作，大幅提升性能，读写速度可达480MB/s，基本逼近SATA SSD的水准。...阅读全文
", "h", "m" 时间后缀， 若不使用后缀则表示以秒为单位。 MaxRetentionSec= 日志文件的最大保留期限。 当日志文件的最后修改时间超过此期限后将被删除。 默认值零表示不使用基于时间的日志删除策略。 通常并不需要使用基于时间的日志删除策略，因为由 SystemMaxUse= 与 RuntimeMaxUse= 控制的基于文件大小的日志滚动策略 已经可以确保日志文件的大小不会超标。 可以使用 "year", "month", "week", "day", "h", "m" 时间后缀， 若不使用后缀则表示以秒为单位。 SyncIntervalSec= 向磁盘刷写日志文件的时间间隔，默认值是五分钟。 刷写之后，日志文件将会处于离线(OFFLINE)状态。 注意，当接收到 CRIT...阅读全文
服务监控系统 Prometheus 2.0 已发布，Prometheus 是一个 Go 语言开发的开源的服务监控系统和时间序列数据库。 Prometheus 2.0 有一个简单而强大的运营模式。然而，基础设施领域也没有停滞不前，像 Kubernetes 和 Mesos 这样的项目正在迅速改变软件的部署和管理方式。受监控的环境变得越来越活跃。 存储 Prometheus 2.0 有性能显着提高，几乎在所有方面都有所改进。查询延迟更加一致，特别是在高系列流失的情况下，它的规模更大。在不同的现实世界生产情景下测量的资源消耗也显着下降： 与 Prometheus1.8 相比，CPU 使用率 降低了 20％ – 40％ 与普 Prometheus1.8 相比， 磁盘空间使用率 降低了 33...阅读全文
使用df -h检查磁盘文件，看到 journal 日志占用了数G空间， ~:/var/log/journal/4211ff3f594041f3966d836585a11a05# journalctl --disk-usage Archived and active journals take up 6.4G in the file system. 清理方法可以采用按照日期清理，或者按照允许保留的容量清理 ``` journalctl --vacuum-time=2d journalctl --vacuum-size=500M ``` ...阅读全文
1. Kafka介绍 1.1.1. Kafka是什么 kafka使用scala开发，支持多语言客户端（c++、java、python、go等） Kafka最先由LinkedIn公司开发，之后成为Apache的顶级项目。 Kafka是一个分布式的、分区化、可复制提交的日志服务 LinkedIn使用Kafka实现了公司不同应用程序之间的松耦和，那么作为一个可扩展、高可靠的消息系统 支持高Throughput的应用 scale out：无需停机即可扩展机器 持久化：通过将数据持久化到硬盘以及replication防止数据丢失 支持online和offline的场景 复制代码 1.1.2. Kafka的特点 Kafka是分布式的，其所有的构件borker(服务端集群)、producer(消息生产...阅读全文
磁盘文件，按场景4处理，如果拷贝过来的是B节点的磁盘文件，按场景3处理。最后将新的slave节点加入C即可重新恢复镜像队列。 场景6：A先停，B后停，且A和B均无法恢复，且无法得到A和B的磁盘文件 无解。 启动顺序中有一个30s 的概念，这个是 RMQ 的时间间隔，用于检测master、slave是否可用，因此30s 非常关键。 对于生产环境RMQ集群的重启操作，需要分析具体的操作顺序，不可无序的重启，会有可能带来无法弥补的伤害(数据丢失、节点无法启动)。 简单总结下：镜像队列是用于节点之间同步消息的机制，避免某个节点宕机而导致的服务不可用或消息丢失，且针对排他性队列设置是无效的。另外很重要的一点，镜像队列机制不是负载均衡。...阅读全文
我们安装软件包后，都会做一些配置，如何把这些软件包，以及配置变动导出成一个 deb 软件包，以便下次迁移、重新安装？ 使用 dpkg-repack 这个命令即可。 注意，这个命令会在**当前目录**下，生产新的软件包，务必确保当前目录下有足够的磁盘空间，一般要 2GB - 3GB， `for a in $(sudo dpkg --get-selections|cut -f1); do dpkg-repack $a|awk '{if (system("sleep .5 && exit 2") != 2) exit; print}';done` ...阅读全文
据 Dgraph Labs 创始人 Manish Rai Jain 在其宣布 1.0.0 版本正式发布 的 文章 中透漏，他们已完成了由贝恩资本投资公司的 Salil Deshpande 领头的 300 万融资。凭借早期在基础设施软件和开源软件方面的经验，Salil 将加入 Dgraph 董事会。Jain 表示，这一轮融资正好是我们扩大云服务的时机，并继续建立世界上最先进的图数据库。 Dgraph 是一个可扩展的，分布式的，低延迟的图数据库，于 2015 年开源，最初是出于希望消除传统关系型数据库的典型弱点而创建的。为了解决组织在数据库增长超过单个服务器时面临的一些问题，Dgraph 以更有效的方式分割数据，这使查询可以在没有通用视图的情况下执行。它还减少了网络调用和磁盘查询需要执行查询的...阅读全文
PostgreSQL 13 已正式发布，新版本对索引和查找系统进行了重大改进，大型数据库因此受益甚多，包括节省了空间并提高了索引的性能，使用聚合或分区的查询的响应时间更快，使用增强的统计信息时更好的查询计划(query planning)等。 除了并行化清理(parallelized vacuuming)和增量排序(incremental sorting)等呼声较高的功能外，PostgreSQL 13 还为大大小小的工作负载提供了更好的数据管理体验，并对日常管理进行了优化，为应用开发者提供了更多便利，并增强了安全性。 性能提升 在先前 PostgreSQL 版本的基础上，PostgreSQL 13 可以有效地处理 B 树索引（PostgreSQL 的标准索引）中的重复数据，从而降低 B 树...阅读全文
我使用 debian-live-10.1.0-amd64-gnome.iso 安装系统。在安装时注意语言、位置和键盘类型的选择。主要是这几项， - 安装语言english - location，other，china - 键盘American English，使用全部磁盘 安装好的系统可以正常显示中文。Debian10 已经默认安装好 fcitx 与 google pinyin。我们删掉默认运行的 ibus， sudo apt remove ibus reboot # no ibus pid, have fcitx pid fcitx-configtool # add button, uncheck only show current lang, add google pinyin 这时...阅读全文
它还展示了公司垂直磁性隧道结(pMTJ)的可扩展性。 首批配备Everspin全新千兆MRAM芯片的产品之一将来自Smart Modular公司。该公司计划发布一款NVMe PCIe硬盘，它的重量和长度都将减半，其将用于元数据缓存和储存加速应用。Smart Modular表示，该产品单元在4K随机读写测试中能够达到1500K IOPS。 眼下，Everspin正在闪存峰会(Flash Memory Summit)展示他们的1Gb ST-MRAM。...阅读全文
在 Systemd (linux 操作系统流行的 init 系统和服务管理器) 中发现了一个关键漏洞, 这使得远程攻击者有可能触发缓冲区溢出, 从而通过 dns 响应在目标计算机上执行恶意代码。 Systemd是什么 systemd 是一种系统初始化程序。和 sysVinit 以及 upstart 一样，systemd 会成为系统开机时启动的第一个进程（至少 PID 是 1），由它掌管计算机接下来要做的事情，例如读取 fstab 挂载磁盘和按照 runlevel 的设定启动各种服务。其安全的重要性不言而喻。 Systemd远程代码执行漏洞 CVE-2017-9445 该漏洞编号 CVE-2017-9445 ，实际上驻留在 " systemd-resolved " 的...阅读全文
Docker 镜像，Alpine 只有仅仅 5 MB 大小，并且拥有很友好的包管理机制。 Docker 官方推荐使用 Alpine 替代 Ubuntu 做为容器的基础镜像。这样会带来众多好处，镜像下载速度更快，镜像安全性提升，主机之间的切换更方便，占用更少磁盘空间等。 下表是官方容器镜像的大小对比： REPOSITORY TAG IMAGE ID VIRTUAL SIZE alpine latest 4e38e38c8ce0 4.799 MB debian latest 4d6ce913b130 84.98 MB ubuntu latest b39b81afc8ca 188.3 MB centos latest 8efe422e6104 210 MB 获取并使用官方镜像 由于镜像很小，下载时间往往很短...阅读全文
RethinkDB最早是作为一个对SSD进行专门优化的MySQL存储引擎出现的，其特点在于对SSD的充分利用。而目前RethinkDB已经脱离MySQL成为一个独立的存储。 RethinkDB目前支持几乎所有的64位Linux发行版，包括： Ubuntu 10.04.1 x86_64 Ubuntu 10.10 x86_64 Red Hat Enterprise Linux 5 x86_64 CentOS 5 x86_64 SUSE Linux 10 RethinkDB支持各种底层存储：SSD，传统磁盘以及像AWS这样的云存储服务。 RethinkDB应用场景 它可以用来替代Memcached作为数据缓存层。或者替代一些类似Memcached的存储，比如Membase，MemcacheDB...阅读全文
显示在二者当中。 3. 桌面部件。桌面部件是指那些小型且功能专一的应用，我们可将它们随意添加到桌面当中。Cinnamon提供的选项包括CPU监控、磁盘监控、天气应用、便签、桌面相框、时间与日期等。 4. 速度。Cinnamon的运行速度极快，程序加载与显示速度也令人满意。虽然这只是根据我的主观感受而且未经任何定时测试，但可以肯定的是，它的速度表现绝不会拖累使用感受。 5. 配置。Cinnamon在可配置性方面不及KDE Plasma，但却已经足够使用甚至超出了我的预期。通过主窗口，我们可以启动特定功能配置窗口，并借此选定新的主题外观、容器边框、图标、控件、指针与桌面等。其他可选项还包括字体与背景等等。我发现其中相当一部分配置工具非常出色，且适度的限制意味着Cinnamon不会像KDE那样带来...阅读全文
冲突，可以通过手动来解决，但如果冲突数量众多，解决冲突可能会变成一件很麻烦的事情。 因此，Yarn 提供了自动合并 yarn.lock 文件的功能以解决冲突的问题。通过运行 yarn install 命令可以触发合并，如果合并成功，新的无冲突 yarn.lock 文件会被保存到磁盘上。 未来计划 Facebook 表示未来的 Yarn 将要实现下面这些目标： 使用 Yarn 发布包：发布新包通常需要创建正确的更新日志、执行正确的语义版本控制、同步相关项目的版本，还需要频繁地手动或通过脚本来完成其他很多步骤。如果 Yarn 能够为包发布者完成这些事情岂不是更好？ 包的安全性：在添加新软件包或升级旧的包时，包的安全性也是一个很重要的需要考虑的因素。Yarn 将会与 npm 合作，将双因子认证带到...阅读全文
就是块缓存的一个很好的候选。 用户或应用通过在缓存池中增加一个cache directive来告诉namenode需要缓存哪些文件及存多久。缓存池（cache pool）是一个拥有管理缓存权限和资源使用的管理性分组。 例如: 一个文件 130M，会被切分成2个block块，保存在两个block块里面，实际占用磁盘130M空间，而不是占用256M的磁盘空间 6.3 hdfs的文件权限验证 hdfs的文件权限机制与linux系统的文件权限机制类似 r:read w:write x:execute 权限x对于文件表示忽略，对于文件夹表示是否有权限访问其内容 如果linux系统用户zhangsan使用hadoop命令创建一个文件，那么这个文件在HDFS当中的owner就是zhangsan HDFS文...阅读全文
。kafka因为消息写入是通过PageCache异步写入磁盘的，因此仍然存在丢失消息的可能。因此针对kafka自身丢失的可能设置参数：replication.factor=N，设置一个比较大的值，保证至少有2个或者以上的副本。min.insync.replicas=N，代表消息如何才能被认为是写入成功，设置大于1的数，保证至少写入1个或者以上的副本才算写入消息成功。unclean.leader.election.enable=false，这个设置意味着没有完全同步的分区副本不能成为Leader副本，如果是true的话，那些没有完全同步Leader的副本成为Leader之后，就会有消息丢失的风险。消费者消息丢失消费者丢失的可能就比较简单，关闭自动提交位移即可，改为业务处理成功手动提交。因为重平衡发生的时...阅读全文
apt-get install git 现在，我们切换到 /opt 目录，并从 Github 上克隆仓库： cd /opt git clone https://github.com/axboe/fio 现在，我们通过在 /opt 目录下切换到 Fio 的源代码目录，执行编译和安装操作了，命令如下： # cd /opt/fio # ./configure # make # make install 使用 Fio 进行磁盘性能测试 现在 Fio 已经安装到了你的系统中，我们一起看看如何使用 Fio 做磁盘的随机写、读和读写测试。 随机写测试 执行下面的命令来开始。这个命令将要同一时间执行两个进程，写入共计 4GB（ 4 个任务 x 512MB = 2GB） 文件： sudo fio --name...阅读全文
的资源。例如，如果您的集群的利用率仅为25%，以资源的最大使用量和 Request 来衡量，则 Allocate idle costs 会按比例增加每个 pod/NS/Deployment 的成本到原来的4倍。 6. **图表选择**： 切换到条形图视图以查看所选窗口的汇总成本，或切换到时间序列视图以查看成本随时间的变化。 7. **附加选项**： 查看其他选项以将成本数据导出为 CSV 或查看帮助文档。 ### Assets  Kubecost Assets 视图显示了按集群中单个资源细分的 Kubernetes 集群成本（例如，按节点、磁盘...阅读全文
通过使用虚拟内存使用共享内存也很简单，系统只需要将各个进程的虚拟内存地址指向系统分配的共享内存地址即可。 SWAP 虚拟内存可以让帮进程”扩充”内存。 我们前文提到了虚拟内存通过缺页中断为进程分配物理内存，内存总是有限的，如果所有的物理内存都被占用了怎么办呢？ Linux 提出 SWAP 的概念，Linux 中可以使用 SWAP 分区，在分配物理内存，但可用内存不足时，将暂时不用的内存数据先放到磁盘上，让有需要的进程先使用，等进程再需要使用这些数据时，再将这些数据加载到内存中，通过这种”交换”技术，Linux 可以让进程使用更多的内存。 常见问题 在了解虚拟内存时，我也有过很多的问题。 32位和64位 最常见的就是 32位和64位的问题了。 CPU 通过物理总线访问内存，那么访问地址的范围就...阅读全文
示前一部分的输出结果中含有“/usr/games”的那些行。这个游戏很酷哦。说不定还有其他赛道可玩的？apt-cache search torcs我的磁盘空间不够用了。我得把apt的缓存空间清空才行。apt-get clean哦不，老妈叫我把机器上的所有游戏都删掉。但是我想把配置文件保留下来，这样待会我只要重装一下就可以继续玩了。apt-get remove torcs如果我想连配置文件一块删除：apt-get remove –purge torcs额外的软件包deborphan和debfoster工具可以找出已经安装在系统上的不会被用到的软件包。提高命令行方式下的工作效率 您可以通过定义别名（alias）来提高这些命令的输入速度。例如，您可以在您的*~/.bashrc*文件中添加下列内容...阅读全文
载好操作系统后，会得到一个zip的压缩文件。先解压，我们会用到里面的一个 .img 格式的操作系统镜像文件。文件准备好后，就可以进入下一步操作了。 在SD卡中灌入系统 这一步，我们需要下载一个软件，以便录入系统。虽然 RaspberryPi Foundation推荐使用 Etcher，但个人建议使用 Win32DiskImager，操作比较简单，录入成功率也比较高。 运行 Win32DiskImager 后，可以看到上图。打开首选的磁盘映像器，然后选择您的SD卡。通过在资源管理器中检查确认 SD卡驱动器 的名称，确保它是你的microSD卡，而不是其他驱动器。 注意：如果您不小心选择了错误的驱动器，则会丢失大量数据。 一旦你确认了SD卡的设备名，就可以选择第一步中，准备的 .img。在...阅读全文
VE 对所有对象（例如 VM、storage、nodes 等）使用基于角色的用户和权限管理。新的 LDAP 同步使 LDAP 用户和组同步到 Proxmox 用户和组权限框架中。添加了对 API 令牌的全面支持和集成，从而允许其他系统、软件或 API 客户端对REST API 的大部分进行无状态访问。API 令牌可以为单个用户生成，并且可以选择配置单独的权限和到期日期以限制访问的范围和持续时间。如果 API 令牌遭到破坏，则可以撤销该令牌，而不必禁用用户本身。 进一步的显着增强： QEMU/KVM：已启用对复制磁盘的实时迁移（使用 zfs 进行存储复制）的支持。由于简化了卸载过程，因此测试 Ceph 存储变得更加容易。 下载地址：https://www.proxmox.com...阅读全文
LXD 服务器必须配置为监听单个 IPv4 或 IPv6 地址，同时内部集群流量和常规客户端流量都使用相同的地址。LXD 3.8 引入新的 cluster.https_address 选项作出改变，write-once 写入密钥保存用于集群通信的地址，并且无法在不必从集群中删除节点的情况下进行更改。有了这个单独的密钥，现在可以将集群节点上的常规 core.https_address 更改为任何地址，包括通配符模式，如 :8443。 集群镜像复制 集群中引入了自动镜像复制， 在 LXD 3.8 之前，镜像只会被复制到其它集群成员，虽然有利于性能、带宽和磁盘使用，但这有一个明显的缺点，即如果镜像仅出现在单个系统上并且系统脱机，那么在系统恢复之前将无法使用该镜像。 此版本通过在至少 3 个系统上复制所...阅读全文
SQLite 3.30.0 发布了，SQLite 是一个 C 实现的 SQL 数据库引擎，它的特点是小型、快速、自包含、高可靠性和功能齐全。SQLite 嵌入在所有手机和大多数计算机中，也捆绑在为数众多的其它应用中，是世界上使用量最大的数据库引擎。 此版本更新内容包括： 添加对聚合函数的 FILTER 子句的支持添加对 ORDER BY 子句中的 NULLS FIRST 和 NULLS LAST 语法的支持增强了 index_info和index_xinfo 编译指示，以提供有关 WITHOUT ROWID 表在磁盘上的表示形式的信息新增 sqlite3_drop_modules() 接口，使应用程序可以禁用不需要的自动加载的虚拟表改进 CLI 中的 .recover dot...阅读全文
Proxmox 5.3 默认包含CephFS, 可以直接用Web界面进行配置和管理。相比之下，Proxmox 5.2 版本用 pveceph install 安装，用命令行初始化pveceph init --network网络。在Proxmox VE web管理界面，点几下鼠标就能完成文件系统的创建和配置，以前的版本需要在命令行下完成。 这次官方发布更新的点比较多，这里只挑几个重要的介绍，想详细了解的同学请参考发布记录。 磁盘管理GUI界面（ZFS, LVM, LVMthin, xfs, ext4） CephFS管理GUI界面（MDS） ZFS over iSCSI 插件支持 Linux-IO 目标（LIO Target） 支持模拟运行ARM架构虚拟机（试验特性，搞开发的同学可以体验下...阅读全文
用。 学校机房（从 U盘 和 DVD 启动）使用 任何可以（从 U盘 和 DVD ）启动使用的计算机上。 安装向导： 如何在你的硬盘驱动器上安装 Kodachi Linux： 从你的 USB 或 ISO 映像引导。 在桌面菜单上进入 – >系统 – > Refracta 安装程序 – >使用 su – >输入密码 r@@t00 – >简单安装 – >运行 GParted – >设备 – >创建分区表 – >应用 – >分区 – >新建 – >添加 – >应用所有操作 – >关闭 – >关闭 GParted 窗口 – >选择分区 – >确定 – >继续安装 – >关闭窗口 – > y – >配置主机及用户名！不要在这里更改用户名，否则 Kodachi 脚本会出现错误 – >勾选前 2 个框允许...阅读全文
LMDE 4 “Debbie” 正式发布了，LMDE 即 “Linux Mint Debian Edition”。它的目标是与 Linux Mint 尽可能相似，但不使用 Ubuntu，软件包库由 Debian 提供。 新版本主要带来了以下新特性： 支持 LVM 和全盘加密的自动分区主目录加密支持自动安装 NVIDIA 驱动程序支持 NVMe支持 SecureBoot支持 Btrfs 子卷改进安装程序自动安装微码包在 Virtualbox 中，实时会话的自动分辨率提高到最小 1024×768Linux Mint 19.3 改进（HDT、引导修复、系统报告、语言设置、HiDPI 和插图改进、新的引导菜单、Celluloid、Gnote、绘图、Cinnamon 4.4、XApp 状态图标等...阅读全文
本文记录如何从 Debian 安装 Proxmox VE，以及配置 IPv4 和 IPv6 网卡，为硬盘分区。 预配置系统装好后，从 NOCIX 后台面板取得 登陆用户名 和 密码。 用户名是 customer密码是一串随机生成的字符串 使用 su 切换到 root 还需要输入密码，这样频繁操作比较麻烦。 免密登陆 root安装 sudo 实现免密 su 12apt updateapt install -y sudo 修改 /etc/sudoers 文件注意：只能用 visudo 交互式来修改 sudoers 文件 这是为了防止被脚本修改，就别想用 echo 来改了 visudo 会验证配置的格式，如果不验证，而你写的配置有问题，那么你无法切换到 root，而只有 root 用户才能修改...阅读全文
