随着希捷、东芝先后推出16TB容量的HDD硬盘，现今的垂直磁道PMR机械硬盘不论容量还是技术水平应该是到头了，西数计划今年出样18TB及20TB的硬盘，会用上MAMR全新技术。 访问购买页面： 西部数据自营旗舰店 机械硬盘要想再提高容量，现在的磁记录技术已经没多少潜力可挖了，新一代HDD硬盘技术会转向HAMR热磁辅助记录技术，不过西数认为HAMR使用激光辅助加热，技术复杂，成本高，可靠性也低，所以他们更倾向于MAMR微波辅助磁记录技术。 根据西数所说，MAMR硬盘技术的成本和传统垂直记录类似，复杂性、可靠性也都更可控(99.99％的MAMR磁头写入寿命HAMR磁头高出几个数量级)，生态方面也不需要更换新的主机管理损耗均衡。 西数最新表态今年底会推出两款MAMR技术的容量，一款是18TB容量...阅读全文
随着热辅助磁记录（HAMR）技术的成熟，希捷也终于拿出了 16TB 的 3.5 英寸 Exos HAMR 硬盘驱动器。目前该产品已在全面测试阶段，且较西部数据（WD）的微波辅助磁记录（MAMR）技术有更大的优势。HAMR 可借助激光对下方盘片进行加热，使磁头更易于记录、从而实现更高的存储密度。 希捷表示，HAMR 磁头的可靠性，已经超越了“行业标准”。 目前希捷正在对 16-TB HAMR 驱动器进行一系列的基准和集成测试，例如检查它们是否能够对控制器的命令做出了适当的响应。该制造商指出，客户无需做出任何特殊的改动，即可直接像传统 3.5" 硬盘驱动器那样使用 HAMR 驱动器。 如果一切顺利，希捷有望在 2020 年提供容量高达 20 TB 的 HAMR 硬盘驱动器产品。...阅读全文
Linux 的 I/O 调度器是一个以块式 I/O 访问存储卷的进程，有时也叫磁盘调度器。Linux I/O 调度器的工作机制是控制块设备的请求队列：确定队列中哪些 I/O 的优先级更高以及何时下发 I/O 到块设备，以此来减少磁盘寻道时间，从而提高系统的吞吐量。 目前 Linux 上有如下几种 I/O 调度算法： noop - 通常用于内存存储的设备。 cfq - 完全公平调度器。进程平均使用IO带宽。 Deadline - 针对延迟的调度器，每一个 I/O，都有一个最晚执行时间。 Anticipatory - 启发式调度，类似 Deadline 算法，但是引入预测机制提高性能。 查看设备当前的 I/O 调度器： # cat /sys/block//queue/scheduler 假设磁...阅读全文
当 Torvalds 将某些代码标记为“dontuse”，通常表明这个问题比较大。在 5.12 首个候选版本更新中，破坏了交换文件（swapfile）的处理。具体来说，更新后的代码会失去指向 swapfile 开头的正确偏移。用 Torvalds 自己的话来说，“交换还是会发生，但它发生在文件系统的错误部分，最终结果显然是灾难性的”。这样 Linux 内核如果想要将内存中的内容分页到磁盘上的时候，数据就会落在相同磁盘和 swapfile 活跃的分区的随机部分上，而且这不是作为文件，而是作为垃圾直接写入到磁盘的原始扇区。这意味着不仅要覆盖现有文件中的数据，还要覆盖相当大块的元数据，这些元数据的损坏很可能会导致整个文件系统无法挂载和使用。Torvalds 继续指出，如果你根本不使用 swap...阅读全文
看着SSD气势汹汹，机械硬盘丝毫不敢懈怠，唯有不断推陈出新大容量产品，同时把容价比做到更低。据说淘宝上出现了一批全新/充新HGST 8T企业盘，由不景气的乐视云内部流出，居然只要千元出头。 就目前而言，西数、东芝均发布了14TB，前者使用SMR（叠瓦式磁记录），后者使用传统的PMR（垂直磁记录），9碟充氦。 而且，巨头均规划了16TB硬盘，预计明年推向市场。 近日，知名存储服务商Backblaze刊文报道，希捷CTO（首席技术官）Mark Re介绍称，HAMR（热辅助磁记录）存储技术硬盘已经越来越接近商用了。 今年10月的容量密度还是2Tbpsi（每平方英寸容量），Mark Re此次透露，目前已经达到5Tbpsi，是当下希捷最大的12TB硬盘（PMR）1.3Tbpsi的3.8倍，而HAMR...阅读全文
kubernetes 中的垃圾回收机制主要有两部分组成：一是由 kube-controller-manager 中的 gc controller 自动回收 kubernetes 中被删除的对象以及其依赖的对象；二是在每个节点上需要回收已退出的容器以及当 node 上磁盘资源不足时回收已不再使用的容器镜像；本文主要分析 kubelet 中的垃圾回收机制，垃圾回收的主要目的是为了节约宿主上的资源，gc controller 的回收机制可以参考以前的文章 garbage collector controller 源码分析。kubelet 中与容器垃圾回收有关的主要有以下三个参数:--maximum-dead-containers-per-container: 表示一个 pod 最多可以保存多少个...阅读全文
背景 在查看k8s的环境的时候，突然发现存在n多个pod状态为Evicted。差不多得有几百个。 解决 同事愉快的丢了个链接给我，让我自己看一波：What will happen to evicted pods in kubernetes? 查看了一下pod的信息。结果发现是磁盘满了。 kubectl describe pod {pode_name} -n {namespace} 但是得手动删除Evicted状态的pod kubectl get pods --all-namespaces -o json | jq '.items[] | select(.status.reason!=null) | select(.status.reason | contains("Evicted...阅读全文
0.269t 0.053t 0.025t D 14.6 86.2 1081:18 influxd在出现堆积时，wa很高，说明问题再次出现在磁盘io上，而且influxd的SHR空间占用了25g，又是为什么？面对新出现的问题，当前的主要手段仍然是从influxdb配置文件入手，但是该如何优化?2.tsi原理工欲善其事，必先利其器。查阅了相关资料之后，整理了influxdb使用tsi索引时原理图:说明:写入influxdb时，会同时写wal文件及cache内存, wal用于宕机恢复cachecache在达到配置中的阈值时，会进行snapshot快照,进行落盘influxdb的series及index索引会在内存中全量保存，用于快速检索wal文件大小在达到配置中阈值时，会进行压缩转换到index索引...阅读全文
磁盘文件，按场景4处理，如果拷贝过来的是B节点的磁盘文件，按场景3处理。最后将新的slave节点加入C即可重新恢复镜像队列。 场景6：A先停，B后停，且A和B均无法恢复，且无法得到A和B的磁盘文件 无解。 启动顺序中有一个30s 的概念，这个是 RMQ 的时间间隔，用于检测master、slave是否可用，因此30s 非常关键。 对于生产环境RMQ集群的重启操作，需要分析具体的操作顺序，不可无序的重启，会有可能带来无法弥补的伤害(数据丢失、节点无法启动)。 简单总结下：镜像队列是用于节点之间同步消息的机制，避免某个节点宕机而导致的服务不可用或消息丢失，且针对排他性队列设置是无效的。另外很重要的一点，镜像队列机制不是负载均衡。...阅读全文
Kubernetes 1.14 发布了，些版本主要关注可扩展性并支持更多工作负载，带来了 30多项功能增强，其中包括从 beta 到稳定的 10 项功能。亮点包括以下几部分。 持久化本地存储 持久性本地存储的主要用例是数据库和分布式文件系统。这是一个重要里程碑，显然，本地存储的性能优于远程磁盘，无论该存储是由云提供商提供的本地 SSD 还是连接到裸机系统的磁盘。 Windows 节点的生产级支持 绝大多数企业都拥有包含 Windows 工作负载的异构环境，现在不必寻找其它协调器来管理这些 Windows 容器。Kubernetes v1.14 改进支持了 pod、服务类型、工作负载控制器和 metrics/quotas，使得与 Linux 功能相当。 PID 限制 目前处在测试阶段...阅读全文
性就是序列 ID，它允许基于操作的分片恢复。 以前，如果由于网络问题或节点重启而从集群断开连接的节点，则节点上的每个分区都必须通过将分段文件与主分片进行比较并复制任何不同的分段来重新同步。 这可能是一个漫长而昂贵的过程，甚至使节点的滚动重新启动非常缓慢。 使用序列 ID，每个分片将只能重放该分片中缺少的操作，使恢复过程更加高效。 使用排序索引更快查询 通过索引排序，只要收集到足够的命中，搜索就可以终止。它对通常用作过滤器的低基数字段（例如 age, gender, is_published）进行排序时可以更高效的搜索，因为所有潜在的匹配文档都被分组在一起。 稀疏区域改进 以前，每个列中的每个字段都预留了一个存储空间。如果只有少数文档出现很多字段，则可能会导致磁盘空间的巨大浪费。现在，你付出你...阅读全文
VE 对所有对象（例如 VM、storage、nodes 等）使用基于角色的用户和权限管理。新的 LDAP 同步使 LDAP 用户和组同步到 Proxmox 用户和组权限框架中。添加了对 API 令牌的全面支持和集成，从而允许其他系统、软件或 API 客户端对REST API 的大部分进行无状态访问。API 令牌可以为单个用户生成，并且可以选择配置单独的权限和到期日期以限制访问的范围和持续时间。如果 API 令牌遭到破坏，则可以撤销该令牌，而不必禁用用户本身。 进一步的显着增强： QEMU/KVM：已启用对复制磁盘的实时迁移（使用 zfs 进行存储复制）的支持。由于简化了卸载过程，因此测试 Ceph 存储变得更加容易。 下载地址：https://www.proxmox.com...阅读全文
SQLite 3.30.0 发布了，SQLite 是一个 C 实现的 SQL 数据库引擎，它的特点是小型、快速、自包含、高可靠性和功能齐全。SQLite 嵌入在所有手机和大多数计算机中，也捆绑在为数众多的其它应用中，是世界上使用量最大的数据库引擎。 此版本更新内容包括： 添加对聚合函数的 FILTER 子句的支持添加对 ORDER BY 子句中的 NULLS FIRST 和 NULLS LAST 语法的支持增强了 index_info和index_xinfo 编译指示，以提供有关 WITHOUT ROWID 表在磁盘上的表示形式的信息新增 sqlite3_drop_modules() 接口，使应用程序可以禁用不需要的自动加载的虚拟表改进 CLI 中的 .recover dot...阅读全文
据 Dgraph Labs 创始人 Manish Rai Jain 在其宣布 1.0.0 版本正式发布 的 文章 中透漏，他们已完成了由贝恩资本投资公司的 Salil Deshpande 领头的 300 万融资。凭借早期在基础设施软件和开源软件方面的经验，Salil 将加入 Dgraph 董事会。Jain 表示，这一轮融资正好是我们扩大云服务的时机，并继续建立世界上最先进的图数据库。 Dgraph 是一个可扩展的，分布式的，低延迟的图数据库，于 2015 年开源，最初是出于希望消除传统关系型数据库的典型弱点而创建的。为了解决组织在数据库增长超过单个服务器时面临的一些问题，Dgraph 以更有效的方式分割数据，这使查询可以在没有通用视图的情况下执行。它还减少了网络调用和磁盘查询需要执行查询的...阅读全文
公司使用的openstack的备份服务组件karbor，要查询所使用的备份nas磁盘使用率的需求，根据以前的查询语句，很快写出如下的prom sql 100-topk(1,node_filesystem_free{device=~":/.*"}*100/node_filesystem_size{device=~":/.*"}) 不久后，同事过来说给出的使用率不严谨，和在系统上通过df -h的命令不一样，分别是prom：10%，df结果是11%。嘴上说着差异不大不用管，身体却很实诚，马上去主机上通过df -h查看了使用率 :/var/lib/docker/nfs 147G 15G 125G 11% /var/lib/docker/volumes/volume-nfs/_data 通过prom...阅读全文
这些年，机械硬盘容量的提升速度十分缓慢，大有被SSD全面赶超的趋势，不过每个季度，希捷、西部数据都会更新路线图，展望机械硬盘在技术、容量上的发展趋势，尤其是希捷。近日，希捷更是公布了详细的未来技术路线图，计划在2026年左右达到50TB左右，2030年则可以超过120TB。机械硬盘最近几年普遍基于PMR(垂直存储技术)，但即便经过各种优化加强，也已经逼近极限，新的存储技术、机械结构迫在眉睫。比如希捷研发近20年的HAMR(热辅助磁记录)，终于已经开花落地，去年底交付了20TB HAMR硬盘，同时新的多传动器(Muti-Actuator)结构也已经基本成熟，二者结合可让机械硬盘的容量跨上新台阶，2026年达到50TB就靠它们了。类似未来的半导体工艺制程，要想实现更进一步的突破，全新的存储介质...阅读全文
LXD 服务器必须配置为监听单个 IPv4 或 IPv6 地址，同时内部集群流量和常规客户端流量都使用相同的地址。LXD 3.8 引入新的 cluster.https_address 选项作出改变，write-once 写入密钥保存用于集群通信的地址，并且无法在不必从集群中删除节点的情况下进行更改。有了这个单独的密钥，现在可以将集群节点上的常规 core.https_address 更改为任何地址，包括通配符模式，如 :8443。 集群镜像复制 集群中引入了自动镜像复制， 在 LXD 3.8 之前，镜像只会被复制到其它集群成员，虽然有利于性能、带宽和磁盘使用，但这有一个明显的缺点，即如果镜像仅出现在单个系统上并且系统脱机，那么在系统恢复之前将无法使用该镜像。 此版本通过在至少 3 个系统上复制所...阅读全文
当然，无论西数还是希捷都在努力开发新的存储技术，目前出货的14TB和即将推出的16TB、18TB都是传统充氦垂直记录技术，接下来就要上新的HAMR热辅助磁记录技术，2030年前有望带来100TB的总容量。 希捷此前称会在2018年内出样HAMR硬盘，2019年量产，初期容量20TB，而最新说法让人更加振奋： 希捷表示，HAMR技术进展顺利，下一代大容量近线硬盘的单盘容量可达24TB，预计2019年批量上市。 当然，希捷还有多驱动技术(Multi-Actuator)，硬盘内存同时使用多个机械臂进行读写操作，大幅提升性能，读写速度可达480MB/s，基本逼近SATA SSD的水准。...阅读全文
fsimage文件和edits文件。 根据上述配置, 找到namenode放置fsimage和edits路径. 直接全部rm -rf 删除。 拷贝secondaryNamenode的fsimage与edits文件到namenode的fsimage与edits文件夹下面去。 根据上述配置, 找到secondaryNamenode的fsimage和edits路径, 将内容 使用cp -r 全部复制到namenode对应的目录下即可。 重新启动namenode, 观察数据是否存在。 10 datanode工作机制以及数据存储 datanode工作机制 一个数据块在datanode上以文件形式存储在磁盘上，包括两个文件，一个是数据本身，一个是元数据包括数据块的长度，块数据的校验和，以及时间戳。 DataNode...阅读全文
=, RuntimeMaxFiles= 限制日志文件的大小上限。 以 "System" 开头的选项用于限制磁盘使用量， 也就是 /var/log/journal 的使用量。 以 "Runtime" 开头的选项用于限制内存使用量， 也就是 /run/log/journal 的使用量。 以 "System" 开头的选项仅在 /var/log/journal 目录确实存在且可写时才有意义。 但以 "Runtime" 开头的选项永远有意义。 也就是说， 在系统启动早期 /var 尚未挂载时、 或者系统管理员禁止在磁盘上存储日志的时候， 仅有 "Runtime" 开头的选项有意义。 journalctl 与 systemd-journald 工具会忽略日志目录中 所有后缀名不等于 ".journal" 或 ".journal~" 的文...阅读全文
云服务器相当于正在使用的物理服务器，用户可以在操作系统中实时查看服务器的配置信息和当前的资源使用情况。11.备份磁盘可以用来存储我的文件吗？备份磁盘用于系统智能备份服务，主要用于灾难恢复。12.任务管理器中有多少个CPU？安装操作系统后，必须重新启动云服务器才能看到多个CPU，除非只购买了一个CPU。...阅读全文
服务监控系统 Prometheus 2.0 已发布，Prometheus 是一个 Go 语言开发的开源的服务监控系统和时间序列数据库。 Prometheus 2.0 有一个简单而强大的运营模式。然而，基础设施领域也没有停滞不前，像 Kubernetes 和 Mesos 这样的项目正在迅速改变软件的部署和管理方式。受监控的环境变得越来越活跃。 存储 Prometheus 2.0 有性能显着提高，几乎在所有方面都有所改进。查询延迟更加一致，特别是在高系列流失的情况下，它的规模更大。在不同的现实世界生产情景下测量的资源消耗也显着下降： 与 Prometheus1.8 相比，CPU 使用率 降低了 20％ – 40％ 与普 Prometheus1.8 相比， 磁盘空间使用率 降低了 33...阅读全文
使用df -h检查磁盘文件，看到 journal 日志占用了数G空间， ~:/var/log/journal/4211ff3f594041f3966d836585a11a05# journalctl --disk-usage Archived and active journals take up 6.4G in the file system. 清理方法可以采用按照日期清理，或者按照允许保留的容量清理 ``` journalctl --vacuum-time=2d journalctl --vacuum-size=500M ``` ...阅读全文
inactive list，内核线程kswapd会定期将active list中的页面移至 inactive list中。如果系统的inactive的内存过大，可以通过如下操作对其做回收。sync; echo 3 > /proc/sys/vm/drop_caches虚拟内存========现代x86系统，计算机能够使用的内存会大于其物理内存的上限，依靠的就是虚拟内存机制。Linux支持虚拟内存机制和实模式机制。实模式下，计算机会直接申请物理内存， 虚拟内存机制下，系统会把磁盘当成内存的扩展，已增加可使用的内存大小。并通过映射map的机制，来保存和物理内存的真实对应关系。在磁盘和内存之间传送Page的活动叫做swapping或者页面调度(paging)，被用作虚拟内存的磁盘分区称为swap。可以通过在线添加...阅读全文
都要用G1垃圾收集器，因为年轻代内存比较大，用G1可以设置GC最大停顿时间，不至于一次minor gc就花费太长时间，当然，因为像kafka，rocketmq，es这些中间件，写数据到磁盘会用到操作系统的page cache，所以JVM内存不宜分配过大，需要给操作系统的缓存留出几个G。 2.1 线上问题及优化 2.1.1 消息丢失情况 消息发送端： （1）acks=0： 表示producer不需要等待任何broker确认收到消息的回复，就可以继续发送下一条消息。性能最高，但是最容易丢消息。大数据统计报表场景，对性能要求很高，对数据丢失不敏感的情况可以用这种。 （2）acks=1： 至少要等待leader已经成功将数据写入本地log，但是不需要等待所有follower是否成功写入。就可以继续发...阅读全文
送给leader 3.leader将消息写入本地磁盘 4.follower从leader拉取消息数据 5.follower将消息写入本地磁盘后向leader发送ACK 6.leader收到所有的follower的ACK之后向生产者发送ACK 复制代码 2.1.3. 选择partition的原则 那在kafka中，如果某个topic有多个partition，producer⼜怎么知道该将数据发往哪个partition呢？ kafka中有几个原则： 1.partition在写入的时候可以指定需要写入的partition，如果有指定，则写入对应的partition。 2.如果没有指定partition，但是设置了数据的key，则会根据key的值hash出一个partition。 3.如果既没指定...阅读全文
我们安装软件包后，都会做一些配置，如何把这些软件包，以及配置变动导出成一个 deb 软件包，以便下次迁移、重新安装？ 使用 dpkg-repack 这个命令即可。 注意，这个命令会在**当前目录**下，生产新的软件包，务必确保当前目录下有足够的磁盘空间，一般要 2GB - 3GB， `for a in $(sudo dpkg --get-selections|cut -f1); do dpkg-repack $a|awk '{if (system("sleep .5 && exit 2") != 2) exit; print}';done` ...阅读全文
安装Proxmox VE最好的方式是用官方ISO，刻录成光盘后安装。但是也可以用Debian官方的ISO先装操作系统，然后在 Debian 上安装Proxmox VE。具体步骤可以参考Proxmox VE官方wiki. 在 Debian Jessie 上安装 Proxmox VE 的过程如下： 使用Debian官方ISO安装操作系统。在安装过程中，使用LVM方式划分磁盘分区，并设置swap、root、data三个LV，其中swap用于交换分区，root挂载到/，data挂载到 /var/lib/vz。 安装好操作系统后，修改/etc/apt/sources.list文件，添加如下内容以设置Proxmox官方源。 deb http://download.proxmox.com/debian...阅读全文
我使用 debian-live-10.1.0-amd64-gnome.iso 安装系统。在安装时注意语言、位置和键盘类型的选择。主要是这几项， - 安装语言english - location，other，china - 键盘American English，使用全部磁盘 安装好的系统可以正常显示中文。Debian10 已经默认安装好 fcitx 与 google pinyin。我们删掉默认运行的 ibus， sudo apt remove ibus reboot # no ibus pid, have fcitx pid fcitx-configtool # add button, uncheck only show current lang, add google pinyin 这时...阅读全文
它还展示了公司垂直磁性隧道结(pMTJ)的可扩展性。 首批配备Everspin全新千兆MRAM芯片的产品之一将来自Smart Modular公司。该公司计划发布一款NVMe PCIe硬盘，它的重量和长度都将减半，其将用于元数据缓存和储存加速应用。Smart Modular表示，该产品单元在4K随机读写测试中能够达到1500K IOPS。 眼下，Everspin正在闪存峰会(Flash Memory Summit)展示他们的1Gb ST-MRAM。...阅读全文
持久储存功能、磁盘快照（Storage Volume Snapshots）。...阅读全文
挑战，尽管之前的 PostgreSQL 版本已经做了一些工作来减轻清理的开销。 PostgreSQL 13 通过引入用于索引的并行化清理来继续改进清理系统 。具体来说，VACUUM 命令能够并行处理索引。可以使用 VACUUM 命令上的新 PARALLEL 选项（或 vacuumdb 上的 --parallel）来访问其功能，该选项允许用户指定用于清理索引的并行 Worker 进程的数量。要注意的是，这不适用于 FULL 选项。由于管理员可以选择要运行的并行 Worker 进程的数量，因此可以针对特定的工作负载调整此新功能的使用。除了这些性能优势之外，数据插入现在还可以触发自动清理过程。 复制插槽(Replication slots)，用于防止在复制副本接收到预写日志(WAL, write...阅读全文
理内存，当物理内存还有空闲时(还够用)，不会释放其占用内存，就算占用内存的程序已经被关闭了，该程序所占用的内存用来做缓存使用，对于开启过的程序、或是读取刚存取过得数据会比较快。有关linux内存机制参考： Linux 内存机制 Mem：表示物理内存统计。 -/+ buffers/cached：表示物理内存的缓存统计 Swap：表示硬盘上交换分区的使用情况。只有mem被当前进程实际占用完,即没有了buffers和cache时，才会使用到swap。 Mem 行(第一行)数据说明： Total：1035108KB。表示物理内存总大小。 Used：1008984KB。表示总计分配给缓存(包含buffers 与cache )使用的数量，但其中可能部分缓存并未实际使用。 Free：26124KB。表示未...阅读全文
用于选定的前缀），但服务器端无需进行任何内存操作。此外，现在支持选择加入/退出模式，因此，对于不使用广播模式的客户端，可以将其将缓存的内容准确告知服务器，以减少无效消息的数量。从根本上说，现在该功能在需要低内存模式和需要选择性（低带宽）模式时都更好。 2.这是许多用户的旧请求。现在，Redis支持一种模式，用于复制的RDB文件会在不再有用时立即删除。在某些环境中，最好不要将数据存储在磁盘上，而要存储在内存中。 3. ACL在某些方面更好。首先，有一个新的ACL LOG命令，该命令允许查看所有违反ACL的客户端，访问不应该访问的命令，不应该访问的密钥或尝试失败的身份验证。该日志实际上位于内存中，因此每个外部代理都可以调用“ ACL LOG”以查看发生了什么。这对于调试ACL问题非常有用。 但是...阅读全文
西部数据开发了有一段时间的Zonefs已经确定要在Linux 5.6内核中登场了，这并不是一个传统意义上面的通用文件系统（比如Ext4、NTFS），而是一个针对特定硬件设备的文件系统，它为分区式存储设备进行了高度的优化。 熟悉Linux的朋友应该知道，在Linux下面内核会将存储设备视为块设备，比如目前会将SATA存储设备视为/dev/sdX。传统文件系统是在这个块设备上面进行操作，而应用程序则是通过系统提供的接口对块设备上面的数据进行访问。 但SMR HDD（叠瓦式硬盘）有一个毛病，它只有在顺序写入时才能正常发挥性能，一旦要进行数据覆盖写入，就需要改写这块数据所在区块内的所有磁道，造成严重的性能下降。传统的文件系统不会因为SMR HDD的特性而特别对待它，而Zonefs就是西部数据对...阅读全文
载好操作系统后，会得到一个zip的压缩文件。先解压，我们会用到里面的一个 .img 格式的操作系统镜像文件。文件准备好后，就可以进入下一步操作了。 在SD卡中灌入系统 这一步，我们需要下载一个软件，以便录入系统。虽然 RaspberryPi Foundation推荐使用 Etcher，但个人建议使用 Win32DiskImager，操作比较简单，录入成功率也比较高。 运行 Win32DiskImager 后，可以看到上图。打开首选的磁盘映像器，然后选择您的SD卡。通过在资源管理器中检查确认 SD卡驱动器 的名称，确保它是你的microSD卡，而不是其他驱动器。 注意：如果您不小心选择了错误的驱动器，则会丢失大量数据。 一旦你确认了SD卡的设备名，就可以选择第一步中，准备的 .img。在...阅读全文
RethinkDB最早是作为一个对SSD进行专门优化的MySQL存储引擎出现的，其特点在于对SSD的充分利用。而目前RethinkDB已经脱离MySQL成为一个独立的存储。 RethinkDB目前支持几乎所有的64位Linux发行版，包括： Ubuntu 10.04.1 x86_64 Ubuntu 10.10 x86_64 Red Hat Enterprise Linux 5 x86_64 CentOS 5 x86_64 SUSE Linux 10 RethinkDB支持各种底层存储：SSD，传统磁盘以及像AWS这样的云存储服务。 RethinkDB应用场景 它可以用来替代Memcached作为数据缓存层。或者替代一些类似Memcached的存储，比如Membase，MemcacheDB...阅读全文
Proxmox 5.3 默认包含CephFS, 可以直接用Web界面进行配置和管理。相比之下，Proxmox 5.2 版本用 pveceph install 安装，用命令行初始化pveceph init --network网络。在Proxmox VE web管理界面，点几下鼠标就能完成文件系统的创建和配置，以前的版本需要在命令行下完成。 这次官方发布更新的点比较多，这里只挑几个重要的介绍，想详细了解的同学请参考发布记录。 磁盘管理GUI界面（ZFS, LVM, LVMthin, xfs, ext4） CephFS管理GUI界面（MDS） ZFS over iSCSI 插件支持 Linux-IO 目标（LIO Target） 支持模拟运行ARM架构虚拟机（试验特性，搞开发的同学可以体验下...阅读全文
存在本地的日志，大概就是类似于这个样子：上图显示，共有八条日志数据，其中已经提交了7条，提交的日志都将通过状态机持久化到本地磁盘当中，防止宕机。日志复制的保证机制如果两个节点不同的日志文件当中存储着相同的索引和任期号，那么他们所存储的命令是相同的。（原因：leader最多在一个任期里的一个日志索引位置创建一条日志条目，日志条目所在的日志位置从来不会改变）。如果不同日志中两个条目有着相同的索引和任期号，那么他们之前的所有条目都是一样的（原因：每次RPC发送附加日志时，leader会把这条日志前面的日志下标和任期号一起发送给follower，如果follower发现和自己的日志不匹配，那么就拒绝接受这条日志，这个称之为一致性检查）日志的不正常情况一般情况下，Leader和Followers的日志...阅读全文
并记牢，超级管理员账户啊。 建立新用户，这个只是个昵称，不是登录时的用户名，可以根据自己喜好填。 这玩意就是登录时的用户名了，设置时要多注意，并且一定要记住（其实记不住也没事，还有root呢）。 设置用户密码。 接下来该磁盘分区了，我用的虚拟机，但是方法上都一样的。 有空闲分区的话推荐使用安装程序进行自动分区，当然也可以手动分区。自动分区的话如果是新手推荐“将所有文件放在同一个分区中”，有经验的就根据自己喜好调整吧。 手动分区的话一定要记住挂载/根目录，否则会报错。Swap分区（交换分区）推荐大小为物理内存的两倍，比如我的实际内存为2G，swap给上4G就行了。 完成调整后保存分区表即可。需要注意的是需要记住挂载 根目录/ 的分区号，方便后面安装grub， 选是。 对于软件安装，教程既然写的...阅读全文
dumpavail——打印可用软件包列表。apt-cache show pkgs——显示软件包记录，类似于dpkg –print-avail。apt-cache pkgnames——打印软件包列表中所有软件包的名称。dpkg -S file——这个文件属于哪个已安装软件包。dpkg -L package——列出软件包中的所有文件。apt-get autoclean——定期运行这个命令来清除那些已经卸载的软件包的.deb文件。通过这种方式，您可以释放大量的磁盘空间。apt-file search filename——查找包含特定文件的软件包（不一定是已安装的），这些文件的文件名中含有指定的字符串。 apt-file 是一个独立的软件包。您必须先使用 apt-get 来安装它，然後运行apt-file...阅读全文
apt-get install git 现在，我们切换到 /opt 目录，并从 Github 上克隆仓库： cd /opt git clone https://github.com/axboe/fio 现在，我们通过在 /opt 目录下切换到 Fio 的源代码目录，执行编译和安装操作了，命令如下： # cd /opt/fio # ./configure # make # make install 使用 Fio 进行磁盘性能测试 现在 Fio 已经安装到了你的系统中，我们一起看看如何使用 Fio 做磁盘的随机写、读和读写测试。 随机写测试 执行下面的命令来开始。这个命令将要同一时间执行两个进程，写入共计 4GB（ 4 个任务 x 512MB = 2GB） 文件： sudo fio --name...阅读全文
冲突，可以通过手动来解决，但如果冲突数量众多，解决冲突可能会变成一件很麻烦的事情。 因此，Yarn 提供了自动合并 yarn.lock 文件的功能以解决冲突的问题。通过运行 yarn install 命令可以触发合并，如果合并成功，新的无冲突 yarn.lock 文件会被保存到磁盘上。 未来计划 Facebook 表示未来的 Yarn 将要实现下面这些目标： 使用 Yarn 发布包：发布新包通常需要创建正确的更新日志、执行正确的语义版本控制、同步相关项目的版本，还需要频繁地手动或通过脚本来完成其他很多步骤。如果 Yarn 能够为包发布者完成这些事情岂不是更好？ 包的安全性：在添加新软件包或升级旧的包时，包的安全性也是一个很重要的需要考虑的因素。Yarn 将会与 npm 合作，将双因子认证带到...阅读全文
程序了，从而导致磁盘不可用。 但是这个方法有一个小问题，那就是当系统内核更新的时候，usb-storage 模块会再次出现在它的默认位置。 方法 3：将 USB 存储器纳入黑名单 我们也可以通过 /etc/modprobe.d/blacklist.conf 文件将 usb-storage 纳入黑名单。这个文件在 RHEL/CentOS 6 是现成就有的，但在 7 上可能需要自己创建。 要将 USB 存储列入黑名单，请使用 vim 打开/创建上述文件： $ sudo vim /etc/modprobe.d/blacklist.conf 并输入以下行将 USB 纳入黑名单： blacklist usb-storage 保存文件并退出。usb-storage 就在就会被系统阻止加载，但这种方法有一...阅读全文
。例如 CPU 和 GPU 等计算资源价格相对较高，Mem 价格相对较低，而 Disk 价格则更低），相同的资源利用效率，不同资源对成本的贡献度也不一样。 例如，100%的 Disk 利用率，但是由于磁盘相对便宜，对最终的成本控制的贡献就较低。但如果是 CPU 资源，即使资源利用率为30%，由于 CPU 资源价格相对昂贵，最终可能对成本起到关键作用，因此需要用加权平均来评估成本效率，例如： - Mem 的效率：MemEfficiency = MemUsage / MemRequest - CPU 的效率：CPUEfficiency = cpuUsage / cpuRequest - Mem 的成本效率：MemCostEff = a.MemEfficiency...阅读全文
目前出现U盘启动盘制作工具，一般有两个版本装机版和 UEFI 版本。大家可能不知所措，不知道究竟该下载哪个版本使用了？ uefi就必须主板支持才能用，一般老电脑都不支持，所以不支持的用装机版或者普通版，新电脑用uefi版。 UEFI版： UEFI 版简单来说就是新一代的BIOS，图形的界面，用鼠标点就可以，再深入一点，这种BIOS里面有一项EFI启动，开启了这个功能，装好的电脑开机启动速度大大加快。2012年以后的电脑和主板基本都带有EFI功能。 优点： 1. 免除了u盘启动设置 2. 可直接进入菜单启动界面: 3. 进入pe快捷方便 UEFI进入方法： 1、主板UEFI启动优先的，启动电脑会直接进入支持uefi的PE。 2、BIOS启动菜单选择U盘带UEFI字样的。 装机版： 装机版为最...阅读全文
本教程介绍如何在一个 U 盘上安装多个 Linux 发行版。这样，你可以在单个 U 盘上享受多个现场版live Linux 发行版了。 我喜欢通过 U 盘尝试不同的 Linux 发行版。它让我可以在真实的硬件上测试操作系统，而不是虚拟化的环境中。此外，我可以将 USB 插入任何系统(比如 Windows 系统)，做任何我想要的事情，以及享受相同的 Linux 体验。而且，如果我的系统出现问题，我可以使用 U 盘恢复! 创建单个可启动的现场版 Linux USB 很简单，你只需下载一个 ISO 文件并将其刻录到 U 盘。但是，如果你想尝试多个 Linux 发行版呢?你可以使用多个 U 盘，也可以覆盖同一个 U 盘以尝试其他 Linux 发行版。但这两种方法都不是很方便。 那么，有没有在单个...阅读全文
本默认，要注意选择DD镜像模式，不然U盘启动后找不到安装文件； 二、安装PVE（1-8这里用的网上图片，6.1/6.2安装和5.2基本一致，就没有截图） 1、进入ISO启动，选择“Install Proxmox VE” 2、同意协议，点击“I agree” 3、选择硬盘，点击“Next” 4、设定国家、时区和键盘，Country输入China即可，点击“Next” 5、设置管理员root账号密码和邮箱 6、设定主机名，IP，网关，掩码和DNS 7、安装完提示重启（重启前请先移除ISO启动） 8、启动完成后的控制台，会提示控制台访问URL 9、PVE默认端口为8006，可以导入自己的SSL证书 10、PVE安装完毕，进入系统界面...阅读全文
Management T2 Trans Count : 0 Thermal Management T1 Total Time : 0 Thermal Management T2 Total Time : 0这为你提供了硬盘的当前温度、到目前为止的使用时间、不安全的关机次数等等。格式化一个 NVMe 驱动器你可以用 nvme-cli 格式化一个 NVMe 驱动器，但要注意。这将删除驱动器上的所有数据！如果你的硬盘上有重要的数据，你必须在这样做之前将其备份，否则你将会丢失数据。子命令是 format：$ sudo nvme format /dev/nvme0nX（为了安全起见，我用 X 替换了驱动器的实际位置，以防止复制粘贴的错误。将 X 改为 1 或 nvme list 结果中列出的实际位置。）安全地擦除...阅读全文
给了你更多的控制，但这种便利是有成本的。 像 Studio 3T 这样的工具使构建准确的 MongoDB 聚合查询变得更容易。它的聚合编辑器特性使你可以一次对一个阶段应用管道操作符，你可以在每个阶段验证输入和输出，更便于调试。 使用快速写 永远不要把 MongoDB 设为低稳定性的高速写。看上去，“file-and-forget”模式使得写入速度变快了，因为命令在实际写入任何东西前就返回了。如果系统在数据写入磁盘之前崩溃了，就会丢失，存在出现不一致状态的风险。所幸，64 位的 MongoDB 启用了“日志（Journaling）”。 MMAPv1 和 WiredTiger 存储引擎都使用日志预防上述情况，不过，在日志关闭的情况下，WiredTiger 也可以在还原过程中恢复到最后一致的 检查...阅读全文
