GitHub 刚刚通过官方博客发布了 21 日“挂掉”的事件分析。GitHub 指出此次事件发生的原因是在 10 月 21 日 22:52 UTC 进行日常维护——更换发生故障的 100G 光学设备时导致美国东海岸网络中心与美国东海岸数据中心之间的连接断开。 更具体地，GitHub 分析，虽然两地的连接在 43 秒内恢复，但这次短暂的中断引发了一系列事件，这才导致了长达 24 小时 11 分钟的服务降级。 为了大规模提高性能，GitHub 的应用程序将直接写入每个群集的相关主数据库，但在绝大多数情况下将读取请求委派给副本服务器的子集。GitHub 使用 Orchestrator 来管理 MySQL 集群拓扑并处理自动故障转移，Orchestrator 在此过程中考虑了许多变量，并在...阅读全文
在三星宣布量产 QLC SATA SSD 之后，英特尔这边也宣布了自家的最新竞品 —— 价格媲美 SATA 型号、但支持 NVMe 协议的 660p 系列 SSD 。据 Anandtech 所述， 英特尔 660p 采用了自家的 64 层 1-Tb 3D QLC NAND 闪存，容量有 512GB / 1TB / 2TB 三档，但性能表现颇为一致。此外，660p 还搭配了大容量伪 SLC 缓存机制、辅以 256MB DRAM 。 英特尔 660p 系列 SSD 采用了 M.2 2280 封装规格 据悉，512GB 版本可选择调用 6~76GB 的容量当做缓存，1TB 版本可动用 12~140GB，2TB 版本则是 24~280GB 。当然，随着数据的大量写入，SLC 缓存机制的效用会明显下...阅读全文
在 Linux Kernel 5.10 代码中已经增加了对 EXT4 文件系统的更新，其中包括在 DAX/DIO 模式下大幅改进文件覆盖的效率。尤其是在运行英特尔 Optane DCPMM 存储的情况下，并行写入尤其是随机覆盖性能可以提升 10 倍以上，常规操作也能提升 2 倍以上。但是您必须使用 EXT4 iommap 代码（例如在DAX / DIO模式下），并且此更改不会影响 EXT4 的常规操作。 另一项针对 EXT4 的重大改变是由谷歌 Harshad Shirwadkar 提交的 “fast commits”。fast commits 模式和在有序模式（挂载选项 data=ordered）运行的 EXT4 用户有关，在保持最小增量的情况下与 JBD2 日志共享的快速提交空间中重新...阅读全文
1.新的问题influxdb目前支持内存型索引inmem及文件型索引tsi1。之前追踪篇将influxd索引修改为tsi1之后，经过一段时间的运行，从监控观察到，由于调用方采用异步队列+批处理的方案将数据写入influxdb，会在某些时刻调用方内部出现数据堆积，指标如图:横坐标: 时间轴，从12-29 00:00 到 12-30 00:00纵坐标: 队列中数据堆积长度，坐标最大值250k，即最大25w个数据堆积从上图可以看到，当天监控出现数次堆积，上午7:00-10:00尤为严重。在堆积时，登录influxdb服务器，查看机器状态如下:top - 09:40:58 up 120 days, 19:18, 1 user, load average: 32.29, 32.32, 29.82...阅读全文
是在不同的机器，同一机 器对同一个分区也只可能存放一个副本（包括自己）。 Consumer：消费者，即消息的消费方，是消息的出口。 Consumer Group：我们可以将多个消费组组成一个消费者组，在kafka的设计中同一个分 区的数据只能被消费者组中的某一个消费者消费。同一个消费者组的消费者可以消费同一个 topic的不同分区的数据，这也是为了提高kafka的吞吐量！ 2.1.2. ⼯作流程 我们看上⾯的架构图中，producer就是生产者，是数据的入口。Producer在写入数据的时候会把数据 写入到leader中，不会直接将数据写入follower！那leader怎么找呢？写入的流程又是什么样的呢？我 们看下图： 1.⽣产者从Kafka集群获取分区leader信息 2.⽣产者将消息发...阅读全文
存储世界最近发生了很大变化。十年前，Fibre Channel SAN 文件管理器是企业存储的标准。而在目前的环境中，受到基础架构即服务云的影响，数据存储需要更加灵活。 GlusterFS 和 Ceph 是两个灵活的存储系统，在云环境中表现非常出色。 在尝试了解 GlusterFS 与 Ceph 之间的相似之处和不同之处之前，让我们来讨论在云环境中对灵活存储的一些要求。 纵向扩展和横向扩展。在云环境中，必须可以很容易地向服务器添加更多存储空间以及扩展可用存储池。Ceph 和 GlusterFS 都可以通过轻松将新存储设备集成到现有存储产品中来满足这一要求。 高可用性。GlusterFS 和 Ceph 的复制是同时将数据写入不同的存储节点。这样做的结果是，访问时间增加，数据可用性也提高。在...阅读全文
随着64层堆栈3D NAND闪存的大规模量产，全球6大NAND闪存厂商今年都开始转向96层堆栈的新一代3D NAND，几家厂商的技术方案也不太一样，SK Hynix给他们的新闪存起了个4D NAND闪存的名字。 在今年的FMS国际闪存会议上正式宣告了业界首个基于CTF技术的4D NAND闪存，日前他们又宣布4D NAND闪存正式量产，目前主要是TLC类型，96层堆栈，512Gb核心容量，使用该技术可以减少30%的核心面积，读取、写入速度分别提升30%、25%。 根据SK Hynix之前公布的信息，所谓的4D NAND闪存其实也是3D NAND，它是把NAND闪存Cell单元的PUC（Peri Under Cell）电路从之前的位置挪到了底部，所以叫了4D NAND闪存，本质上其实还是3D...阅读全文
西部数据开发了有一段时间的Zonefs已经确定要在Linux 5.6内核中登场了，这并不是一个传统意义上面的通用文件系统（比如Ext4、NTFS），而是一个针对特定硬件设备的文件系统，它为分区式存储设备进行了高度的优化。 熟悉Linux的朋友应该知道，在Linux下面内核会将存储设备视为块设备，比如目前会将SATA存储设备视为/dev/sdX。传统文件系统是在这个块设备上面进行操作，而应用程序则是通过系统提供的接口对块设备上面的数据进行访问。 但SMR HDD（叠瓦式硬盘）有一个毛病，它只有在顺序写入时才能正常发挥性能，一旦要进行数据覆盖写入，就需要改写这块数据所在区块内的所有磁道，造成严重的性能下降。传统的文件系统不会因为SMR HDD的特性而特别对待它，而Zonefs就是西部数据对...阅读全文
海盗船（Corsair）刚刚为 Neutron NX 500 系列固态硬盘驱动器添加了 1.6TB 的新版本，其售价为 1575 美元（约 10389 RMB），折合每 GB 容量 0.98 美元。 在 ATTO 基准测试中，其持续读 / 写性能分别达到了 3000MB/s 和 2800MB/s；换用 CrystalDiskMark 的话，则是 2800MB/s（读取）和 1600MB/s（写入）。随机读 / 写性能上，1.6TB 版本分别可达 300k 和 270k IOPS 。 不过与外媒在今年早些时候评测过的 400GB 版本相比，1.6TB 版本 NX500 NVMe SSD 的性价比反而并不高。如果官方的读写数据是可以相信的，那 1.6TB 版本的售价未免也太高了。 作为对比，三...阅读全文
三星的850EVO/PRO以及不带后缀的850固态盘（120GB国行399元）已经发布开卖相当长一段时间了，新品的迹象迟迟看不到。今日有网友从三星北美官网发现了860 PRO已经正式出现。 页面显示，4TB的起售价是1899.99美元（约合1.22万元），型号MZ-76P4T0E。性能方面，连续读取最高560MB/s、连续写入最高530MB/s，妥妥的SATA3。 目前，三星850 EVO在国内提供有4TB的选项，也是SATA3，价格是11399元。此前，860 EVO曾现身串行设备组织官网，显示容量从256GB到4TB。 闪存方面，外媒TMHW此前从线人那里得知，860 EVO将是三星的第一代消费级QLC闪存固态盘，也就是4bits/Cell，而PRO可能还是3D TLC。 简单一提，一...阅读全文
自从跳板机升级后，无所不在的二次验证 token 让小x很是恼火。使用 ssh clone session ，就可以避免每次登陆，都需要输入一次 2FA 验证 Code。 ** Linux 或 Mac OS 系统 ** 在 Linux 或者 Mac OS 下很简单，只需要修改或者创建 ~/.ssh/config 文件，写入以下内容即可， ``` #file:~/.ssh/config Host * ControlMaster auto ControlPath ~/.ssh/master-%r@%h:%p ``` 这样第一次登陆跳板机时正常输入token，只要这个 session 没有退出，再次登陆就可以复用这个 SSH Session， 不需要再输入...阅读全文
置为对cortex执行远程写入。使用此功能，指标可以从多个集群聚合到一个运行cortes的集群中。这为我们提供了一个中心位置，在这里我们可以观察整个基础设施的指标。Cortex提供了与Prometheus/PromQL兼容的端点endpoint。可以将此端点endpoint作为数据源提供给grafana，并与普通Prometheus实例相同的方式执行查询。长期储存普罗米修斯的本地存储不是持久的长期存储。发送到cortex的指标被存储在已配置的存储服务中。如果使用云存储，这将使您从运行自己的数据库的麻烦中解脱出来。你还可以享受云提供商提供的SLA。Cortex还支持用于存储块的对象存储：GCSS3多租户当向cortex写入指标时，通过设置http头(X-Scope-OrgID)来提供多租户。查...阅读全文
的永久存储和查询能力。 Compactor则是对Bucket里的历史数据进行采样或者清理，有具体需求后再自行研究即可。 上述组件均是可选的，没有历史数据永存需求的可以直接忽略。 方案2：thanos receive + thanos querier thanos提供的另一种方案是计算与存储分离，利用thanos receive组件部署一个分布式存储集群，然后令prometheus通过remote write机制直接写入到thanos receive集群完成分布式存储，这样prometheus本身就无状态了。 再利用thanos querier反向代理到thanos receive集群，最终对外提供统一的promql查询入口，这个阶段就没有prometheus什么事了。 这套方案的工作原理如下...阅读全文
SK海力士日前宣布推出新一代企业级SSD硬盘，不过官方并没有公布SSD硬盘的名称，只知道是NVMe标准的，基于72层堆栈的3D TLC闪存，M.2版容量最大4TB，U.2容量可达8TB。 性能方面，SK海力士表示新一代企业级硬盘的连续速度可达3200MB/s，随机性能可达160K IOPS，与2018年FMS展会上推出的72层堆栈闪存硬盘相比，新一代企业级SSD的顺序读写性能提升30%，随机写入提升了70%，同时支持读取敏感型及混合型应用，包括数据中心、AI、ML机器学习及VDI虚拟桌面架构等。 值得一提的是，SK海力士的新一代企业级SSD具备极低的功耗，正常应用低于14W，这在企业级SSD中是很低的水平了。 此外，SK海力士还表示将在今年底推出容量更大的企业级SSD硬盘，闪存会从目前的...阅读全文
name-rev 功能。其他各种性能改进。 Bug 修复 Windows 的 Git 现在可以克隆到当前用户可以写入的目录中，即使他们甚至没有权限读取父目录。通过 Git GUI 要求输入密码时，现在可以正确处理非 ASCII 字符。git update-git-for-windows -y 现在可以完全自动化 更多详细信息可参见发布公告。...阅读全文
Win32DiskImager 中打开、浏览该文件。单击 “Write”，就可以开始往SD卡中录入系统镜像了。这一步会花费些时间，一般两分钟左右。写入完成后，我们会看到如下所示的 “写入成功” 的提示。 现在您就可以在系统中，安全地弹出 microSD卡 并继续下一步了。 启动树莓派4 将闪存SD卡插入 树莓派4 底部的SD卡插槽中，接入 USB-C 的电源线，然后连接显示器和键盘。我们就可以看到炫丽的树莓派启动画面了。在Pi的第一次启动时，屏幕右上方会显示几个 Raspberry Pi 徽标。 Raspbian的启动速度明显快于 NOOBS，因为 NOOBS 功能更多，更强大，为我们提供更多的选择和安装替代操作系统的窗口。 树莓派启动后，我们就会看到漂亮的壁纸和初始的 Raspberry Pi 设置向导。只需按照屏幕...阅读全文
/Nessus/run/var/nessus/plugin_feed_info.inc /Library/Nessus/run/lib/nessus/plugins/plugin_feed_info.inc （1）更新插件 sudo /Library/Nessus/run/sbin/nessuscli update all-2.0.tar.gz all-2.0.tar.gz 为默认名称，请根据插件离线包的实际路径和文件名修改 (sysin) （2）写入配置文件 编辑 plugin_feed_info.inc 文件（这两个文件可能源目录下没有，需要自己创建）： sudo vi /Library/Nessus/run/var/nessus/plugin_feed_info.inc sudo vi...阅读全文
普通人来说,也没有那么可怕。一般人平均每天的写入量很少能超过10GB，那么我们就假设是10GB，120GB QLC SSD，写入寿命达到120 TB。假设写入放大系数则假定为3，甚至5，那么三年之内，很难写坏它。且QLC闪存拥有高容量，也意味着其在QLC驱动器中可通过超额配置以延长产品本身的有效寿命。 目前TLC SSD在质保期普遍达到3年，有的质保期甚至达到5年。那么QLC 寿命问题又有什么好担心？ 2、稳定性 QLC闪存是存储4位电荷，有16种状态，而TLC存储3位电荷，有8种状态 。这意味着QLC闪存单位存储密度更大，是TLC的2倍，单颗芯片可达到256GB甚至512GB。但是，也因如此，QLC闪存的电压更难控制，干扰更复杂，而这些问题都会影响QLC闪存的性能、可靠性及稳定性。不过...阅读全文
给了你更多的控制，但这种便利是有成本的。 像 Studio 3T 这样的工具使构建准确的 MongoDB 聚合查询变得更容易。它的聚合编辑器特性使你可以一次对一个阶段应用管道操作符，你可以在每个阶段验证输入和输出，更便于调试。 使用快速写 永远不要把 MongoDB 设为低稳定性的高速写。看上去，“file-and-forget”模式使得写入速度变快了，因为命令在实际写入任何东西前就返回了。如果系统在数据写入磁盘之前崩溃了，就会丢失，存在出现不一致状态的风险。所幸，64 位的 MongoDB 启用了“日志（Journaling）”。 MMAPv1 和 WiredTiger 存储引擎都使用日志预防上述情况，不过，在日志关闭的情况下，WiredTiger 也可以在还原过程中恢复到最后一致的 检查...阅读全文
随着希捷、东芝先后推出16TB容量的HDD硬盘，现今的垂直磁道PMR机械硬盘不论容量还是技术水平应该是到头了，西数计划今年出样18TB及20TB的硬盘，会用上MAMR全新技术。 访问购买页面： 西部数据自营旗舰店 机械硬盘要想再提高容量，现在的磁记录技术已经没多少潜力可挖了，新一代HDD硬盘技术会转向HAMR热磁辅助记录技术，不过西数认为HAMR使用激光辅助加热，技术复杂，成本高，可靠性也低，所以他们更倾向于MAMR微波辅助磁记录技术。 根据西数所说，MAMR硬盘技术的成本和传统垂直记录类似，复杂性、可靠性也都更可控(99.99％的MAMR磁头写入寿命HAMR磁头高出几个数量级)，生态方面也不需要更换新的主机管理损耗均衡。 西数最新表态今年底会推出两款MAMR技术的容量，一款是18TB容量...阅读全文
] Service discovery：为 kubernetes 添加新的节点地址类型 #5902[ENHANCEMENT] UI：如果查询返回了一些警告，则显示警告 #5964[ENHANCEMENT] Remote write：减少系列缓存的内存使用量 #5849[ENHANCEMENT] Remote read：使用远程读取流传输以减少内存使用量 #5703[ENHANCEMENT] Metrics：添加了将远程最大/最小/所需分片写入队列管理器的指标 #5787[ENHANCEMENT] Promtool：在标签查询期间显示警告 #5924[ENHANCEMENT] Promtool：改进了解析错误规则时的错误消息 #5965[ENHANCEMENT] Promtool：更多提示规则 #5515...阅读全文
SK海力士今天正式发布了最新款的企业级SSD PE8000系列，包括PE8010、PE8030、PE8111三款型号，这也是其首款PCIe 4.0 SSD，无论存储密度、容量还是性能都是世界一流的，甚至是超一流的。 PE8010、PE8030都配备了SK海力士自产的96层堆叠4D TLC NAND闪存颗粒，搭配自研主控，最大容量8TB，兼容U.2、U.3接口，其中PE8010面向读取密集型应用，PE8030则为读写混合应用而优化。 性能方面，持续读写速度最高均可达8.3GB/s、3.7GB/s，随机读写速度最高则可达1100K IOPS、320K IOPS。 相比于去年的上代产品，持续读取性能提升103％，随机写入性能提升357％，另外最大功耗为17W。 PE8111则是针对读取密集型负载...阅读全文
当 Torvalds 将某些代码标记为“dontuse”，通常表明这个问题比较大。在 5.12 首个候选版本更新中，破坏了交换文件（swapfile）的处理。具体来说，更新后的代码会失去指向 swapfile 开头的正确偏移。用 Torvalds 自己的话来说，“交换还是会发生，但它发生在文件系统的错误部分，最终结果显然是灾难性的”。这样 Linux 内核如果想要将内存中的内容分页到磁盘上的时候，数据就会落在相同磁盘和 swapfile 活跃的分区的随机部分上，而且这不是作为文件，而是作为垃圾直接写入到磁盘的原始扇区。这意味着不仅要覆盖现有文件中的数据，还要覆盖相当大块的元数据，这些元数据的损坏很可能会导致整个文件系统无法挂载和使用。Torvalds 继续指出，如果你根本不使用 swap...阅读全文
据外媒报道，磁性随机存取内存(MRAM)将在今年达到一个新的里程碑。Everspin宣布开始尝试打造1Gb (128MB)的ST-MRAM芯片，另外他们已经将这款高寿命、非易失性的内存芯片生产提上议程。 Everspin的ST-MRAM能够提供持久的记忆能力，相较于普通的NAND闪存技术，它可以减少写入放大倍数并拥有更好的耐用性。 这款新芯片采用的则是一个兼容DDR4的接口。这家公司表示，供应商可以利用持久的记忆技术设计企业级SSD或对现有的储存产品展开进一步的改善。 据了解，ST-MARAM的密度要比公司旗下现有的任何256MB(32MB)芯片大得多。Everspin指出，从Global Foundries的40nm工艺到foundry 28nm工艺的转变是开发这种千兆级芯片的关键，另外...阅读全文
在三星路线图上，14nm、10nm、7nm、3nm都是全新工艺节点，其他则是升级改善型，包括11/8/6/5/4nm等等。三星将在3nm工艺上第一次应用GAAFET(环绕栅极场效应晶体管)技术，再次实现了晶体管结构的突破，比现在的FinFET立体晶体管又是一大飞跃。GAAFET技术又分为两种类型，一是常规GAAFET，使用纳米线(nanowire)作为晶体管的鳍(fin)，二是MBCFET(多桥通道场效应晶体管)，使用的鳍更厚更宽一些，称之为纳米片(nanosheet)。三星的第一颗3nm SRAM芯片用的就是MBCFET，容量256Gb，面积56平方毫米，最令三星骄傲的就是超低功耗，写入电流只需要区区0.23V，这要感谢MBCFET的多种省电技术。按照三星的说法，3GAE工艺相比于其...阅读全文
Proxmox VE 是基于QEMU/KVM和LXC的开放源码服务器虚拟化管理解决方案。可以使用集成的、易于使用的Web接口或CLI管理虚拟机、容器、集群、存储和网络，PVE有方便易用的WEB界面，用户可通过网页的方式来管理服务器上使用 kvm 以及 lxc 技术运行的虚拟机。同时提供了一些先进功能的支持，如集群、HA等。PVE虽然是开源，却是由一个商业公司在运营、更新以及维护。 一、启动盘准备 1、下载U盘写盘软件 官方网站：https://rufus.ie/（目前比较好用的写盘软件，WIN10也是用着装） 2、下载PVE ISO文件 官方下载：https://www.proxmox.com/en/downloads（速度比较慢） 3、写入PVE，比较简单，基本跟win安装盘一样，选项基...阅读全文
盘名称是 /dev/sdc： # cat /sys/block/sdc/queue/schedulernoop anticipatory deadline [cfq] 如何改变硬盘设备 I/O 调度器 使用如下指令： # echo {SCHEDULER-NAME} > /sys/block//queue/scheduler 比如设置 noop 调度器: # echo noop > /sys/block/sdc/queue/scheduler 以上设置重启后会失效，要想重启后配置仍生效，需要在内核启动参数中将 elevator=noop 写入 /boot/grub/menu.lst： 1. 备份 menu.lst 文件 cp -p /boot/grub/menu.lst /boot/grub...阅读全文
都要用G1垃圾收集器，因为年轻代内存比较大，用G1可以设置GC最大停顿时间，不至于一次minor gc就花费太长时间，当然，因为像kafka，rocketmq，es这些中间件，写数据到磁盘会用到操作系统的page cache，所以JVM内存不宜分配过大，需要给操作系统的缓存留出几个G。 2.1 线上问题及优化 2.1.1 消息丢失情况 消息发送端： （1）acks=0： 表示producer不需要等待任何broker确认收到消息的回复，就可以继续发送下一条消息。性能最高，但是最容易丢消息。大数据统计报表场景，对性能要求很高，对数据丢失不敏感的情况可以用这种。 （2）acks=1： 至少要等待leader已经成功将数据写入本地log，但是不需要等待所有follower是否成功写入。就可以继续发...阅读全文
件进行版本控制。 除此之外，Insomnia Designer 还提供了与 Kong 平台的强大集成。通过使用 Insomnia 插件，用户可以在 Insomnia Designer UI 中自动将 Kong 网关策略直接嵌入到他们的 API 规范文件中。意思就是，开发者可以将 Kong 网关策略直接存储到规范本身。通过选择 Kong Plugins 的功能（如身份验证或速率限制），用户可以将管理其 API 行为的策略直接写入代码中。 更多介绍查看 https://insomnia.rest/blog/introducing-designer下载地址 https://insomnia.rest/download/...阅读全文
，可以视为是每秒的读写次数。与其他性能测试一様，IOPS 仅代表理想环境下的性能指标，不保证实际应用下也能达到同等情况。IOPS 的数值会随系统组态而有很大的不同，依测试者在测试时的控制变量而异，控制变量包括读取及写入的比例、线程数量以及资料区块的大小等。从 Jens Axboe 在社交媒体上分享的截图可以看到，他用最新的 Linux 内核补丁在一个物理 CPU 核心上实现了 1000 万 IOPS。此次测试的设备仍然与他此前实现 890 万 IOPS 时所使用的设备保持一致 —— 采用了一个 AMD Ryzen 9 5950X CPU 和英特尔 P5800X Gen2 傲腾 SSD。为了实现这些的性能提升，Jens Axboe 主要是在内核的 block / NVMe / IO_uring...阅读全文
随着技术的发展，我们使用的存储器也各种各样，虽然都基于芯片颗粒，但表现截然不同，比如说读写次数限制，或者叫寿命，SSD固态硬盘就有限制，DRAM内存却没有。 按照分布位置的不同，DRAM内存属于内部存储器，紧挨着CPU处理器，用来临时存放后者需要的运算数据，并与外部存储器进行交换，起到桥梁的作用。 DRAM内存的特点是读写速度快、延迟低，但属于易失性存储，也就是一旦断电，数据就会全部丢失。 DRAM内存颗粒利用晶体管加电容来保存数据，而且只是临时存储数据，并没有实质性的写入，不涉及对物理单元结构、属性的改变，所以可以无限次读写。 当然，这并不意味着DRAM内存就可以永久使用，毕竟其中的晶体管、电容等物理结构也会慢慢老化，所有电子设备都是如此，只是这个过程非常非常缓慢，正常使用根本感觉不到...阅读全文
：使用`/latest_producer_id_block`节点来保存PID块，主要用于能够保证生产者的任意写入请求都能够得到响应。/log_dir_event_notification：主要用于保存当broker当中某些LogDir出现异常时候,例如磁盘损坏,文件读写失败等异常时候,向ZK当中增加一个通知序号，controller监听到这个节点的变化之后，就会做出对应的处理操作。以上就是kafka在zk当中保留的所有的所有的相关的元数据信息，这些元数据信息保证了kafka集群的正常运行。二、kafka3的安装配置在kafka3的版本当中已经彻底去掉了对zk的依赖，如果没有了zk集群，那么kafka当中是如何保存元数据信息的呢，这里我们通过kafka3的集群来一探究竟。（一）kafka安装配置...阅读全文
cause it to allocate a buffer that’s too small,” "恶意 dns 服务器可以利用此漏洞，通过精心构造的 tcp Payload, 诱骗systemd-resolved 分配的缓冲区太小, 随后将任意数据写入它的末尾。 该漏洞涉及ubuntu、debian及其它使用Systemd的linux系统 自 Systemd 223 版本于 2015年6月 推出以来, 这一漏洞一直存在, 包括今年3月推出的 Systemd 233 版本。当然, 前提条件是 systemd-resolved 在您的系统上运行, 因为它很容易受到攻击。 该 bug 存在于 ubuntu 版本17.04 和版本16.10 中；debian 版本 Stretch (又名 debian 9...阅读全文
日志文件增长，某些应用会在目标目录下产生多个日志文件甚至现在不能确定将来的日志文件名，架构上要支持多输入多输出流式日志采集传输，为了达成以上需求，我研究了所需技术，评估实现难度并不高，就自研了 logpipe。 logpipe 是一个分布式、高可用的用于采集、传输、对接落地的日志工具，采用了插件风格的框架结构设计，支持多输入多输出按需配置组件用于流式日志收集架构，无第三方依赖。 logpipe 的一种用法是能异步实时监控集群里的所有日志目录，一旦有文件新增或追加写，立即采集并传输到大存储上以相同日志文件名合并落地，或者写入 HDFS。异步意味着不影响应用输出日志的性能，实时意味着一有日志立即采集，很多日志采集工具如 flume-ng、logstash 介绍文档通篇不提采集方式是否实时还是周期...阅读全文
LXD 服务器必须配置为监听单个 IPv4 或 IPv6 地址，同时内部集群流量和常规客户端流量都使用相同的地址。LXD 3.8 引入新的 cluster.https_address 选项作出改变，write-once 写入密钥保存用于集群通信的地址，并且无法在不必从集群中删除节点的情况下进行更改。有了这个单独的密钥，现在可以将集群节点上的常规 core.https_address 更改为任何地址，包括通配符模式，如 :8443。 集群镜像复制 集群中引入了自动镜像复制， 在 LXD 3.8 之前，镜像只会被复制到其它集群成员，虽然有利于性能、带宽和磁盘使用，但这有一个明显的缺点，即如果镜像仅出现在单个系统上并且系统脱机，那么在系统恢复之前将无法使用该镜像。 此版本通过在至少 3 个系统上复制所...阅读全文
Refer to https://www.linkedin.com/pulse/system-design-rules-navneet-kumar-p6n7f/ 系统设计很复杂，它需要设计者有深厚的计算机知识和专业知识，没有一种通用的设计可以适应所有业务场景。尽管如此，还是有一些比较通用的规则可以供你设计系统时参考，也能帮助你在面试中摆脱困境。 1. 对于数据密集型系统 — 考虑使用缓存。 2. 对于写入量大的系统 — 使用消息队列进行异步处理 3. 对于低延迟要求 — 考虑使用缓存和 CDN。 4. 需要𝐀原子性、𝐂一致性、𝐈隔离性、𝐃耐用性兼容数据库 — 选择 RDBMS/SQL 数据库。 5. 对于非结构化数据——可以选择NoSQL...阅读全文
繁的前10个文件：sysdig -c topfiles_bytes列出Apache进程读取或写入最频繁的文件：sysdig -c topfiles_bytes proc.name=httpd监听对 snoop 的系统调用：sysdig -p "%12user.name %6proc.pid %12proc.name %3fd.num %fd.typechar %fd.name" evt.type=openSee the top directories in terms of R+W disk activity：sysdig -c fdbytes_by fd.directory "fd.type=file"See the top files in terms of R+W disk...阅读全文
./configure make && make install 安装Yearning 2.1 用pip3安装依赖包（txt文件在src目录中） pip3 install -r requirements.txt 2.2 创建数据库实例yearning 2.3 将该数据库实例的连接信息写入develop.conf。升级请注意：1.0.0发布后，该文件增加了两个属性：ldap_type=1和smtp_port=，如果是cp原有的配置文件覆盖新下载的，要加上这两个配置 2.4 初始化数据库 python3 manage.py makemigrations && python3 manage.py migrate 2.5 添加初始化用户 echo "from core.models import Account...阅读全文
-cachedfree: 未使用的内存 memFree & swapFree in /proc/meminfoshared: tmpfs使用的内存 shmem in /proc/meminfobuffers：被内核缓冲去使用的内存cached: 被页缓存和slabs使用的内存buffers/cache： 表示buffers和cache的总和swap： 交换分区的使用量2.3 buffer和cache会使用内存吗？答案是肯定的，先来了解下buffer和cache。cache（缓存）官方定义是用来弥补高速设备和低速设备之间的访问速度不匹配而预留的一段空间，用来加快资源的访问。 简单讲就是读的更快。buffer（缓冲）是为了做资源写入整形，计算机遇到大量的“小规模IO”时，会将其整形为少量的“大规模IO”，降低写入次...阅读全文
CPU，由于它是单线程作业所以很容易跑满一个逻辑CPU，可以使用redis代理或者是分布式方案来提升redis的CPU使用率。 3.存储的Key一定要设置超时时间 如果应用将Redis定位为缓存Cache使用，对于存放的Key一定要设置超时时间！因为若不设置，这些Key会一直占用内存不释放，造成极大的浪费，而且随着时间的推移会导致内存占用越来越大，直到达到服务器内存上限！另外Key的超时长短要根据业务综合评估，而不是越长越好！ 4.对于必须要存储的大文本数据一定要压缩后存储 对于大文本【+超过500字节】写入到Redis时，一定要压缩后存储！大文本数据存入Redis，除了带来极大的内存占用外，在访问量高时，很容易就会将网卡流量占满，进而造成整个服务器上的所有服务不可用，并引发雪崩效应，造成各个系...阅读全文
，并支持通过选项设置并发和一致性行为。 存储：POST http://localhost:
id，及所在的 DataNode 服务器）。 5. DataNode 数据存储 文件的各个 block 的具体存储管理由 DataNode 节点承担。每一个 block 都可以在多个 DataNode 上。DataNode 需要定时向 NameNode 汇报自己持有的 block 信息。 存储多个副本（副本数量也可以通过参数设置 dfs.replication，默认是 3） 6. 副本机制 为了容错，文件的所有 block 都会有副本。每个文件的 block 大小和副本系数都是可配置的。应用程序可以指定某个文件的副本数目。副本系数可以在文件创建的时候指定，也可以在之后改变。 7. 一次写入，多次读出 HDFS 是设计成适应一次写入，多次读出的场景，且不支持文件的修改。 正因为如此，HDFS 适...阅读全文
# owner: root # group: root user::rwx user:code:r-- #effective:--- group::rwx #effective:-w- mask::-w- //可以看到有效权限已经修改成功 other::rwx 使用code用户查看文件内容，首先使用root用户写入一些内容，会使测试更加直观 [root@ debian.cn ~]# echo "this is a test getfacl " >/test [code@ debian.cn ~]$ vim /opt/test "/opt/test" [Permission Denied] //可以在最下面看到不允许访问的提示，并且看不到任何内容 取消acl权限： [root@ debian.cn...阅读全文
apt-get install git 现在，我们切换到 /opt 目录，并从 Github 上克隆仓库： cd /opt git clone https://github.com/axboe/fio 现在，我们通过在 /opt 目录下切换到 Fio 的源代码目录，执行编译和安装操作了，命令如下： # cd /opt/fio # ./configure # make # make install 使用 Fio 进行磁盘性能测试 现在 Fio 已经安装到了你的系统中，我们一起看看如何使用 Fio 做磁盘的随机写、读和读写测试。 随机写测试 执行下面的命令来开始。这个命令将要同一时间执行两个进程，写入共计 4GB（ 4 个任务 x 512MB = 2GB） 文件： sudo fio --name...阅读全文
" //go:embed hello.txt var s string func main() { print(s) } 我们首先在对应的目录下创建了 hello.txt 文件，并且写入文本内容 “吃煎鱼”。 在代码中编写了最为核心的 //go:embed hello.txt 注解。注解的格式很简单，就是 go:embed 指令声明，外加读取的内容的地址，可支持相对和绝对路径。 输出结果： 吃煎鱼 读取到静态文件中的内容后自动赋值给了变量 s，并且在主函数中成功输出。 而针对其他的基础类型，Go embed 也是支持的： //go:embed hello.txt var s string //go:embed hello.txt var b []byte //go:embed hello.txt var f...阅读全文
-Guided Optimization） rustc 编译器现在通过 -C profile-generate 和 -C profile-use 标志提供了对配置文件引导优化(PGO)的支持。 Profile-Guided Optimization 允许编译器根据来自实际工作负载的反馈优化代码。它的工作方式是编译程序，在两个步骤中进行优化： 首先，程序是用编译器插入的工具构建的。这是通过将 -C profile-generate 标志传递给 rustc 来完成的。然后，需要在示例数据上运行检测程序，并将分析数据写入文件之后，重新构建程序，这一次使用 -C profile-use 标志将收集到的分析数据反馈回 rustc。此构建将利用收集到的数据，使编译器能够对代码放置、内联和其他优化做出更好的决定 在...阅读全文
统。不要在 Intel Broadwell 和 Haswell CPU 上应用 20180108 版本。尽可能使用软件包管理器方式。 检查一下，确保存在 /sys/devices/system/cpu/microcode/reload。然后需要用 cp 命令拷贝 intel-ucode 目录下的所有文件到 /lib/firmware/intel-ucode/ 下面： sudo cp -v intel-ucode/* /lib/firmware/intel-ucode/ 你只需要将 intel-ucode 这个目录整个拷贝到 /lib/firmware/ 目录下即可。然后在重新加载接口中写入 1 去重新加载微码文件： # echo 1 > /sys/devices/system/cpu...阅读全文
了十个速度最快的镜像，然后把它们写入到你的软件包源列表。apt-spy执行类似的功能。 3. apt-transport-tor 你可能也知道了，Tor是一款匿名浏览工具。然而，即便你注重安全，下载软件包有可能让别人跟踪你的活动，进而一路跟踪你的系统。 apt-transport-tor让你可以堵住这个安全漏洞，它通过Tor来传输软件包管理指令。 2. cron-apt 如果你注重安全，或者只想要最新软件包，cron-apt可以帮助你确保版本最新。顾名思义，cron-apt可以为你的系统调度定期下载，并通知可用更新版。用户往往每天更新一次。 然而要注意：cron-apt下载但不安装更新的软件包。这个限制是有意设置的，因为在无人照看的情况下安装一切会导致系统问题。检查什么更新版可用后，你可以手...阅读全文
以为文件，目录，URL，若为可解压文件，在复制后会解压。语法： ADD
) echo "File deleted.";; 1) echo "File not deleted.";; 255) echo "[ESC] key pressed.";; esac 7. logger 命令 这个命令可以让你写入系统日志例如 /var/log/messages： logger "MySQL database backup failed." tail -f /var/log/messages logger -t mysqld -p daemon.error "Database Server failed" tail -f /var/log/syslog 输出： Apr 20 00:11:45 vivek-desktop kernel: [38600.515354] CPU0...阅读全文
