以及QLC闪存？ TLC = Trinary-Level Cell，即3bit/cell（每个Cell单元储存3个数据，有8个状态，具体如上图，有八种不同电压状态）。主要特点：成本低，容量大，但速度慢，寿命短，约500-1000次擦写寿命。但随着技术的成熟，寿命问题已经得到改善（约1500-2000次擦写寿命），并成为目前闪存颗粒中的最主流产品。 QLC=Quad-Level Cell，即4bit/cell（每个Cell单元储存4个数据，有16个状态，具体如上图，有十六种不同电压状态）。相比于TLC来说，成本比更低，容量更大，而可靠、稳定性及寿命则更差些（此前几年预计的理论可擦写100-150次），不过目前东芝宣称，他们的QLC NAND拥有多达1000次左右的P/E编程擦写循环，几乎已经和...阅读全文
。 SSD则是外部存储，用来长久保存数据，属于非易失性存储，断电后数据还在，但是相对速度慢、延迟高，HDD机械硬盘、U盘、光盘等也是此类。 SSD的存储介质是NAND闪存颗粒，需要施加不同的电压、改变内部状态来存储数据，随着时间的流逝、读写次数的增加，会出现物理性的损耗，最终不可用。 NAND闪存的寿命一般用P/E编程擦写次数来描述，写满一次容量就损失一次P/E。 SLC大约是10万次，MLC只有5000次左右，TLC就只大概2000次，QLC仅为1000次上下，所以不得不依靠更多管理技术和算法来辅助，以保持寿命。 但另一方面，SLC、MLC、TLC、QLC的存储密度越来越大，SSD容量也越来越大，写满的概率越来越低，所以整个SSD的实际寿命其实并没有大大缩短，一般应用无需过分担忧寿命问题。...阅读全文
SLC、MLC、TLC、QLC……NAND闪存类型的进化一直是个争议话题，可靠性和寿命越来越差，或者说P/E编程擦写循环次数越来越低，东芝甚至已经开始探讨PLC，不知道会渣成什么样。对于最初的SLC(每单元只保存1比特数据)，很多人都十分怀念，但如今已经几乎绝迹，只在极少数特殊场合才能看到。 东芝正在打造可视为SLC加强版的XL-Flash，而高端固态存储厂商Greenliant最新打造的NANDrive EX系列SSD产品，更是应用了超长寿的SLC闪存。 Greenliant NANDrive EX并非消费级产品，而是面向高性能计算、工业、交通运输、视频和网络等特殊行业应用，特别是那些需要超长寿命、高可靠性的应用，能长久保持数据完整。 它采用了Greenliant自家专门设计的...阅读全文
Debian 的 1011 位开发人员中，有 339 位在今年的选举中投了赞成票，参与人数与往年差不多，且相比几年前票数还略有提高。 具体的投票过程与结果分析查看：https://www.debian.org/vote/2020/vote_001 新当选的 Jonathan Carter 在竞选“宣言”中写下了几个大目标： 继续做 Debian 做得好的事情。技术卓越、推广自由软件、分发新版本、稳定的版本更新。使 Debian 对贡献者有吸引力。使它成为一个有趣、有意义和受欢迎的项目，让更多贡献者有意愿参与进来。更好地了解正在完成的工作。减少影响贡献者的瓶颈。收集有关阻碍个人在 Debian 中所做的事情的反馈，并找到减少这种摩擦的方法。改善在线协作。改善项目内务管理。关于支出和可用资金，具有更好的可...阅读全文
Management T2 Trans Count : 0 Thermal Management T1 Total Time : 0 Thermal Management T2 Total Time : 0这为你提供了硬盘的当前温度、到目前为止的使用时间、不安全的关机次数等等。格式化一个 NVMe 驱动器你可以用 nvme-cli 格式化一个 NVMe 驱动器，但要注意。这将删除驱动器上的所有数据！如果你的硬盘上有重要的数据，你必须在这样做之前将其备份，否则你将会丢失数据。子命令是 format：$ sudo nvme format /dev/nvme0nX（为了安全起见，我用 X 替换了驱动器的实际位置，以防止复制粘贴的错误。将 X 改为 1 或 nvme list 结果中列出的实际位置。）安全地擦除...阅读全文
，以及他们可以在哪些方面利用这些数据来获得优势。"开源和 OpenTelemetry 正在共同推动可观测性产业，但在最后，这一切都与开发者的体验有关。为开发者建立任何类型的工具的公司需要记住，开发者是需要关注的关键资产。你需要让他们成功，给他们一个愉快的体验并消除所有的摩擦。这样他们就可以快速行动，专注于他们需要的东西。" Betanews 作出结论称，开发者是开源社区不可或缺的一部分，且他们构建了公司所依赖的应用程序。公司必须记住：构建工具，使系统更有效、更快速、更容易使用，必须以开发人员为中心。“毕竟，他们是关键资产。”...阅读全文
架来兼容这种环境。 开发工具 - 在实现框架时，提供尽可能小的摩擦将会使开发人员更快捷。哪些工具可以帮助编码，本地测试端点，以及单元和集成测试的stubbing/mocking？当事情出错时，我们需要能够看到包括内容在内的请求信息。消息格式等因素也可以使调试更容易依赖于工具，例如JSON消息是人可读的，但是二进制消息将需要额外的努力来解码。 成熟度和采用 - 对于初创公司来说，资源是有限的，需要花费在公司的核心业务上，而不是修复，测试和增强第三方框架。诸如框架的普及，大规模使用的例子，社区的活跃程度以及框架本身的成熟度等因素都是稳定性的良好指标。需要强调的是，选择一个解决具体问题的框架，而并非选择最新最热的。 多平台支持 - 在真正的微服务思维中，使用最适合其目的的语言编写企业的服务，目前包...阅读全文
本文大部分内容翻译总结自《Software Engineering at Google》 第10章节 Documentation。 另外，该书电子版近日已经可以免费下载了 https://abseil.io/resources/swe_at_google.2.pdf，有兴趣的同学可以下载翻阅下。 首先声明，本问所说的文档不仅限于纯文本文档，还包含代码注释(注释也是一种特殊形式的文档)。 ## 文档的重要性 ## 高质量的文档对于一个组织或团队来说有非常多的益处，比如让代码和API更容易理解、错误更少；让团队成员更专注于目标；也可以让一些手工操作更容易；另外如果有新成员加入的话有文档也会让他们更快融入…… 写文档有比较严重的收益滞后性，不像测试，你跑一个测试case，它能立即告诉你是对还是错...阅读全文
了一个计划表，同时不可避免地寻求更多的帮助。这让人们有理由相信围绕项目发生的戏剧性事件仅仅是一个小摩擦——也许不可避免，但绝不是像现在看起来这么糟糕。 via: https://lwn.net/Articles/665839/ 作者：Jake Edge 译者：vim-kakali 校对：PurlingNayuki...阅读全文
SK海力士今天正式发布了最新款的企业级SSD PE8000系列，包括PE8010、PE8030、PE8111三款型号，这也是其首款PCIe 4.0 SSD，无论存储密度、容量还是性能都是世界一流的，甚至是超一流的。 PE8010、PE8030都配备了SK海力士自产的96层堆叠4D TLC NAND闪存颗粒，搭配自研主控，最大容量8TB，兼容U.2、U.3接口，其中PE8010面向读取密集型应用，PE8030则为读写混合应用而优化。 性能方面，持续读写速度最高均可达8.3GB/s、3.7GB/s，随机读写速度最高则可达1100K IOPS、320K IOPS。 相比于去年的上代产品，持续读取性能提升103％，随机写入性能提升357％，另外最大功耗为17W。 PE8111则是针对读取密集型负载...阅读全文
海盗船（Corsair）刚刚为 Neutron NX 500 系列固态硬盘驱动器添加了 1.6TB 的新版本，其售价为 1575 美元（约 10389 RMB），折合每 GB 容量 0.98 美元。 在 ATTO 基准测试中，其持续读 / 写性能分别达到了 3000MB/s 和 2800MB/s；换用 CrystalDiskMark 的话，则是 2800MB/s（读取）和 1600MB/s（写入）。随机读 / 写性能上，1.6TB 版本分别可达 300k 和 270k IOPS 。 不过与外媒在今年早些时候评测过的 400GB 版本相比，1.6TB 版本 NX500 NVMe SSD 的性价比反而并不高。如果官方的读写数据是可以相信的，那 1.6TB 版本的售价未免也太高了。 作为对比，三...阅读全文
apt-get install git 现在，我们切换到 /opt 目录，并从 Github 上克隆仓库： cd /opt git clone https://github.com/axboe/fio 现在，我们通过在 /opt 目录下切换到 Fio 的源代码目录，执行编译和安装操作了，命令如下： # cd /opt/fio # ./configure # make # make install 使用 Fio 进行磁盘性能测试 现在 Fio 已经安装到了你的系统中，我们一起看看如何使用 Fio 做磁盘的随机写、读和读写测试。 随机写测试 执行下面的命令来开始。这个命令将要同一时间执行两个进程，写入共计 4GB（ 4 个任务 x 512MB = 2GB） 文件： sudo fio --name...阅读全文
Go 的 channel 在实际项目中是怎么使用呢？ channel 会有有缓冲和无缓冲两种类型，无缓冲的可以简单使用让两个 goroutine 数据同步通信。另外一种场景是对某个 object，使用 channel 作为其属性之一，那么待channel阻塞时则表明条件未满足，则需要等待其他数据结果返回。 本文列举几类常见的 channel 使用场景。 读写 package main import ( "fmt" "time" ) func WriteData(intChan chan int) { for i:=1;i<=50;i++{ intChan<-i fmt.Println("写:",i) time.Sleep(time.Millisecond*100) } close...阅读全文
大概这几条路： 1）自己做开源项目，足够好，然后鼓励你的关注者给你donate，老外常年用paypal收打赏。厉害一点，直接有人给你包了。 2）用心写各种demo或者教程，好看易懂，勤维护，也有人给你打赏，写的多了还可以出书，类似阮一峰和廖雪峰。 3）多做前端，写几个自己开发的工具类app，笔记啊，图片识别的类似小工具，真的好用，可以加一些小广告，或者开启升级付费的功能。 4）开直播做培训，口条要好，一定要把一些教程练得特别熟练，表演的好像阿里P8以上那种其实都可以自己手写一个新的jvm的大牛但是想普惠众生，而江湖隐退来开课办班，帮助大家提高技能和基本功，这种目前好多人在做。 5）程序员都在用的AWS有好消息！AWS（亚马逊云计算）中国区新用户注册即可免费使用12个月云服务产品啦！每注册一...阅读全文
如果你是在一个大型组织，你运行了 NFS 或者 Samba 服务给不同的用户，你将会需要灵活的挑选并设置很多复杂的配置和权限去满足你的组织不同的需求。Linux（以及其他Unix等POSIX兼容的操作系统）有一个被称为访问控制列表(ACL)的权限控制方法，它是一种权限分配之外的普遍范式。例如，默认情况下你需要维护3个权限组：owner、group和other。 使用ACL后，你可以设置权限给其他用户或组，而不单只是简单的"other"。可以允许指定的用户A、B、C拥有写权限而不再是让他们整个组拥有写权限。 ACL支持多种Linux文件系统，包括ext2, ext3, ext4, XFS, Btrfs等。如果你不确定你的文件系统是否支持ACL，请参考文档。 首先我们需要安装工具来管理ACL...阅读全文
-threads=1000 --thread-yields=1000 --thread-locks=8 run #互斥锁测试 sysbench --test=mutex --mutex-num=4096 --mutex-locks=50000 --mutex-loops=10000 run #连续读写： sysbench --test=fileio --file-num=2 --file-total-size=64M --file-test-mode=seqrewr run #随机文件读写： sysbench --test=fileio --file-num=2 --file-total-size=64M --file-test-mode=rndwr run #进入系统检查系统版本信息及硬件架构平台信息...阅读全文
PHP 7.4 的GA版今天正式发布了。PHP 7.4发布后，PHP 7.3或其它的PHP 7版本都可以升级到PHP 7.4版。 PHP 7.4 的主要特性包括以下几个， 短闭包函数(short closure)预加载提交性能属性类型限定Improved type variance(不会翻译)三元运算简写数组展开运算新增类的魔术方法：serialization数字分隔符运算优先顺序允许在__toString中抛出异常支持反射引用新增字节分割函数移除php短标签弃用左关联运算符不再向后兼容的变更 短闭包函数 短闭包函数可以减少冗余代码： array_map(function (User $user) { return $user->id; }, $users) array_map(fn...阅读全文
GitHub 刚刚通过官方博客发布了 21 日“挂掉”的事件分析。GitHub 指出此次事件发生的原因是在 10 月 21 日 22:52 UTC 进行日常维护——更换发生故障的 100G 光学设备时导致美国东海岸网络中心与美国东海岸数据中心之间的连接断开。 更具体地，GitHub 分析，虽然两地的连接在 43 秒内恢复，但这次短暂的中断引发了一系列事件，这才导致了长达 24 小时 11 分钟的服务降级。 为了大规模提高性能，GitHub 的应用程序将直接写入每个群集的相关主数据库，但在绝大多数情况下将读取请求委派给副本服务器的子集。GitHub 使用 Orchestrator 来管理 MySQL 集群拓扑并处理自动故障转移，Orchestrator 在此过程中考虑了许多变量，并在...阅读全文
常用开发环境、生产环境简写的含义及用途 DEV、SIT、UAT、PET、SIM、STG、PRD 缩写介绍 按开发、测试、上线的时间线排序： - DEV Development 研发环境 - SIT System Integrate Test 系统集成测试环境（内测） - UAT User Acceptance Test 用户验收测试环境 - PET Performance Evaluation Test 性能评估测试环境（压测） - STG Staging 更接近生产的功能验收、测试环境 - SIM Simulation 高仿真环境 - PRD Production 正式/生产环境...阅读全文
据 Venturebeat 报道，微软今天宣布，将关闭开源软件托管平台 CodePlex。微软 2006 年推出这项服务，并决定在今年 12 月 15 日将其关闭。 微软公司副总裁布莱恩·哈里（Brian Harry）在博文中写道，人们将可以下载他们的数据档案，微软正与面向开源及私有软件项目的托管平台 GitHub 合作，给用户提供 “简化的进口体验”，代码和相关内容都将转移到 GitHub 上。简单来说，GitHub 赢了！ 哈里写道：“过去多年中，我们已经看到许多惊人的选项起起落落。但是现在，GitHub 正成为开源共享和大多数开源项目托管事实上的中心。”过去几年里，微软越来越向 GitHub 倾斜。它已经于 2016 年将 CNTK 深度学习工具包从 CodePlex 转移到...阅读全文
Proxmox VE 是基于QEMU/KVM和LXC的开放源码服务器虚拟化管理解决方案。可以使用集成的、易于使用的Web接口或CLI管理虚拟机、容器、集群、存储和网络，PVE有方便易用的WEB界面，用户可通过网页的方式来管理服务器上使用 kvm 以及 lxc 技术运行的虚拟机。同时提供了一些先进功能的支持，如集群、HA等。PVE虽然是开源，却是由一个商业公司在运营、更新以及维护。 一、启动盘准备 1、下载U盘写盘软件 官方网站：https://rufus.ie/（目前比较好用的写盘软件，WIN10也是用着装） 2、下载PVE ISO文件 官方下载：https://www.proxmox.com/en/downloads（速度比较慢） 3、写入PVE，比较简单，基本跟win安装盘一样，选项基...阅读全文
很多编程初学者至今还在给我写信请教，问我该学习什么程序语言，怎么学习。由于我知道如何掌握“所有”的程序语言，总是感觉这种该学“一种”什么语言的问题比较低级，所以一直没来得及回复他们 可是逐渐的，我发现原来不只是小白们有这个问题，就连美国大公司的很多资深工程师，其实也没搞明白。 今天我有动力了，想来统一回答一下这个搁置已久的“初级问题”。类似的话题貌似曾经写过，然而现在我想把它重新写一遍。因为在跟很多人交流之后，我对自己头脑中的（未转化为语言的）想法，有了更精准的表达。 如果你存在以下的种种困惑，那么这篇文章也许会对你有所帮助： 你是编程初学者，不知道该选择什么程序语言来入门。 你是资深的程序员或者团队领导，对新出现的种种语言感到困惑，不知道该“投资”哪种语言。 你的团队为使用哪种程序语言争...阅读全文
. Vsftpd添加FTP账号 A. 登录Linux主机后，运行命令：”useradd ftp-clin003 -s /sbin/nologin “。该账户路径默认指向/home/ftp-clin003目录；如果需要将用户指向其他目录，请运行命令：useradd ftp-clin003 -s /sbin/nologin –d /www(其他目录) B. 设置ftp-clin003用户密码，运行命令：”passwd ftp-clin003” ; 输入两次密码，匹配成功后，就设置好了ftp-clin003用户的密码了。 C.测试连接，您可以在“我的电脑”地址栏中输入 ftp://IP 来连接FTP服务器，根据提示输入账户密码。 umask=022 umask=022中”022″是八进制的写法，如果换成二进制是...阅读全文
1. Robot Framework Robot Framework（RF）是用于验收测试和验收测试驱动开发（ATDD）的自动化测试框架。 基于 Python 编写，但也可以在 Jython（Java）和 IronPython（.NET） 上运行，提供跨平台支持（Windows、Linux 或 MacOS ）。 优点： 通过使用关键字驱动测试（KDT）方法简化了自动化测试过程，方便测试人员创建易读的测试。 测试数据语法简单易用。 生态系统丰富。由各种通用测试库和工具组成，这些工具都是作为独立项目开发的。 具有高度可扩展性。 可通过 pabot 或 Selenium Grid 执行并行测试。 缺点： 自定义 HTML 报告较为麻烦。 如果是针对大范围的库和扩展的 KDT 自动化测试，建议使用...阅读全文
当然，无论西数还是希捷都在努力开发新的存储技术，目前出货的14TB和即将推出的16TB、18TB都是传统充氦垂直记录技术，接下来就要上新的HAMR热辅助磁记录技术，2030年前有望带来100TB的总容量。 希捷此前称会在2018年内出样HAMR硬盘，2019年量产，初期容量20TB，而最新说法让人更加振奋： 希捷表示，HAMR技术进展顺利，下一代大容量近线硬盘的单盘容量可达24TB，预计2019年批量上市。 当然，希捷还有多驱动技术(Multi-Actuator)，硬盘内存同时使用多个机械臂进行读写操作，大幅提升性能，读写速度可达480MB/s，基本逼近SATA SSD的水准。...阅读全文
“模式浏览器（Schema Explorer）”这样可以执行定期模式检查的特性也是值得拥有的。 忘记排序规则（排序顺序） 这比其他任何的配置错误都会导致更多的挫折和时间浪费。MongoDB 默认使用 二进制排序规则 。这对任何地方的文化都是不利的。在 80 年代，大小写敏感、重音敏感、二进制排序规则，和念珠、土耳其长衫和卷胡子一起，被视为奇怪的时代错误。现在，他们没法辩解了。在现实生活中，motorbike 和 Motorbike 就是一样，而 Britain 和 britain 就是同一个地方。小写字母和大写字母只是书写上的等价。就不要让我再说重音字符排序规则了。当你创建一个 MongoDB 数据库时，使用一种合乎系统 用户语言和文化 的 重音敏感、大小写敏感 排序规则。这使得字符串数据的检...阅读全文
是在不同的机器，同一机 器对同一个分区也只可能存放一个副本（包括自己）。 Consumer：消费者，即消息的消费方，是消息的出口。 Consumer Group：我们可以将多个消费组组成一个消费者组，在kafka的设计中同一个分 区的数据只能被消费者组中的某一个消费者消费。同一个消费者组的消费者可以消费同一个 topic的不同分区的数据，这也是为了提高kafka的吞吐量！ 2.1.2. ⼯作流程 我们看上⾯的架构图中，producer就是生产者，是数据的入口。Producer在写入数据的时候会把数据 写入到leader中，不会直接将数据写入follower！那leader怎么找呢？写入的流程又是什么样的呢？我 们看下图： 1.⽣产者从Kafka集群获取分区leader信息 2.⽣产者将消息发...阅读全文
1.新的问题influxdb目前支持内存型索引inmem及文件型索引tsi1。之前追踪篇将influxd索引修改为tsi1之后，经过一段时间的运行，从监控观察到，由于调用方采用异步队列+批处理的方案将数据写入influxdb，会在某些时刻调用方内部出现数据堆积，指标如图:横坐标: 时间轴，从12-29 00:00 到 12-30 00:00纵坐标: 队列中数据堆积长度，坐标最大值250k，即最大25w个数据堆积从上图可以看到，当天监控出现数次堆积，上午7:00-10:00尤为严重。在堆积时，登录influxdb服务器，查看机器状态如下:top - 09:40:58 up 120 days, 19:18, 1 user, load average: 32.29, 32.32, 29.82...阅读全文
对于 Python 开发者来说，web 开发框架真可谓玲琅满目。然而 Django , 毋庸置疑的成为最受青睐的 web 框架。通过本篇博客，我来为大家讲解下为什么相比 Flask、Pyramid、Tornado、Bottle、Diesel、Pecan、Falcon 这些流行的 Python web 框架，Python 开发者更倾向于选择 Django。 再大肆宣扬Django之前，让我们简单了解一下web框架 Web框架是一个代码库，使开发人员更容易构建动态网站、Web应用程序和Web服务。 众所周知的是，每个网站都有一些通用的功能（如处理会话，数据验证等等），一些您每次创建网站时都需要编写的功能。 这使开发任务平淡乏味。 然而，使用Web框架可以让您每次创建网站都需要重新编写通用功能代...阅读全文
Go 语言官方博客公布了 2016 年 Go 语言使用调查。在 3,595 名被调查者中，89% 称他们在工作中或工作之外用 Go 编程；63% 称他们的工作是 Web 开发，但只有 9% 的人只从事 Web 开发，一半以上被调查者的工作涉及三个以上领域；63% 的人用 Go 开发命令行程序，60% 写 API 或 RPC 服务，52% 写 Web 服务。 被调查者对 Go 的满意度非常高（这显然与被调查者这一群体高度相关），他们主要在 Linux 上进行开发，其次是 MacOS，第三是 Windows；最爱的编辑器是 Vim，其次是 VSCode、Atom、IntelliJ、Sublime Text 和 Emacs；大部分人主要通过 Stack Overflow 寻找 Go 相关问题的答...阅读全文
OCP 峰会刚刚轻松的结束了，但是让我们惊讶的发现微软发布了一个基于 Debian Linux 的操作系统，这个操作系统主要运行在网络交换机之上。该软件被称为 SONiC ，也就是 Software for Open Networking in the Cloud 的缩写。你可以使用它来管理网络交换机的各种操作，网络切换等，而无需依赖网络设备供应商提供的系统。 类似的操作系统还有来自 HP、DELL 和 Cumulus Networks 的系统。 SONiC 基于 Linux 的 Azure Cloud Switch (ACS) 操作系统，该系统我们在去年 9 月份有了解过。ACS 是微软 Azure 云系统中交换机的大脑。可通过 C API Switch Abstraction...阅读全文
在三星宣布量产 QLC SATA SSD 之后，英特尔这边也宣布了自家的最新竞品 —— 价格媲美 SATA 型号、但支持 NVMe 协议的 660p 系列 SSD 。据 Anandtech 所述， 英特尔 660p 采用了自家的 64 层 1-Tb 3D QLC NAND 闪存，容量有 512GB / 1TB / 2TB 三档，但性能表现颇为一致。此外，660p 还搭配了大容量伪 SLC 缓存机制、辅以 256MB DRAM 。 英特尔 660p 系列 SSD 采用了 M.2 2280 封装规格 据悉，512GB 版本可选择调用 6~76GB 的容量当做缓存，1TB 版本可动用 12~140GB，2TB 版本则是 24~280GB 。当然，随着数据的大量写入，SLC 缓存机制的效用会明显下...阅读全文
SK海力士日前宣布推出新一代企业级SSD硬盘，不过官方并没有公布SSD硬盘的名称，只知道是NVMe标准的，基于72层堆栈的3D TLC闪存，M.2版容量最大4TB，U.2容量可达8TB。 性能方面，SK海力士表示新一代企业级硬盘的连续速度可达3200MB/s，随机性能可达160K IOPS，与2018年FMS展会上推出的72层堆栈闪存硬盘相比，新一代企业级SSD的顺序读写性能提升30%，随机写入提升了70%，同时支持读取敏感型及混合型应用，包括数据中心、AI、ML机器学习及VDI虚拟桌面架构等。 值得一提的是，SK海力士的新一代企业级SSD具备极低的功耗，正常应用低于14W，这在企业级SSD中是很低的水平了。 此外，SK海力士还表示将在今年底推出容量更大的企业级SSD硬盘，闪存会从目前的...阅读全文
在 Linux Kernel 5.10 代码中已经增加了对 EXT4 文件系统的更新，其中包括在 DAX/DIO 模式下大幅改进文件覆盖的效率。尤其是在运行英特尔 Optane DCPMM 存储的情况下，并行写入尤其是随机覆盖性能可以提升 10 倍以上，常规操作也能提升 2 倍以上。但是您必须使用 EXT4 iommap 代码（例如在DAX / DIO模式下），并且此更改不会影响 EXT4 的常规操作。 另一项针对 EXT4 的重大改变是由谷歌 Harshad Shirwadkar 提交的 “fast commits”。fast commits 模式和在有序模式（挂载选项 data=ordered）运行的 EXT4 用户有关，在保持最小增量的情况下与 JBD2 日志共享的快速提交空间中重新...阅读全文
西部数据开发了有一段时间的Zonefs已经确定要在Linux 5.6内核中登场了，这并不是一个传统意义上面的通用文件系统（比如Ext4、NTFS），而是一个针对特定硬件设备的文件系统，它为分区式存储设备进行了高度的优化。 熟悉Linux的朋友应该知道，在Linux下面内核会将存储设备视为块设备，比如目前会将SATA存储设备视为/dev/sdX。传统文件系统是在这个块设备上面进行操作，而应用程序则是通过系统提供的接口对块设备上面的数据进行访问。 但SMR HDD（叠瓦式硬盘）有一个毛病，它只有在顺序写入时才能正常发挥性能，一旦要进行数据覆盖写入，就需要改写这块数据所在区块内的所有磁道，造成严重的性能下降。传统的文件系统不会因为SMR HDD的特性而特别对待它，而Zonefs就是西部数据对...阅读全文
本站放出了Linode各个机房的测试结果，但是可能很多国内用户对Linode还是不是很熟悉，这里打算写一篇文章给想要入手Linode VPS的朋友提供一个参考，其实过程很简单，唯一麻烦的是，需要有一张VISA或者MASTERCARD的信用卡，因为Linode默认不支持PayPal付款，只支持信用卡付款。 Linode官网：www.linode.com 首先，我们通过上面哪个链接打开Linode官网，打开后页面如下： 页面上有三个输入框，分别是输入邮箱，用户名和密码，我们按照要求输入之后，来到一个提示页面： 这里提示我们已经往我们邮箱发送了一封邮件，我们打开邮箱，能看到有一封邮件，如图： 用填写注册信息的浏览器打开邮件里面的验证链接，来到这个界面： 这是说欢迎我们，内容可以不用管，点击其中的...阅读全文
公司使用的openstack的备份服务组件karbor，要查询所使用的备份nas磁盘使用率的需求，根据以前的查询语句，很快写出如下的prom sql 100-topk(1,node_filesystem_free{device=~":/.*"}*100/node_filesystem_size{device=~":/.*"}) 不久后，同事过来说给出的使用率不严谨，和在系统上通过df -h的命令不一样，分别是prom：10%，df结果是11%。嘴上说着差异不大不用管，身体却很实诚，马上去主机上通过df -h查看了使用率 :/var/lib/docker/nfs 147G 15G 125G 11% /var/lib/docker/volumes/volume-nfs/_data 通过prom...阅读全文
eBPF 的程序。编写C代码，将LLVM编译成驻留在ELF文件中的eBPF字节码。将程序加载到内核中，并创建必要的 eBPF-maps。eBPF 具有用作 socket filter，kprobe 处理器，流量控制调度，流量控制操作，tracepoint 处理，eXpress Data Path(XDP)，性能监测，cgroup 限制，轻量级tunnel的程序类型。将加载的程序attach到系统中。根据不同的程序类型attach到不同的内核系统中。程序运行的时候，启动状态并且开始过滤，分析或者捕获信息。 2016年10月的NetDev 1.2大会上，Netronome的Jakub Kicinski和Nic Viljoen发表了标题为“eBPF / XDP硬件卸载到SmartNIC”。 Nic...阅读全文
存储世界最近发生了很大变化。十年前，Fibre Channel SAN 文件管理器是企业存储的标准。而在目前的环境中，受到基础架构即服务云的影响，数据存储需要更加灵活。 GlusterFS 和 Ceph 是两个灵活的存储系统，在云环境中表现非常出色。 在尝试了解 GlusterFS 与 Ceph 之间的相似之处和不同之处之前，让我们来讨论在云环境中对灵活存储的一些要求。 纵向扩展和横向扩展。在云环境中，必须可以很容易地向服务器添加更多存储空间以及扩展可用存储池。Ceph 和 GlusterFS 都可以通过轻松将新存储设备集成到现有存储产品中来满足这一要求。 高可用性。GlusterFS 和 Ceph 的复制是同时将数据写入不同的存储节点。这样做的结果是，访问时间增加，数据可用性也提高。在...阅读全文
几个星期前，我一个朋友问我：“为什么要关心 Go 语言”？ 因为他们知道我热衷于 Go 语言，但他们想知道为什么我认为 其他人 也应该关心。本文包含三个我认为 Go 是重要的编程语言的原因。 安全 个人而言，你和我或许完全有能力在 C 中编写程序，既不会泄漏内存，也不会不安全地重复使用内存。然而，整体上，即使有超过40年的经验，用 C 的程序员也无法可靠地这样做。 尽管静态代码分析、valgrind、tsan 以及 “-Werror” 已经存在了几十年，却很少有证据表明这些工具被广泛认可，更不用说广泛采用。总而言之，事实表明，程序员根本无法安全地管理自己的内存。现在是离开 C 的时候了。 Go 不需要程序员直接管理内存，所有内存分配都由语言运行时自行管理，使用前初始化，必要时检查边界。它肯...阅读全文
去年7月，Go 语言官博就曾透露 Go 2 开发计划，并表示 Go 2 的目标就是解决 Go 1.x 在规模化方面做的还不够好的地方。随着时间的推进，开发团队已着手准备 2.0 版本的开发工作，并公布了设计草案，供社区讨论和反馈，以促进最终的语言设计。 设计草案包含三个方面，错误处理、错误值和泛型，并针对各个方面进行了详细的概述和改进草案。大致总结如下： 一、错误处理（Error handling） 为扩展至大型代码库，Go 程序必须是轻量级的，不会过度重复，且具备稳健性，能够优雅地处理出现的错误。 目前 Go 检查错误的代码太多，但处理这些错误的代码却严重不足。对于 Go 2，开发团队希望错误检查更加轻量级，减少用于错误检查的 Go 程序的文本量。此外，还能更加方便地编写错误处理程序，提...阅读全文
日志文件增长，某些应用会在目标目录下产生多个日志文件甚至现在不能确定将来的日志文件名，架构上要支持多输入多输出流式日志采集传输，为了达成以上需求，我研究了所需技术，评估实现难度并不高，就自研了 logpipe。 logpipe 是一个分布式、高可用的用于采集、传输、对接落地的日志工具，采用了插件风格的框架结构设计，支持多输入多输出按需配置组件用于流式日志收集架构，无第三方依赖。 logpipe 的一种用法是能异步实时监控集群里的所有日志目录，一旦有文件新增或追加写，立即采集并传输到大存储上以相同日志文件名合并落地，或者写入 HDFS。异步意味着不影响应用输出日志的性能，实时意味着一有日志立即采集，很多日志采集工具如 flume-ng、logstash 介绍文档通篇不提采集方式是否实时还是周期...阅读全文
作任务。 watchdog 瞧瞧，垫子（进程表）旁边也有一只小狗，它会监控小企鹅的状态（监控进程），当小企鹅们不听话时，它就会汪汪地叫喊起来。 httpd process 在这层的左侧，有一只号牌为 1341 的小企鹅，守在门口，门上写着 80，说明这个 PID 为 1341 的小企鹅负责接待 80 端口，也就是我们常说的 HTTP （网站）的端口。小企鹅头上有一片羽毛，这片羽毛大有来历，它是著名的 HTTP 服务器 Apache 的 Logo。喏，就是这只： apache logo 向右看，我们可以看到这里仍有一扇门，门上写着 21，但是，看起来这扇门似乎年久失修，上面的门牌号都歪了，门口也没人守着。看起来这个 21 端口的 FTP 协议有点老旧了，目前用的人也比以前少了，以至于这里都没人...阅读全文
者自己手机自带的商店。2. 进入开户流程准备好所需材料，开始进入开户流程。1 打开APP 选择简体中文。如果没有弹出，可以点击右上角来选择语言。然后，点击 【注册成为新客户】2 选择第二项 【持电子护照的外国人】，然后点击【开始申请】输入介绍人代码 【 IRVU37JB 】，可以获得 15 新币，大约80元人民币的奖励。不写的话没有任何奖励。3 国家代码点进去选择中国大陆 +86，手机号和邮箱输入自己的即可。然后，接收验证码并填写。4 点击下一步，扫描护照条形码。这一步，把护照打开到有人像的那一页，然后在光线充足的地方使用手机扫描。 需要一些耐心，扫描可能不会很快，手拿稳多试试即可。5 NFC 读取护照芯片。护照合上，手机背面贴在护照正面上，开始读取。缓缓移动手机，调整到可以读取的...阅读全文
据外媒报道，磁性随机存取内存(MRAM)将在今年达到一个新的里程碑。Everspin宣布开始尝试打造1Gb (128MB)的ST-MRAM芯片，另外他们已经将这款高寿命、非易失性的内存芯片生产提上议程。 Everspin的ST-MRAM能够提供持久的记忆能力，相较于普通的NAND闪存技术，它可以减少写入放大倍数并拥有更好的耐用性。 这款新芯片采用的则是一个兼容DDR4的接口。这家公司表示，供应商可以利用持久的记忆技术设计企业级SSD或对现有的储存产品展开进一步的改善。 据了解，ST-MARAM的密度要比公司旗下现有的任何256MB(32MB)芯片大得多。Everspin指出，从Global Foundries的40nm工艺到foundry 28nm工艺的转变是开发这种千兆级芯片的关键，另外...阅读全文
随着互联网的高速发展，云存储技术已经相当成熟了，网盘成了人们工作和学习中不可缺少的部分。尽管如此，离线存储技术也无法被取代，毕竟在没有网络的情况下，离线存储才是最佳的解决方案。 而目前使用的最多的且最方便的离线存储设备就是U盘，凭借小巧便携的体型设计赢得了广大用户的喜爱，但随着数据的日益膨胀，小小的U盘无论是在读写速度还是在容量上已经无法满足我们日益增长的存储需求。 而今天，金士顿在CES大会上展示了一款离线存储设备——HyperX Savage EXO外置SSD。HyperX Savage EXO外置SSD外壳采用聚碳酸酯打造，存储颗粒为3D TLC NAND闪存，拥有480GB和960GB两种容量可供选择。 外置SSD的接口为USB3.1 Gen 2，带宽高达10Gbps，实际连续读写...阅读全文
多线程处理开发过程中的并发请求。 之前不推荐使用的 flask.ext 已被完全删除。 在调试模式下访问 request.form 的缺失密钥时会显示更有用的错误提醒，以避免开发者混淆常见的错误来源。 app.logger 的行为已大大简化，更容易定制。 test_client 新增用于发布 JSON 数据的 json 参数，Response 对象新增 get_json 方法来在测试中将数据解码为 JSON 。 新增 test_cli_runner ，用于测试应用程序的 CLI 命令。 大量文档已被重写，更清晰明了。这是一项长期持续的工作。 教程和相应的示例已被重写。新的示例使用结构化布局并详细介绍每个方面，以帮助新用户更好地规避常见问题并适应 Flask 。 细节请查阅发行说明...阅读全文
我们确定了日志文件的路径后，就可以使用 echo 等命令清空了。 查找日志路径可以使用命令， `docker inspect --format='{{.LogPath}}' 1e1897500f00` 一键清理多个容器日志的命令，就可以这样写， ```docker inspect --format='{{.LogPath}}' `docker ps -q` | xargs -i cp /dev/null {}```...阅读全文
做个记录，主要是几个关键字的写法，仅供参考。 `cat /etc/network/interfaces` 内容如下： ``` # This file describes the network interfaces available on your system # and how to activate them. For more information, see interfaces(5). source /etc/network/interfaces.d/* # The loopback network interface auto lo iface lo inet loopback # The primary network...阅读全文
都要用G1垃圾收集器，因为年轻代内存比较大，用G1可以设置GC最大停顿时间，不至于一次minor gc就花费太长时间，当然，因为像kafka，rocketmq，es这些中间件，写数据到磁盘会用到操作系统的page cache，所以JVM内存不宜分配过大，需要给操作系统的缓存留出几个G。 2.1 线上问题及优化 2.1.1 消息丢失情况 消息发送端： （1）acks=0： 表示producer不需要等待任何broker确认收到消息的回复，就可以继续发送下一条消息。性能最高，但是最容易丢消息。大数据统计报表场景，对性能要求很高，对数据丢失不敏感的情况可以用这种。 （2）acks=1： 至少要等待leader已经成功将数据写入本地log，但是不需要等待所有follower是否成功写入。就可以继续发...阅读全文
