Proxmox VE 是基于QEMU/KVM和LXC的开放源码服务器虚拟化管理解决方案。可以使用集成的、易于使用的Web接口或CLI管理虚拟机、容器、集群、存储和网络，PVE有方便易用的WEB界面，用户可通过网页的方式来管理服务器上使用 kvm 以及 lxc 技术运行的虚拟机。同时提供了一些先进功能的支持，如集群、HA等。PVE虽然是开源，却是由一个商业公司在运营、更新以及维护。 一、启动盘准备 1、下载U盘写盘软件 官方网站：https://rufus.ie/（目前比较好用的写盘软件，WIN10也是用着装） 2、下载PVE ISO文件 官方下载：https://www.proxmox.com/en/downloads（速度比较慢） 3、写入PVE，比较简单，基本跟win安装盘一样，选项基...阅读全文
GitHub 刚刚通过官方博客发布了 21 日“挂掉”的事件分析。GitHub 指出此次事件发生的原因是在 10 月 21 日 22:52 UTC 进行日常维护——更换发生故障的 100G 光学设备时导致美国东海岸网络中心与美国东海岸数据中心之间的连接断开。 更具体地，GitHub 分析，虽然两地的连接在 43 秒内恢复，但这次短暂的中断引发了一系列事件，这才导致了长达 24 小时 11 分钟的服务降级。 为了大规模提高性能，GitHub 的应用程序将直接写入每个群集的相关主数据库，但在绝大多数情况下将读取请求委派给副本服务器的子集。GitHub 使用 Orchestrator 来管理 MySQL 集群拓扑并处理自动故障转移，Orchestrator 在此过程中考虑了许多变量，并在...阅读全文
本文大部分内容翻译总结自《Software Engineering at Google》 第10章节 Documentation。 另外，该书电子版近日已经可以免费下载了 https://abseil.io/resources/swe_at_google.2.pdf，有兴趣的同学可以下载翻阅下。 首先声明，本问所说的文档不仅限于纯文本文档，还包含代码注释(注释也是一种特殊形式的文档)。 ## 文档的重要性 ## 高质量的文档对于一个组织或团队来说有非常多的益处，比如让代码和API更容易理解、错误更少；让团队成员更专注于目标；也可以让一些手工操作更容易；另外如果有新成员加入的话有文档也会让他们更快融入…… 写文档有比较严重的收益滞后性，不像测试，你跑一个测试case，它能立即告诉你是对还是错...阅读全文
海盗船（Corsair）刚刚为 Neutron NX 500 系列固态硬盘驱动器添加了 1.6TB 的新版本，其售价为 1575 美元（约 10389 RMB），折合每 GB 容量 0.98 美元。 在 ATTO 基准测试中，其持续读 / 写性能分别达到了 3000MB/s 和 2800MB/s；换用 CrystalDiskMark 的话，则是 2800MB/s（读取）和 1600MB/s（写入）。随机读 / 写性能上，1.6TB 版本分别可达 300k 和 270k IOPS 。 不过与外媒在今年早些时候评测过的 400GB 版本相比，1.6TB 版本 NX500 NVMe SSD 的性价比反而并不高。如果官方的读写数据是可以相信的，那 1.6TB 版本的售价未免也太高了。 作为对比，三...阅读全文
本站放出了Linode各个机房的测试结果，但是可能很多国内用户对Linode还是不是很熟悉，这里打算写一篇文章给想要入手Linode VPS的朋友提供一个参考，其实过程很简单，唯一麻烦的是，需要有一张VISA或者MASTERCARD的信用卡，因为Linode默认不支持PayPal付款，只支持信用卡付款。 Linode官网：www.linode.com 首先，我们通过上面哪个链接打开Linode官网，打开后页面如下： 页面上有三个输入框，分别是输入邮箱，用户名和密码，我们按照要求输入之后，来到一个提示页面： 这里提示我们已经往我们邮箱发送了一封邮件，我们打开邮箱，能看到有一封邮件，如图： 用填写注册信息的浏览器打开邮件里面的验证链接，来到这个界面： 这是说欢迎我们，内容可以不用管，点击其中的...阅读全文
日志文件增长，某些应用会在目标目录下产生多个日志文件甚至现在不能确定将来的日志文件名，架构上要支持多输入多输出流式日志采集传输，为了达成以上需求，我研究了所需技术，评估实现难度并不高，就自研了 logpipe。 logpipe 是一个分布式、高可用的用于采集、传输、对接落地的日志工具，采用了插件风格的框架结构设计，支持多输入多输出按需配置组件用于流式日志收集架构，无第三方依赖。 logpipe 的一种用法是能异步实时监控集群里的所有日志目录，一旦有文件新增或追加写，立即采集并传输到大存储上以相同日志文件名合并落地，或者写入 HDFS。异步意味着不影响应用输出日志的性能，实时意味着一有日志立即采集，很多日志采集工具如 flume-ng、logstash 介绍文档通篇不提采集方式是否实时还是周期...阅读全文
1.新的问题influxdb目前支持内存型索引inmem及文件型索引tsi1。之前追踪篇将influxd索引修改为tsi1之后，经过一段时间的运行，从监控观察到，由于调用方采用异步队列+批处理的方案将数据写入influxdb，会在某些时刻调用方内部出现数据堆积，指标如图:横坐标: 时间轴，从12-29 00:00 到 12-30 00:00纵坐标: 队列中数据堆积长度，坐标最大值250k，即最大25w个数据堆积从上图可以看到，当天监控出现数次堆积，上午7:00-10:00尤为严重。在堆积时，登录influxdb服务器，查看机器状态如下:top - 09:40:58 up 120 days, 19:18, 1 user, load average: 32.29, 32.32, 29.82...阅读全文
SK海力士今天正式发布了最新款的企业级SSD PE8000系列，包括PE8010、PE8030、PE8111三款型号，这也是其首款PCIe 4.0 SSD，无论存储密度、容量还是性能都是世界一流的，甚至是超一流的。 PE8010、PE8030都配备了SK海力士自产的96层堆叠4D TLC NAND闪存颗粒，搭配自研主控，最大容量8TB，兼容U.2、U.3接口，其中PE8010面向读取密集型应用，PE8030则为读写混合应用而优化。 性能方面，持续读写速度最高均可达8.3GB/s、3.7GB/s，随机读写速度最高则可达1100K IOPS、320K IOPS。 相比于去年的上代产品，持续读取性能提升103％，随机写入性能提升357％，另外最大功耗为17W。 PE8111则是针对读取密集型负载...阅读全文
是在不同的机器，同一机 器对同一个分区也只可能存放一个副本（包括自己）。 Consumer：消费者，即消息的消费方，是消息的出口。 Consumer Group：我们可以将多个消费组组成一个消费者组，在kafka的设计中同一个分 区的数据只能被消费者组中的某一个消费者消费。同一个消费者组的消费者可以消费同一个 topic的不同分区的数据，这也是为了提高kafka的吞吐量！ 2.1.2. ⼯作流程 我们看上⾯的架构图中，producer就是生产者，是数据的入口。Producer在写入数据的时候会把数据 写入到leader中，不会直接将数据写入follower！那leader怎么找呢？写入的流程又是什么样的呢？我 们看下图： 1.⽣产者从Kafka集群获取分区leader信息 2.⽣产者将消息发...阅读全文
者自己手机自带的商店。2. 进入开户流程准备好所需材料，开始进入开户流程。1 打开APP 选择简体中文。如果没有弹出，可以点击右上角来选择语言。然后，点击 【注册成为新客户】2 选择第二项 【持电子护照的外国人】，然后点击【开始申请】输入介绍人代码 【 IRVU37JB 】，可以获得 15 新币，大约80元人民币的奖励。不写的话没有任何奖励。3 国家代码点进去选择中国大陆 +86，手机号和邮箱输入自己的即可。然后，接收验证码并填写。4 点击下一步，扫描护照条形码。这一步，把护照打开到有人像的那一页，然后在光线充足的地方使用手机扫描。 需要一些耐心，扫描可能不会很快，手拿稳多试试即可。5 NFC 读取护照芯片。护照合上，手机背面贴在护照正面上，开始读取。缓缓移动手机，调整到可以读取的...阅读全文
索容易许多。 创建大文档集合 MongoDB 乐于把最大 16MB 的文档置于集合中，而 GridFS 设计用于超过 16MB 的大文档。但是，可以容纳大文档并不意味着那是一个好主意。MongoDB 在单个文档的大小为几 KB 时表现最好，处理它们的方式更像宽 SQL 表的行。大文档会导致 多种性能问题 。 使用大数组创建文档 文档可以包含数组。最好是把数组元素的数量保持在四位数以下。如果数组频繁添加，会使得包含它的文档过大，那样， 它在磁盘上的位置就需要移动 ，反过来，这意味着 每个索引都必须更新 。当一个包含大数组的文档重新索引时，由于 每个数组元素都有一个单独的索引条目 ，所以会发生大量的索引重写。此外，这种重新索引在这类文档插入或删除时也会发生。 为了最小化这个问题，MongoDB...阅读全文
随着技术的发展，我们使用的存储器也各种各样，虽然都基于芯片颗粒，但表现截然不同，比如说读写次数限制，或者叫寿命，SSD固态硬盘就有限制，DRAM内存却没有。 按照分布位置的不同，DRAM内存属于内部存储器，紧挨着CPU处理器，用来临时存放后者需要的运算数据，并与外部存储器进行交换，起到桥梁的作用。 DRAM内存的特点是读写速度快、延迟低，但属于易失性存储，也就是一旦断电，数据就会全部丢失。 DRAM内存颗粒利用晶体管加电容来保存数据，而且只是临时存储数据，并没有实质性的写入，不涉及对物理单元结构、属性的改变，所以可以无限次读写。 当然，这并不意味着DRAM内存就可以永久使用，毕竟其中的晶体管、电容等物理结构也会慢慢老化，所有电子设备都是如此，只是这个过程非常非常缓慢，正常使用根本感觉不到...阅读全文
在三星宣布量产 QLC SATA SSD 之后，英特尔这边也宣布了自家的最新竞品 —— 价格媲美 SATA 型号、但支持 NVMe 协议的 660p 系列 SSD 。据 Anandtech 所述， 英特尔 660p 采用了自家的 64 层 1-Tb 3D QLC NAND 闪存，容量有 512GB / 1TB / 2TB 三档，但性能表现颇为一致。此外，660p 还搭配了大容量伪 SLC 缓存机制、辅以 256MB DRAM 。 英特尔 660p 系列 SSD 采用了 M.2 2280 封装规格 据悉，512GB 版本可选择调用 6~76GB 的容量当做缓存，1TB 版本可动用 12~140GB，2TB 版本则是 24~280GB 。当然，随着数据的大量写入，SLC 缓存机制的效用会明显下...阅读全文
在 Linux Kernel 5.10 代码中已经增加了对 EXT4 文件系统的更新，其中包括在 DAX/DIO 模式下大幅改进文件覆盖的效率。尤其是在运行英特尔 Optane DCPMM 存储的情况下，并行写入尤其是随机覆盖性能可以提升 10 倍以上，常规操作也能提升 2 倍以上。但是您必须使用 EXT4 iommap 代码（例如在DAX / DIO模式下），并且此更改不会影响 EXT4 的常规操作。 另一项针对 EXT4 的重大改变是由谷歌 Harshad Shirwadkar 提交的 “fast commits”。fast commits 模式和在有序模式（挂载选项 data=ordered）运行的 EXT4 用户有关，在保持最小增量的情况下与 JBD2 日志共享的快速提交空间中重新...阅读全文
. Vsftpd添加FTP账号 A. 登录Linux主机后，运行命令：”useradd ftp-clin003 -s /sbin/nologin “。该账户路径默认指向/home/ftp-clin003目录；如果需要将用户指向其他目录，请运行命令：useradd ftp-clin003 -s /sbin/nologin –d /www(其他目录) B. 设置ftp-clin003用户密码，运行命令：”passwd ftp-clin003” ; 输入两次密码，匹配成功后，就设置好了ftp-clin003用户的密码了。 C.测试连接，您可以在“我的电脑”地址栏中输入 ftp://IP 来连接FTP服务器，根据提示输入账户密码。 umask=022 umask=022中”022″是八进制的写法，如果换成二进制是...阅读全文
TLC闪存旗鼓相当。 注：每Cell单元存储数据越多，单位面积容量就越高，但同时导致不同电压状态越多，越难控制，导致颗粒稳定性越差，寿命低，利弊都有。 不得不承认，TLC闪存的出现大大提升了SSD的容量，并在一定程度上降低了SSD的价格。不过，依旧没解决SSD价格的难题，大容量SSD仍旧贵。小容量SSD+大容量HDD的存储方案，终究没有单纯大容量SSD来得好。 当QLC 闪存的诞生，也许既廉价又拥有超大容量的SSD，从理想变为现实。 QLC与TLC之间的区别： 1、寿命 前段时间，东芝称其QLC NAND拥有多达1000次左右的P/E编程擦写循环，打破100-150次魔咒，可以与TLC闪存颗粒寿命想媲美。如果真的达到这个标准，那么QLC SSD就能够“理直气壮”进入市场了。 1000次寿命,对于...阅读全文
很多编程初学者至今还在给我写信请教，问我该学习什么程序语言，怎么学习。由于我知道如何掌握“所有”的程序语言，总是感觉这种该学“一种”什么语言的问题比较低级，所以一直没来得及回复他们 可是逐渐的，我发现原来不只是小白们有这个问题，就连美国大公司的很多资深工程师，其实也没搞明白。 今天我有动力了，想来统一回答一下这个搁置已久的“初级问题”。类似的话题貌似曾经写过，然而现在我想把它重新写一遍。因为在跟很多人交流之后，我对自己头脑中的（未转化为语言的）想法，有了更精准的表达。 如果你存在以下的种种困惑，那么这篇文章也许会对你有所帮助： 你是编程初学者，不知道该选择什么程序语言来入门。 你是资深的程序员或者团队领导，对新出现的种种语言感到困惑，不知道该“投资”哪种语言。 你的团队为使用哪种程序语言争...阅读全文
大概这几条路： 1）自己做开源项目，足够好，然后鼓励你的关注者给你donate，老外常年用paypal收打赏。厉害一点，直接有人给你包了。 2）用心写各种demo或者教程，好看易懂，勤维护，也有人给你打赏，写的多了还可以出书，类似阮一峰和廖雪峰。 3）多做前端，写几个自己开发的工具类app，笔记啊，图片识别的类似小工具，真的好用，可以加一些小广告，或者开启升级付费的功能。 4）开直播做培训，口条要好，一定要把一些教程练得特别熟练，表演的好像阿里P8以上那种其实都可以自己手写一个新的jvm的大牛但是想普惠众生，而江湖隐退来开课办班，帮助大家提高技能和基本功，这种目前好多人在做。 5）程序员都在用的AWS有好消息！AWS（亚马逊云计算）中国区新用户注册即可免费使用12个月云服务产品啦！每注册一...阅读全文
-threads=1000 --thread-yields=1000 --thread-locks=8 run #互斥锁测试 sysbench --test=mutex --mutex-num=4096 --mutex-locks=50000 --mutex-loops=10000 run #连续读写： sysbench --test=fileio --file-num=2 --file-total-size=64M --file-test-mode=seqrewr run #随机文件读写： sysbench --test=fileio --file-num=2 --file-total-size=64M --file-test-mode=rndwr run #进入系统检查系统版本信息及硬件架构平台信息...阅读全文
自从跳板机升级后，无所不在的二次验证 token 让小x很是恼火。使用 ssh clone session ，就可以避免每次登陆，都需要输入一次 2FA 验证 Code。 ** Linux 或 Mac OS 系统 ** 在 Linux 或者 Mac OS 下很简单，只需要修改或者创建 ~/.ssh/config 文件，写入以下内容即可， ``` #file:~/.ssh/config Host * ControlMaster auto ControlPath ~/.ssh/master-%r@%h:%p ``` 这样第一次登陆跳板机时正常输入token，只要这个 session 没有退出，再次登陆就可以复用这个 SSH Session， 不需要再输入...阅读全文
存储世界最近发生了很大变化。十年前，Fibre Channel SAN 文件管理器是企业存储的标准。而在目前的环境中，受到基础架构即服务云的影响，数据存储需要更加灵活。 GlusterFS 和 Ceph 是两个灵活的存储系统，在云环境中表现非常出色。 在尝试了解 GlusterFS 与 Ceph 之间的相似之处和不同之处之前，让我们来讨论在云环境中对灵活存储的一些要求。 纵向扩展和横向扩展。在云环境中，必须可以很容易地向服务器添加更多存储空间以及扩展可用存储池。Ceph 和 GlusterFS 都可以通过轻松将新存储设备集成到现有存储产品中来满足这一要求。 高可用性。GlusterFS 和 Ceph 的复制是同时将数据写入不同的存储节点。这样做的结果是，访问时间增加，数据可用性也提高。在...阅读全文
西部数据开发了有一段时间的Zonefs已经确定要在Linux 5.6内核中登场了，这并不是一个传统意义上面的通用文件系统（比如Ext4、NTFS），而是一个针对特定硬件设备的文件系统，它为分区式存储设备进行了高度的优化。 熟悉Linux的朋友应该知道，在Linux下面内核会将存储设备视为块设备，比如目前会将SATA存储设备视为/dev/sdX。传统文件系统是在这个块设备上面进行操作，而应用程序则是通过系统提供的接口对块设备上面的数据进行访问。 但SMR HDD（叠瓦式硬盘）有一个毛病，它只有在顺序写入时才能正常发挥性能，一旦要进行数据覆盖写入，就需要改写这块数据所在区块内的所有磁道，造成严重的性能下降。传统的文件系统不会因为SMR HDD的特性而特别对待它，而Zonefs就是西部数据对...阅读全文
Scrapy 是一个为了爬取网站数据，提取结构性数据而编写的应用框架。 可以应用在包括数据挖掘、信息处理或存储历史数据等一系列的程序中。本文着重介绍 Scrapy 架构及其组件之间的交互。 Scrapy 组件介绍 Scrapy Engine 引擎负责控制数据流在系统中所有组件中流动，并在相应动作发生时触发事件。 详细内容查看下面的数据流(Data Flow)部分。 调度器(Scheduler) 调度器从引擎接受request并将他们入队，以便之后引擎请求他们时提供给引擎。 下载器(Downloader) 下载器负责获取页面数据并提供给引擎，而后提供给spider。 Spiders Spider 是 Scrapy用户编写用于分析response并提取item(即获取到的item)或额外跟进的...阅读全文
2016 年 11 月 5 日，Debian 发布经理 Emilio Pozuelo Monfort 和 Niels Thykier 高兴地宣布 Debian GNU/Linux 9 "Stretch" 操作系统进入冻结开发阶段。 在一个开发周期中，GNU/Linux 有多个里程碑，如 Alpha、Beta、RC、Beta Freeze、Feature Freeze，等等， Debian GNU/Linux 9 "Stretch" 即 Debian OS 的下一个重大发布，此版本已经是功能完善的版本。 "这意味着不再有新的库或包的大变化。不过之后几天还会有小的改变，我们尽量使其工作更流畅，所以请耐心等待最后的调整。"通知中写道。 按 Debian 开发周期，下一步是 2017 年 1 月...阅读全文
vi(vim)是上Linux非常常用的代码编辑器，很多Linux发行版都默认安装了vi(vim)。vi(vim)命令繁多但是如果使用灵活之后将会大大提高效率。vi是“visual interface”的缩写，vim是vi IMproved(增强版的vi)。在一般的系统管理维护中vi就够用，如果想使用代码加亮的话可以使用vim。 基本上vi可以分为三种状态，分别是命令模式（command mode）、输入模式（Insert mode）和底行模式（last line mode），各模式的功能区分如下： 1) 命令模式（command mode） 控制屏幕光标的移动，字符、字或行的删除，移动复制某区段及进入插入模式、底行模式下。 2) 输入模式（Insert mode） 只有在输入模式下，才可以...阅读全文
] ... Environment=CADDYPATH=/etc/ssl/caddy + Environment=CLOUDFLARE_EMAIL=xxx + Environment=CLOUDFLARE_API_KEY=xxx ... 写完配置后输入 sudo systemctl start caddy.service 启动 Caddy。输入 journalctl --boot -u caddy.service 可以查看日志。 启用 QUIC 关于 QUIC 的介绍，可以看一下这篇文章，一句话概况呢就是减少 TLS 握手次数，加快网站速度。 修改 /etc/systemd/system/caddy.service ，在 ExecStart=/usr/local/bin/caddy -log stdout -agree...阅读全文
SK海力士日前宣布推出新一代企业级SSD硬盘，不过官方并没有公布SSD硬盘的名称，只知道是NVMe标准的，基于72层堆栈的3D TLC闪存，M.2版容量最大4TB，U.2容量可达8TB。 性能方面，SK海力士表示新一代企业级硬盘的连续速度可达3200MB/s，随机性能可达160K IOPS，与2018年FMS展会上推出的72层堆栈闪存硬盘相比，新一代企业级SSD的顺序读写性能提升30%，随机写入提升了70%，同时支持读取敏感型及混合型应用，包括数据中心、AI、ML机器学习及VDI虚拟桌面架构等。 值得一提的是，SK海力士的新一代企业级SSD具备极低的功耗，正常应用低于14W，这在企业级SSD中是很低的水平了。 此外，SK海力士还表示将在今年底推出容量更大的企业级SSD硬盘，闪存会从目前的...阅读全文
在 2016 年 2 月可利用（systemd v230），研究人员写了一个 PoC，可在 i386 上获得 eip 控制。 CVE-2018-16865 于 2011 年 12 月引入（systemd v38），在 2013 年 4 月可利用（systemd v201）。CVE-2018-16866 于 2015 年 6 月引入（systemd v221），于 2018 年 8 月无意中被修复。 研究人员为 CVE-2018-16865 和 CVE-2018-16866 写了一个 PoC，并利用它进行测试，结果花 70 分钟就可以在 amd64 上获得本地 root shell，而在 i386 上只花了 10 分钟。 “所有使用 Systemd 的 Linux 发行版都存在漏洞，并且易受到...阅读全文
，可以视为是每秒的读写次数。与其他性能测试一様，IOPS 仅代表理想环境下的性能指标，不保证实际应用下也能达到同等情况。IOPS 的数值会随系统组态而有很大的不同，依测试者在测试时的控制变量而异，控制变量包括读取及写入的比例、线程数量以及资料区块的大小等。从 Jens Axboe 在社交媒体上分享的截图可以看到，他用最新的 Linux 内核补丁在一个物理 CPU 核心上实现了 1000 万 IOPS。此次测试的设备仍然与他此前实现 890 万 IOPS 时所使用的设备保持一致 —— 采用了一个 AMD Ryzen 9 5950X CPU 和英特尔 P5800X Gen2 傲腾 SSD。为了实现这些的性能提升，Jens Axboe 主要是在内核的 block / NVMe / IO_uring...阅读全文
码的困境结束，从而实现更快的开发。 简而言之，Web框架可以简化Web开发。 如果您想深入了解Web框架及其优点，请点击此处。 为什么Django是Python开发者的最佳选择 Django是一个Python编写的，高级的，MVC风格的开源库。 Django也被称为“完美主义者的最终框架”，它最初是为新闻网站设计的，因为它允许开发人员编写数据库驱动的Web应用程序，而无需从头开始编码。 除了更快完成常见的Web开发任务，Django还可以保持设计干净且实用。 Django是Python Web开发新人的最佳选择，因为官方文档和教程是几个（同类）软件开发框架中最好的。 技术市场充斥着一系列网络框架，但Django在最受欢迎的服务器端Web框架里处于顶峰位置。设计Django背后的座右铭很简单...阅读全文
1. Robot Framework Robot Framework（RF）是用于验收测试和验收测试驱动开发（ATDD）的自动化测试框架。 基于 Python 编写，但也可以在 Jython（Java）和 IronPython（.NET） 上运行，提供跨平台支持（Windows、Linux 或 MacOS ）。 优点： 通过使用关键字驱动测试（KDT）方法简化了自动化测试过程，方便测试人员创建易读的测试。 测试数据语法简单易用。 生态系统丰富。由各种通用测试库和工具组成，这些工具都是作为独立项目开发的。 具有高度可扩展性。 可通过 pabot 或 Selenium Grid 执行并行测试。 缺点： 自定义 HTML 报告较为麻烦。 如果是针对大范围的库和扩展的 KDT 自动化测试，建议使用...阅读全文
的永久存储和查询能力。 Compactor则是对Bucket里的历史数据进行采样或者清理，有具体需求后再自行研究即可。 上述组件均是可选的，没有历史数据永存需求的可以直接忽略。 方案2：thanos receive + thanos querier thanos提供的另一种方案是计算与存储分离，利用thanos receive组件部署一个分布式存储集群，然后令prometheus通过remote write机制直接写入到thanos receive集群完成分布式存储，这样prometheus本身就无状态了。 再利用thanos querier反向代理到thanos receive集群，最终对外提供统一的promql查询入口，这个阶段就没有prometheus什么事了。 这套方案的工作原理如下...阅读全文
Win32DiskImager 中打开、浏览该文件。单击 “Write”，就可以开始往SD卡中录入系统镜像了。这一步会花费些时间，一般两分钟左右。写入完成后，我们会看到如下所示的 “写入成功” 的提示。 现在您就可以在系统中，安全地弹出 microSD卡 并继续下一步了。 启动树莓派4 将闪存SD卡插入 树莓派4 底部的SD卡插槽中，接入 USB-C 的电源线，然后连接显示器和键盘。我们就可以看到炫丽的树莓派启动画面了。在Pi的第一次启动时，屏幕右上方会显示几个 Raspberry Pi 徽标。 Raspbian的启动速度明显快于 NOOBS，因为 NOOBS 功能更多，更强大，为我们提供更多的选择和安装替代操作系统的窗口。 树莓派启动后，我们就会看到漂亮的壁纸和初始的 Raspberry Pi 设置向导。只需按照屏幕...阅读全文
Linkerd 是一个提供弹性云端原生应用服务网格（service mesh）的开源项目，也是面向微服务的开源 RPC 代理。Linkerd（发音 "linker-DEE"）是一个透明的服务网格，旨在通过透明地将服务发现、负载均衡、故障处理，插桩（instrumentation）和路由添加到所有的服务间通信中，使现代应用程序安全可靠，而无需侵入应用内部本身的实现。 linkerd 作为一个透明的 HTTP/gRPC/thrift/ 等代理，通常可以以最少的配置被加入到现有的应用程序中，不管这些应用程序采用什么语言编写。linkerd 能与许多通用协议和服务发现后端运行，包括 Mesos 和 Kubernetes 等预定好的环境。 Linkerd 基于 Netty 和...阅读全文
apt-get install git 现在，我们切换到 /opt 目录，并从 Github 上克隆仓库： cd /opt git clone https://github.com/axboe/fio 现在，我们通过在 /opt 目录下切换到 Fio 的源代码目录，执行编译和安装操作了，命令如下： # cd /opt/fio # ./configure # make # make install 使用 Fio 进行磁盘性能测试 现在 Fio 已经安装到了你的系统中，我们一起看看如何使用 Fio 做磁盘的随机写、读和读写测试。 随机写测试 执行下面的命令来开始。这个命令将要同一时间执行两个进程，写入共计 4GB（ 4 个任务 x 512MB = 2GB） 文件： sudo fio --name...阅读全文
。总结报告的形成明确写报告需要的思维和目的后，我们如何形成报告呢？报告形成步骤如下。1.明确项目分析维度项目分析的维度不同，后期确定的指标也会不同。一般以项目总结的目的为基准方向，确定分析维度。分析维度可以从产品立项到发布每个阶段作为分析维度，也可以按照项目中的角色为维度进行分析。以输入法的项目总结为例，按照产品、开发、测试的测试角色为横向维度进行分析，然后纵向深入分析每个维度的数据。2.项目指标抽取我们在进行指标抽取时，会先根据项目分析维度形成一个指标集，如下图。指标的选取方式有两种：根据问题选取指标和固定通用指标。根据问题选指标是先收集项目中明确感知到的问题，对问题进行归类（归类分组思想），然后选取可以反映此问题的指标进行数据分析，一个问题可能对应多个指标。以输入法为例，当前版本出现...阅读全文
随着64层堆栈3D NAND闪存的大规模量产，全球6大NAND闪存厂商今年都开始转向96层堆栈的新一代3D NAND，几家厂商的技术方案也不太一样，SK Hynix给他们的新闪存起了个4D NAND闪存的名字。 在今年的FMS国际闪存会议上正式宣告了业界首个基于CTF技术的4D NAND闪存，日前他们又宣布4D NAND闪存正式量产，目前主要是TLC类型，96层堆栈，512Gb核心容量，使用该技术可以减少30%的核心面积，读取、写入速度分别提升30%、25%。 根据SK Hynix之前公布的信息，所谓的4D NAND闪存其实也是3D NAND，它是把NAND闪存Cell单元的PUC（Peri Under Cell）电路从之前的位置挪到了底部，所以叫了4D NAND闪存，本质上其实还是3D...阅读全文
# owner: root # group: root user::rwx user:code:r-- #effective:--- group::rwx #effective:-w- mask::-w- //可以看到有效权限已经修改成功 other::rwx 使用code用户查看文件内容，首先使用root用户写入一些内容，会使测试更加直观 [root@ debian.cn ~]# echo "this is a test getfacl " >/test [code@ debian.cn ~]$ vim /opt/test "/opt/test" [Permission Denied] //可以在最下面看到不允许访问的提示，并且看不到任何内容 取消acl权限： [root@ debian.cn...阅读全文
公司使用的openstack的备份服务组件karbor，要查询所使用的备份nas磁盘使用率的需求，根据以前的查询语句，很快写出如下的prom sql 100-topk(1,node_filesystem_free{device=~":/.*"}*100/node_filesystem_size{device=~":/.*"}) 不久后，同事过来说给出的使用率不严谨，和在系统上通过df -h的命令不一样，分别是prom：10%，df结果是11%。嘴上说着差异不大不用管，身体却很实诚，马上去主机上通过df -h查看了使用率 :/var/lib/docker/nfs 147G 15G 125G 11% /var/lib/docker/volumes/volume-nfs/_data 通过prom...阅读全文
据外媒报道，磁性随机存取内存(MRAM)将在今年达到一个新的里程碑。Everspin宣布开始尝试打造1Gb (128MB)的ST-MRAM芯片，另外他们已经将这款高寿命、非易失性的内存芯片生产提上议程。 Everspin的ST-MRAM能够提供持久的记忆能力，相较于普通的NAND闪存技术，它可以减少写入放大倍数并拥有更好的耐用性。 这款新芯片采用的则是一个兼容DDR4的接口。这家公司表示，供应商可以利用持久的记忆技术设计企业级SSD或对现有的储存产品展开进一步的改善。 据了解，ST-MARAM的密度要比公司旗下现有的任何256MB(32MB)芯片大得多。Everspin指出，从Global Foundries的40nm工艺到foundry 28nm工艺的转变是开发这种千兆级芯片的关键，另外...阅读全文
。它使用其他输入流（例如容器运行时度量标准和Kubernetes度量标准）丰富了收集的数据，并允许连续监视和检测容器，应用程序，主机和网络活动。 5：Katran Katran是一个C ++库和eBPF程序，用于构建高性能的第4层负载平衡转发平面。 Katran利用Linux内核中的XDP基础结构来提供用于快速数据包处理的内核功能。它的性能与NIC接收队列的数量成线性比例，并且使用RSS友好的封装转发到L7负载平衡器。 6：Sysdig Sysdig是提供深层系统可见性的简单工具，并具有对容器的原生支持。 其他基于eBPF技术的项目还有很多，比如kubectl-trace ，ply 等，这里不再赘述。 如何编写一个eBPF程序？ 在很多情况下，不是直接使用eBPF，而是通过Cilium，bcc...阅读全文
来说，就是用户可以体验原生、纯粹的GNOME体验，这也是Fedora深受众多Linux用户欢迎的原因之一。 Fedora项目团队在更新日志中写道：“GNOME 3.28引入了文件、文件夹和联系人收藏功能，以便于用户更快管理和访问。此外，全新应用程序Usage能够帮助用户更快诊断和解决性能和功能问题。Fedora WorkStation 28还引入了GNOME Photos作为默认图片管理应用，为浏览、观看和组织照片提供更简单的应用程序。” 项目团队同时表示，Fedora引入了全新的Modular Repository，能够为软件和更新提供替代版本，从而能使用户能快速的根据自己需求更新某个组件，比如Node.js或Django的版本等。此外Fedora 28 Workstation也有很大的更...阅读全文
name-rev 功能。其他各种性能改进。 Bug 修复 Windows 的 Git 现在可以克隆到当前用户可以写入的目录中，即使他们甚至没有权限读取父目录。通过 Git GUI 要求输入密码时，现在可以正确处理非 ASCII 字符。git update-git-for-windows -y 现在可以完全自动化 更多详细信息可参见发布公告。...阅读全文
/Nessus/run/var/nessus/plugin_feed_info.inc /Library/Nessus/run/lib/nessus/plugins/plugin_feed_info.inc （1）更新插件 sudo /Library/Nessus/run/sbin/nessuscli update all-2.0.tar.gz all-2.0.tar.gz 为默认名称，请根据插件离线包的实际路径和文件名修改 (sysin) （2）写入配置文件 编辑 plugin_feed_info.inc 文件（这两个文件可能源目录下没有，需要自己创建）： sudo vi /Library/Nessus/run/var/nessus/plugin_feed_info.inc sudo vi...阅读全文
置为对cortex执行远程写入。使用此功能，指标可以从多个集群聚合到一个运行cortes的集群中。这为我们提供了一个中心位置，在这里我们可以观察整个基础设施的指标。Cortex提供了与Prometheus/PromQL兼容的端点endpoint。可以将此端点endpoint作为数据源提供给grafana，并与普通Prometheus实例相同的方式执行查询。长期储存普罗米修斯的本地存储不是持久的长期存储。发送到cortex的指标被存储在已配置的存储服务中。如果使用云存储，这将使您从运行自己的数据库的麻烦中解脱出来。你还可以享受云提供商提供的SLA。Cortex还支持用于存储块的对象存储：GCSS3多租户当向cortex写入指标时，通过设置http头(X-Scope-OrgID)来提供多租户。查...阅读全文
Go 1.9 beta版已发布， 正式版预期在8月初发布，让我们先来看看你Go 1.9带来了那些新特性。 type alias 类型别名原本在1.8中加入的，但是临时发现有些问题，为了能全面的设计 type alias 被移到了 Go 1.9中了。 这个特性主要用在类型从一个package移动到另外一个package中的时候，导致的项目中对引入的路径不一致导致的问题， 比如原先 context是在golang.org／x/net/context包下，在Go 1.7中菜正式移到标准库context。 相关的issue: go#16339 go#18130 提案: type alias 并发map 在Go 1.6之前， 内置的map类型是部分goroutine安全的，并发的读没有问题，并发的写...阅读全文
让我们先探讨什么是基于主机的入侵检测系统。如前所述，入侵检测系统是一种硬件或软件应用程序，可在检测到恶意活动时检测并警告管理员。HIDS主要专注于监视和分析日志文件，以便 基于预定义的策略和一组规则来检测异常和未经授权的更改。换句话说，HIDS与您添加的预先建立的规则一样有效。对于大量存储的日志，提取有意义的信息对于检测异常至关重要。提取的信息应准确。因此，确保这些日志的安全性对于防御日志操纵至关重要。1. OSSECOSSEC是开源安全事件关联器的缩写。这个建立良好且信誉良好的解决方案是OSSEC基金会开发和维护的免费和开放源代码的基于主机的入侵检测系统，这要归功于众多的贡献者。它后来归趋势科技所有。这是一个不断发展的项目，每月下载约5000次，并且具有可扩展性和多平台方面的特点，因为它...阅读全文
] Service discovery：为 kubernetes 添加新的节点地址类型 #5902[ENHANCEMENT] UI：如果查询返回了一些警告，则显示警告 #5964[ENHANCEMENT] Remote write：减少系列缓存的内存使用量 #5849[ENHANCEMENT] Remote read：使用远程读取流传输以减少内存使用量 #5703[ENHANCEMENT] Metrics：添加了将远程最大/最小/所需分片写入队列管理器的指标 #5787[ENHANCEMENT] Promtool：在标签查询期间显示警告 #5924[ENHANCEMENT] Promtool：改进了解析错误规则时的错误消息 #5965[ENHANCEMENT] Promtool：更多提示规则 #5515...阅读全文
Rancher 2.3 GA版本发布了，据说这是Rancher Labs迄今为止最重要的版本更新。Rancher 2.3是业界首个GA支持Windows容器的Kubernetes管理平台，并正式集成了Istio，还引入了创新的“集群模板”功能以增强企业集群的安全性。 支持Windows容器 通过把Kubernetes的所有优势引入Windows，Rancher 2.3极大降低了企业使用Windows容器的复杂性，并为基于Windows遗留应用程序的现代化提供快捷的途径——无论这些程序是在本地运行还是在多云环境中运行。此外，Rancher 2.3还可以将它们容器化并将其转换为高效、安全和可迁移的多云应用程序，从而省去重写应用程序的工作。 正式集成Istio Rancher 2.3正式完成了对...阅读全文
在三星路线图上，14nm、10nm、7nm、3nm都是全新工艺节点，其他则是升级改善型，包括11/8/6/5/4nm等等。三星将在3nm工艺上第一次应用GAAFET(环绕栅极场效应晶体管)技术，再次实现了晶体管结构的突破，比现在的FinFET立体晶体管又是一大飞跃。GAAFET技术又分为两种类型，一是常规GAAFET，使用纳米线(nanowire)作为晶体管的鳍(fin)，二是MBCFET(多桥通道场效应晶体管)，使用的鳍更厚更宽一些，称之为纳米片(nanosheet)。三星的第一颗3nm SRAM芯片用的就是MBCFET，容量256Gb，面积56平方毫米，最令三星骄傲的就是超低功耗，写入电流只需要区区0.23V，这要感谢MBCFET的多种省电技术。按照三星的说法，3GAE工艺相比于其...阅读全文
