NameNode，然后再从下一个拥有该 block 副本的DataNode 继续读。 read 方法是并行的读取 block 信息，不是一块一块的读取；NameNode 只是返回Client请求包含块的DataNode地址，并不是返回请求块的数据； 最终读取来所有的 block 会合并成一个完整的最终文件。 从 HDFS 文件读写过程中，可以看出，HDFS 文件写入时是串行写入的，数据包先发送给节点A，然后节点A发送给B，B在给C；而HDFS文件读取是并行的， 客户端 Client 直接并行读取block所在的节点。 9. NameNode 工作机制以及元数据管理（重要） NameNode 工作机制 9.1 namenode 与 datanode 启动 namenode工作机制 第一次启动namenode...阅读全文
并记牢，超级管理员账户啊。 建立新用户，这个只是个昵称，不是登录时的用户名，可以根据自己喜好填。 这玩意就是登录时的用户名了，设置时要多注意，并且一定要记住（其实记不住也没事，还有root呢）。 设置用户密码。 接下来该磁盘分区了，我用的虚拟机，但是方法上都一样的。 有空闲分区的话推荐使用安装程序进行自动分区，当然也可以手动分区。自动分区的话如果是新手推荐“将所有文件放在同一个分区中”，有经验的就根据自己喜好调整吧。 手动分区的话一定要记住挂载/根目录，否则会报错。Swap分区（交换分区）推荐大小为物理内存的两倍，比如我的实际内存为2G，swap给上4G就行了。 完成调整后保存分区表即可。需要注意的是需要记住挂载 根目录/ 的分区号，方便后面安装grub， 选是。 对于软件安装，教程既然写的...阅读全文
。由于这种模块化，您只需编写和测试git同步器一次，即可在众多应用程序中重复使用它。而且，如果有人编写它，您甚至不需要这样做。 实现辅助功能 。这种场景一般出现在DevOps中。比如将收集日志的组件以Sidecar的方式部署，实现收集日志的用途，或是部署一个Sidecar组件从配置中心监听配置变化，实时更新本地配置。 生命周期 Sidecar容器的所有问题都与容器生命周期相关性有关。由于Pod中的常规容器之间没有区别，因此无法控制哪个容器首先启动或最后终止，但是先正确运行Sidecar容器通常是应用程序容器正确运行的要求。 从1.18版本开始，K8S内置的Sidecar功能将确保Sidecar容器在正常业务流程开始之前就启动并运行，即通过更改pod的启动生命周期，在init容器完成后启动...阅读全文
挑战，尽管之前的 PostgreSQL 版本已经做了一些工作来减轻清理的开销。 PostgreSQL 13 通过引入用于索引的并行化清理来继续改进清理系统 。具体来说，VACUUM 命令能够并行处理索引。可以使用 VACUUM 命令上的新 PARALLEL 选项（或 vacuumdb 上的 --parallel）来访问其功能，该选项允许用户指定用于清理索引的并行 Worker 进程的数量。要注意的是，这不适用于 FULL 选项。由于管理员可以选择要运行的并行 Worker 进程的数量，因此可以针对特定的工作负载调整此新功能的使用。除了这些性能优势之外，数据插入现在还可以触发自动清理过程。 复制插槽(Replication slots)，用于防止在复制副本接收到预写日志(WAL, write...阅读全文
-threads=1000 --thread-yields=1000 --thread-locks=8 run #互斥锁测试 sysbench --test=mutex --mutex-num=4096 --mutex-locks=50000 --mutex-loops=10000 run #连续读写： sysbench --test=fileio --file-num=2 --file-total-size=64M --file-test-mode=seqrewr run #随机文件读写： sysbench --test=fileio --file-num=2 --file-total-size=64M --file-test-mode=rndwr run #进入系统检查系统版本信息及硬件架构平台信息...阅读全文
代码、撰写文档、修正错误。所有的这些不受待见的任务在一个健康的社区中都是必要的。 为什么要在优雅地写代码前做这些呢？这是一种信任，更重要的是，不要只关注自己开发的功能，而是要关注整个社区的动向。 博闻强识，敦善不怠 当你在某个社区中建立起自己的声望，那么很有必要全面了解该项目和代码。不要停留于任务状态上，而是要去钻研项目本身，理解那些超出你擅长范围之外的知识。不要只把自己的理解局限于开发者，这样会让你着眼于让你的代码有更大的影响，而不只是你那一亩三分地。 打个比方，你已经完成了一个网络模块的测试版本。你测试了一下，觉得不错。然后你把它开放到社区，想要更多的人测试。结果发现，当它以特定的方式部署时，有可能会破坏安全设置，还可能导致主存储泄露。如果你将代码视为一个整体时问题就可以迎刃而解，而不是...阅读全文
类的价值观）。风险在于，有人担心懂得“自我改进”的AI有可能会像科幻小说描写的那样，擅自改动代码或修改优化算法。 我深信，真正有利于促进人类和经济的前行的，是一个能够推动科学进步的社会架构。我们能从这样的社会架构中获益很多。 Audience Member：像GPT-3这样的基础模型会如何影响生命科学研究的步伐？生命科学研究中有没有一些技术手段无法克服的限制因素，比如自然规律等？ Sam Altman：目前的可用模型还不够好，不足以对生命科学领域产生重大影响——不少生命科学家了解这些模型之后都说，它们只能在部分情况下发挥些许作用。AI在基因组学领域有一些很有前景的应用方向，但目前尚属起步阶段，不过我很看好。我认为这也是市值千亿的巨头准备进军的领域之一。 如果AI未来真的可以让医药公司的研发速...阅读全文
常用开发环境、生产环境简写的含义及用途 DEV、SIT、UAT、PET、SIM、STG、PRD 缩写介绍 按开发、测试、上线的时间线排序： - DEV Development 研发环境 - SIT System Integrate Test 系统集成测试环境（内测） - UAT User Acceptance Test 用户验收测试环境 - PET Performance Evaluation Test 性能评估测试环境（压测） - STG Staging 更接近生产的功能验收、测试环境 - SIM Simulation 高仿真环境 - PRD Production 正式/生产环境...阅读全文
欺负项目成员3 月 8 日，外媒通过电子邮件联系了现任领导人 Jonathan Carter，就他对 Preining 问题的看法进行咨询，但没有收到任何回复。而据报道，目前 2022 Debian 项目负责人选举已开启，三位候选人：Felix Lechner、Hideki Yamane 和 Jonathan Carter 正在竞选。3 月 9 日，发送给 Carter 的邮件被转到 Debian 新闻团队和项目负责人手中 ，新闻团队的一位发言人回应说：“目前我们没有关于 Norbert Preining 的声明。”Preining 表示，基本上发生的事情是 DAM 认为他在欺负该项目的成员。DAM 是 Debian 客户经理团队，可以批准和开除项目成员。“我猜他们指的是我与 Martina...阅读全文
然而然地产生了：如果在/etc/apt/apt.conf中配置这个参数为stable，那么每次apt命令时如果没有指定目标distribution,那么目标distribution就会是stable；当需要操作其他distribution时，只要用-t明确指定就可以了。指定该参数的格式可以这么写：APT::Default-Release stable; 也可以这么写： APT { Default-Release stable; }; 如果指定了目标distribution（不管是用APT::Default-Release指定还是用-t参数指定），apt用下面的算法来分配优先级： priority 100 to the version that is already installed (if...阅读全文
一：linux下查看系统socket读写缓冲区大小配置： http://blog.csdn.net/herecles/article/details/8146017 1. tcp 收发缓冲区默认值 [root@ www.linuxidc.com]# cat /proc/sys/net/ipv4/tcp_rmem 4096 87380 4161536 87380 ：tcp接收缓冲区的默认值 [root@ www.linuxidc.com]# cat /proc/sys/net/ipv4/tcp_wmem 4096 16384 4161536 16384 ： tcp 发送缓冲区的默认值 2. tcp 或udp收发缓冲区最大值 [root@ www.linuxidc.com]# cat...阅读全文
早在 Ubuntu 诞生之前，作为完全由自有软件组成的类 UNIX 操作系统 Debian 凭借着惊人的软件数量、高度集成的软件包、良好的安全等特性成为 Linux 领域的佼佼者。不过如今看来，Debian 的流行度开始大大减弱。 日前，维护 Debian 包近 10 年的开发者 Michael Stapelberg 发文表示，要在维护的 Debian 包中删除自己的姓名，并让这些包自生自灭，彻底放手 Debian，而这究竟是何原因使得 Debian 惨遭嫌弃？ 作者 | Michael Stapelberg 译者 | 弯月 责编 | 屠敏 出品 | CSDN（ID：CSDNNews） 以下为译文： 这篇文章我写得十分艰难，一来是感情上的纠结，二来是我没有时间。因此，在阅读本文时请注意，我...阅读全文
。事实上，Linux出色的可靠性与灵活性使它成为关键性基础设施内不可或缺的核心要素。 那么究竟是什么神奇的力量让Linux这样一位“私生子”变成世界的主宰?根据VAR Guy网站的总结，Linux成功的原因包括分布式开发方法、务实的意识形态、切实可行的内核设计以及庞大且活跃的Linux社区。 2. Fedora 25成为首款默认使用Wayland的Linux发行版 Fedora 25将Wyland作为它兼容机上的默认显示协议。为什么选择Wayland?Fedora开发者Matthias Clasen表示它能够实现客户端间彼此隔离、更适合现代显示系统(不包含不必要的核心字体或核心渲染等‘累赘’)且能够实现原有X系统无法实现的多种功能(例如输入转换以及在合并桌面与全屏客户端之间进行顺畅过渡...阅读全文
Proxmox VE 是基于QEMU/KVM和LXC的开放源码服务器虚拟化管理解决方案。可以使用集成的、易于使用的Web接口或CLI管理虚拟机、容器、集群、存储和网络，PVE有方便易用的WEB界面，用户可通过网页的方式来管理服务器上使用 kvm 以及 lxc 技术运行的虚拟机。同时提供了一些先进功能的支持，如集群、HA等。PVE虽然是开源，却是由一个商业公司在运营、更新以及维护。 一、启动盘准备 1、下载U盘写盘软件 官方网站：https://rufus.ie/（目前比较好用的写盘软件，WIN10也是用着装） 2、下载PVE ISO文件 官方下载：https://www.proxmox.com/en/downloads（速度比较慢） 3、写入PVE，比较简单，基本跟win安装盘一样，选项基...阅读全文
the light of Joey's resignation, as I'm sure many of us have been. Joey 的离职让我不住去想 Debian 的管理出了什么问题，我相信我们其中许多人也一样。 当时，Russ 已经在 Debian 技术委员会里待了6个年头，但他没能熬过2014年那场论战。他表示，委员会几乎每一个决策都受到巨大的压力，他感到没有精力来处理这些事情，他也觉得自己在技术委员会的工作对整个项目没什么帮助。 2019年，Debian 开发者 Michael Stapelberg 在离职 Debian 时留下一篇长文，里面细数了 Debian 内部的各种问题，引起各方热议。 在写下这篇文章的几个星期前，Michael 在苏黎世 Debian 聚会上遇见了一...阅读全文
。 仪表板的发布在进行中，工程团队将Bugsnag的后端功能分解成称之为管道（pipeline）的微服务体系。将管道扩展到支持发布，意味着增加新的服务，并修改现有服务，也可预见到许多新的服务器和客户端的交互。为了处理上述架构的变化，需要采用一致性的方式来设计，实施和集成企业的服务。Bugsnag是一家多语言的公司，服务是用Java，Ruby，Go和Node.js等多语言编写，因此企业需要一种与平台无关的方法。 本文将介绍为什么我们最终选择了gRPC作为Pipeline的默认通信框架。 达到REST API设计的极限 现有系统传统上使用具有JSON有效载荷的REST API进行同步通信。这种选择是基于占压倒性比例的成熟度、熟悉度和工具的可用性做出的，但是随着跨洲际工程团队的增长，企业需要设计一致的...阅读全文
', {capped: true, autoIndexId: true, size: 1024000, max: 10000}) # autoIndexId 已弃用，默认_id添加索引 # 插入文档时，MongoDB会自动创建集合 db.ruochen.insert({'name': 'ruochen'}) 删除集合 格式：db.collection.drop() use ruochen db.createCollection('ruochen') # 创建集合 show tables db.ruochen.drop() show tables 插入文档 格式：db.COLLECTION_NAME.insert(document) 方法1 db.ruochen.insert({title: 'MongoDB...阅读全文
1.新的问题influxdb目前支持内存型索引inmem及文件型索引tsi1。之前追踪篇将influxd索引修改为tsi1之后，经过一段时间的运行，从监控观察到，由于调用方采用异步队列+批处理的方案将数据写入influxdb，会在某些时刻调用方内部出现数据堆积，指标如图:横坐标: 时间轴，从12-29 00:00 到 12-30 00:00纵坐标: 队列中数据堆积长度，坐标最大值250k，即最大25w个数据堆积从上图可以看到，当天监控出现数次堆积，上午7:00-10:00尤为严重。在堆积时，登录influxdb服务器，查看机器状态如下:top - 09:40:58 up 120 days, 19:18, 1 user, load average: 32.29, 32.32, 29.82...阅读全文
="petrolimage.jpeg" alt="Petrol price drops">
This is the forth hike in petrol prices in two month and the third in case of diesel in one fortnight.
12. 拼写检查 spellcheck 是一个取值可以为空字符串、true 和 false 的枚举属性。如果指定其状态为 true，就表示元素将会接受对其的拼写和语法检查。 element.forceSpellCheck() 将强制用户代理在文...阅读全文Docker基于mamespace、cgroups、chroot等技术来构建容器，不是一个系统调用就能搞定，容器是一个用户态的概念。本文中Docker软件工程师Michael Crosby深入探讨了Docker对namespace技术的应用。 相信你在很多地方都看到过“Docker基于mamespace、cgroups、chroot等技术来构建容器”的说法，但你有没有想过为何容器的构建需要这些技术？ 为什么不是一个简单的系统调用就可以搞定？原因在于Linux内核中并不存在“linux container”这个概念，容器是一个用户态的概念。 Docker软件工程师Michael Crosby将撰写一些列博客，深入到Docker运行的背后，探索在 docker run这段代码的背后发生了什么...阅读全文
OCP 峰会刚刚轻松的结束了，但是让我们惊讶的发现微软发布了一个基于 Debian Linux 的操作系统，这个操作系统主要运行在网络交换机之上。该软件被称为 SONiC ，也就是 Software for Open Networking in the Cloud 的缩写。你可以使用它来管理网络交换机的各种操作，网络切换等，而无需依赖网络设备供应商提供的系统。 类似的操作系统还有来自 HP、DELL 和 Cumulus Networks 的系统。 SONiC 基于 Linux 的 Azure Cloud Switch (ACS) 操作系统，该系统我们在去年 9 月份有了解过。ACS 是微软 Azure 云系统中交换机的大脑。可通过 C API Switch Abstraction...阅读全文
在三星宣布量产 QLC SATA SSD 之后，英特尔这边也宣布了自家的最新竞品 —— 价格媲美 SATA 型号、但支持 NVMe 协议的 660p 系列 SSD 。据 Anandtech 所述， 英特尔 660p 采用了自家的 64 层 1-Tb 3D QLC NAND 闪存，容量有 512GB / 1TB / 2TB 三档，但性能表现颇为一致。此外，660p 还搭配了大容量伪 SLC 缓存机制、辅以 256MB DRAM 。 英特尔 660p 系列 SSD 采用了 M.2 2280 封装规格 据悉，512GB 版本可选择调用 6~76GB 的容量当做缓存，1TB 版本可动用 12~140GB，2TB 版本则是 24~280GB 。当然，随着数据的大量写入，SLC 缓存机制的效用会明显下...阅读全文
SK海力士日前宣布推出新一代企业级SSD硬盘，不过官方并没有公布SSD硬盘的名称，只知道是NVMe标准的，基于72层堆栈的3D TLC闪存，M.2版容量最大4TB，U.2容量可达8TB。 性能方面，SK海力士表示新一代企业级硬盘的连续速度可达3200MB/s，随机性能可达160K IOPS，与2018年FMS展会上推出的72层堆栈闪存硬盘相比，新一代企业级SSD的顺序读写性能提升30%，随机写入提升了70%，同时支持读取敏感型及混合型应用，包括数据中心、AI、ML机器学习及VDI虚拟桌面架构等。 值得一提的是，SK海力士的新一代企业级SSD具备极低的功耗，正常应用低于14W，这在企业级SSD中是很低的水平了。 此外，SK海力士还表示将在今年底推出容量更大的企业级SSD硬盘，闪存会从目前的...阅读全文
在 Linux Kernel 5.10 代码中已经增加了对 EXT4 文件系统的更新，其中包括在 DAX/DIO 模式下大幅改进文件覆盖的效率。尤其是在运行英特尔 Optane DCPMM 存储的情况下，并行写入尤其是随机覆盖性能可以提升 10 倍以上，常规操作也能提升 2 倍以上。但是您必须使用 EXT4 iommap 代码（例如在DAX / DIO模式下），并且此更改不会影响 EXT4 的常规操作。 另一项针对 EXT4 的重大改变是由谷歌 Harshad Shirwadkar 提交的 “fast commits”。fast commits 模式和在有序模式（挂载选项 data=ordered）运行的 EXT4 用户有关，在保持最小增量的情况下与 JBD2 日志共享的快速提交空间中重新...阅读全文
某最后一次部署挖矿脚本后，百度通过安全管理监控系统发现大量服务器运行异常，占用公司服务器的运算资源执行了挖矿程序，经过一番排查，最终确定了幕后的操盘手“安某”。 为此，百度还花费 2.7 万元请北京耐特网科技公司提供了应急服务，具体项目包括样本提取、样本分析、服务器日志提取并分析、追踪溯源、报告编写等。 2018 年 7 月，百度正式起诉“安某”，认为其犯有非法控制计算机信息系统罪。经法院的进一步核实，被告人“安某”虽对其行为性质提出辩解，但其到案后及在庭审过程中对其实施的作案过程均能如实交代，故应认定其具有如实供述的情节，同时结合其能退缴涉案违法所得，故可对其从轻处罚。 据此判决： 一、被告人安邦犯非法控制计算机信息系统罪，判处有期徒刑三年，罚金人民币一万一千元。 二、在案扣押的人民币十一...阅读全文
本站放出了Linode各个机房的测试结果，但是可能很多国内用户对Linode还是不是很熟悉，这里打算写一篇文章给想要入手Linode VPS的朋友提供一个参考，其实过程很简单，唯一麻烦的是，需要有一张VISA或者MASTERCARD的信用卡，因为Linode默认不支持PayPal付款，只支持信用卡付款。 Linode官网：www.linode.com 首先，我们通过上面哪个链接打开Linode官网，打开后页面如下： 页面上有三个输入框，分别是输入邮箱，用户名和密码，我们按照要求输入之后，来到一个提示页面： 这里提示我们已经往我们邮箱发送了一封邮件，我们打开邮箱，能看到有一封邮件，如图： 用填写注册信息的浏览器打开邮件里面的验证链接，来到这个界面： 这是说欢迎我们，内容可以不用管，点击其中的...阅读全文
西部数据开发了有一段时间的Zonefs已经确定要在Linux 5.6内核中登场了，这并不是一个传统意义上面的通用文件系统（比如Ext4、NTFS），而是一个针对特定硬件设备的文件系统，它为分区式存储设备进行了高度的优化。 熟悉Linux的朋友应该知道，在Linux下面内核会将存储设备视为块设备，比如目前会将SATA存储设备视为/dev/sdX。传统文件系统是在这个块设备上面进行操作，而应用程序则是通过系统提供的接口对块设备上面的数据进行访问。 但SMR HDD（叠瓦式硬盘）有一个毛病，它只有在顺序写入时才能正常发挥性能，一旦要进行数据覆盖写入，就需要改写这块数据所在区块内的所有磁道，造成严重的性能下降。传统的文件系统不会因为SMR HDD的特性而特别对待它，而Zonefs就是西部数据对...阅读全文
很多同学都已经学习了 Linux ，可能已经在自己的机器上安装过 Linux，甚至都能搭建个简单的个人博客，也有可能编译部署过邮件服务器之类的软件，可是感觉仍然对 Linux 有点摸不着，颇有隔靴挠痒的感受。 总是好奇 Linux 内核是怎么回事，究竟里面有点什么？总是好奇 Linux 是怎么启动起来的，那个什么 GRUB 怎么知道读取引导信息？总是好奇设备怎么就可以被当成文件操作，为什么可以从 /proc 读到进程的信息？总是好奇如何才能构建一个操作系统，从无到有的做成一个可引导的 Linux 启动盘？ 不用羡慕那些说起这些就头头是道是 Linux 极客们，其实你和他们之间只是差一个 LFS 而已。 LFS 是什么？ LFS（英文 Linux From Scratch 的缩写），中文释意...阅读全文
需的内容。但他们没有像 Arm 或其他一些较早建立的供应商那样支持着整个生态系统。” 那么，验收开源硬件与验证开源软件有何不同？Mellanox Technologies 的外部董事 Thomas J Riordan 告诉 Synced，他认为两者面临的挑战实际上非常相似。“从指令集架构（ISA）层面上来看，处理器和开源程序都是用某种高级语言（HLL）编写的软件（算法）。在这两种情况下，必须以详尽的方式对处理器/程序进行验收，以确保质量结果。” “就实现指令集架构而言，它是开放的这一事实几乎可以保证其可以从多个来源获得许多实现，这也是 Arm 所担心的情况之一。毕竟开源模型的功能已得到充分验证。如果说 RISC-V 就是处理器界的 Linux，那么就好比微软希望 Linux 和...阅读全文
用 Python3 安装sudo python3 -m pip install --upgrade trzsz 用 Python2 安装sudo python2 -m pip install --upgrade trzsz 用 Homebrew 安装brew update brew install trzsz 用 Node.js 安装sudo npm install -g trzsz 或者安装用 Go 写的 trzsz参考 https://github.com/trzsz/trzsz-go 没有 sudo 权限也可以安装，只要将安装路径 ( 可能是 ~/.local/bin ) 添加到 PATH 环境变量中即可。支持的终端iTerm2 – 参考 Trzsz-iTerm2 安装文档。tabby...阅读全文
去年7月，Go 语言官博就曾透露 Go 2 开发计划，并表示 Go 2 的目标就是解决 Go 1.x 在规模化方面做的还不够好的地方。随着时间的推进，开发团队已着手准备 2.0 版本的开发工作，并公布了设计草案，供社区讨论和反馈，以促进最终的语言设计。 设计草案包含三个方面，错误处理、错误值和泛型，并针对各个方面进行了详细的概述和改进草案。大致总结如下： 一、错误处理（Error handling） 为扩展至大型代码库，Go 程序必须是轻量级的，不会过度重复，且具备稳健性，能够优雅地处理出现的错误。 目前 Go 检查错误的代码太多，但处理这些错误的代码却严重不足。对于 Go 2，开发团队希望错误检查更加轻量级，减少用于错误检查的 Go 程序的文本量。此外，还能更加方便地编写错误处理程序，提...阅读全文
-cachedfree: 未使用的内存 memFree & swapFree in /proc/meminfoshared: tmpfs使用的内存 shmem in /proc/meminfobuffers：被内核缓冲去使用的内存cached: 被页缓存和slabs使用的内存buffers/cache： 表示buffers和cache的总和swap： 交换分区的使用量2.3 buffer和cache会使用内存吗？答案是肯定的，先来了解下buffer和cache。cache（缓存）官方定义是用来弥补高速设备和低速设备之间的访问速度不匹配而预留的一段空间，用来加快资源的访问。 简单讲就是读的更快。buffer（缓冲）是为了做资源写入整形，计算机遇到大量的“小规模IO”时，会将其整形为少量的“大规模IO”，降低写入次...阅读全文
假如你打算加入Debian社区，为Debian社区做些事情的话，那么你可以先申请Debian Maintainer一职。在那之前需要做好哪些准备呢？在本文中，一位华人DM Aron向大家介绍了申请成为Debian Maintainer的流程以及事先准备。 今天我收到了一封邮件，询问关于做 Debian Maintainer 的事情让我给他写几条建议。非常高兴看到越来越多的人参与到 Debian 社区之中，以下是我所写的一点东西，希望有用。 Debian Maintainer (DM)是有个别软件包上传权限的 Debian 开发人员，是成为正式 Debian Developer (DD)前的一个步骤。在开始前需要清楚，为 Debian 贡献点力量是很容易的事情，但要成为“官方”的人员则需要付...阅读全文
依靠 Checkpoint 机制，进行二阶段提交，从而保证数据的 Exactly-once 一致性。 具体可以这样说：在 Checkpoint 过程中，每个算子只会进行准备提交的操作。比如数据会提交到外部的临时存储目录下，所有任务都完成这次 Checkpoint 后会收到一个信号，之后才会执行正式的 commit，把所有分布式的临时文件一次性以事务的方式提交到外部系统。 这种算法在当前有限流的情况下，作业结束后并不能保证有 Checkpoint，那么最后一部分数据如何提交？ 在 1.14 中，这个问题得到了解决。Task 处理完所有数据之后，必须等待 Checkpoint 完成后才可以正式的退出，这是流批一体方面针对有限流任务结束的一些改进。 三、checkpoint 机制 1. 现有...阅读全文
作任务。 watchdog 瞧瞧，垫子（进程表）旁边也有一只小狗，它会监控小企鹅的状态（监控进程），当小企鹅们不听话时，它就会汪汪地叫喊起来。 httpd process 在这层的左侧，有一只号牌为 1341 的小企鹅，守在门口，门上写着 80，说明这个 PID 为 1341 的小企鹅负责接待 80 端口，也就是我们常说的 HTTP （网站）的端口。小企鹅头上有一片羽毛，这片羽毛大有来历，它是著名的 HTTP 服务器 Apache 的 Logo。喏，就是这只： apache logo 向右看，我们可以看到这里仍有一扇门，门上写着 21，但是，看起来这扇门似乎年久失修，上面的门牌号都歪了，门口也没人守着。看起来这个 21 端口的 FTP 协议有点老旧了，目前用的人也比以前少了，以至于这里都没人...阅读全文
者自己手机自带的商店。2. 进入开户流程准备好所需材料，开始进入开户流程。1 打开APP 选择简体中文。如果没有弹出，可以点击右上角来选择语言。然后，点击 【注册成为新客户】2 选择第二项 【持电子护照的外国人】，然后点击【开始申请】输入介绍人代码 【 IRVU37JB 】，可以获得 15 新币，大约80元人民币的奖励。不写的话没有任何奖励。3 国家代码点进去选择中国大陆 +86，手机号和邮箱输入自己的即可。然后，接收验证码并填写。4 点击下一步，扫描护照条形码。这一步，把护照打开到有人像的那一页，然后在光线充足的地方使用手机扫描。 需要一些耐心，扫描可能不会很快，手拿稳多试试即可。5 NFC 读取护照芯片。护照合上，手机背面贴在护照正面上，开始读取。缓缓移动手机，调整到可以读取的...阅读全文
如果 RabbitMQ 集群只有一个 broker 节点，那么该节点的失效将导致整个服务临时性的不可用，并且可能会导致 message 的丢失（尤其是在非持久化 message 存储于非持久化 queue 中的时候）。可以将所有 message 都设置为持久化，并且使用持久化的 queue，但是这样仍然无法避免由于缓存导致的问题：因为 message 在发送之后和被写入磁盘并执行 fsync 之间存在一个虽然短暂但是会产生问题的时间窗。通过 publisher 的 confirm 机制能够确保客户端知道哪些 message 已经存入磁盘，尽管如此，一般不希望遇到因单点故障导致服务不可用。 如果 RabbitMQ 集群是由多个 broker 节点构成的，那么从服务的整体可用性上来讲，该集群对...阅读全文
据外媒报道，磁性随机存取内存(MRAM)将在今年达到一个新的里程碑。Everspin宣布开始尝试打造1Gb (128MB)的ST-MRAM芯片，另外他们已经将这款高寿命、非易失性的内存芯片生产提上议程。 Everspin的ST-MRAM能够提供持久的记忆能力，相较于普通的NAND闪存技术，它可以减少写入放大倍数并拥有更好的耐用性。 这款新芯片采用的则是一个兼容DDR4的接口。这家公司表示，供应商可以利用持久的记忆技术设计企业级SSD或对现有的储存产品展开进一步的改善。 据了解，ST-MARAM的密度要比公司旗下现有的任何256MB(32MB)芯片大得多。Everspin指出，从Global Foundries的40nm工艺到foundry 28nm工艺的转变是开发这种千兆级芯片的关键，另外...阅读全文
我们确定了日志文件的路径后，就可以使用 echo 等命令清空了。 查找日志路径可以使用命令， `docker inspect --format='{{.LogPath}}' 1e1897500f00` 一键清理多个容器日志的命令，就可以这样写， ```docker inspect --format='{{.LogPath}}' `docker ps -q` | xargs -i cp /dev/null {}```...阅读全文
于 RPM 的 Linux 发行版上安装、更新和删除软件包。引入 Cockpit 服务器远程管理器，这是一个简单、轻量级但功能强大的交互式 GNU/Linux 服务器远程管理器，可通过 Web 浏览器提供实时 Linux 会话。 内核 modinfo 命令已更新，可识别和显示使用 CMS 和 PKCS#7 格式签名的模块签名信息。一组内核模块移动到 kernel-modules-extra 包中，这意味着默认情况下这些模块都不安装，非 root 用户也无法加载这些组件，因为默认情况下它们也被列入黑名单。内存总线限制已扩展到 128 PiB 的虚拟地址空间和 4 PB 的物理内存容量。Linux 内核中的 I/O 内存管理单元（IOMMU）代码也会更新以启用 5 级分页表。kdump 特性可以...阅读全文
2021 年每月（以及之后的双月刊）系列“ Debian 热门话题”（日文）撰写在日本组织一些当地 Debian 活动，尤其是东京。Debian 议程为贡献者和用户提供更好的 Debian “体验”。向用户提供“一些尝试”并听取他们的声音，然后在贡献者之间进行讨论。更多的基础设施变化，对 Web、Wiki、BTS、存储库等 Debian 基础架构进行更多更改。知识和技术的更新和转让，与新的贡献者讨论、转移和改进旧的知识体系。此外，Hideki Yamane 还在展示页面中警告“我可能是 DPL 有史以来最差的候选人”：不擅长英语（可以使用 Eng“r”ish ;），所以无法回答一些复杂的问题。没有任何技巧来调解贡献者之间的争吵，只有：保持冷静，保持安全。...阅读全文
Refer to https://www.linkedin.com/pulse/system-design-rules-navneet-kumar-p6n7f/ 系统设计很复杂，它需要设计者有深厚的计算机知识和专业知识，没有一种通用的设计可以适应所有业务场景。尽管如此，还是有一些比较通用的规则可以供你设计系统时参考，也能帮助你在面试中摆脱困境。 1. 对于数据密集型系统 — 考虑使用缓存。 2. 对于写入量大的系统 — 使用消息队列进行异步处理 3. 对于低延迟要求 — 考虑使用缓存和 CDN。 4. 需要𝐀原子性、𝐂一致性、𝐈隔离性、𝐃耐用性兼容数据库 — 选择 RDBMS/SQL 数据库。 5. 对于非结构化数据——可以选择NoSQL...阅读全文
系统上是否安装了Python 3。在 Debian 10 中，默认已经安装了Python 3.7 的版本。 推荐的创建虚拟环境的方法是使用软件包venv提供的模块python3-venv。 如果你还没有安装 python3-venv ，请输入以命令安装： sudo apt update sudo apt install python3-venv 2、创建虚拟环境 建立一个独立的工作目录， mkdir my_tensorflow cd my_tensorflow 进入目录，使用以下命令创建新的虚拟环境， python3 -m venv venv 上面的命令创建一个名为venv的目录，该目录包含Python二进制文件，Pip程序包管理器，标准Python库和其他支持文件的副本。运行...阅读全文
#2342TiFlash添加上报 DeltaTree 引擎读写负载相关 metrics 信息支持 fromUnixTime 和 dateFormat 函数下推默认禁用粗粒度索引过滤器TiDB Ansible新增 TiFlash 监控 #1253 #1257优化 TiFlash 配置参数 #1262 #1265 #1271优化 TiDB 启动脚本 #1268 Bug 修复 TiDB修复 merge join 在某些场景下 panic 的问题 #15920修复在计算选择率时重复考虑某些表达式的问题 #16052修复极端情况下 load 统计信息可能出现的 panic 的问题 #15710修复 SQL query 中存在等价表达式在某些情况下无法识别导致报错的问题 #16015修复从一个数据库中查询另一个数据库的...阅读全文
在许多互联网领域，尤其是Web PKI和SSL/TLS行业中，我们大多生活在过去的决定中。脆皮密码、差强人意的协议设计以及不怎么标准的软件始终牵绊着前进的步伐。往往一个新操作系统或库的问世都会迅速被大量使用，然后整个生态系统需要花上很多年的时间处理各种遗留的设计缺陷。 随着互联网规模和重要性的增长，我们试图做出更明智的决定，以避免或至少缩短这一周期。最近，两个操作系统进行了更新，反映了两种不同的保持生态健康的做法： Debian推动了其预发行版本的更改，将只支持TLS 1.2；而微软则开始在Windows Server 2008添加TLS 1.2支持。 这两个选择代表了相反的观点 - 一个展望未来，另一个回顾过去。 Debian发布了一个新版本的OpenSSL库，用于其不稳定的构建 - 一...阅读全文
，Aptitude也很有用。实用的功能特性包括why命令和why-not命令，前者显示依赖某软件包的其他软件包，后者显示什么软件包与某个指定软件包冲突。此外，Resolver菜单列出了可能解决破损软件包的方法，从破坏性最小的那种方法开始。 6. apt-cache apt-cache搜索已安装软件包数据库，寻找信息。它能显示关于单个软件包、依赖项和冲突等方面的信息，以及其他众多信息。 一个特别有用的命令是apt-cache search，它可搜索数据库中的文本字符串。使用这个命令，你就能找到软件包的具体名称，那样可以安装它，还可以找到想要安装的相关软件包。在Debian中，它必不可少，所以默认情况下已安装。 5. dpkg-reconfigure dpkg-reconfigure可改变安装软件包的方法。比如...阅读全文
/log/journal/。请参见 systemd-journald.service(8) 以了解细节；请注意 Debian 中的日志除了默认的 systemd-journal 组外，还可以被 adm 用户组内的成员阅读。这项改动应该不会对任何已有的传统日志守护程序（例如 rsyslog）产生任何干扰，但是不依赖这些守护程序所提供的特别功能的用户应当考虑将传统日志程序卸载并切换到仅使用新的 systemd 日志工具。新的 Fcitx 5 输入法Fcitx 5 是用于中文、日语、韩语和其它许多语言的一个输入法。它是 buster 提供的 Fcitx 4 的后续版本。新版本增加了对 Wayland 的支持并改进了扩展支持。内核 exFAT 支持bullseye 是第一个提供支持 exFAT 文件系统的...阅读全文
= new Thread(); t1.start(); t2.start(); t1.join(); t2.join(); System.out.println(i); } } 两个线程 t1 和 t2 同时开启，执行run方法，在我们的预想中，如果是线程安全的话，那么main的执行结果应该是20，但是因为 i 是共享数据，而程序没有对 i 的操作做同步的处理，最终运行的结果并不是20，所以这种情况就不是线程安全的情况。 解决的办法也比较简单，可以利用synchronized关键字来修饰方法或代码块，这部分的知识也是并发编程中非常重要的一块，当然，本文就不探究了，之后单独写篇文章出来细说。...阅读全文
、Selenium、Jasmine 和 Cucumber。 JUnit JUnit 是用于 Java 编程语言的单元测试框架。JUnit 在测试驱动开发的环境中扮演着重要角色，从 SUnit 起源的一组单元测试框架（统称为 xUnit）之一。 xUnit.net xUnit.net 是由 NUnit 的原作者编写的，用于.NET Framework 的开源单元测试工具。 Selenium Selenium 是用于测试 Web 应用程序的可移植框架。Selenium 提供了一种回放工具，使用户无需学习测试脚本语言就能编写功能测试。 Jasmine Jasmine 是用于 JavaScript 的开源测试框架。它可以在任何支持 JavaScript 的平台上运行，不会入侵应用程序或 IDE，还有着易读的语法。在...阅读全文
述符递增一。这里之所以传最大描述符，为的就是在遍历fd_set的时候，限定遍历范围。 参数二：readfds，可读文件描述符集合。 参数三：writefds，可写文件描述符集合。 参数四：errorfds，异常文件描述符集合。 参数五：timeout，超时时间。在这段时间内没有检测到描述符被触发，则返回。 下面的宏处理，可以对fd_set集合（准确的说是bitmap，一个描述符有变更，则会在描述符对应的索引处置1）进行操作： FD_CLR(inr fd,fd_set* set) 用来清除描述词组set中相关fd 的位，即bitmap结构中索引值为fd的值置为0。 FD_ISSET(int fd,fd_set *set) 用来测试描述词组set中相关fd 的位是否为真，即bitmap结构中某一...阅读全文
