许可，Red Hat 技术和社区外展计划经理 Tom Callaway 解释：“Fedora 认为 SSPL 是具有针对性的，它对特定类别的用户具有严重歧视性。” 此外，Debian Linux 也已经从它的发行版中删除了 MongoDB。 外界普遍认为从去年开始酝酿的开源与其它各势力的较量，到今年会发展成混战。联系一下前阵子 Confluent 宣布修改其平台部分组件的开源协议，Redis 模块协议的修改，其实目的是一样的，就是不想云厂商坐收渔翁之利。 这几位开源大佬与 MongoDB 其实可以视为开源厂商阵营；而前边提到的英国卫报可以看成是最终用户商阵营；AWS 可以归为云厂商阵营；Debian、RHEL 这一类则是操作系统层面，用于托管开源项目的阵营；当然还有最终个人用户一大阵营。 开...阅读全文
在本篇文章中，我们将介绍如何在 Debian 和其衍生版上，配置系统自动安装更新，并通过邮件通知系统管理员，每次升级的变更内容。本文中提到的多数命令，由于是系统层面的配置，需要用 root 来执行。 在配置系统更新前，我们需要安装这两个安装包，安装命令如下： # apt update && aptitude install unattended-upgrades apt-listchanges -y unattended-upgrades 是一个可以让系统保持自动更新的包。这些更新包含了安全更新和 Bugfix 等。启用 unattended-upgrades 后，我们还需要知道每次改动的内容，apt-listchanges 解决了这个问题，它将会邮件通知我们升级过程中发生的改变。 依赖包...阅读全文
设备HPPA: 通过 HP Artist 图形设备支持图形控制台MIPS: 支持 GINVT (global TLB invalidation) 指令PowerPC: 当 ic-mode=dual 时，‘pseries’ 机器不再需要重启来进行 XIVE/XICS 中断控制器之间的中断控制PowerPC: ‘powernv’ 机器现在可以模拟 KVM 硬件加速，并在 TCG 模式下运行 KVM guestsRISC-V: ‘virt’ 和 ‘sifive_u’ 板卡现在支持 Linux 中的通用 syscon 驱动，以控制启动和重启RISC-V: ‘virt’ 板卡支持 Goldfish RTCRISC-V: 实验性支持扩展草案的 v0.5 版本s390: 当在 KVM 模式中运行时，支持适...阅读全文
很多编程初学者至今还在给我写信请教，问我该学习什么程序语言，怎么学习。由于我知道如何掌握“所有”的程序语言，总是感觉这种该学“一种”什么语言的问题比较低级，所以一直没来得及回复他们 可是逐渐的，我发现原来不只是小白们有这个问题，就连美国大公司的很多资深工程师，其实也没搞明白。 今天我有动力了，想来统一回答一下这个搁置已久的“初级问题”。类似的话题貌似曾经写过，然而现在我想把它重新写一遍。因为在跟很多人交流之后，我对自己头脑中的（未转化为语言的）想法，有了更精准的表达。 如果你存在以下的种种困惑，那么这篇文章也许会对你有所帮助： 你是编程初学者，不知道该选择什么程序语言来入门。 你是资深的程序员或者团队领导，对新出现的种种语言感到困惑，不知道该“投资”哪种语言。 你的团队为使用哪种程序语言争...阅读全文
导语 | kafka3.0的版本已经试推行去zk的kafka架构了，如果去掉了zk，那么在kafka新的版本当中使用什么技术来代替了zk的位置呢，接下来我们一起来一探究竟，了解kafka的内置共识机制和raft算法。一、Kafka简介Kafka是一款开源的消息引擎系统。一个典型的Kafka体系架构包括若干Producer、若干Broker、若干Consumer，以及一个ZooKeeper集群，如上图所示。其中ZooKeeper是Kafka用来负责集群元数据的管理、控制器的选举等操作的。Producer将消息发送到Broker，Broker负责将收到的消息存储到磁盘中，而Consumer负责从Broker订阅并消费消息。（一）Kafka核心组件producer：消息生产者，就是向broker...阅读全文
port 端口号如需只允许 UDP 入站：1sudo ufw allow proto udp from 中转机地址 to any port 端口号以上命令中，中转机地址 为 NAT VPS 的公网 IP 地址。其他系统、其他防火墙控制软件的操作与之类似，放行来自 NAT VPS 的 IP 的指定端口号即可。 一些大陆 NAT VPS 商注：本小节包含的链接含有 aff 值。CloudIPLC：热门稳定，价格合理，需要及时关注补货情况碳云：价格较低，年付套餐手慢则无AkkoCloud：二次元风格的网站，产品同样抢手 ReferencesHow to open and close ports on RHEL 8 / CentOS 8 LinuxPort ForwardingNAT 主机的正确食用方法通...阅读全文
vi(vim)是上Linux非常常用的代码编辑器，很多Linux发行版都默认安装了vi(vim)。vi(vim)命令繁多但是如果使用灵活之后将会大大提高效率。vi是“visual interface”的缩写，vim是vi IMproved(增强版的vi)。在一般的系统管理维护中vi就够用，如果想使用代码加亮的话可以使用vim。 基本上vi可以分为三种状态，分别是命令模式（command mode）、输入模式（Insert mode）和底行模式（last line mode），各模式的功能区分如下： 1) 命令模式（command mode） 控制屏幕光标的移动，字符、字或行的删除，移动复制某区段及进入插入模式、底行模式下。 2) 输入模式（Insert mode） 只有在输入模式下，才可以...阅读全文
ATOM feeds 使用 Django，你可以通过创建一个简单的Python类来快速创建 RSS 和 ATOM feeds。 在数据库中自动创建表 如果你的数据库中缺失了某一个表，你可以通过执行 Django 的迁移命令来自动创建它。 容易的数据迁移 数据迁移是 Django 中最有用的功能之一。通过使用 Django 的迁移方法，你可以在短时间内改变一个数据库模式。同样也容易就能跟踪你的数据库模式和相关的改变。为数据迁移所做的命名能够帮助你进行版本控制，还有很多选项可以用来合并版本和进行修改。 安全性 Django非常安全，该框架默认情况下可以防止 XSS 攻击、CSRF 攻击，SQL 语句注入、点击劫持、用户管理、cookies、邮件标头注入、密码攻击、目录遍历攻击等等。 Django有一个...阅读全文
分析错误）对控制器和服务，node同样有效 kubectl describe pods xxxxpodsname --namespace=xxxnamespace 其他控制器类似吧，就是kubectl get 控制器 控制器具体名称 查看pod日志 kubectl logs $POD_NAME 查看pod变量 kubectl exec my-nginx-5j8ok -- printenv | grep SERVICE kubectl get cs #### 集群健康情况 kubectl cluster-info #### 集群核心组件运行情况 kubectl get namespaces #### 表空间名 kubectl version #### 版本 kubectl api...阅读全文
SaltStack。 AnsibleAnsibleisSimpleITAutomation Ansible的配备简易，不用在远程控制instances上事先尤其的手机软件，只必须能根据ssh登陆和Python就可以了。其原理都不繁杂，Ansible最先根据ssh将Ansible的可执行程序拷贝到总体目标isntances上并实行，随后根据ssh连接在远程控制服务器上启用Ansible可执行程序。Ansible应用YAML做为配备模版英语的语法。 小编在考博士期内以前参加过一个十分相近Ansible的群集管理系统软件新项目GXPClusterShell。GXP比Ansible大概早了五年。根据GXP不但能够达到相近Ansible的群集管理方法，与此同时也涵盖了一个根据make的Map-Reduce解决构架和一...阅读全文
主要详细介绍Ansible和SaltStack。 AnsibleAnsibleisSimpleITAutomation Ansible的配备简易，不用在远程控制instances上事先尤其的手机软件，只必须能根据ssh登陆和Python就可以了。其原理都不繁杂，Ansible最先根据ssh将Ansible的可执行程序拷贝到总体目标isntances上并实行，随后根据ssh连接在远程控制服务器上启用Ansible可执行程序。Ansible应用YAML做为配备模版英语的语法。 小编在考博士期内以前参加过一个十分相近Ansible的群集管理系统软件新项目GXPClusterShell。GXP比Ansible大概早了五年。根据GXP不但能够达到相近Ansible的群集管理方法，与此同时也涵盖了...阅读全文
output... none on /mytmp type tmpfs (rw,relatime) 这里去掉了一些常见的输出。 从结果中就能看出，多了一个新的tmpfs挂载点。赞！继续在当前shell下执行mount来对比下。 注意到了为何tmpfs挂载点为何没有显示出来了么？这是因为我们创建的挂载点是在我们自己的mount namespace下，不是在父namespace下。 前面我说过mount namespace和filesystem jail是不同的，继续执行我们的./mount和 ls命令，就能给出证明了。 UTS Namespace UTS namespace（UNIX Timesharing System包含了运行内核的名称、版本、底层体系结构类型等信息）用于系统标识。包含了...阅读全文
HTML5 属于万维网联盟 (W3C), 这个组织为整个网络界提供了标准，如此形成的协议可在全世界通行。在 2016 年 11 月， W3C 对长期行使的 HTML 5 标准进行了更新，它是2年内的第一次小更新。许多最开始提出的 HTML 5.1 功能特性都因为设计上的缺陷和缺乏浏览器厂商的支持而去掉了。 尽管有一些元素和功能提升被带进了 HTML 5.1 里面, 但它仍然是一个小的更新。其中的一些新的元素包含了组合标签, 现在这样的元素包括有
许可证。 四个新的许可证 首先是 Cryptographic Autonomy License（CAL）。这个许可证是为分布式密码学应用而设计的。现有的开源许可证无法保证开放性，因为如果没有义务与其他对等体共享数据，那么一个对等体就有可能损害网络的运行。所以，CAL 除了是一个强大的版权许可以外，还包括向第三方提供独立使用和修改软件所需的权限和材料，而不使第三方有数据或功能的损失。 随着分布式密码学在加密结构的点对点共享中越来越多的使用，如果更多的开发者发现自己需要一个像 CAL 这样的法律工具，也就不足为奇了。我们希望由此产生的许可证是清晰易懂的，并希望开源从业者会发现它大有用处。 在我们之前的报道中曾提到，欧洲核子研究组织 CERN 提交的 CERN Open Hardware...阅读全文
在集群化环境里，日志采集是重要基础设施。本文结合最新的 1.0.9 版，对 logpipe 做一个简单的介绍。开源主流解决方案是基于 flume-ng，但在实际使用中发现 flume-ng 存在诸多问题。 比如 flume-ng 的 spoolDir 采集器只能对文件名转档后的大小不能变化的最终日志文件进行采集，不能满足采集时效性要求，如果要采集正在被不断追加的日志文件，只能用 exec 采集器搭配 tail -F 命令，但 tail -F 命令又不能通配目标目录中将来新增的未知文件名。其它解决方案如 logstash 由于是 JAVA 开发，内存占用和性能都不能达到最优。 作为一个日志采集的本地代理，内存占用应该小而受控，性能应该高效，耗费 CPU 低对应用影响尽可能小，要能异步实时追踪...阅读全文
缓存功能，保证存储在客户端内存的数据，在收到来自服务器的失效通知时才失效。 另外，当客户端和服务器的连接中断时，客户端无法接收到数据失效通知，这可能会导致服务出现问题。针对这种情况，一般的做法是重新建立客户端和服务器之间的连接，并更新客户端当前的缓存。antirez 表示可以一直保持连接是最好的情况，但为了降低风险，Redis 服务器在与客户端断开连接时，会将失效通知发送给其他客户端。 这项名为”Client side caching” 的功能尚未正式确定名字，最后可能会被成为”Tracking”。Redis 作者还表示在 Redis 6 候选版发布之前，这些功能都会进行调整，希望社区能积极反馈意见。 由于 Client side caching 功能需要使用 RESP3 协议来支持实现...阅读全文
的文件，大多反馈系统信息的实时情况（进程、内存、cpu、设备信息等）。结论： /proc/meminfo 是 /proc 文件系统下保存你内存相关信息的"伪文件"。2.2 命令输出简介每个发行版输出都有一定差异，我们以debian8 4.19.x发行版为例。root@4f996feeb851:~# free -m total used free shared buffers cached Mem: 1991 1909 81 4 155 836 -/+ buffers/cache: 917 1073 Swap: 1023 1 1022大部分的命令输出意思，大家可以在man文档中找到解析，这里不做赘述。used: 已使用的内存 used = total - free -buffers...阅读全文
available (because the // surrounding function has not yet been extended to accept a Context // parameter). Background和TODO只是用于不同场景下： Background通常被用于主函数、初始化以及测试中，作为一个顶层的context，也就是说一般我们创建的context都是基于Background；而TODO是在不确定使用什么context的时候才会使用。下面将介绍两种不同功能的基础context类型：valueCtx和cancelCtx。valueCtxvalueCtx结构体type valueCtx struct { Context key, val interface...阅读全文
施。 虽然拥有一个lint工具（能实现快速、本地/离线的反馈）非常好，但最好的情况还是完全不需要lint工具。实施变更（例如C++团队为所有包引入了一个新的强化标志）的团队应该能够让我明确看到他们的工作。 然而，实际情况却恰恰相反，目前所有的包都由于lint而变得不干净，所有的维护者都需要阅读新内容是什么、可能会造成怎样的破坏、是否有影响以及怎样的影响、手动运行一些测试、最后再决定是否采用。整个过程的工作量巨大，而且还需要手动执行机械的更改。 特别是，在Debian的变更模型中，所有更改的工作都会分派给包维护者。在工作中，我们发现相反的工作方式更好：即让负责变更的团队自行选择那些能影响更多用户的更改，这样可以显著地提高效率，从而降低总体的成本和时间。当然，有些例外情况（例如滥用语言功能的大型...阅读全文
户设计 pipeline 的灵活度，但 graph 框架也同时带来下列缺点： 引入潜在内存安全风险 复杂的代码逻辑，需要大量的测试工作 初学者学习曲线陡峭 总体而言，与传统的 pipeline 模式相比，graph 框架也会出现 tradeoff。使用者需要考虑其业务逻辑的复杂程度，才能有计划地设计出可管理的 graph pipeline。graph 模型更适用于 pipeline 比较复杂的场景。有兴趣的读者可以持续关注后期即将发布的《DPDK Graph Pipeline 框架示例和性能分析》，以更好地理解 DPDK libgraph 的性能和实际用途。...阅读全文
对 Docker 的使用大部分都比较熟悉，但是说到 docker 的实现原理很多人还是一知半解。我把在团队内部做的一次 Docker 核心原理分享总结到文章里，以供参考。 Docker 的优势 Build once, Run anywhere 上面这句话很精辟的总结了 docker 的优点。我从下面几点具体描述 docker 带给开发者的能力 应用标准化 无论什么语言开发的应用，我们都能用 dockerfile 和构建脚本方便的进行应用构建打包，代码库 + 构建 + registry 统一了 CI/CD 流程，也提升了效率。 环境一致 由于应用和依赖全部构建成镜像，做到了一次构建多次交付，无论是开发，测试还是上线环境都是一致的。大大提高了开发效率 应用隔离 由于通过 docker 部署的应...阅读全文
前不久组内又有一次我比较期待的分享：“Linux 的虚拟内存”。是某天晚上加班时，我们讨论虚拟内存的概念时，leader 发现几位同事对虚拟内存认识不清后，特意给这位同学挑选的主题。 我之前了解一些操作系统的概念，主要是毕业后对自己大学四年的荒废比较懊恼，觉得自己有些对不起计算机专业出身，于是在工作之余抽出时间看了哈工大在网易云课堂的操作系统公开课，自己也读了一本讲操作系统比较浅的书 《Linux内核设计与实现》，而且去年自己用 C 写简单的服务器时，也追根究底了解了更多的系统底层知识。多亏了这些知识，让我对应用层的知识更有掌控感，也在上次排查问题时（从应用到内核查接口超时）助了我一臂之力。 前几天另一位同事来问另一个虚拟内存相关的问题，我才发现对于虚拟内存，我的理解还不够深刻，一些概念还...阅读全文
" }() go func() { time.Sleep(time.Second * 2) c2 <- "two" }() for i := 0; i < 2; i++ { select { case msg1 := <-c1: fmt.Println("received", msg1) case msg2 := <-c2: fmt.Println("received", msg2) } } 在C中，我们一般都会传一个超时时间给select函数，go语言中的select没有该参数，相当于超时时间为0。 主要参考 https://golang.org/doc/effective_go.html 作者：YY哥 出处：http://www.cnblogs.com/hustcat/ 本文版权归作者和博客园共有，欢...阅读全文
。而且，它在 BSON 中是“deprecated”，会转换成$null，这并不是一个总令人满意的解决方案。 在 MongoDB 中，要避免使用“undefined”。 使用$limit() 而未用$sort() 通常，当你在 MongoDB 中开发时，仅仅查看查询或聚合返回的结果的样例会很有用。 $limit() 就是为了满足这个要求，但是，它永远不应该出现在最终版本的代码中，除非你首先使用了$sort。这是因为，不这样的话，你就无法保证结果的顺序，你就无法可靠地“按页浏览”数据。为了确保可靠性，查询或聚合必须是“确定的”，就是说，它们每次执行都会给出相同的结果。包含$limit 而不包含$sort 的代码不是确定的，后续会导致难以跟踪的 Bug。 小结 对于 MongoDB，让你最终感到失...阅读全文
经过很长一段时间的开发，TiDB 终于发了 RC3。RC3 版本对于 TiKV 来说最重要的功能就是支持了 gRPC，也就意味着后面大家可以非常方便的使用自己喜欢的语言对接 TiKV 了。 gRPC 是基于 HTTP/2 协议的，要深刻理解 gRPC，理解下 HTTP/2 是必要的，这里先简单介绍一下 HTTP/2 相关的知识，然后在介绍下 gRPC 是如何基于 HTTP/2 构建的。 HTTP/1.x HTTP 协议可以算是现阶段 Web 上面最通用的协议了，在之前很长一段时间，很多应用都是基于 HTTP/1.x 协议，HTTP/1.x 协议是一个文本协议，可读性非常好，但其实并不高效，笔者主要碰到过几个问题： Parser 如果要解析一个完整的 HTTP 请求，首先我们需要能正确的读出...阅读全文
在用 Golang 开发过程中，我们一定能在代码里很多函数或方法都会传递 context, 也会经常遇到这样的报错 context deadline exceeded。你有想过或去探究过 context 到底是什么吗，为什么会遇到上述的报错。在这里我们就分析一下 context 是什么及用途。 首选 Golang 中的 context 值得是 context.Context 接口,Golang 在 1.7 版本中引入标准库的接口。context 主要用来在 goroutine 之间传递上下文信息，包括：取消信号、截止时间、key-value 等。 Context 定义 Context 接口定义如下 1 2 3 4 5 6 7 8 9 10 type Context interface...阅读全文
MULTI和EXEC命令来把这两个命令加入一个事务中： > MULTI OK > GET vCount QUEUED > SET vCount 0 QUEUED > EXEC 1) 12384 2) OK Redis在接收到MULTI命令后便会开启一个事务，这之后的所有读写命令都会保存在队列中但并不执行，直到接收到EXEC命令后，Redis会把队列中的所有命令连续顺序执行，并以数组形式返回每个命令的返回结果。 可以使用DISCARD命令放弃当前的事务，将保存的命令队列清空。 需要注意的是，Redis事务不支持回滚： 如果一个事务中的命令出现了语法错误，大部分客户端驱动会返回错误，2.6.5版本以上的Redis也会在执行EXEC时检查队列中的命令是否存在语法错误，如果存在，则会自动放弃事务并返回错误...阅读全文
如下: 当容器镜像挂载点文件系统的磁盘使用率大于--image-gc-high-threshold时（containerRuntime 为 docker 时，镜像存放目录默认为 /var/lib/docker），kubelet 开始删除节点中未使用的容器镜像，直到磁盘使用率降低至--image-gc-low-threshold 时停止镜像的垃圾回收。kubelet GarbageCollect 源码分析kubernetes 版本：v1.16GarbageCollect 是在 kubelet 对象初始化完成后启动的，在 createAndInitKubelet 方法中首先调用 kubelet.NewMainKubelet 初始化了 kubelet 对象，随后调用...阅读全文
现过于复杂，所以 go 语言团队在最新1.15版本还没有着手实现。目前根据相关资料，考虑influxdb运行时会占用大规模内存，建议通过如下方式启动influxdb:numactl --interleave=all /usr/bin/influxd -config /usr/bin/influxdb.conf6.读取端优化从系统角度，应该同时关注influxdb写入和读取两个维度。写入端应从具体业务场景，提前划分好写入的tags及fields，从而避免产生大量的series导致内存膨胀过快。而读取端，应明确查询时间范围，命中更少的分片数据，来防止加载大量的无用查询结果而导致程序OOM。走查了读取端相关influxdb查询语句，发现几处类似如下消耗内存及性能的语句:#表描述 - 表名...阅读全文
，服务器返回该文件； 如果
中引用了外部js文件，则发出js文件请求，服务器返回该文件后开始运行； 渲染引擎继续载入html中的部分的代码，并开始解析前面返回的css文件，然后根据css选择器计算出节点的样式，创建渲染树； 从根节点递归调用，计算每一个元素的大小、位置等，给每个节点所应该出现在屏幕上的精确坐标； 如果body中的