新年假期，Linus Torvalds在邮件列表中发表的一篇火热的帖子引发技术社区关注，人们借此讨论ECC内存的重要性，Torvalds在文章中抨击了英特尔在这方面的"坏政策"，因为特定的市场细分使ECC内存不那么普及。Linus认为，纠错码(ECC)内存 "绝对重要"，但 "英特尔在扼杀整个ECC产业方面起到了重要作用。" Torvalds用它惯常的热辣语言评论了ECC的重要性以及行业领导者和下游厂商有意无意地偷工减料："因为它可怕的糟糕的市场细分政策......英特尔对整个行业和用户都是有害的，反对ECC的论点一直都是完全的不知所云......现在，即使是内存制造商也开始在内部做ECC，因为他们终于承认了一个事实，那就是他们绝对必须这样做。而内存制造商声称这是因为经济和低功率。而他们都...阅读全文
v3.5 is installed. ``` 看上面输出，里面有 UUID 和 PORT 字段，这两个字段加上 IP地址，就是我们连接服务器的关键，只需要把这几个字段填入客户端，我们就能通过这台服务器科学上网了。 启动v2ray服务进程：`systemctl start v2ray` 如果远程服务器和本地的连接速度不满意，可以参考之前的[Debian升级内核开启TCP_BBR 实现网络单边加速](https://debian.cn/articles/62)。...阅读全文
支持和独一无二的ReproducibleBuilds。 3, Debian社区有大量的高质量贡献者（Security team超过20个人业余时间贡献）。STIG for Debian是参考了STIG for RHEL的实现，去除了一些Debian没有的或者以另外方式实现的功能，具体请查询porting log。 btw：棱镜事件的影响之一是导致国内产生了开源咨询这个快速增长的行业，而GNU/Linux作为基础架构也是充满了机遇，希望STIG for Debian能为Debian GNU/Linux在数据中心的推进助力一把。 "...阅读全文
在谷歌80%以上的收入依然来自于广告，可见施密特对于谷歌的重要意义。 但是大家也别以为他只是赚了钱而已， 在商业和技术界摸爬滚打20多年的经验帮助谷歌在强敌林立的时代也能够野蛮生长。最关键的点当属对微软的态度上，施密特上一次栽跟头就是因为动了微软的蛋糕，而那次经验也让他在谷歌的运作上更为圆滑。加入谷歌之后施密特一直都强调，“我们没有和微软竞争。”直到谷歌成长到能和微软掰手腕之后，他们才开始涉足操作系统、浏览器等业务，是佩奇和布林之前没想到做这些吗？并不是，谷歌能在微软等巨头的阴影之下和平崛起，施密特绝对是首功。 而他的圆滑也不仅仅体现在这一方面，在对待中国市场的态度上，施密特就比两位创始人有远见得多，谷歌中国启动仪式施密特就是亲自参加，并且在和政府部门的协调上，施密特也做得很好。但在2010...阅读全文
随着企业的逐步成熟，他们会开发更多工具。在Google，我们持续创建新的外部和内部服务，以及支持这些服务的基础架构。 从2013年起，我们开始放弃之前用来更新和维护服务的简单的自动化工作流。每个服务都要求复杂的更新逻辑，并且还需要适应基础架构的变化，经常性的集群的启动关闭等等。配置多个，互相交互的服务的工作流变得难以维护。 我们需要一种全新的方案来适应业务的增长以及所涉及到的配置的复杂性。为此，我们开发了声明式的自动化系统，作为统一的控制层，并且取代了工作流。这个系统包括两个主要的工具：Podspec，描述服务基础架构的工具，和Annealing，更新生产环境来匹配Prodspec输出的工具。本文讨论我们解决过的问题，以及我们所选择的架构。 Prodspec和Annealing有一个根本共...阅读全文
导语 | kafka3.0的版本已经试推行去zk的kafka架构了，如果去掉了zk，那么在kafka新的版本当中使用什么技术来代替了zk的位置呢，接下来我们一起来一探究竟，了解kafka的内置共识机制和raft算法。一、Kafka简介Kafka是一款开源的消息引擎系统。一个典型的Kafka体系架构包括若干Producer、若干Broker、若干Consumer，以及一个ZooKeeper集群，如上图所示。其中ZooKeeper是Kafka用来负责集群元数据的管理、控制器的选举等操作的。Producer将消息发送到Broker，Broker负责将收到的消息存储到磁盘中，而Consumer负责从Broker订阅并消费消息。（一）Kafka核心组件producer：消息生产者，就是向broker...阅读全文
今天，我来为大家解读一幅来自 TurnOff.us 的漫画 “InSide The Linux Kernel” 。TurnOff.us 是一个极客漫画网站，作者 Daniel Stori 画了一些非常有趣的关于编程语言、Web、云计算、Linux 相关的漫画。今天解读的便是其中的一篇。 在开始，我们先来看看这幅漫画的全貌！ Inside the Linux Kernel 这幅漫画是以一个房子的侧方刨面图来绘画的。使用这样的一个房子来代表 Linux 内核。 地基 作为一个房子，最重要的莫过于其地基，在这个图片里，我们也从最下面的地基开始看起： Filesystem 地基（底层）由一排排的文件柜组成，井然有序，文件柜里放置着“文件”——电脑中的文件。左上角，有一只胸前挂着 421 号牌的小企...阅读全文
在这个互联网时代，游戏、电影、照片等数据越来越大，硬盘容量将会面临着前所未有的挑战。虽然传统的机械硬盘可以解决容量问题，但是速度太慢，体验糟糕，并不是最优的个人存储解决方案。我们渴求大容量的SSD，不过超过TB大容量SSD动不动就几千元的售价，对于支付能力有限用户实际上没有意义。SSD的成本主要来源于闪存，在TLC闪存能够实现TB容量可惜价格未能降下来。只有不断开发新类型的闪存，解决容量与价格的矛盾，才能让SSD真正在大数据时代发挥应有作用。 这时，QLC 闪存就应运而生， 目前，东芝和西数先后宣布成功开发基于四比特单元3D NAND闪存芯片，即QLC闪存，这也意味着QLC SSD将要来临。那么，它与TLC闪存又有什么区别，能否取代TLC成为SSD主流闪存之选？ 先来了解一下什么是TLC...阅读全文
（SSL）的进化版本，SSL是由Netscape公司在1990年代研发的。国际互联网工程任务组（IETF）做为一个标准化组织，负责定义该协议，该协议已经历了多次修订。最新版本 TLS1.2 在 2008 年被确立为标准，目前被大多数浏览器和启用 HTTPS 的 web 服务所支持。 在配置正常的情况下，TLS 1.2 会很安全，但如今它却显得有些过时了。在过去几年中，几次引人注目的攻击暴露出该协议的一些漏洞。在计算机安全领域，8年是一段很长的时间，因此 IETF 已经在着手开发该协议的新版本 TLS 1.3。TLS1.3 是一次全面升级，与此前版本相比，它有两个主要优势： 增强安全性 提升速度 增强安全性 过去几年来，大部分针对TLS的攻击都是以该协议90年代遗留下来的残余部分为目标的...阅读全文
Serve(queue chan *Request) { for req := range queue { sem <- 1 go func(r *Request) { process(r) <-sem }(req) } } 至少，这样的代码不会让一个go的初学者不会迷糊，另外，从变量的作用域角度，也更符合常理一些。 在实际的C/C++编程中，我们倾向于工作线程在一开始就创建好，而且线程的数量也是固定的。在go中，我们也可以这样做： func handle(queue chan *Request) { for r := range queue { process(r) } } func Serve(clientRequests chan *Request, quit chan bool...阅读全文
。总结报告的形成明确写报告需要的思维和目的后，我们如何形成报告呢？报告形成步骤如下。1.明确项目分析维度项目分析的维度不同，后期确定的指标也会不同。一般以项目总结的目的为基准方向，确定分析维度。分析维度可以从产品立项到发布每个阶段作为分析维度，也可以按照项目中的角色为维度进行分析。以输入法的项目总结为例，按照产品、开发、测试的测试角色为横向维度进行分析，然后纵向深入分析每个维度的数据。2.项目指标抽取我们在进行指标抽取时，会先根据项目分析维度形成一个指标集，如下图。指标的选取方式有两种：根据问题选取指标和固定通用指标。根据问题选指标是先收集项目中明确感知到的问题，对问题进行归类（归类分组思想），然后选取可以反映此问题的指标进行数据分析，一个问题可能对应多个指标。以输入法为例，当前版本出现...阅读全文
master 中未被同步的消息将会丢失。 镜像队列消息的同步： 将新节点加入已存在的镜像队列时，默认情况下 ha-sync-mode=manual，镜像队列中的消息不会主动同步到新节点，除非显式调用同步命令。当调用同步命令后，队列开始阻塞，无法对其进行操作，直到同步完毕。当 ha-sync-mode=automatic 时，新加入节点时会默认同步已知的镜像队列。由于同步过程的限制，所以不建议在生产的 active 队列（有生产消费消息）中操作。 rabbitmqctl list_queues name slave_pids synchronised_slave_pids #查看那些slaves已经完成同步rabbitmqctl sync_queue name #手动的方式同步一个...阅读全文
Kubernetes 的机器学习框架，最初由谷歌开发。它建立在 Kubernetes 资源和编排服务之上，实现复杂的自动化机器学习管道，用于[训练和服务机器学习模型](https://iamondemand.com/blog/the-never-ending-story-of-model-training-a-new-chapter-for-machine-learning/)。 可以结合使用 Kubernetes 和 Kubeflow 来有效地扩展 TensorFlow 模型。为使 TensorFlow 模型具有可扩展性，主要的资源和特性如下： - 使用 kubectl[手动扩展 Kubernetes 部署和 StatefulSets](https://kubernetes.io/docs/concepts...阅读全文
已经停止的容器，默认为1；（maxPerPodContainerCount）--maximum-dead-containers：一个 node 上最多可以保留多少个已经停止的容器，默认为 -1，表示没有限制；--minimum-container-ttl-duration：已经退出的容器可以存活的最小时间，默认为 0s；与镜像回收有关的主要有以下三个参数：--image-gc-high-threshold：当 kubelet 磁盘达到多少时，kubelet 开始回收镜像，默认为 85% 开始回收，根目录以及数据盘；--image-gc-low-threshold：回收镜像时当磁盘使用率减少至多少时停止回收，默认为 80%；--minimum-image-ttl-duration：未使用的镜像...阅读全文
指标： 完成后，运行以下命令进行清理docker-compose -f docker-demo/docker-compose.yaml down 在Kubernetes中部署Cortex以及Prometheus的依赖如架构所示，我们将Cortex部署为一组微服务。我们还需要Helm来部署依赖项（Cassandra）和其他服务（Grafana，Prometheus）。如果尚未安装Helm，则可以按照Helm文档中的快速入门指南进行操作。让我们开始吧，首先我们将部署cortex组件。kubectl apply -f k8s/ 我们还将使用Helm安装Prometheus。下面的命令将为我们完成这两项工作：创建一个名为" cluster"的外部标签，并将该标签的值设置为"one"。这将有助于分离不...阅读全文
己的自定义执行代码，而是使用统一的执行层，统一之后方便审计，并将应用程序开发人员的关注点与运营和安全团队的关注点分离。Kubernetes 零信任我们必须从第一原则重新思考身份，以任意表达性策略的形式来将信任具象化，并将新的执行机制渗透到基础设施的各个层面。面对这些的要求，我们不可避免地经历短暂的恐慌。前面是不是提到需要在 2024 财年之前实现？好消息是，至少对于 Kubernetes 用户来说，采用零信任的某些方面要容易得多。尽管有缺陷和复杂性，Kubernetes 是一个具有明确范围、定义良好的安全模型和明确的扩展机制的平台。这使其成为零信任实施的成功领域。在 Kubernetes 中解决零信任网络的最直接方法之一是使用服务网格。服务网格利用了 Kubernetes 强大的...阅读全文
在构建 Docker 容器时，应该尽量想办法获得体积更小的镜像，因为传输和部署体积较小的镜像速度更快。但 RUN 语句总是会创建一个新层，而且在生成镜像之前还需要使用很多中间文件，在这种情况下，该如何获得体积更小的镜像呢？ 你可能已经注意到了，大多数 Dockerfiles 都使用了一些奇怪的技巧： FROM ubuntu RUN apt-get update && apt-get install vim 为什么使用&&？而不是使用两个 RUN 语句代替呢？比如： FROM ubuntu RUN apt-get update RUN apt-get install vim 从 Docker 1.10 开始，COPY、ADD 和 RUN 语句会向镜像中添加新层。前面的示例创建了两个层而不是一...阅读全文
-Space) 实现所有这些任务，所以没有这些问题。此模型的弊端是，在多核系统上，这些程序通常扩展性较差。这就是为什么他们必须进行优化以 使每个CPU时间片(Cycle)做更多的工作。 （3）HAProxy 支持连接拒绝 : 因为维护一个连接的打开的开销是很低的，有时我们很需要限制攻击蠕虫（attack bots），也就是说限制它们的连接打开从而限制它们的危害。 这个已经为一个陷于小型DDoS攻击的网站开发了而且已经拯救 了很多站点，这个优点也是其它负载均衡器没有的。 （4）HAProxy 支持全透明代理（已具备硬件防火墙的典型特点）: 可以用客户端IP地址或者任何其他地址来连接后端服务器. 这个特性仅在Linux 2.4/2.6内核打了cttproxy补丁后才可以使用. 这个特性也使得为某特殊服务器...阅读全文
程会形成一个全局执行环境，执行环境采用栈的方式将待执行任务按顺序依次来执行。 但在浏览器中有一些任务是非常耗时的，比如http请求、定时器、事件回调等，为了保证其他任务的执行效率不被影响，JS在执行环境中维护了一个异步队列(也叫工作线程)，并将这些任务放入队列中进行等待，这些任务的执行时机并不确定，只有当主线程的任务执行完成以后，才会去检查异步队列中的任务是否需要开始执行。这就是为什么setTimeout(fn,0) 始终要等到最后执行的原因。关于单线程和异步队列问题请参考：setTimeout（0） 7、异步通讯 Ajax技术 Ajax是浏览器专门用来和服务器进行交互的异步通讯技术，其核心对象是XMLHttpRequest,通过该对象可以创建一个Ajax请求。为了防止XSS攻击，浏览器对...阅读全文
可能有问题。自go 1.6之后， 并发地读写map会报错，这在一些知名的开源库中都存在这个问题，所以go 1.9之前的解决方案是额外绑定一个锁，封装成一个新的struct或者单独使用锁都可以。 群众的呼声是响亮的，并发map在项目中大量使用，所以Go 1.9中在包sync加入了新的map， 查询、存储和删除都是平均常数时间，可以并发访问。 Monotonic Time 先前的time包的实现都是基于wall time的，但是当机器的时钟调整后会有问题。 比如在计算duration的时候，如果时钟往回拨，可能导致end时间比start时间还早。 所以Go 1.9使用monotonic Time来实现大部分的time中的函数，在计算duration的时候不会出现因为时钟调整出现的误差了。 设计文...阅读全文
U 盘上安装多个 Linux 发行版的方式呢?我们将在本教程中看到如何做到这一点。 如何创建有多个 Linux 发行版的可启动 USB 我们有一个工具正好可以做到在单个 U 盘上保留多个 Linux 发行版。你所需要做的只是选择要安装的发行版。在本教程中，我们将介绍如何在 U 盘中安装多个 Linux 发行版用于现场会话live session。 要确保你有一个足够大的 U 盘，以便在它上面安装多个 Linux 发行版，一个 8 GB 的 U 盘应该足够用于三四个 Linux 发行版。 步骤 1 MultiBootUSB 是一个自由、开源的跨平台应用程序，允许你创建具有多个 Linux 发行版的 U 盘。它还支持在任何时候卸载任何发行版，以便你回收驱动器上的空间用于另一个发行版。 下载...阅读全文
性就是序列 ID，它允许基于操作的分片恢复。 以前，如果由于网络问题或节点重启而从集群断开连接的节点，则节点上的每个分区都必须通过将分段文件与主分片进行比较并复制任何不同的分段来重新同步。 这可能是一个漫长而昂贵的过程，甚至使节点的滚动重新启动非常缓慢。 使用序列 ID，每个分片将只能重放该分片中缺少的操作，使恢复过程更加高效。 使用排序索引更快查询 通过索引排序，只要收集到足够的命中，搜索就可以终止。它对通常用作过滤器的低基数字段（例如 age, gender, is_published）进行排序时可以更高效的搜索，因为所有潜在的匹配文档都被分组在一起。 稀疏区域改进 以前，每个列中的每个字段都预留了一个存储空间。如果只有少数文档出现很多字段，则可能会导致磁盘空间的巨大浪费。现在，你付出你...阅读全文
Kaewkasi：我十分认同这种观点，过去，我们启动运行一组Web服务器是非常困难的，而有了Docker，我们几分钟之内就可以完成。 问：Docker与普通虚拟机有什么不同？ Chanwit Kaewkasi： Docker基本上使用操作系统级别的虚拟化，Linux命名空间和控制组。与虚拟化技术（如虚拟机使用的虚拟机管理程序）相比，Docker开销非常小。 Docker背后的真正引擎是Containerd 问：您如何在日常工作中使用Docker？ Chanwit Kaewkasi： 我曾经帮助过东南亚和欧洲的公司设计和实施使用Docker应用架构，并将它们部署在Docker Swarm集群上。 问：使用Docker时您遇到过什么问题？您认为目前存在的挑战是什么？ Chanwit Kaewkasi： 多集群...阅读全文
#14123] 逆序打印（从旧到新）调用跟踪和错误消息。当在终端（TTY）中用较长的调用跟踪信息时，你可以从最底部看到直接触发问题的行。需要注意的是，仅当在直接输出到终端时，才会逆序打印。[功能 #8661] [试验性] 性能提升 通过在字节码中移除了全部 trace 指令提升了大约 5-10% 的性能。trace 指令的引入是为了提供 TracePoint的支持。然而，在大多数情况，TracePoint 不会被用到，trace 指令增加了额外的开销。作为替代，我们实现了一个动态指令技术，详情见 [功能 #14104]。 通过懒惰 Proc 分配使 block 参数传递代码块（例如 def foo(&b); bar(&b); end）的性能相较于 Ruby 2.4 提升了约 3 倍。[功能...阅读全文
HBM并不怎么热心，所以HBM降低成本的过程将是漫长的，对桌面级玩家来说DDR4很长一段时间内都不会过时，2020年左右会开始推DDR5内存，所以三五年内我们是看不到DDR内存被HBM干掉的可能的。...阅读全文
交互方式。 此示例里nginx以明文的方式在80端口发布gRPC，其中代理的gRPC在后端也是以明文的方式交互。 注意：Nginx是不支持在明文的端口上同时支持http1和http2的（想一想为什么？）。如果要支持这两种的http协议，需要设置为不同的端口。 以 TLS 加密方式发布 gRPC 服务 在生成环境建议使用Nginx是以加密的方式发布gRPC。这种情景需要在Nginx添加一个加密层。 在开发/测试环境可以使用自签名证书，关于自签名证书本文不做介绍。配置示例如下： server { listen 1443 ssl http2; ssl_certificate ssl/cert.pem; ssl_certificate_key ssl/key.pem; location...阅读全文
由 Web 浏览器制造商、软件开发人员和安全证书颁发机构组成的行业团体 CA/Browser Forum，正在考虑将 HTTPS 证书的有效期从 27 个月缩短到 13 个月。关于这样的提案，已经不是第一次提出。在 2017 年时，CA/Browser Forum 就否决了一项将证书有效期从 39 个月缩短至 13 个月的提案。 而早在一年前，证书的最长有效期已经从 39 个月降至 27 个月。 我们都知道，HTTPS 证书用于加密浏览器和站点之间的连接，帮助软件确定没有人篡改或窃听这些连接。 如果减少 TLS/SSL 证书有效的时间，网站必须更频繁地更新其证书。理论上，这样的证书有效期也有助于减少欺诈活动，如果是偷来的证书则很快会失效，被遗弃的网站也会更快地过期。这将迫使他们使用最新和最...阅读全文
版中，硬件支持也将继续提升。而支持新式无线外设的计划也同样是优先的。 新内核中将增加对 MX Master 3 鼠标以及罗技其他无线产品的支持。 除了罗技的产品外，你还可以期待获得许多不同硬件的支持（包括对 AMD GPU、NVIDIA GPU 和 Intel Tiger Lake 芯片组的支持）。 6、其他更新 此外，Linux 5.6 中除了上述主要的新增功能或支持外，下一个内核版本也将进行其他一些改进： 改进 AMD Zen 的温度/功率报告修复华硕飞行堡垒系列笔记本中 AMD CPU 过热开源支持 NVIDIA RTX 2000 图灵系列显卡内建 FSCRYPT 加密 Phoronix 跟踪了 Linux 5.6 带来的许多技术性更改。因此，如果你好奇 Linux 5.6 所涉及的全...阅读全文
-proxy/cloaking-rules.txt 这个文件，在后面添加你的DNS，例如：# my customized dns www.one-domain.com x.x.x.x *.your-domain.com x.x.x.x其实我想要方案是匹配域名，然后把这些域名的DNS指向另一个DNS，这样会方便些，不过似乎 dnscrypt-proxy 还不支持。还有一个方案就是把 fallback_resolver 改成公司所提供的DNS。更多文章socketserver 源码阅读与分析functools 源码阅读与分析contextlib代码阅读Collections 源码阅读与分析Redis通信协议阅读2016年就要结束了，2017年就要开始啦！unittest 源代码阅读APUEv3 - 重读笔...阅读全文
frp是一个使用go语言开发的反向代理服务，可用于内网穿透，支持tcp, udp协议，为http和https协议提供了额外的能力，且尝试性支持了点对点穿透。 由于ngrok 2.x已经闭源，ngrok 1.x已不再维护，所以这里尝试使用frp替代ngrok作为个人的内网穿透工具。 0.前提条件 一台Linux云主机(这里是CentOS 7），并要求具有固定公网IP暴露这台云主机指定端口的能力 有一个域名解析到这个公网IP，如frp.frognew.com和*.frp.frognew.com解析到这个公网IP 1. 下载frp服务端frps和客户端frpc可执行文件 分别在服务器和个人本地机器上，从[https://github.com/fatedier/frp/releases]下载对应平...阅读全文
发现了一个开源项目，其中有一系列管理 NVMe 驱动器的工具。它被称为 nvme-cli。安装 nvme-cli你可以从你的发行版的包管理器中安装 nvme-cli。例如，在 Fedora、CentOS 或类似系统上：$ sudo dnf install nvme-cli在 Debian、Mint、Elementary 和类似系统上:$ sudo apt install nvme-cli探索 NVMe 驱动器在安装 nvme-cli 后，我想探索我的驱动器。nvme-cli 没有手册页，但你可以通过输入 nvme help 获得很多帮助：$ nvme helpnvme-1.14usage: nvme
type关键字，那么歧义就会消失： type A[type N] E 此外，使用小括号时产生的歧义似乎不会出现在方括号中。下面是一些使用方括号但不需要额外嵌套小括号的例子： using () using [] func f((T(int)) func f(T[int]) struct{ (T(int)) } struct{ T[int] } interface{ (T(int)) } interface{ T[int] } [](T(int)){} []T[int]{} 为了更好地理解以及进行测试，他们表示将开始对原型实现进行修改，让泛型能使用小括号或方括号（注意不能同时混用，只能使用其中一种）。这些修改将首先提交到 dev.go2go 分支，最终会出现在 Go playground 上...阅读全文
)。 其提供了一个简便的机制，通过插入自定义代码来扩展Scrapy功能。 数据流(Data flow) Scrapy中的数据流由执行引擎控制，其过程如下: 引擎打开一个网站(open a domain)，找到处理该网站的Spider并向该spider请求第一个要爬取的URL(s)。 引擎从Spider中获取到第一个要爬取的URL并在调度器(Scheduler)以Request调度。 引擎向调度器请求下一个要爬取的URL。 调度器返回下一个要爬取的URL给引擎，引擎将URL通过下载中间件(请求(request)方向)转发给下载器(Downloader)。 一旦页面下载完毕，下载器生成一个该页面的Response，并将其通过下载中间件(返回(response)方向)发送给引擎。 引擎从下载器中接收到...阅读全文
workflows, and more with a free Docker Hub account: https://hub.docker.com For more examples and ideas, visit: https://docs.docker.com/engine/userguide/ 至此，安装过程结束，你的 Docker 之旅就此开始。 三、Debian 8如何删除docker? Debian系统下面删除docker，要按照下面几个步骤来删除。 1. 使用purge命令清除docker-engine包。 $ sudo apt-get purge docker-engine 或者用autoremove命令将不再使用的依赖的包删除掉。 $ sudo apt-get autoremove...阅读全文
Apache 软件基金会发布了包含许多新特性和改进的 Kafka 3.3.1。这是第一个标志着可以在生产环境中使用KRaft（Kafka Raft）共识协议的版本。在几年的开发过程中，它先是在 Kafka 2.8 早期访问版本中发布，然后又在 Kafka 3.0 预览版本中发布。KRaft 是一种共识协议，可以直接在 Kafka 中管理元数据。元数据的管理被整合到了Kafka当中，而不需要使用像ZooKeeper这样的第三方工具，这大大简化了 Kafka 的架构。这种新的 KRaft 模式提高了分区的可伸缩性和弹性，同时简化了 Kafka 的部署，现在可以不依赖 ZooKeeper 单独部署 Kafka 了。KRaft 使用了Raft共识算法的一种基于事件的变体，因此得名。随 KRaft...阅读全文
。 － 大容量：支持扩展的内存寻址功能。 － 支持即插即用：在电脑开机时可以直接插入标准的双列内存插槽，并立刻与同一总线上的DDR内存交互操作。 NVDIMM-P的主要特征： － 与现有DDR通道完全兼容，包括物理接口、电气性能、协议、时钟。 － 保证为下一代CPU插槽增加的针脚尽可能少。 － 协议支持数据读取时的不确定延迟。 － 确保数据在非易失内存中的事务性操作。 － 从NAND到DRAM多种延迟模式的支持(在模块级别)。 － 内存本身具备高可靠性、链路错误保护功能。 事实上，NVDIMM是一个系列标准，除了这里说的NVDIMM-P，还有NVDIMM-F、NVDIMM-N、NVDIMM-H。 NVDIMM-F本质上就是DDR接口的SSD固态盘，只使用NAND闪存，优点是延迟低(纳秒级别)、带宽高...阅读全文
8898美元。廉价AMD产品的出现能够为客户提供更多选择和议价空间。 Insight 64首席分析师Nathan Brookwood认为，从AMD以往的定价策略来看，Naples芯片肯定也会比英特尔同类产品更有竞争力。AMD去年末发布的Ryzen桌面处理器就比英特尔同级别产品便宜很多。 AMD曾经是英特尔的头号敌人，但一系列的运作失误让其服务器业务落后于对手。5年前，AMD推出的Bulldozer芯片架构以失败告终。随后AMD开始提供ARM芯片，但因需求不济而让AMD在服务器市场逐渐式微。 Naples并非唯一的基于Zen架构的新片。Norrod称，在服务器芯片的推出之后，更多的芯片产品也会相继亮相。由于并非每个人都会购买32核的芯片，因此AMD也有可能会发布更少核心的产品。迄今为止外界对Zen芯...阅读全文
这两天开源配置管理工具 saltstack 爆出了CVSS得分为10分的漏洞。如果你对CVSS的评分没有概念，那么前几年震惊互联网的 openssl心脏滴血漏洞，CVSS base评分是5.0，由此可知这次爆出来的 saltsatck 漏洞是多么严重。 漏洞信息： 该漏洞是 F-secure 研究人员在3月份发现的，目前该漏洞已经在最新版本中修复。本次极高危漏洞，是由两个不同的漏洞引起的，一个是身份验证绕过漏洞 CVE-2020-11651，一个是目录遍历漏洞没有过滤掉不受信任的输入 CVE-2020-11652，从而导致攻击者可以不受限制的访问 salt-master 的整个文件系统。 攻击者获取salt-master的权限后，便可以控制整个被salt-master管理的数据中心的各主机...阅读全文
Mesh 通过 Kubernetes 原生的 RBAC（基于角色的权限控制）功能对权限进行管理。用户可以根据实际的权限需求自由地创建多种 Role，然后绑定到用户名 Service Account 上，最后生成 Service Account 对应的 Token。用户使用该 Token 登陆 Dashboard，只能在该 Service Account 允许的权限范围内进行 Chaos 实验。此外 Chaos Mesh 还支持通过设置 Namespace Annotation 的方式开启特定 Namespace 下混沌实验的权限，进一步保障混沌实验的可控性。...阅读全文
合用来做大数据分析的底层存储服务，并不适合用来做网盘等应用，因为修改不方便，延迟大，网络开销大，成本太高。 4. HDFS 的命令行使用 如果没有配置 hadoop 的环境变量，则在 hadoop 的安装目录下的bin目录中执行以下命令，如已配置 hadoop 环境变量，则可在任意目录下执行 help 格式: hdfs dfs -help 操作命令 作用: 查看某一个操作命令的参数信息 ls 格式：hdfs dfs -ls URI 作用：类似于Linux的ls命令，显示文件列表 lsr 格式 : hdfs dfs -lsr URI 作用 : 在整个目录下递归执行ls, 与UNIX中的ls-R类似 mkdir 格式 ： hdfs dfs -mkdir [-p]
起初GNU/Linux系统中只有.tar.gz。用户 必须自己编译他们想使用的每一个程序。在Debian出现后，人们认为有必要在系统 中添加一种机 制用来管理 安装在计算机上的软件包。人们将这套系统称为 dpkg。至此着名的package首次在GNU/Linux上出现。不久之後红帽子也开始着手建立自己的包管理系统 rpm。 GNU/Linux的创造者们很快又陷入了新的窘境。他们希望通过一种快捷、实用而且高效的方式来安装软件包。这些软件包可以自动处理相互之间 的依赖关系，并且在升级过程中维护他们的配置文件 。Debian又一次充当了开路先锋的角色。它首创了APT（Advanced Packaging Tool）。这一工具后来被Conectiva 移植到红帽子系统中用于对RPM包的管理。在其他...阅读全文
本教程将讨论如何在Debian（或Ubuntu）配置一个可工作的邮件服务器。我们知道在邮件服务器使用的主要协议有SMTP、POP和IMAP。在本教程中，SMTP协议使用postfix，POP/IMAP协议使用dovecot。两者都是开源的、稳定的和高度可定制的。本教程中不会介绍邮件服务器的安全性，这超出了本文的范围。 1.先决条件 每个域必须有一个DNS服务器。建议不要使用Live域用于测试目的。在本教程中，将在实验室环境中使用测试域example.tst。在这个假设域名的DNS服务器应该在至少以下记录。 example.tst的forward zone配置： IN MX 10 mail.example.tst. mail.example.tst. IN A 192.168.10.1...阅读全文
近日，百度两年前的一桩诉讼案终于有了答案。中国裁判文书网显示，百度运维员工“安某”从 2018 年1 月底到 5 月底，以技术手段在公司服务器上部署“挖矿”程序，非法控制 150 余台服务器以获取比特币、门罗币等虚拟货币，共获利人民币 10 万余元。 事发后，“安某”不仅被没收了所有获利金额，罚款 11000 元，还背上了三年牢饭，有点惨。 4 个月，占用 155 台服务器，获利 10 万余元。 2017 年“安某”正式入职百度，彼时，比特币的价格飙升到了近 2 万美元，按照当时的汇率，一枚比特币人民币价格将近 13 万。虽然后续的币价有所降低，但挖到一枚，还可以挣几万块，这样的诱惑或许没有几个人会选择无视。 2018 年初，“安某”开始打起了挖矿的主意。 挖矿，是指利用服务器CPU的运算...阅读全文
表示打开。 kernel panic是指计算机遇到了致命的错误，并且他不知道该怎么处理时的一种动作——可以类比windows的蓝屏。 我们当然不希望每次计算机在oom时就直接蓝屏。推荐设置为0vm.overcommit_kbytes:用于限制进程能够申请的最大内存，0表示不设置，如果设置其他数值，比如400，则进程能够申请到的最大内存为 swap+400kBytesvm.overcommit_ratio:定义了进程可以使用的最大内存（百分比模式），默认为50。表示配置50之后，进程不允许申请超过 swap + 50% * 物理内存总量 以上的内存vm.oom_kill_allocating_task (Linux 2.6.24+支持)这在内存不足的情况下启用或禁用杀死OOM触发任务。0表示禁...阅读全文
在用 Golang 开发过程中，我们一定能在代码里很多函数或方法都会传递 context, 也会经常遇到这样的报错 context deadline exceeded。你有想过或去探究过 context 到底是什么吗，为什么会遇到上述的报错。在这里我们就分析一下 context 是什么及用途。 首选 Golang 中的 context 值得是 context.Context 接口,Golang 在 1.7 版本中引入标准库的接口。context 主要用来在 goroutine 之间传递上下文信息，包括：取消信号、截止时间、key-value 等。 Context 定义 Context 接口定义如下 1 2 3 4 5 6 7 8 9 10 type Context interface...阅读全文
Contents1. 准备2. 使用 firewalld 进行中转3. 使用 UFW 进行中转4. 使用 iptables 进行中转4.1. CentOS 下保存规则4.2. Debian & Ubuntu 下 保存规则：5. 使用 socat 进行中转6. 目标机的设置7. 一些大陆 NAT VPS 商8. References本文最后更新于 2020 年 6 月 3 日本文以 CentOS 8 和 Debian 10 & Ubuntu 20.04 为例，介绍如何在 NAT VPS 上设置流量中转。开始前，请先根据实际使用的操作系统，参照以下文章对服务器进行各种必要的配置：CentOS 服务器的初始配置Debian & Ubuntu 服务器的初始化配置本文以 sammy 用户为例，进行中...阅读全文
解在 Docker + Wasm 背景下的 Wasm container 有什么好处以及如何运行一个服务 WordPress 的 php.wasm 镜像。动手示例让我们开始吧！ 在动手示例中，我们将使用编译为 Wasm 的 PHP 解释器。 我们会：构建一个 Wasm 容器。比较 Wasm 和原生二进制文件。比较传统容器和 Wasm 容器。展示 Wasm 的可移植性前期准备如果想在本地重现这些示例，你需要使用以下部分或全部内容来准备你的环境：WASI SDK - 从构建 C 代码构建 WebAssembly 应用程序PHP - 为了比较而运行本机 PHP 二进制文件WasmEdge Runtime - 运行 WebAssembly 应用程序Docker Desktop + Wasm (本文写...阅读全文
1. Kafka介绍 1.1.1. Kafka是什么 kafka使用scala开发，支持多语言客户端（c++、java、python、go等） Kafka最先由LinkedIn公司开发，之后成为Apache的顶级项目。 Kafka是一个分布式的、分区化、可复制提交的日志服务 LinkedIn使用Kafka实现了公司不同应用程序之间的松耦和，那么作为一个可扩展、高可靠的消息系统 支持高Throughput的应用 scale out：无需停机即可扩展机器 持久化：通过将数据持久化到硬盘以及replication防止数据丢失 支持online和offline的场景 复制代码 1.1.2. Kafka的特点 Kafka是分布式的，其所有的构件borker(服务端集群)、producer(消息生产...阅读全文
本文从 Redis 的基本特性入手，通过讲述Redis的数据结构和主要命令，对 Redis 的基本功能进行直观介绍。之后概览Redis提供的高级能力，并在部署、维护、性能调优等多个方面进行进一步的介绍。本文适合使用Redis的普通开发人员，以及对Redis进行选型、架构设计和性能调优的架构设计人员。 目录 概述 Redis的数据结构和相关常用命令 数据持久化 内存管理与数据淘汰机制 Pipelining 事务与Scripting Redis性能调优 主从复制与集群分片 Redis Java客户端的选择 概述 Redis是一个开源的，基于内存的结构化数据存储媒介，可以作为数据库、缓存服务或消息服务使用。 Redis支持多种数据结构，包括字符串、哈希表、链表、集合、有序集合、位图...阅读全文
测试已发布，并且与containerd集成的 Alpha版的现已可用，它支持基本的Pod生命周期和镜像管理。在该Kubernetes已发表的博客帖子中，可以了解到CRI的更多信息。 商业版的Google Cloud Platform（GCP）Container Engine（GKE）提供了最新的Kubernetes 1.7发布版，并已进一步提供了开源的Kubernetes发布版与Google各平台间的集成，包括：使用Google Cloud Load Balancing（GCLB）的HTTP重加密，使客户可以在从GCLB到他们的服务后端上使用HTTPS；解决了[对所有私有IP的GA支持]问题(https://cloud.google.com/container-engine/docs/ip...阅读全文
