一 Kafka可视化管理工具kafka-manager 安装及基本使用可参考：https://www.cnblogs.com/dadonggg/p/8205302.html 二 线上环境规划 JVM参数设置 kafka是scala语言开发，运行在JVM上，需要对JVM参数合理设置，参看JVM调优专题 修改bin/kafka-start-server.sh中的jvm设置，假设机器是32G内存，可以如下设置： export KAFKA_HEAP_OPTS="-Xmx16G -Xms16G -Xmn10G -XX:MetaspaceSize=256M -XX:+UseG1GC -XX:MaxGCPauseMillis=50 -XX:G1HeapRegionSize=16M" 这种大内存的情况一般...阅读全文
经过很长一段时间的开发，TiDB 终于发了 RC3。RC3 版本对于 TiKV 来说最重要的功能就是支持了 gRPC，也就意味着后面大家可以非常方便的使用自己喜欢的语言对接 TiKV 了。 gRPC 是基于 HTTP/2 协议的，要深刻理解 gRPC，理解下 HTTP/2 是必要的，这里先简单介绍一下 HTTP/2 相关的知识，然后在介绍下 gRPC 是如何基于 HTTP/2 构建的。 HTTP/1.x HTTP 协议可以算是现阶段 Web 上面最通用的协议了，在之前很长一段时间，很多应用都是基于 HTTP/1.x 协议，HTTP/1.x 协议是一个文本协议，可读性非常好，但其实并不高效，笔者主要碰到过几个问题： Parser 如果要解析一个完整的 HTTP 请求，首先我们需要能正确的读出...阅读全文
。 $ perf record -F 99 -p `pgrep -n node` -g -- sleep 30 详细的操作可以看这篇文章。 七、浏览器的火焰图 Chrome 浏览器可以生成页面脚本的火焰图，用来进行 CPU 分析。 打开开发者工具，切换到 Performance 面板。然后，点击"录制"按钮，开始记录数据。这时，可以在页面进行各种操作，然后停止"录制"。 这时，开发者工具会显示一个时间轴。它的下方就是火焰图。 浏览器的火焰图与标准火焰图有两点差异：它是倒置的（即调用栈最顶端的函数在最下方）；x 轴是时间轴，而不是抽样次数。 八、Async-profiler介绍 Async-profiler是一个对系统性能影响很少的Java采样分析器，它的实现是基于HotSpot特有的API，通过这些特有的...阅读全文
随着企业的逐步成熟，他们会开发更多工具。在Google，我们持续创建新的外部和内部服务，以及支持这些服务的基础架构。 从2013年起，我们开始放弃之前用来更新和维护服务的简单的自动化工作流。每个服务都要求复杂的更新逻辑，并且还需要适应基础架构的变化，经常性的集群的启动关闭等等。配置多个，互相交互的服务的工作流变得难以维护。 我们需要一种全新的方案来适应业务的增长以及所涉及到的配置的复杂性。为此，我们开发了声明式的自动化系统，作为统一的控制层，并且取代了工作流。这个系统包括两个主要的工具：Podspec，描述服务基础架构的工具，和Annealing，更新生产环境来匹配Prodspec输出的工具。本文讨论我们解决过的问题，以及我们所选择的架构。 Prodspec和Annealing有一个根本共...阅读全文
，例如 Pod Yaml 容器挂载配置跟 PodPreset 容器挂载配置为同一路径时，会报错提示冲突。 最后要提一下注意的问题： 目前 PodPreset 的预设功能这块还在演进中，不过已经能大大简化了相关的管理工作，将这些公用配置从开发者手中分离出来，变成系统管理配置。PodPreset 是 Namespace 级别的对象，其作用范围只能是同一个命名空间下容器。目前为 v1alpha1 版本，还不成熟，例如当我们对已创建的 PodPreset 执行非常少量的修改时，重新 apply 或者 replace 时，服务端并没有更新过来（亲测会有问题，只能删除重建），大家可以自己尝试下。 参考资料 PodPreset DocEnable PodPreset...阅读全文
今天我们发布了Docker CE 17.06，它包含了诸多新特性、优化和bug修复。我们在四月份的DockeCon上公布了Moby项目，Docker CE 17.06是第一个完全构建在它基础上的Docker版本。变更日志中能看到完整的更新列表，我们来看看它的一些新特性。 我们也为这篇文章制作了一个视频版本。 多阶段构建 17.06 CE最大的特性是它的多阶段构建（multi-stage builds），它最初在四月的DockerCon被公布，现在已经达到了稳定版本。多阶段构建能从一个Dockerfile中构建出更加简洁、体积更小的Docker镜像。 多阶段构建通过构建过渡镜像并产生输出。这样就能在一个过渡镜像中编译代码，在最终的镜像中只使用它的输出。例如，Java开发者通常使用Apache...阅读全文
在用 Golang 开发过程中，我们一定能在代码里很多函数或方法都会传递 context, 也会经常遇到这样的报错 context deadline exceeded。你有想过或去探究过 context 到底是什么吗，为什么会遇到上述的报错。在这里我们就分析一下 context 是什么及用途。 首选 Golang 中的 context 值得是 context.Context 接口,Golang 在 1.7 版本中引入标准库的接口。context 主要用来在 goroutine 之间传递上下文信息，包括：取消信号、截止时间、key-value 等。 Context 定义 Context 接口定义如下 1 2 3 4 5 6 7 8 9 10 type Context interface...阅读全文
!版权声明：本博客内容均均为原创,每篇博文作为知识积累,写博不易,转载请注明出处。 目录[-] 参考地址： Nacos 官方文档 系统环境： Nacos 版本：1.4.1 Mysql 版本：8.0.19 Kubernetes 版本：1.20.1 项目示例地址： Kubernetes 中部署 Nacos 的部署文件 Kubernetes 中部署 Mysql 数据库部署文件 如果该文章对你有帮助，别忘了 Github 帮忙点颗星哦~ 一、什么是 Nacos Nacos 是阿里开源的服务注册中心与配置中心组件，能够帮助开发人员快速实现动态服务发现、服务配置、服务元数据及流量管理。同时能够与 SpringCloud、Kubernetes、Dubbo 等开源生态无缝集成。 Nacos 支持如下核心特...阅读全文
本文从 Redis 的基本特性入手，通过讲述Redis的数据结构和主要命令，对 Redis 的基本功能进行直观介绍。之后概览Redis提供的高级能力，并在部署、维护、性能调优等多个方面进行进一步的介绍。本文适合使用Redis的普通开发人员，以及对Redis进行选型、架构设计和性能调优的架构设计人员。 目录 概述 Redis的数据结构和相关常用命令 数据持久化 内存管理与数据淘汰机制 Pipelining 事务与Scripting Redis性能调优 主从复制与集群分片 Redis Java客户端的选择 概述 Redis是一个开源的，基于内存的结构化数据存储媒介，可以作为数据库、缓存服务或消息服务使用。 Redis支持多种数据结构，包括字符串、哈希表、链表、集合、有序集合、位图...阅读全文
Alpine 的镜像。它们的体积非常小，但代价是兼容性较差。Alpine 使用了略微不同的标准 C 库——muslc。你可能会时不时地遇到一些兼容性问题。 原始基础镜像非常适合用于测试和开发。它虽然体积很大，但提供了与 Ubuntu 工作站一样的体验。此外，你还可以访问操作系统的所有二进制文件。 最后，我们再回顾一下各个镜像调整后的大小： node:8 681MB node:8 使用多阶段构建为 678MB gcr.io/distroless/nodejs 76.7MB node:8-alpine 69.7MB 英文原文：https://itnext.io/3-simple-tricks-for-smaller-docker-images-f0d2bda17d1e...阅读全文
=4 unreachable=0 failed=0 现在初步设置已完成，您可以继续安装特定于Kubernetes的依赖项。 第3步 - 安装Kubernetes依赖项 在本节中，您将使用Debian的软件包管理器安装Kubernetes所需的操作系统级软件包。 这些包是： Docker - 容器运行时。 它是运行容器的组件。 Kubernetes正在积极开发对rkt等其他运行时的支持。kubeadm - 一个CLI工具，它将以标准方式安装和配置集群的各个组件。kubelet - 一个在所有节点上运行并处理节点级操作的系统服务/程序。kubectl - 一种CLI工具，用于通过其API服务器向集群发出命令。 在工作区中创建一个名为~/kube-cluster/kube...阅读全文
UK8S是UCloud推出的Kubernetes容器云产品，完全兼容原生API，为用户提供一站式云上Kubernetes服务。我们团队自研了CNI（Container Network Interface）网络插件，深度集成VPC，使UK8S容器应用拥有与云主机间等同的网络性能（目前最高可达10Gb/s, 100万pps），并打通容器和物理云/托管云的网络。过程中，我们解决了开源kubelet创建多余Sandbox容器导致Pod IP莫名消失的问题，确保CNI插件正常运行，并准备将修复后的kubelet源码提交给社区。 深度集成VPC的网络方案 按照我们的设想，开发者可以在UK8S上部署、管理、扩展容器化应用，无需关心Kubernetes集群自身的搭建及维护等运维类工作。UK8S完全兼容原生...阅读全文
容器要求。换句话说，即使有一个未使用的节点可以在其中运行应用程序容器，但如果初始化容器具有该节点可以处理的更高资源先决条件，则Pod也不会部署到该节点。因此，在定义初始化容器的请求和限制时，您应尽可能严格。最佳做法是，除非绝对必要，否则请勿将这些参数设置为高于应用程序容器的值。 标准容器和Sidecar容器 在k8s1.18 之前，这两种容器从k8s管理的角度来看，并没有什么区别。只不过人为从功能上做了区分。 使用sidecar容器（模块化）具有的优点 加速应用程序开发，因为容器可以在团队甚至更大的社区之间重复使用 整理专家知识，因为每个人都在一个容器化的实现上进行协作，该实现反映了最佳实践，而不是无数种功能大致相同的自家生产的不同容器 启用敏捷团队，因为容器边界是自然边界，是团队职责的契约...阅读全文
1636706889 11155879367 #other_node较高 #numactl --show 用于查看当前numa策略 > numactl --show policy: default #使用默认策略(localalloc) preferred node: current physcpubind: 0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 cpubind: 0 1 nodebind: 0 1 membind: 0 1通过查询，发现当前的numa策略会出现大量的miss。由于influxdb基于go语言开发，go语言社区中有关于 numa 感知调度的设计文档，但是本身的实...阅读全文
triggered once! get 9 bytes of content: ABCDEFGHI -->LT Mode: it was triggered once! get 8 bytes of content: JKLMNOPQ 从结果中，可以看出，由于buffer中数据读取完毕后，还有未读完的数据，所以水平模式会一直触发，这也是为啥这里水平模式被触发了两次的原因。 有了这两个栗子的比对，不知道聪明的你，get到二者的区别了吗？ 在实际开发过程中，实际上LT更易用一些，毕竟系统帮助我们做了大部分校验通知工作，之前提到的SELECT和POLL，默认采用的也都是这个。但是需要注意的是，当有成千上万个客户端连接上来开始进行数据发送，由于LT的特性，内核会频繁的处理通知操作，导致其相对于ET来说，比较的耗费系...阅读全文
多的人，他们出生时手握一副烂牌，最终却打成了王炸，我才发现普通人想要取得成功是完全有可能的。 我深深地意识到这样一个事实：若非生来幸运，我就不会有今天。 （本文由OneFlow社区编译发布，译文转载请联系获得授权。原文：https://blog.samaltman.com/how-to-be-successful） 本文是OneFlow社区《升维指南》栏目的第1篇文章。 人类的知识大致可以分为“道”和“术”两类，在日常研究和开发工作中，只要具备基础知识，涉及“术”层面的具体技术和工具使用方法通过练习很快可以习得，但人与人之间的差距往往在“道”的层面，也就是事情的认知层面。 本栏目将发布创业创新、科学技术等领域关于个人成长、创业和研究心得等方面的内容，希望有助于我们实现认知升维。 其他人都在看...阅读全文
-Space) 实现所有这些任务，所以没有这些问题。此模型的弊端是，在多核系统上，这些程序通常扩展性较差。这就是为什么他们必须进行优化以 使每个CPU时间片(Cycle)做更多的工作。 （3）HAProxy 支持连接拒绝 : 因为维护一个连接的打开的开销是很低的，有时我们很需要限制攻击蠕虫（attack bots），也就是说限制它们的连接打开从而限制它们的危害。 这个已经为一个陷于小型DDoS攻击的网站开发了而且已经拯救 了很多站点，这个优点也是其它负载均衡器没有的。 （4）HAProxy 支持全透明代理（已具备硬件防火墙的典型特点）: 可以用客户端IP地址或者任何其他地址来连接后端服务器. 这个特性仅在Linux 2.4/2.6内核打了cttproxy补丁后才可以使用. 这个特性也使得为某特殊服务器...阅读全文
）。 CRI 与 pause 容器 到了这个阶段，大量的初始化工作都已经完成，容器已经准备好开始启动了，而容器是由容器运行时（例如 Docker 和 Rkt）启动的。 为了更容易扩展，Kubelet 从 1.5.0 开始通过容器运行时接口与容器运行时（Container Runtime）交互。简而言之，CRI 提供了 Kubelet 和特定的运行时之间的抽象接口，它们之间通过协议缓冲区（它像一个更快的 JSON）和 gRPC API（一种非常适合执行 Kubernetes 操作的 API）。这是一个非常酷的想法，通过使用 Kubelet 和运行时之间定义的契约关系，容器如何编排的具体实现细节已经变得无关紧要。由于不需要修改 Kubernetes 的核心代码，开发者可以以最小的开销添加新的运行时。 不好...阅读全文
>> jdk8u141.tar.gz cat blk_1073742700 >> jdk8u141.tar.gz 移动我们的jdk到/export路径，然后进行解压 mv jdk8u141.tar.gz /export/ cd /export/ tar -zxf jdk8u141.tar.gz 正常解压，没有问题，说明我们的程序按照block块存储没有问题 作者简介： 园陌，目前就职于一家大而温馨的互联网公司，数据开发工程师 公众号【五分钟学大数据】的原创作者 本篇文章首发于公众号，版权归OSCHINA与公众号【五分钟学大数据】共同所有，转载请注明本声明！...阅读全文
），则在下一次推送日志时缩小nextIndex，直到nextIndex验证通过。总结一下就是：当leader和follower日志冲突的时候，leader将校验 follower最后一条日志是否和leader匹配，如果不匹配，将递减查询，直到匹配，匹配后，删除冲突的日志。这样就实现了主从日志的一致性。（二）Raft协议算法代码实现前面我们已经大致了解了Raft协议算法的实现原理，如果我们要自己实现一个Raft协议的算法，其实就是将我们讲到的理论知识给翻译成为代码的过程，具体的开发需要考虑的细节比较多，代码量肯定也比较大，好在有人已经实现了Raft协议的算法了，我们可以直接拿过来使用。创建maven工程并导入jar包地址如下：
