效率；二是新 IP 的灵活性使地址分割简化了边界路由器的设计，边界路由器不需要维护地址映射指令。 目前，New IP 网络架构技术已在建设中，将于 2021 年开始测试。 New IP 是否会带来垄断？ 正如一切新事物在诞生初期都往往会招致人们的质疑和误会一样，New IP 也正深处这样的困境当中。 对于华为提出的 New IP 提案，沙特阿拉伯、伊朗、俄罗斯等国家均表示了支持。不过，有部分学者对这一“新事物”怀有质疑，主要有两方面立场： 一是关于绝对控制权。哈佛大学的社会科学家 Shoshana Zuboff 认为，华为提出新 IP 是为了通过技术基础设施赋予他们政治上的绝对控制权； 二是关于安全和人权。网络安全公司牛津信息实验室认为，New IP 虽能对网络基础进行细粒度控制，但网络协议...阅读全文
据库等。 配置需要治理 权限控制，由于配置能改变程序的行为，不正确的配置甚至能引起灾难，所以对配置的修改必须有比较完善的权限控制，不同环境、集群配置管理，同一份程序在不同的环境（开发，测试，生产）、不同的集群（如不同的数据中心）经常需要有不同的配置，所以需要有完善的环境、集群配置管理。 Apollo 配置中心基本使用 Apollo 基础模型 用户在配置中心对配置进行修改并发布；配置中心通知 Apollo 客户端有配置更新；Apollo 客户端从配置中心拉取最新的配置、更新本地配置并通知到应用。 界面概览 上图是 Apollo 配置中心中一个项目的配置首页，在页面左上方的环境列表模块展示了所有的环境和集群，用户可以随时切换。页面中央展示了两个 namespace（application 和...阅读全文
statefulset.apps/apisix-etcd 2/3 57m NAME COMPLETIONS DURATION AGE job.batch/cert-manager-startupapicheck 1/1 6m24s 45m Kubernetes Controller Manager 的机制决定了 Pod 名称会有所不同。 步骤四：申请证书并测试 首先我们需要配置证书颁发对象。 # issuer.yaml apiVersion: cert-manager.io/v1 kind: Issuer metadata: name: issuer namespace: ingress-apisix spec: selfSigned: {} 并创建自签名证书颁发者。 kubectl apply -f...阅读全文
动安装升级的软件包，或者如果没有看到问题，只需借助apt-get dist-upgrade来升级。 1. apt-listbugs 通常，通过看看某软件包在Debian的“稳定”代码库、“测试”代码库还是在“不稳定”代码库，就可以判断其可靠性。然而，Debian衍生版常常缺少这种指引，拥有最新的信息始终是明智的。 apt-listbugs从Debian缺陷跟踪系统显示了软件包的最新信息。结果可按优先级来过滤，让你可以选择风险级别。用apt-get安装前先运行它，对于尽量减少系统上的问题大有帮助，如果你深入“不稳定”或“试验型”软件包代码库，更是如此。 选择工具 上述工具没有一款对Debian软件包管理来说是绝对必不可少的。许多用户只需用apt-get就能轻松搞定，偶尔使用dpkg清除系统上的...阅读全文
-interactive" 在重新加载 SSH 服务器之前，最好检查一下在配置中没有出现任何错误，执行以下命令测试： sshd -t 如果没有标识出任何错误，用新的配置重载 SSH： systemctl reload sshd.service 现在一切都应该开始工作了。现在，当你登录到你的服务器时，你将需要使用 SSH 密钥，并且当你被提示输入： Verification code: 打开 Authenticator APP 并输入为您的服务器显示的 6 位代码。...阅读全文
谷歌开源了一套代码评审（Code Review）规范，它是谷歌一套通用的工程实战指南，几乎涵盖了所有编程语言与各种类型的项目，这个规范代表了谷歌长期发展以来最佳实战经验的集合，谷歌表示希望开源项目或其他组织能够从这套规范中受益。 代码评审，也称代码复查，如果一个团队正在使用任务分支工作流，那么在所有代码编写完成并通过自动化测试之后，在代码合并之前，就会启动代码评审。通常的目的是查找系统缺陷，保证软件总体质量和提高开发者自身水平，代码评审的所有工具和过程都是为了这个目的而构建的。代码评审对于敏捷团队来说的作用如下： 代码评审共享知识通过代码评审可以更好的进行工作评估代码评审能让你享受休假通过代码评审指导新工程师 既然代码评审要进行众多的检查，那么找一个优秀的评审者就非常重要了。一般对于变更列...阅读全文
/Program Files (x86)/Tencent/TIM/Bin/TIM.exe，同样右击选择wine打开即可。 题外话，2019年腾讯官方10月24日发布了Linux版QQ（含deb, rpm, pkg.tar.xz, sh版），而到2020年4月1日发布了新版。2020.4.1版修复了一些bug至少能够正常用了，能够输入文字、收发文件。因此wine安装QQ不太必要了，笔者也没有作过多测试研究。微信虽然有网页版，但很多人反映web微信登录不了，并且还没有Linux版微信发布，因此wine微信似乎有用些。...阅读全文
代表cpu使用的时间。例如： 九、Async-profiler的使用 和 火焰图分析 背景： 目前有一个kafka消费者工程,此工程会消费kafka中的消息，并通过fastjson解析该消息为java实体，然后存入到阻塞队列 BlockingQueue中。另外有若干个线程会从queue中批量拿消息，然后以批量形式写入到 elasticsearch 中。目前在使用中发现存在性能瓶颈，需要定位是该工程对消息转化处理较慢，还是写es操作比较慢。 9.1采集cpu profile数据 我们将代码回退到第一次测试的情况,并启动程序，并找到当前进程号(627891)，然后通过如下命令进行采集，并转换为火焰图格式 svg。 ./profiler.sh -d 15 -i 50ms -o svg -e cpu...阅读全文
很重要，因为在 K8s 中没有为这些设置默认值。例如，如果一个 pod 需要 20 秒才能启动并且缺少就绪探测，那么在启动期间定向到该 pod 的任何流量都会导致失败。就绪探针应该是独立的，并且不考虑对其他服务的任何依赖，例如后端数据库或缓存服务。存活探针试应用程序是否正在运行以将其标记为健康。例如，可以测试 Web 应用程序的特定路径以确保其响应。如果不是，该 pod 将不会被标记为健康，并且探测失败将导致 kubelet 启动一个新的 pod，然后将再次对其进行测试。这种类型的探测用作恢复机制，以防进程无响应。译者：在 Kubernetes 1.18 引入了 StartUp（启动）探针。当容器启动时间较长（要花较长的时间完成初始化工作），此时应该使用启动探针。如果启动探针探测不成功，其他...阅读全文
大指令数为 100 万。与此同时，针对性能担忧，eBPF 探针控制在大约在 1%左右。其高性能主要体现在内核中处理数据，减少数据在内核态和用户态之间的拷贝。简单说就是数据在内核里算好了再给用户进程，比如一个 Gauge 值，以往的做法是将原始数据拷贝到用户进程再计算。2、可编程的执行引擎天然适合可观测性可观测性工程通过帮助用户更好的理解系统内部状态来消除知识盲区和及时消除系统性风险。eBPF 在可观测性方面有何威力呢？以应用异常为例，当发现应用有异常后，解决问题过程中发现缺少应用层面可观测性，这时候通过埋点、测试、上线补充了应用可观测性，具体的问题得到了解决，但往往治标不治本，下一次别的地方有问题，又需要走同样的流程，另外多语言、多协议让埋点的成本更高。更好的做法是用无侵入方式去解决，以避免...阅读全文
-07T02:10:31Z 接下来，我们来创建 Pod Yaml 资源文件。 $ vim pod-busybox-hwy.yaml apiVersion: v1 kind: Pod metadata: name: busybox-hwy namespace: wanyang3 labels: app: busybox-hwy role: busybox-hwy spec: containers: - name: busybox-hwy image: busybox:latest command: ["sleep", "60000"] 注意：这里我以 busybox 容器来测试，这里 labels role: busybox-hwy 要跟上边 PodPreset selector...阅读全文
port: 8848 targetPort: 8848 nodePort: 30848 selector: app: nacos type: NodePort 这里使用 NodePort 方式暴露服务。当然，如果你的 Kubernetes 集群部署了 Ingress Controller，也可以配置 Ingress 路由规则，来让外部访问你的服务。 五、访问 Nacos 进行测试 本人这里的 Kubernetes 地址 IP 为 192.168.2.11，而上面配置的 Nacos Service 中指定 NodePort 端口为 30848，又由于 Nacos 默认会带上前缀 /nacos，所以我们可以输入地址 http://192.168.2.11:30848/nacos 访问 Nacos 页面...阅读全文
解决这个问题之前，我们依赖于传统的工作流引擎。比如，一个工作流列出部署新二进制文件的步骤：在集群X上做金丝雀测试，然后将N部署到集群Y和Z上，运行测试等等。 创建工作流本身就需要大量工作，因此我们只为经常需要做的事情创建工作流，比如二进制文件的版本更新。我们通常手动处理不那么常见的情况，比如重启。已有的脚本经常会过期而不再适用。 对于运维人员来说，这些工作流很容易实现：做X，然后Y。想要添加压力测试？只需要添加一个步骤。但是随着工作流使用规模的扩大，它的问题也显露出来。 首先，扩展工作流会造成很多重复。每个服务都有很好的理由要求一些特殊逻辑，这意味着需要定制化的实现。尝试了几次整合工作流的实现，但是只有适用于某个特定模型的服务才能使用。这样导致的重复让服务变得不一致。最佳实践，比如跨集群的有...阅读全文
、API 应用相同的上下文中运行程序或脚本。可以上传并运行可执行文件，例如 cmd、bat、exe、psl 等等。WebJobs 提供 SDK 用于简化针对 Web 作业可以执行的常见任务，例如图像处理、队列处理、RSS 聚合、文件维护，以及发送电子邮件等等。 Serverless 架构原则 按需使用计算服务执行代码 Serverless 架构是 SOA 概念的自然延伸。在 Serverless 架构中，所有自定义代码作为孤立的、独立的、细粒度的函数来编写和执行，这些函数在 AWS Lambda 之类的无状态计算服务中运行。开发人员可以编写函数，执行常见的任务。在比较复杂的情况下，开发人员可以构建更复杂的管道，编排多个函数调用。 编写单一用途的无状态函数单单负责处理某一项任务的函数很容易测试，并稳...阅读全文
的job，则需要测试的提交应该在克隆的Git历史记录中存在。设置GIT_DEPTH太小的值可能会导致无法运行哪些旧的commits。在job日志中可以查看unresolved reference。你应该考虑设置GIT_DEPTH为一个更大的值。 当GIT_DEPTH只设置了部分存在的记录时，哪些依赖于git describe的jobs也许不能正确的工作。 只抓取或克隆最后的3次commits： variables: GIT_DEPTH: "3" Hidden keys GitLab 8.6 和 GitLab Runner v1.1.1引入。 Key 是以.开始的，GitLab CI 将不会处理它。你可以使用这个功能来忽略jobs，或者用Special YAML features 转换隐藏键为...阅读全文
施。 虽然拥有一个lint工具（能实现快速、本地/离线的反馈）非常好，但最好的情况还是完全不需要lint工具。实施变更（例如C++团队为所有包引入了一个新的强化标志）的团队应该能够让我明确看到他们的工作。 然而，实际情况却恰恰相反，目前所有的包都由于lint而变得不干净，所有的维护者都需要阅读新内容是什么、可能会造成怎样的破坏、是否有影响以及怎样的影响、手动运行一些测试、最后再决定是否采用。整个过程的工作量巨大，而且还需要手动执行机械的更改。 特别是，在Debian的变更模型中，所有更改的工作都会分派给包维护者。在工作中，我们发现相反的工作方式更好：即让负责变更的团队自行选择那些能影响更多用户的更改，这样可以显著地提高效率，从而降低总体的成本和时间。当然，有些例外情况（例如滥用语言功能的大型...阅读全文
方法接受Instant数据类型的参数。此更改将影响需要实现新方法的任何自定义只读交互式查询会话存储实现。KIP-622：添加currentSystemTimeMs和currentStreamTimeMs到ProcessorContext该ProcessorContext增加在3.0两个新的方法，currentSystemTimeMs和currentStreamTimeMs。新方法使用户能够分别查询缓存的系统时间和流时间，并且可以在生产和测试代码中以统一的方式使用它们。KIP-743：删除0.10.0-2.4Streams 内置指标版本配置的配置值3.0 中取消了对 Streams 中内置指标的旧指标结构的支持。KIP-743正在0.10.0-2.4从配置属性中删除该值...阅读全文
available (because the // surrounding function has not yet been extended to accept a Context // parameter). Background和TODO只是用于不同场景下： Background通常被用于主函数、初始化以及测试中，作为一个顶层的context，也就是说一般我们创建的context都是基于Background；而TODO是在不确定使用什么context的时候才会使用。下面将介绍两种不同功能的基础context类型：valueCtx和cancelCtx。valueCtxvalueCtx结构体type valueCtx struct { Context key, val interface...阅读全文
索运行Nginx的端口。 Kubernetes将自动分配一个大于30000的随机端口，同时确保该端口尚未受到其他服务的约束。 要测试一切是否正常，请通过本地计算机上的浏览器访问http:// worker_1_ip : nginx_port或http://worker_2_ip : nginx_port 。 您将看到Nginx熟悉的欢迎页面。 如果要删除Nginx应用程序，请先从主节点删除nginx服务： kubectl delete service nginx 运行以下命令以确保已删除该服务： kubectl get services 您将看到以下输出： OutputNAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGE kubernetes...阅读全文
。由于这种模块化，您只需编写和测试git同步器一次，即可在众多应用程序中重复使用它。而且，如果有人编写它，您甚至不需要这样做。 实现辅助功能 。这种场景一般出现在DevOps中。比如将收集日志的组件以Sidecar的方式部署，实现收集日志的用途，或是部署一个Sidecar组件从配置中心监听配置变化，实时更新本地配置。 生命周期 Sidecar容器的所有问题都与容器生命周期相关性有关。由于Pod中的常规容器之间没有区别，因此无法控制哪个容器首先启动或最后终止，但是先正确运行Sidecar容器通常是应用程序容器正确运行的要求。 从1.18版本开始，K8S内置的Sidecar功能将确保Sidecar容器在正常业务流程开始之前就启动并运行，即通过更改pod的启动生命周期，在init容器完成后启动...阅读全文
对 Docker 的使用大部分都比较熟悉，但是说到 docker 的实现原理很多人还是一知半解。我把在团队内部做的一次 Docker 核心原理分享总结到文章里，以供参考。 Docker 的优势 Build once, Run anywhere 上面这句话很精辟的总结了 docker 的优点。我从下面几点具体描述 docker 带给开发者的能力 应用标准化 无论什么语言开发的应用，我们都能用 dockerfile 和构建脚本方便的进行应用构建打包，代码库 + 构建 + registry 统一了 CI/CD 流程，也提升了效率。 环境一致 由于应用和依赖全部构建成镜像，做到了一次构建多次交付，无论是开发，测试还是上线环境都是一致的。大大提高了开发效率 应用隔离 由于通过 docker 部署的应...阅读全文
-through-cloudflare-gateway 经测试，Cloudflare Spectrum 也可以配置 IPv6 的源站地址，然后 ssh 连接是 IPv4，同样可以中转。 最后如图，点击 “Create” 保存。 图片下方的 +++ — 是网卡配置文件(/etc/network/interfaces)的 diff。 重启来使更改生效。 重启后，可以正常通过 IPv4 的地址来 ssh，不过 curl ip.sb 返回的是 IPv6 的地址。 硬盘在开始创建 VM 前，还需要配置一下存储。 服务器硬盘配置 SSD: /dev/sda 240G HDD: /dev/sdb 3T 默认安装出来是，VM 需要的系统镜像文件存放目录 /var/lib/vz 在 SSD 里面，这样有点浪费，因为镜像不是...阅读全文
的结果觉得有问题，可能是由于程序bug导致的计算错误，当程序bug修复后，这时可能需要对之前已消费的消息重新消费，可以指定从多久之前的消息回溯消费，这种可以用consumer的offsetsForTimes、seek等方法指定从某个offset偏移的消息开始消费，参见上节课的内容。 2.1.7 分区数越多吞吐量越高吗 可以用kafka压测工具自己测试分区数不同，各种情况下的吞吐量 # 往test里发送一百万消息，每条设置1KB # throughput 用来进行限流控制，当设定的值小于 0 时不限流，当设定的值大于 0 时，当发送的吞吐量大于该值时就会被阻塞一段时间 throughput =-1：不限流 bin/kafka-producer-perf-test.sh --topic test...阅读全文
户设计 pipeline 的灵活度，但 graph 框架也同时带来下列缺点： 引入潜在内存安全风险 复杂的代码逻辑，需要大量的测试工作 初学者学习曲线陡峭 总体而言，与传统的 pipeline 模式相比，graph 框架也会出现 tradeoff。使用者需要考虑其业务逻辑的复杂程度，才能有计划地设计出可管理的 graph pipeline。graph 模型更适用于 pipeline 比较复杂的场景。有兴趣的读者可以持续关注后期即将发布的《DPDK Graph Pipeline 框架示例和性能分析》，以更好地理解 DPDK libgraph 的性能和实际用途。...阅读全文
Alpine 的镜像。它们的体积非常小，但代价是兼容性较差。Alpine 使用了略微不同的标准 C 库——muslc。你可能会时不时地遇到一些兼容性问题。 原始基础镜像非常适合用于测试和开发。它虽然体积很大，但提供了与 Ubuntu 工作站一样的体验。此外，你还可以访问操作系统的所有二进制文件。 最后，我们再回顾一下各个镜像调整后的大小： node:8 681MB node:8 使用多阶段构建为 678MB gcr.io/distroless/nodejs 76.7MB node:8-alpine 69.7MB 英文原文：https://itnext.io/3-simple-tricks-for-smaller-docker-images-f0d2bda17d1e...阅读全文
，或者去遍历它的每一个上游生成对应的 Result Partition 信息。 目前通过引入 group 概念，假设已知上下游 2 个任务的连接方式是 all-to-all，那相当于把所有 Pipeline Region 信息或者 Result Partition 信息以 Group 的形式进行组合，这样只需知道下游对应的是上游的哪一个 group，就可以把一个 O (n^2) 的复杂度优化到了 O (n)。我们用 wordcount 任务做了一下测试，对比优化前后的性能： 从表格中可以看到构建速度具有大幅度提升，构建 Pipeline Region 的性能从秒级提升至毫秒级别。任务部署我们是从第一个任务开始部署到所有任务开始运行的状态，这边只统计了流，因为批需要上游结束后才能结束调度。从整体...阅读全文
率提高几百倍，那无疑会产生深远的影响。不过如你所说，生物学的自有规律仍在，新药的临床验证需要时间，这也是医药研发的速率限制因素。 据我所知，不少合成生物公司借助AI发现许多新的研发想法，加快自己的研发迭代周期，但研发出来之后终究是要进行测试，这部分时间无法缩减。 我认为，医药初创公司最重要的是低成本和快速的研发周期，有了这两点就有资本参与市场竞争了。所以如果我是一家医药初创公司的决策者，一开始我不会选择从心脏病这类大难题下手。 此外，如果我是一家AI药物研发初创公司，我会在模拟器上多下工夫，因为目前这方面还亟待改善。 Reid Hoffman：你对AI和元宇宙怎么看？ Sam Altman：元宇宙会发展成一种新的软件容器，就像手机一样，成为一种计算机交互方式。而AI则是一场技术革命，所以问题...阅读全文
skeleton.c的副本。 > cp skeleton.c ipc.c 我们测试IPC命名空间的方法，是通过在主机上创建一个消息队列，当我们在IPC namespace中产生一个新进程时确保我们不能看到它。让我们首先在当前的shell中创建一个消息队列，运行skeleton副本代码来查看队列。 > ipcmk -Q Message queue id: 65536 > gcc -o ipc ipc.c > ./ipc ipcs -q ------ Message Queues -------- key msqid owner perms used-bytes message 0xfe7f09d1 65536 root 644 0 0 不使用新的IPC namespace，你可以看到同样的消息队列被创建。现在让...阅读全文
、Thread Pool Size、Buffer Size、Request Timeout、Feature Switch、Server Urls等。配置伴随应用的整个生命周期 配置贯穿于应用的整个生命周期，应用在启动时通过读取配置来初始化，在运行时根据配置调整行为。配置可以有多种加载方式 配置也有很多种加载方式，常见的有程序内部hard code，配置文件，环境变量，启动参数，基于数据库等配置需要治理 权限控制 由于配置能改变程序的行为，不正确的配置甚至能引起灾难，所以对配置的修改必须有比较完善的权限控制不同环境、集群配置管理 同一份程序在不同的环境（开发，测试，生产）、不同的集群（如不同的数据中心）经常需要有不同的配置，所以需要有完善的环境、集群配置管理框架类组件配置管理 还有一类比较特殊的配置...阅读全文
述符递增一。这里之所以传最大描述符，为的就是在遍历fd_set的时候，限定遍历范围。 参数二：readfds，可读文件描述符集合。 参数三：writefds，可写文件描述符集合。 参数四：errorfds，异常文件描述符集合。 参数五：timeout，超时时间。在这段时间内没有检测到描述符被触发，则返回。 下面的宏处理，可以对fd_set集合（准确的说是bitmap，一个描述符有变更，则会在描述符对应的索引处置1）进行操作： FD_CLR(inr fd,fd_set* set) 用来清除描述词组set中相关fd 的位，即bitmap结构中索引值为fd的值置为0。 FD_ISSET(int fd,fd_set *set) 用来测试描述词组set中相关fd 的位是否为真，即bitmap结构中某一...阅读全文
且总是设法规避这些批评。但现在我开始尝试听取这些意见，我会先设想这些批评是正确的，然后在这个基础上调整我的计划。做决定的过程充满了艰辛和痛苦，但也只有经历了这个过程才能将自信和自欺欺人区分开来。 保持自信与自我认知之间的平衡可以让人免于傲气、避免与他人脱节。 3 学会独立思考 创业很难，因为培养原创性思维很难。这种思维在学校里面是学不到的，实际上学校培养的是一种相反的思维方式，所以只能靠我们自己来培养原创性思维。 我们可以从第一性原理（first principles）出发，从中想出新的点子，然后与人交流沟通，对这些想法进行改良，之后我们再用轻松快捷的方式进行实际测试。 对创业者来说，失败是家常便饭，但我们一定要抱有必胜的信念，要不断尝试、不断试错，只有这样才能得到幸运之神的眷顾。 在这个过...阅读全文
式: hdfs dfs -copyFromLocal
annotation。将保存着测试证书的 volume 注入到特定命名空间的所有 Pod 中。如果 Secret 中的密码小于 20 个字符，就组织其创建。 initializerConfiguration 资源对象允许你声明某些资源类型应该运行哪些Initializers。如果你想每创建一个 Pod 时就运行一个自定义Initializers，你可以这样做： apiVersion: admissionregistration.k8s.io/v1alpha1 kind: InitializerConfiguration metadata: name: custom-pod-initializer initializers: - name: podimage.example.com rules...阅读全文
