方法时会设置取消原因，将done channel设置为一个关闭channel或者关闭channel，然后将子节点context依次取消，如果有需要还会将当前节点从父节点上移除。WithCancelWithCancel函数用来创建一个可取消的context，即cancelCtx类型的context。WithCancel返回一个context和一个CancelFunc，调用CancelFunc即可触发cancel操作。直接看源码：type CancelFunc func() func WithCancel(parent Context) (ctx Context, cancel CancelFunc) { c := newCancelCtx(parent) propagateCancel...阅读全文
kubernetes 中的垃圾回收机制主要有两部分组成：一是由 kube-controller-manager 中的 gc controller 自动回收 kubernetes 中被删除的对象以及其依赖的对象；二是在每个节点上需要回收已退出的容器以及当 node 上磁盘资源不足时回收已不再使用的容器镜像；本文主要分析 kubelet 中的垃圾回收机制，垃圾回收的主要目的是为了节约宿主上的资源，gc controller 的回收机制可以参考以前的文章 garbage collector controller 源码分析。kubelet 中与容器垃圾回收有关的主要有以下三个参数:--maximum-dead-containers-per-container: 表示一个 pod 最多可以保存多少个...阅读全文
，并且什么时候应用这些变更。考虑限速这个场景：Annealing可以限制某个job的变更数量，即使有多个流程或者人在同步和该job交互。 作为规则，我们想在reconcil生产环境的时候避免人工审批，因为在我们的经验里，这类人工干预很少带来有用的东西。我们仍然允许人工审核特定重要的变更（比如，数据删除），以及所有标准的自动检查。我们将这些事件保持在最低限度，以避免人工批准者的脱敏。 Annealing负责所有基础架构的配置，从二进制文件版本更新到定额管理，数据库schema或者负载均衡器的配置。多年来，我们发现基础架构始终比预期的更为动态——比如，执行集群的“一次性设置”的次数，可能比启动测试实例的次数更多。 因此，我们鼓励用户将生产环境的所有方面编码到Prodspec中，并通过...阅读全文
），则在下一次推送日志时缩小nextIndex，直到nextIndex验证通过。总结一下就是：当leader和follower日志冲突的时候，leader将校验 follower最后一条日志是否和leader匹配，如果不匹配，将递减查询，直到匹配，匹配后，删除冲突的日志。这样就实现了主从日志的一致性。（二）Raft协议算法代码实现前面我们已经大致了解了Raft协议算法的实现原理，如果我们要自己实现一个Raft协议的算法，其实就是将我们讲到的理论知识给翻译成为代码的过程，具体的开发需要考虑的细节比较多，代码量肯定也比较大，好在有人已经实现了Raft协议的算法了，我们可以直接拿过来使用。创建maven工程并导入jar包地址如下：
) FreeBSD的Ceph的第一个版本可用。通过常规FreeBSD端口和软件包发布系统,最新可用版本：net/ceph-devel。 在 Jewel（v10.2.z）版本上进行的重要修改 RADOS 现在默认为AsyncMessenger （ms type = async）的传统SimpleMessenger。最明显的区别是 我们现在使用固定大小的线程池进行网络连接(而不是使用SimpleMessenger,一个socket两个线程）。 优化OSD故障检测时间，而以前的心跳超时（默认为20秒）。 优化OSDMaps的代码量。 集群在进行重平衡/数据恢复时，OSD会停止Scrub。 RGW RGW现在支持S3多对象复制API。 现在可以离线重塑现有的分支。离线目前，桶重塑要求所有IO（特别是写入）到特定的桶...阅读全文
channel通道golang的并发模型是序列通信处理CSP（communicating sequential process）——使用通信来共享内存 ，避免goroutine因竞争共享内存频繁加锁产生的性能问题。基本数据结构golang中提供了一个特殊的类型channel实现goroutine之间的通信。channel类似于队列，先进先出。channel数据结构源码在src/runtime/chan.go下。chan 使用 hchan 表示，它的传参与赋值始终都是指针形式，每个 hchan 对象代表着一个 chan。hchan 中包含一个缓冲区 buf，它表示已经发送但是还未被接收的数据缓存。buf 的大小由创建 chan 时的参数来决定。qcount 表示当前缓冲区中有效数据的总量...阅读全文
/7949fd01702d5f779cb2ccb00b6efe3a.jpg) 5. service cost-analyzer-cost-analyzer 的访问方式为负载均衡方式，更新服务访问方式之后会得到一个公网 IPv4 地址，便可在公网进行访问。 - 访问地址：` http://[服务公网地址]:9090` - 初始用户名和密码：admin、admin。 ### 卸载 执行以下命令可卸载 kubecost： ```sh helm uninstall cost-analyzer -n kubecost ```...阅读全文
树莓派中的实现，可以将树莓派变成 Chromebook。Windows 10：是的，甚至有用户经过一番折腾，成功在 Raspberry Pi 4 上安装了 Windows 10，但由于硬件架构适配性不足等原因，运行速度很慢，慎用。 Lakka：该操作系统专为一些复古游戏而设计，预装了一系列模拟器，可以将树莓派变成一台老式游戏机。6.太空中运行着两台树莓派这绝对算是一个有趣的冷知识。国际空间站运行着两台“Astro Pis”设备，事实上，这是经过特别改良的 Raspberry Pi B+ 型，这两台树莓派经过“空间改造”以适应太空环境，并配备了官方的 Raspberry Pi Sense HAT。欧洲航天局会举办定期竞赛，孩子们提交的代码可以在外太空的这两台设备上远程运行，以进行一些有趣的空间...阅读全文
客户觉得把他们的代码用 GPL 发布不舒服。 随着 大约 65% 的公司对开源事业做贡献 ，自从 2010 年以后显然开源行业已经引来了不少商业兴趣和投资。我相信，我之前说的那些趋势，已经表明这行业不认为 GPL 适合搞开源生意。 连接社区和公司 说真的，GPL 的没落不太让人吃惊，因为有如下原因。 首先，开源行业已经转型升级，它要在社区发展以及……你懂的……真正能赚钱的商业模型中做出均衡，这是它们要做的最重要的决策。在开源思想发展之初，人们有种误解说，“如果你搞出来了，他们就会用”，他们确实会来使用你的软件，但是在很多情况下，都是“如果你搞出来了，他们不是一定要给你钱。” 随着历史的进程，我们看到了许多公司，比如 Red Hat、Automattic、Docker、Canonical...阅读全文
据《欧盟一般个人数据保护条例》（GDPR）第4条第1款的规定，“个人数据”指与已经识别（identified）或可被识别（identifiable）的自然人（“数据主体”）相关的任何信息。 其中，“可被识别的自然人”，指通过姓名、识别号码、位置数据、在线身份识别码等标识符，或通过针对该自然人的身体、生理、遗传、心理、经济、文化或社会身份等特定相关的一个或多个要素，能够直接或间接地被识别出的个人[1]。 判断自然人是否可被识别，应考虑数据控制者或另外一人可能合理使用到的所有方式（all the means reasonably likely to be used）。判断何种方式为“可能合理使用到”，应考虑所有客观因素：例如当前现有的技术、技术的发展、识别所需的成本和时间等[2]。 由于实践中交...阅读全文
发的全链路影子库路由组件借助了 OpenTracing 随行数据透传机制，且与监控组件是强耦合关系，而基础框架将统筹监控，压测和其他模块，借助Spring Boot Starter 机制，一定程度上做到了功能的开箱即用，无缝集成。而使用字节码增强方式的 Pinpoint, SkyWalking，无法很好地做到与基础框架集成，若并行开发，也会多出基础框架与 Java Agent 两边的管理和维护成本，减缓迭代速度。 在之后将近两年的时间里，应用服务监控覆盖了得物技术部使用的将近 70% 的组件，为得物App在 2021 年实现全年 99.97% 的 SLA 提供了强有力的支持。现在看来，基于 OpenTracing + Prometheus 生态，很好地解决了分布式系统的调用链监控，借助...阅读全文
no 定义此作业完成部署的环境名称 coverage no 定义给定作业的代码覆盖率设置 script script是Runner执行的yaml脚本。举个例子： job: script: "bundle exec rspec" 该参数也可以用数组包含多个命令： job: script: - uname -a - bundle exec rspec 有时候，script命令需要被单引号或者是双引号包裹起来。举个例子，当命令中包含冒号(:)时，script需要被包在双引号中，这样YAML解析器才可以正确解析为一个字符串而不是一个键值对(key:value)。使用这些特殊字符的时候一定要注意：:,{,},[,],,,&,*,#,?,|,-,<,>,=,!。 stage stage允许一组jobs进入...阅读全文
对 Docker 的使用大部分都比较熟悉，但是说到 docker 的实现原理很多人还是一知半解。我把在团队内部做的一次 Docker 核心原理分享总结到文章里，以供参考。 Docker 的优势 Build once, Run anywhere 上面这句话很精辟的总结了 docker 的优点。我从下面几点具体描述 docker 带给开发者的能力 应用标准化 无论什么语言开发的应用，我们都能用 dockerfile 和构建脚本方便的进行应用构建打包，代码库 + 构建 + registry 统一了 CI/CD 流程，也提升了效率。 环境一致 由于应用和依赖全部构建成镜像，做到了一次构建多次交付，无论是开发，测试还是上线环境都是一致的。大大提高了开发效率 应用隔离 由于通过 docker 部署的应...阅读全文
，谁才是 Debian 中的权威呢？ 在 Debian 社区中只有两种官方角色：Debian 开发者（DD）和 Debian 维护人员（DM）。DD 由 Debian 章程所定义，而 Debian 维护人员则是在2007年的总决议中才做的定义。 其中，DM 是一个没有多少权限的角色，他们只能为那些在 Maintainer 或 Uploaders 字段里包含他们的名字、并已经被 DD 指定了 DM-Upload-Allowed: yes 标记（意思为允许 DM 上传）的包执行上传的工作，除此之外他们没有别的权利，而他们访问 Debian 资源的权限也十分有限。 在 Debian 章程的定义中，Debian 开发者（DD）的主要职能是提交代码以及维护自己负责的包。他们具有进入 Debian 服务器...阅读全文
' validate: 'visudo -cf %s' - name: set up authorized keys for the sammy user authorized_key: user=sammy key="{{item}}" with_file: - ~/.ssh/id_rsa.pub 这是这个剧本的作用细分： 创建非root用户sammy 。配置sudoers文件以允许sammy用户在没有密码提示的情况下运行sudo命令。将本地计算机中的~/.ssh/id_rsa.pub （通常为~/.ssh/id_rsa.pub ）添加到远程sammy用户的授权密钥列表中。 这将允许您以sammy用户身份SSH到每个服务器。 添加文本后保存并关闭文件。 接下来，通过本地运行执行playbook...阅读全文
方法接受Instant数据类型的参数。此更改将影响需要实现新方法的任何自定义只读交互式查询会话存储实现。KIP-622：添加currentSystemTimeMs和currentStreamTimeMs到ProcessorContext该ProcessorContext增加在3.0两个新的方法，currentSystemTimeMs和currentStreamTimeMs。新方法使用户能够分别查询缓存的系统时间和流时间，并且可以在生产和测试代码中以统一的方式使用它们。KIP-743：删除0.10.0-2.4Streams 内置指标版本配置的配置值3.0 中取消了对 Streams 中内置指标的旧指标结构的支持。KIP-743正在0.10.0-2.4从配置属性中删除该值...阅读全文
提供关注点分离，并专注于特定功能，以减少意大利面条的依赖性和不可测的组件 对于Sidecar容器一般来说主要体现在以下4种角色： 代理。例如现在Istio中的Envoy。 通过这种Sidercar 模式，代理可以拦截进出主容器的流量从而Istio可以提取有关流量行为的大量信号作为属性。 Istio可以使用这些属性来执行策略决策，并将其发送到监视系统以提供有关整个网格行为的信息。 Sidecar代理模型还允许您将Istio功能添加到现有部署中，而无需重新构造或重写代码。 适配器。适配器容器对输出进行标准化。考虑监视N个不同应用程序的任务。可以使用不同的导出监视数据的方式来构建每个应用程序。 （例如JMX，StatsD，特定于应用程序的统计信息），但每个监控系统都希望其收集的监控数据具有一致且统...阅读全文
time desc limit 17.总结本文整理了业务中使用influxdb遇到的问题，并提出了一些优化方案。目前来看，influxdb对于笔者仍然是一个黑盒程序，更细致的内容就需要从源码追寻。当前采用了如下方式进行优化(由于需要对配置参数，策略各方面权衡，这是一个持续的过程)：(1) retention policy#将保留策略修改为：3天一周期；1天一分片 alter retention policy rp_iot_cloud on iot_cloud duration 3d REPLICATION 1 SHARD DURATION 1d default(2) 配置文件#influxdb配置文件，主要参数如下: [data] #wal日志落盘周期，官方建议0-100ms #尝试了100ms...阅读全文
架构也都是由RISC体系中发展出来的处理器架构。包括IBM所推出的Power架构也都是RISC体系中的一员。他们的到来，构建了出了璀璨的处理器架构时代，也对当时的英特尔造成了一定的压力。各领风骚数十载SPARC（可扩展处理器体系结构）是最初由Sun Microsystems开发的精简指令集计算（RISC）指令集体系结构（ISA）。它的设计在很大程度上受到早期RISC设计的影响，包括来自加利福尼亚大学伯克利分校和IBM 801的RISC I和II 。这些原始的RISC设计极简，包括尽可能少的功能或操作码，旨在以每个时钟周期几乎一条指令的速率执行指令。SPARC于1986年首次开发，并于1987年发布，是最成功的早期商业RISC系统之一。在其推出首款SPARC处理器产品后，SPARC就很快地占领...阅读全文
来实现，直接在代码里写前缀的做法要严格避免，这样可维护性实在太差了。 如：系统名:业务名:业务数据:其他 但是注意，key的名称不要过长，尽量清晰明了，容易理解，需要自己衡量 10.线上禁止使用monitor命令 禁止生产环境使用monitor命令，monitor命令在高并发条件下，会存在内存暴增和影响Redis性能的隐患 11.禁止大 string 核心集群禁用1mb的string大key(虽然redis支持512MB大小的string)，如果1mb的key每秒重复写入10次，就会导致写入网络IO达10MB; 12.redis容量 单实例的内存大小不建议过大，建议在10~20GB以内。 redis实例包含的键个数建议控制在1kw内，单实例键个数过大，可能导致过期键的回收不及时。 13 可靠...阅读全文
使是用户删除计算实例之后，数据存储继续有效。亚马逊还提供了基于硬盘的弹性块存储服务，每个月每GB的存储费仅为4.5美分。上述业者苏里预测，弹性块存储的毛利率在60%到70%之间。数据库软件亚马逊云计算还给企业提供了多种数据库工具。传统上，企业更多使用关系数据库。数据存储在一个表中，每个表有多行和多列数据。应用软件可以在数据库中保存数据，也可以读出数据。AWS的“关系数据库服务”提供了多种选项：比如微软公司的SQL Server，甲骨文公司知名的Oracle，开放源码的MariaDB、MySQL和PostgreSQL，以及亚马逊自家的Aurora（可以和MySQL和PostgreSQL兼容）。苏里表示，如果客户在关系数据库中使用亚马逊自有的Aurora，那么这一业务的毛利润率大约65%到75...阅读全文
CST 2019 storageID=DS-47bcc6d5-c9b7-4c88-9cc8-6154b8a2bf39 clusterID=CID-dac2e9fa-65d2-4963-a7b5-bb4d0280d3f4 cTime=0 datanodeUuid=c44514a0-9ed6-4642-b3a8-5af79f03d7a4 storageType=DATA_NODE layoutVersion=-56 具体解释: storageID：存储id号。 clusterID集群id，全局唯一。 cTime属性标记了datanode存储系统的创建时间，对于刚刚格式化的存储系统，这个属性为0；但是在文件系统升级之后，该值会更新到新的时间戳。 datanodeUuid：datanode的唯一识别码...阅读全文
。 但如果一个事务中的命令有非语法类的错误（比如对String执行HSET操作），无论客户端驱动还是Redis都无法在真正执行这条命令之前发现，所以事务中的所有命令仍然会被依次执行。在这种情况下，会出现一个事务中部分命令成功部分命令失败的情况，然而与RDBMS不同，Redis不提供事务回滚的功能，所以只能通过其他方法进行数据的回滚。 通过事务实现CAS Redis提供了WATCH命令与事务搭配使用，实现CAS乐观锁的机制。 假设要实现将某个商品的状态改为已售： if(exec(HGET stock:1001 state) == "in stock") exec(HSET stock:1001 state "sold"); 这一伪代码执行时，无法确保并发安全性，有可能多个客户端都获取到了”in...阅读全文
