8.14开始，当在environment中定义了一个stop操作，GitLab将会在相关联的分支本删除时自动触发一个stop操作。 关闭(停止)environments可以通过在environment下定义关键字on_stop来实现。它定义了一个不同的job，用于关闭environment。 请查看environment:action模块中例子。 environment:action Gitlab 8.13 开始引入。 action和on_stop联合使用，定义在job中，用来关闭environment。 举个例子： review_app: stage: deploy script: make deploy-app environment: name: review on_stop...阅读全文
Ceph 是一个可扩展的分布式存储系统，性能卓越，安全可靠。 Ceph 12.2.0 正式版已发布。这是Luminous v12.2.x长期稳定版本的第一个版本。在Kraken（v11.2.z）和 Jewel（v10.2.z）后我们做了很多重大修改，而且升级过程并不简单哦。请仔细阅读版本说明。 在 Kraken（v11.2.z）版本上进行的重要修改 通用 Ceph现在有一个内置的简易DarshBoard，用于监控集群状态。 RADOS Bluestore ceph-osd的新后端存储BlueStore已经稳定，是新创建的OSD的默认设置。 BlueStore通过直接管理物理HDD或SSD而不使用诸如XFS的中间文件系统，来管理每个OSD存储的数据，这提供了更大的性能和功能...阅读全文
一、SVN切换分支操作介绍SVN（Subversion，下文简称SVN）是一种版本控制系统，它提供了一系列的命令行工具来管理源代码。在代码的开发过程中，可能会需要更改当前工作目录下所处的分支。SVN提供了switch命令供用户进行分支切换操作，该命令只修改当前工作目录下原本的模块链接并不会真的修改目标URL中的版本库。在SVN中，一个版本库可能会有多个分支，我们可以通过checkout命令来创建这些分支，也可以使用branches工具来进行分支的删除、移动、查看等，这些工具都是由SVN提供的。SVN提供了非常完善的分支管理机制，让我们可以方便地在开发过程中，随时随地地更换所处的分支。二、SVN切换分支常用命令及其参数介绍切换分支是SVN的基本操作之一，下面是一些常用的命令及其参数。大家可以...阅读全文
"} prometheus_tsdb_head_samples_appended_total{cluster="one"} Cleanupkubectl delete -f k8s/ helm delete --purge prom-one helm delete --purge grafana ingester pods将卡在终止阶段。这是设计使然的，因为ingester是半状态的，并且将在终止之前尝试将其数据刷新到其他ingester。这使得升级和回滚成为可能，同时避免了数据丢失。在这种情况下，我们只是尝试一下，而不关心数据，因此我们可以使用以下命令强制将其删除：kubectl delete pod -l name=ingester --grace-period=0 --force 具有数据去重功能的HA Prometheus设置此设置与上一个非常相似。主要区别在于我们正在部...阅读全文
探针则不会生效。译者：还有一点尽量为 Pod 内的所有容器都定义探针。使用自动缩放在适当的情况下，可以使用自动缩放来动态调整 pod 的数量（Pod 水平自动缩放器，HPA）、pod 消耗的资源量（Pod 垂直自动缩放器, VPA）或集群中的节点数量（集群自动缩放器，CA），具体取决于 对资源的需求。Pod 水平自动扩缩器还可以根据 CPU 需求扩展复制控制器、副本集或有状态集。使用缩放也带来了一些挑战，例如不在容器的本地文件系统中存储持久数据，因为这会阻止水平自动缩放。相反，可以使用 PersistentVolume。当集群上存在高度可变的工作负载并且可能根据需求在不同时间需要不同数量的资源时，集群自动缩放器非常有用。 自动删除未使用的节点也是省钱的好方法！译者：更多自动缩放的内容，可以浏...阅读全文
在 Systemd (linux 操作系统流行的 init 系统和服务管理器) 中发现了一个关键漏洞, 这使得远程攻击者有可能触发缓冲区溢出, 从而通过 dns 响应在目标计算机上执行恶意代码。 Systemd是什么 systemd 是一种系统初始化程序。和 sysVinit 以及 upstart 一样，systemd 会成为系统开机时启动的第一个进程（至少 PID 是 1），由它掌管计算机接下来要做的事情，例如读取 fstab 挂载磁盘和按照 runlevel 的设定启动各种服务。其安全的重要性不言而喻。 Systemd远程代码执行漏洞 CVE-2017-9445 该漏洞编号 CVE-2017-9445 ，实际上驻留在 " systemd-resolved " 的...阅读全文
关。 18. 针对单点故障——实施冗余。 19. 为了容错性和持久性——实施数据复制。 20. 对于用户到用户的快速通信 — 使用 Websockets。 21. 分布式系统中的故障检测——实现心跳。 22. 数据完整性——使用校验和算法。 23. 高效的服务器扩展——一致性哈希。 24. 去中心化数据传输——考虑 Gossip 协议。 25. 基于位置的功能 — 使用四叉树、Geohash 等。 26. 避免特定的技术名称 — 使用通用术语。 27. 高可用性和一致性的权衡——最终一致性。 28. 对于IP解析和域名查询——DNS。 29. 处理网络请求中的大数据——实施分页。 30. 缓存删除策略 — 首选...阅读全文
AWS的预留实例（Reserved Instance）是一种计费方式，并不是一种计算实例，简单讲是一个“包年包月”的优惠方式。购买RI后，可以获得30%以上，至最高 75% 的优惠。你可能会说：“这些我都知道，并且RI我已经在用了。” 你真的熟悉 RI 吗？ 我们知道预留实例（RI）分为两种: 标准RI与可转换RI（CRI），可转换RI的价格往往较高而不容易被接受，而我们又经常遇到需要调整RI，那么我们购买的标准RI能不能进行适当的转换呢？答案是没问题的，AWS为满足客户的需求，提供了很灵活性的设定。 今天主要介绍一下RI的三个灵活属性：大小灵活性匹配，合并拆分，可转换(CRI)，我们暂且这么称呼，三者适用于不同的场景，是互相补充的关系。 大小灵活性匹配 场景：区域范围RI 、相同实例类型...阅读全文
用于选定的前缀），但服务器端无需进行任何内存操作。此外，现在支持选择加入/退出模式，因此，对于不使用广播模式的客户端，可以将其将缓存的内容准确告知服务器，以减少无效消息的数量。从根本上说，现在该功能在需要低内存模式和需要选择性（低带宽）模式时都更好。 2.这是许多用户的旧请求。现在，Redis支持一种模式，用于复制的RDB文件会在不再有用时立即删除。在某些环境中，最好不要将数据存储在磁盘上，而要存储在内存中。 3. ACL在某些方面更好。首先，有一个新的ACL LOG命令，该命令允许查看所有违反ACL的客户端，访问不应该访问的命令，不应该访问的密钥或尝试失败的身份验证。该日志实际上位于内存中，因此每个外部代理都可以调用“ ACL LOG”以查看发生了什么。这对于调试ACL问题非常有用。 但是...阅读全文
。Apache Maven 是一个项目管理和构建工具。基于项目对象模型（POM）的概念， Maven 可以从中心位置管理项目的构建、报告和文档。 此版本更新内容如下： Bug [MNG-7045] - 从 Maven 中删除 CDI API [MNG-7214] - CDI API 中的过渡性依赖 parent 不好。 [MNG-7215] - [Regression] Maven 网站插... 1 4 Visual Studio Code 1.61 发布 Visual Studio Code 1.61 现已发布，其中一些主要亮点内容如下： 在同一组内拆分编辑器：为同一文件快速创建 side-by-side 的编辑器。添加了一个新命令 Split in Group ( Ctrl+K Ctrl+Shift...阅读全文
你可以通过 iftop、Nethogs 和 vnstat 这三个 Linux 网络命令，了解有关你网络连接的大量信息。iftop 通过进程号跟踪网络连接，Nethogs 可以快速显示哪个在占用你的带宽，而 vnstat 作为一个很好的轻量级守护进程运行，可以随时随地记录你的使用情况。 iftop iftop 监听你指定的网络接口，并以 top 的形式展示连接。 这是一个很好的小工具，用于快速识别占用、测量速度，并保持网络流量的总体运行。看到我们使用了多少带宽是非常令人惊讶的，特别是对于我们这些还记得使用电话线、调制解调器、让人尖叫的 Kbit 速度和真实的实时波特率的老年人来说。我们很久以前就放弃了波特率，转而使用比特率。波特率测量信号变化，有时与比特率相同，但大多数情况下不是。 如果你只...阅读全文
deb解包封包工具 08-21 此软件用于解包封包deb包 win下解压deb文件的插件 03-03 How to install DEB plugin: 1. Unzip the deb.wcx to the Total Commander directory 2. In Total Command ubuntu下deb的解压方法 feigeswjtu的专栏 12-25 1万+ 承接上一篇文章中的第二步，解压ubuntu下的deb文件，还是网上搜索吧，http://blog.csdn.net/monkey_d_meng/article/details/6034268这篇文章将的很详细，但是对菜鸟来说还是有点高深，只是说解压deb的方法，没办法了，自己man dpkg查看吧，结果找到了，没...阅读全文
manifest.json 的体系结构。如果你正在使用 Docker 清单，则没有可见的更改 (#80266) 在 TLS 引导用户依赖 bootstrap-kubelet.conf 之后，kubeadm 现在已删除 bootstrap-kubelet.conf 文件，用户应该切换到包含节点凭证的 kubelet.conf 文件（#80676）。 beta.kubernetes.io/metadata-proxy-ready、beta.kubernetes.io/masq-agent-ds-ready、beta.kubernetes.io/kube-proxy-ds-ready（节点标签）不再添加到新节点上。 ip-mask-agent addon 开始使用标签node.kubernetes.io/masq...阅读全文
发行版）。该版本引入了一系列新功能，包括对多平台项目的实验性支持 —— 允许开发者在针对 JVM 和 JavaScript 的模块之间共享代码，以及多项对语言方面的改进 —— 包括支持在注释中使用数组字面量。更多关于 1.2 版本新功能的内容，点此查看。 此外，值得关注的就是协程这个特性了。虽然协程仍然被标记为实验性状态，但官方特意说明了这里“实验性”代表的含义。官方表示协程已经完全准备好用于生产环境，他们也已使用协程进行开发，而且也没发现在使用当中出现任何重大问题。之所以仍保持实验性状态，是为了能够对 Kotlin 继续进行设计迭代。根据目前的计划，Kotlin 1.3 将会删除协程的实验性状态。 Kotlin/Native 对 iOS 开发的支持 另外一个重大消息就是 Kotlin...阅读全文
：更新了 42821 个软件包（占 buster 软件包总数的 72%）。而且，由于各种原因，有相当数量的软件包（9519 个，占 buster 软件包总数的 16%）从这次发行中被删除了。您将不会看到这些包有任何更新，而且在包管理软件中它们会被标记为“过时的”；桌面程序和软件包如往常一样，Debian 也提供了多个桌面程序和环境。提供的桌面环境包括 GNOME 3.38，KDE Plasma 5.20，LXDE 11，LXQt 0.16，MATE 1.24，以及 Xfce 4.16。生产力应用也得到了升级，包括办公套件：LibreOffice 已升级到 7.0 版；Calligra 已升级到 3.2 版；GNUcash 已升级到 4.4 版；这次发行包含了许多软件的更新，其中包括：无驱动扫...阅读全文
、家庭路由器以及大量单板计算机（SBC）。大量的软件包Debian 拥有大量的软件包（当前的稳定版本：59000 个软件包） ，使用 deb 格式。不同的发布版本除了我们的稳定版本外，您还可以通过安装测试版或不稳定版本来获得更新版本的软件。公开的错误跟踪系统我们的 Debian 错误跟踪系统（BTS）向所有人公开，任何人都可通过浏览器访问。我们不会隐藏我们的软件错误，您可以轻松提交新的错误报告或参与讨论。Debian 政策和开发人员工具Debian 提供高质量的软件包。欲了解我们的质量标准，请阅读我们的政策，它规定了每个被发行版接受的软件包所必须满足的技术需求。我们的持续集成策略包括 Autopkgtest（对软件包进行测试），Piuparts（测试安装、升级和删除），以及 Lintian（检...阅读全文
。TLS1.2具有很强的可配置性，因此一些有安全漏洞的站点为兼容老版本的浏览器而没有关闭那些旧的属性。 TLS1.3信奉“少即是多”哲学，取消了对一些老旧而衰弱的加密方式的支持。这意味着你无法打开那些潜在的漏洞。TLS1.2中原有的大量特性都被删除了，其中大部分特性与那些著名的攻击有关，这些特性包括： RSA 密钥传输 —— 不支持前向安全性 CBC 模式密码 —— 易受BEAST和Lucky 13攻击 RC4 流密码 —— 在HTTPS中使用并不安全 SHA-1 哈希函数 —— 建议以SHA-2取而代之 任意 Diffie-Hellman 组 —— CVE-2016-0701漏洞 输出密码——易受 FREAK 和 LogJam攻击 TLS1.3 消除了旧版本中糟糕的加密方式，同时降低了旧的攻击方式对其...阅读全文
。 这是什么意思？ 在接下来的几周内，我将： 将包转交给相应的维护团队从其他维护者的包的Uploaders字段中删除自己的名字对于那些只有我在维护的包，那就任其自生自灭吧 我将尽最大努力维护manpages.debian.org服务（https://manpages.debian.org/）和codesearch.debian.net服务（https://codesearch.debian.net/），但是随时欢迎别人来帮忙。 请所有人都当我永远休假去了。我会尽力解决管理的问题（例如许可转移等），如果有人直接向我提问，而且问题很容易回答的话，我也会尽力回答。 为什么？ 当年加入Debian的时候，我还是一名学生，所以我有大量的业余时间。现在，经过5年多的全职工作，我从日常的工作中学到了很多知识...阅读全文
最近的互联网线上事故发生比较频繁，9月19日网上爆料出顺丰近期发生了一起线上删库事件，在这里就不介绍了。 这里分享一下最近发生在我公司的事故，以及如何避免，并且如何处理优化。 该宕机的直接原因是使用 Redis 的 keys * 命令引起的，一共造成了某个服务化项目的两次宕机。 间接原因还有很多，技术跟不上业务的发展，由每日百万量到千万级是一个大的跨进，公司对于系统优化的处理优先级不高，技术开发人手的短缺。 第一次宕机 2018年9月13日的某个点，公司某服务化项目的 RDS 数据库实例连接飙升，CPU 升到 100%，拒绝了其他应用的所有请求服务。 整个过程如下： 监控报警，显示RDS的CPU使用率达到80%以上，DBA介入，准备KILL慢SQL 1分钟内，没有发现明显阻塞的SQL...阅读全文
如果你运行Debian或它的衍生版本之一(比如Linux Mint或Ubuntu)，迟早会遇到apt-get和dpkg，它们是主要的软件包管理命令。然而，这些只是最常见的Debian软件包工具。这些年来，Debian实际上陆续推出了几十款让安装和配置软件包更容易的脚本和工具。 许多这样的脚本和工具可以帮助你创建软件包。而且，它们常常包括你在桌面工具中根本找不到的功能特性。 下面是Debian中七款最实用的软件包管理工具。大多数工具还应该出现在Debian衍生版中： 7. Aptitude 众所周知，Aptitude是一款基于文本的软件包管理工具。桌面工具可能更符合现代用户的期望，不过Aptitude仍然很有用，所以常常默认情况下安装。 如果你试图修复阻止安装或删除其他任何内容的破损软件包...阅读全文
Apache APISIX Ingress Controller 是一款以 Apache APISIX 作为数据面的 Kubernetes Ingress Controller 开源工具，目前已经更新到 v1.3 版本，实现了如证书管理、负载均衡、金丝雀发布等功能。 长久以来，证书管理都不是一件简单的事情，虽然 Apache APISIX Ingress Controller 支持从 Kubernetes Secrets 资源中提取证书和私钥，并转换为 Apache APISIX 可识别的 SSL 对象，但这只是整个证书管理链中的一部分，证书的颁发、轮转、吊销逻辑依然需要管理员执行，尤其当证书数量比较多时，工作量往往并不小，因而会占用管理员不少的时间。 Cert Manager 是一款致力...阅读全文
本文档是描述 .gitlab-ci.yml 详细用法的下半部分，上半部分的内容请参考这里。.gitlab-ci.yml 文件被用来管理项目的 runner 任务。如果想要快速的了解GitLab CI ，可查看快速引导。 该文件存放于项目仓库的根目录，它定义该项目如何构建。 参考阅读：Gitlab CI 配置文件 .gitlab-ci.yaml 详解（上） artifacts 注意： 非Windows平台从GitLab Runner v0.7.0中引入。 Windows平台从GitLab Runner V1.0.0中引入。 在GItLab 9.2之前，在artifacts之后存储缓存。 在GItLab 9.2之后，在artifacts之前存储缓存。 目前并不是所有的executors都支持...阅读全文
这还差点什么？」，「我应该查哪个网站？」，通常要比「请给出我可以用的解决方案」更容易得到回复，因为你的行为表明一种积极的态度：只要有人能为我指明方向，我就会很乐意自己走完剩下的路。 提问时 认真选择论坛 谨慎地要选择提问的地方，如果你做了下述事情，多半会被忽视或被看成loser： 张贴与论坛主题无关的问题； 在面向高级技术问题的论坛上张贴初级的问题，反之亦然； 在不同的论坛或讨论小组同时张贴同一个问题； 向非熟人或没有义务解决你问题的人发送私人问题邮件。 为防止论坛被灌水，黑客们（论坛管理员）会删掉那些与论坛及主题无关的问题，你不想自己的问题被删掉吧。 因此，第一步是找到正确的提问论坛。谷歌和其它搜索引擎是你好帮手，当你遇到问题时，它们可以帮你搜索到与问题最相关的网站或者论坛。那里通常都会有...阅读全文
他们的努力开发出可行的、可靠的、经过完善测试替代品，以及一个合适的取代 live-build 的候选者，这对于 Debian 项目有利无害。如果他们继续做这件事，他们不会「用一个官方改良，但不可靠且几乎没有经过测试的待选者取代 live-build 」。到目前为止，我还没有看到他们那样做的迹象。其间， live-build 仍保留在存档中——它仍然处于良好状态，且没有一种经过改良的继任者来取代它，因此开发团队没有必要尽快删除它。 11 月 24 号， Armstrong 也在他的博客上发布了一个有关 Debian Live 的新消息。它展示了从 Baumann 退出起两周内的令人高兴的进展。甚至有迹象表明 Debian Live 项目与 live-wrapper 开发者开展了合作。博客上也有...阅读全文
，例如 Pod Yaml 容器挂载配置跟 PodPreset 容器挂载配置为同一路径时，会报错提示冲突。 最后要提一下注意的问题： 目前 PodPreset 的预设功能这块还在演进中，不过已经能大大简化了相关的管理工作，将这些公用配置从开发者手中分离出来，变成系统管理配置。PodPreset 是 Namespace 级别的对象，其作用范围只能是同一个命名空间下容器。目前为 v1alpha1 版本，还不成熟，例如当我们对已创建的 PodPreset 执行非常少量的修改时，重新 apply 或者 replace 时，服务端并没有更新过来（亲测会有问题，只能删除重建），大家可以自己尝试下。 参考资料 PodPreset DocEnable PodPreset...阅读全文
，即使出现了某条日志只写入了一半的情况，也可以使用redis-check-aof工具轻松修复。 AOF文件易读，可修改，在进行了某些错误的数据清除操作后，只要AOF文件没有rewrite，就可以把AOF文件备份出来，把错误的命令删除，然后恢复数据。 AOF的缺点： AOF文件通常比RDB文件更大 性能消耗比RDB高 数据恢复速度比RDB慢 内存管理与数据淘汰机制 最大内存设置 默认情况下，在32位OS中，Redis最大使用3GB的内存，在64位OS中则没有限制。 在使用Redis时，应该对数据占用的最大空间有一个基本准确的预估，并为Redis设定最大使用的内存。否则在64位OS中Redis会无限制地占用内存（当物理内存被占满后会使用swap空间），容易引发各种各样的问题。 通过如下配置控制...阅读全文
，接收操作则是从队列的头部删除元素。如果内部缓存队列是满的，那么发送操作将阻塞直到因另一个goroutine执行接收操作而释放了新的队列空间。相反，如果channel是空的，接收操作将阻塞直到有另一个goroutine执行发送操作而向队列插入元素。...阅读全文
server 来解释, Go 服务每次都是启动一个新的 goroutine 来处理每一个请求，在这个请求的操作往往会启动新 goroutine 访问数据库或其他服务，如果此时客户端断开了连接，后续的消耗资源的操作就完全没必要了。所以我们需要一个在 goroutine 之间同步取消信号，截止时间的机制或者特定请求数据。而 Context 被设计出来就是帮我们实现这个目标。 1 2 3 |-----------| |-----------| |-----------| | goroutine |-------> | goroutine |-------> | goroutine | |-----------| |-----------| |-----------| 默认 Context context 包...阅读全文
once every 2 hours 完成后保存并关闭文件，然后重新启动cron服务以应用此更改： systemctl restart cron 结论 恭喜！ 您已经在Debian 9服务器上成功安装了Observium。 您现在可以轻松获得网络的状态和健康状况。 您可以检查Observium官方文档页面以获取有关配置设备，警报和身份验证模块的更多信息。【本文转载自 Howtoing.com，略有增删】...阅读全文
，也可以在一台不同的远程计算机上工作。 Chrony 和 NTPD 精度对比测试 我们可以从 Chrony 的官方网站上可以看到与 NTPD 各维度详细对比： 从其测试结果上看似乎是各维度性能都可以吊打 NTPD。因此 Chrony 的整体评价还是比较高的。 Chrony 相较于 NTPD 服务的优势 更快的同步只需要数分钟而非数小时时间，从而最大程度的减少时间和频率误差，这对于并非全天运行的台式计算机或系统而言非常有用。能够更好的响应时间频率的快速变化，这对于具备不稳定时钟的虚拟机或导致时钟频率反复变化的节能技术而言非常有用。在初始同步后，它并不会停止时钟，以防对需要系统时间保持单调的程序造成影响。在应对临时非对称延迟时，（例如：大规模下载造成连接饱和时）提供了更好的稳定性。无需对服务器进行...阅读全文
假如你打算加入Debian社区，为Debian社区做些事情的话，那么你可以先申请Debian Maintainer一职。在那之前需要做好哪些准备呢？在本文中，一位华人DM Aron向大家介绍了申请成为Debian Maintainer的流程以及事先准备。 今天我收到了一封邮件，询问关于做 Debian Maintainer 的事情让我给他写几条建议。非常高兴看到越来越多的人参与到 Debian 社区之中，以下是我所写的一点东西，希望有用。 Debian Maintainer (DM)是有个别软件包上传权限的 Debian 开发人员，是成为正式 Debian Developer (DD)前的一个步骤。在开始前需要清楚，为 Debian 贡献点力量是很容易的事情，但要成为“官方”的人员则需要付...阅读全文
为客户提供SEO顾问服务的时候，经常遇到一些作为外部顾问不方便全程参与的情况。比如有的公司要新建网站，或者现有网站推到重来，问我能否从一开始就参与，提供SEO建议。 网站规划设计阶段就考虑SEO当然是好事，但作为一个远在异国的顾问，参与到这种需要大量深度讨论、沟通、协调的过程中，实在是不好操作，内部SEO人员更适合这种工作。 有的客户公司规模比较大，技术开发、内容、SEO等各部门是分开的，SEO部门的很多需求是要提交给技术、运营等部门实施的。反过来，其它部门的需求也由技术部门实施，但可就不一定经过SEO部门同意了。这个过程中就可能产生对SEO的不良影响。 也有的公司人员流动频繁，即使原先的开发人员都经过SEO培训，也还是会有完全不了解SEO的新人加入团队。 这些情况都需要有一个技术部门必须...阅读全文
丝雀部署，然后是一段时间的延迟，然后增量到生产环境的其余部分，每个步骤之间还有一些进一步的延迟。 select步骤是通过名为Target Selection的无状态服务来实现的。这个服务提供了一个RPC方法： 输入是上线的asset列表和哪些asset已经更新的信息输出是还没有更新，但是已经准备更新的asset列表。这个列表通常是空的——比如，因为推出阶段中间配置了一些延迟。 Target Selection通过Prodspec配置，并且实现如下策略： 一次性推送所有东西以预先定义好的顺序，一次推送一个集群推送一个asset，随后所有其他asset 我们发现，即使在单次推出的时间范围内，也需要能够应对不断变化的环境。比如，如果推出持续两周并影响数百个asset，则在推出过程中可能会添加和删除...阅读全文
细信息，请参阅这两篇文章：Nonblocking IO & The method to epoll’s madness. 简化流程如下： 数据存储这块解决了，那么针对连接上来的客户端socket，该用什么数据结构保存进来呢？这里用到了红黑树，由于客户端socket会有频繁的新增和删除操作，而红黑树这块时间复杂度仅仅为O(logN)，还是挺高效的。有人会问为啥不用哈希表呢？当大量的连接频繁的进行接入或者断开的时候，扩容或者其他行为将会产生不少的rehash操作，而且还要考虑哈希冲突的情况。虽然查询速度的确可以达到o(1)，但是rehash或者哈希冲突是不可控的，所以基于这些考量，我认为红黑树占优一些。 客户端socket怎么管理这块解决了，接下来，当有socket有数据需要进行读写事件处理的时...阅读全文
partition都是有序的，即消息发送到队列的顺序跟消费时拉取到的顺序是一致的。replication：副本。一个topic对应的分区partition可以有多个副本，多个副本中只有一个为leader，其余的为follower。为了保证数据的高可用性，leader和follower会尽量均匀的分布在各个broker中，避免了leader所在的服务器宕机而导致topic不可用的问题。 （二）kafka2当中zk的作用/admin：主要保存kafka当中的核心的重要信息，包括类似于已经删除的topic就会保存在这个路径下面。/brokers：主要用于保存kafka集群当中的broker信息，以及没被删除的topic信息。/cluster: 主要用于保存kafka集群的唯一id信息，每个kafka集群都会给分配...阅读全文
微服务。 以上是Dapr官方GitHub仓库上对Dapr的简介。文字虽短，口气却很大，因为其除了涵盖了当前所有的技术热点：分布式、云、微服务，还自我标榜为：分布式应用运行时。分布式应用我们或多或少有些了解，运行时也听到不少，比如常见的语言运行时：Java 运行时，.NET 运行时，Go 运行时等等，那运行时又是什么东西？简要来说：运行时是程序运行依赖的执行环境。以.NET 程序运行时CLR为例，它为.NET应用程序提供了一个托管的代码执行环境负责应用程序在整个执行期间的内存管理、线程管理、安全管理、远程管理、即使编译等。 那分布式应用运行时，就是提供分布式应用运行所依赖的的执行环境。那运行分布式应用需要哪些环境依赖呢？回答这个问题，我们要先思考开发分布式应用的挑战是什么？明确了挑战，那就找到...阅读全文
ghcr.io/vmware-labs/php-wasm:7.4.32-server-wordpress 容器镜像的一部分，我们先将其下载到本地。此命令将只创建一个临时容器（拉取镜像），将 WordPress 文件复制到 /tmp/wp/docroot，然后删除容器。container_id=$(docker create ghcr.io/vmware-labs/php-wasm:7.4.32-server-wordpress) && \ mkdir /tmp/wp && \ docker cp $container_id:/docroot /tmp/wp/ && \ docker rm $container_id 现在我们有了 WordPress，让我们添加服务器：wasmedge --dir...阅读全文
索容易许多。 创建大文档集合 MongoDB 乐于把最大 16MB 的文档置于集合中，而 GridFS 设计用于超过 16MB 的大文档。但是，可以容纳大文档并不意味着那是一个好主意。MongoDB 在单个文档的大小为几 KB 时表现最好，处理它们的方式更像宽 SQL 表的行。大文档会导致 多种性能问题 。 使用大数组创建文档 文档可以包含数组。最好是把数组元素的数量保持在四位数以下。如果数组频繁添加，会使得包含它的文档过大，那样， 它在磁盘上的位置就需要移动 ，反过来，这意味着 每个索引都必须更新 。当一个包含大数组的文档重新索引时，由于 每个数组元素都有一个单独的索引条目 ，所以会发生大量的索引重写。此外，这种重新索引在这类文档插入或删除时也会发生。 为了最小化这个问题，MongoDB...阅读全文
again. //回滚事务 producer.abortTransaction(); } producer.close(); 2.1.10 kafka高性能的原因 磁盘顺序读写：kafka消息不能修改以及不会从文件中间删除保证了磁盘顺序读，kafka的消息写入文件都是追加在文件末尾，不会写入文件中的某个位置(随机写)保证了磁盘顺序写。数据传输的零拷贝读写数据的批量batch处理以及压缩传输 数据传输零拷贝原理：...阅读全文
627891 > 627891.svg -d N 分析持续时间（以秒为单位）。如果未提供启动，恢复，停止或状态选项，则探查器将运行指定的时间段，然后自动停止。 -i N 设置分析间隔(以纳秒或者毫秒等作为单位),默认分析间隔为10ms。 -o 转储文件的格式。 等待15s，就会产生结果，生成 627891.svg 文件。vim 627891.svg 并删除第一行，然后下载到本地并使用浏览器打开。 结果如下图，此图俗称火焰图，主要看每个方法的横轴长度，占用横坐标越长的操作，其占用的 cpu 即最长，很直观的。 9.2 性能黑点分析 我们首先发现下图红框内的代码存在严重的性能问题。在append的过程中，获取线程 stack 的过程耗时比较大。从火焰图中分析，耗时占据了接近50%的是，一个logger操作...阅读全文
需要的只是 Node.js。Docker 容器应该只包含一个进程以及用于运行这个进程所需的最少的文件，你不需要整个操作系统。实际上，你可以删除 Node.js 之外的所有内容。 但要怎么做？所幸的是，谷歌为我们提供了 distroless。以下是 distroless 存储库的描述： “distroless”镜像只包含应用程序及其运行时依赖项，不包含程序包管理器、shell 以及在标准 Linux 发行版中可以找到的任何其他程序。 这正是你所需要的！你可以对 Dockerfile 进行调整，以利用新的基础镜像，如下所示： FROM node:8 as build WORKDIR /app COPY package.json index.js ./ RUN npm install FROM...阅读全文
器容灾稳定性等非专业逻辑的开发。这些服务器的运维和开发知识、经验极大地限制了开发者进行业务开发的效率。设想一下，如果开发者直接租用服务或者开发服务而无须关注如何在服务器中运行部署服务，是否可以极大地提升开发效率和产品质量？这种去服务器而直接使用服务的架构，我们称之为 Serverless 架构（无服务器架构）。 Serverless 架构的问世 2014 年，云厂商 AWS 推出了“无服务器”的范式服务。其实，最初“无服务器”意在帮助开发者摆脱运行后端应用程序所需的服务器设备的设置和管理工作。这项技术的目标并不是为了实现真正意义上的“无服务器”，而是指由第三方供应商负责后端基础结构的维护，以服务的方式为开发者提供所需功能，例如数据库、消息，以及身份验证等。这种服务基础结构通常可以叫做后端即服...阅读全文
queuerabbitmqctl cancel_sync_queue name #取消某个queue的同步功能以上针对消息同步的命令，均可以通过监控界面来进行操作，最终也是通过这些操作命令执行。 说明：镜像队列不是负载均衡，镜像队列无法提升消息的传输效率，或者更进一步说，由于镜像队列会在不同节点之间进行同步，会消耗消息的传输效率。 对exclusive队列设置镜像并不会有任何作用，因为exclusive队列是连接独占的，当连接断开，队列自动删除。所以实际上这两个参数对exclusive队列没有意义。那么有哪些队列是exclusive呢？一般来说，发布订阅队列及设置了该参数的队列都是exclusive 排他性队列。 如何确定一个队列是不是排他性队列呢？ 如果队列的features包含Excl，就代表它是排他性队列。 镜像队...阅读全文
API 中的一种特殊的 ephemeralcontainers 处理器进行创建的，而不是直接添加到 pod.spec 段，因此无法使用 kubectl edit 来添加一个临时容器。 与常规容器一样，将临时容器添加到 Pod 后，将不能更改或删除临时容器。 为什么我们需要Ephemeral 容器？ 我们知道容器的优点是它们通过使用不变方法提供所有必需的依赖项来运行隔离的进程。通过仅将所需的依赖项添加到镜像中，容器可以降低攻击面并提供更快的启动和部署。使用“distroless”方法构建容器镜像（基于scratch），通过仅包含已编译的应用程序二进制文件，将容器镜像提升到了一个新的水平。与普通的容器镜像不同，它们不基于任何种类的Linux发行版，因此不包含任何其他可通过kubectl exec执行...阅读全文
0.269t 0.053t 0.025t D 14.6 86.2 1081:18 influxd在出现堆积时，wa很高，说明问题再次出现在磁盘io上，而且influxd的SHR空间占用了25g，又是为什么？面对新出现的问题，当前的主要手段仍然是从influxdb配置文件入手，但是该如何优化?2.tsi原理工欲善其事，必先利其器。查阅了相关资料之后，整理了influxdb使用tsi索引时原理图:说明:写入influxdb时，会同时写wal文件及cache内存, wal用于宕机恢复cachecache在达到配置中的阈值时，会进行snapshot快照,进行落盘influxdb的series及index索引会在内存中全量保存，用于快速检索wal文件大小在达到配置中阈值时，会进行压缩转换到index索引...阅读全文
，可能是先从RSS数据源中抓取文章的内 容，然后将其丢入一个叫做“文章”的topic中；后续操作可能是需要对这个内容进行清理，比如回复正常数据或者删除重复数据，最后再将内容匹配的结果返 还给用户。这就在一个独立的topic之外，产生了一系列的实时数据处理的流程。 日志聚合:使用Kafka代替日志聚合（log aggregation）。日志聚合一般来说是从服务器上收集日志文件，然后放到一个集中的位置（文件服务器或HDFS）进行处理。然而Kafka忽略掉 文件的细节，将其更清晰地抽象成一个个日志或事件的消息流。这就让Kafka处理过程延迟更低，更容易支持多数据源和分布式数据处理。比起以日志为中心的 系统比如Scribe或者Flume来说，Kafka提供同样高效的性能和因为复制导致的更高的耐用性保证...阅读全文
HTTP状态码（HTTP Status Code）是用以表示网页服务器HTTP响应状态的3位数字代码。它由 RFC 2616 规范定义的，并得到RFC 2518、RFC 2817、RFC 2295、RFC 2774、RFC 4918等规范扩展。所有状态码的第一个数字代表了响应的五种状态之一。 各状态码具体含义 1xx 消息 这一类型的状态码，代表请求已被接受，需要继续处理。这类响应是临时响应，只包含状态行和某些可选的响应头信息，并以空行结束。由于 HTTP/1.0 协议中没有定义任何 1xx 状态码，所以除非在某些试验条件下，服务器禁止向此类客户端发送 1xx 响应。 100 客户端应当继续发送请求。这个临时响应是用来通知客户端它的部分请求已经被服务器接收，且仍未被拒绝。客户端应当继续发送...阅读全文
使是用户删除计算实例之后，数据存储继续有效。亚马逊还提供了基于硬盘的弹性块存储服务，每个月每GB的存储费仅为4.5美分。上述业者苏里预测，弹性块存储的毛利率在60%到70%之间。数据库软件亚马逊云计算还给企业提供了多种数据库工具。传统上，企业更多使用关系数据库。数据存储在一个表中，每个表有多行和多列数据。应用软件可以在数据库中保存数据，也可以读出数据。AWS的“关系数据库服务”提供了多种选项：比如微软公司的SQL Server，甲骨文公司知名的Oracle，开放源码的MariaDB、MySQL和PostgreSQL，以及亚马逊自家的Aurora（可以和MySQL和PostgreSQL兼容）。苏里表示，如果客户在关系数据库中使用亚马逊自有的Aurora，那么这一业务的毛利润率大约65%到75...阅读全文
（Kubernetes中的节点指服务器）负责管理集群的状态。 它运行Etcd ，它在将工作负载调度到工作节点的组件之间存储集群数据。 两个工人节点 工作节点是运行工作负载 （即容器化应用程序和服务）的服务器。 一旦工作人员分配了工作负载，工作人员将继续运行您的工作负载，即使主计划在调度完成后停止工作也是如此。 通过添加工作人员可以增加群集的容量。 完成本指南后，如果群集中的服务器具有足够的CPU和RAM资源供应用程序使用，您将拥有一个可以运行容器化应用程序的集群。 几乎任何传统的Unix应用程序（包括Web应用程序，数据库，守护程序和命令行工具）都可以进行容器化，并在集群上运行。 群集本身将在每个节点上消耗大约300-500MB的内存和10％的CPU。 设置群集后，您将向其部署Web服务器Nginx ，以确保它...阅读全文
本章将介绍如何在Apollo配置中心中删除已经发布的项目。 专栏目录： 携程 Apollo 配置中心 | 学习笔记 序章 欢迎关注个人公众号： Coder编程 欢迎关注个人网站：https://coder-programming.cn/ 一、前言 之前一直学习SpringCloud, 对于配置中心，一直也是采用的Spring Cloud Config,但是用久了，发现很多地方满足不了要求，同时也感觉很low(个人看法勿喷)。在学习Spring cloud config 的时候也有听到过携程的apollo，但一直没时间去弄。直到昨天看了一张图，如下：使我下定决心去看看携程的apollo配置中心。 这张图也算是综合对比了spring cloud config,netflix archaius...阅读全文
