通过Prometheus查询K8S集群Pod 的CPU、内存、网络指标
(container_network_receive_bytes_total{image!=""}[1m])) by (pod_name) 本文由“跟着大数据和AI去旅行”发布于“简书”，转载时有增删和错误修正。...阅读全文
InfraPub 为您找到相关结果 152 个
第8个LTS版本 Ubuntu 20.04 将带来哪些新特性？
Ubuntu 19.10 生命周期将在今年 7 月结束，之后一段时间内最大的版本则是 Ubuntu 20.04 LTS，其重大更新和改进将在 2030 年前终止。20.04 是 Ubuntu 的第 8 个 LTS 版本，计划于今年 4 月 23 日发布。前两天我们报导过 Ubuntu 20.04 LTS 的版本更新时间表，描述了各个时间节点的发布情况，今天来看看 20.04 会带来什么亮点。 首先是主题变化，Yaru 会有一个从亮到暗的主题变化可选，该主题下的复选框、单选按钮以及滑块和进度条等，都不再呈蓝色或绿色，而以紫色取代之。从绿色切换到紫色，整体上减少了纷杂的色彩，同时也不破坏 Ubuntu 本身的和谐。 其次，Ubuntu 社区的另一个期待已久的需求也将得到满足，系统将删除预装的...阅读全文
Ceph 12.2.0 正式版本发布， 代号 Luminous
使用每个实例的唯一Ceph用户ID来支持新的Dashboard。 在创建集群期间，不再自动创建默认的’rbd’池。另外，当没有指定池时，rbd CLI使用的默认池的名称可以通过新的rbd default pool =
百度运维工程师挖矿实录：四个月用155台服务器挖矿赚10万判3年
资源，从而获取虚拟货币的一种程序，需要较高的硬件配置及用电量。 而单凭一个矿工的力量是挖不到比特币的。于是“安某”便想到可以利用自己的职务之便利用百度的服务器来开启自己的发家致富之路，只是他可能没想到的是事情会败露的这么快。 那么，他具体是怎么做的呢？ 首先，他用自己的工作账户上传了一个压缩文件 miner.tar.gz ，其中包含一个名为 java_4u3 的脚本， 而这个脚本可以自动执行解压缩、创建目录、删除目录、自动连接代理进行网络交换，达到控制服务器的目的。 然后，编译了一个挖矿程序，并将上述程序部署非法控制了百度的 155 台服务器上，利用公司为其配备的苹果电脑上的 iterm 软件控制所有服务器的中控机，通过中控机上传挖矿脚本，并通过 iterm 软件发出批量下载指令，让 200...阅读全文
SVN切换分支用法汇总
一、SVN切换分支操作介绍SVN（Subversion，下文简称SVN）是一种版本控制系统，它提供了一系列的命令行工具来管理源代码。在代码的开发过程中，可能会需要更改当前工作目录下所处的分支。SVN提供了switch命令供用户进行分支切换操作，该命令只修改当前工作目录下原本的模块链接并不会真的修改目标URL中的版本库。在SVN中，一个版本库可能会有多个分支，我们可以通过checkout命令来创建这些分支，也可以使用branches工具来进行分支的删除、移动、查看等，这些工具都是由SVN提供的。SVN提供了非常完善的分支管理机制，让我们可以方便地在开发过程中，随时随地地更换所处的分支。二、SVN切换分支常用命令及其参数介绍切换分支是SVN的基本操作之一，下面是一些常用的命令及其参数。大家可以...阅读全文
Gitlab CI 配置文件 .gitlab
8.14开始，当在environment中定义了一个stop操作，GitLab将会在相关联的分支本删除时自动触发一个stop操作。 关闭(停止)environments可以通过在environment下定义关键字on_stop来实现。它定义了一个不同的job，用于关闭environment。 请查看environment:action模块中例子。 environment:action Gitlab 8.13 开始引入。 action和on_stop联合使用，定义在job中，用来关闭environment。 举个例子： review_app: stage: deploy script: make deploy-app environment: name: review on_stop...阅读全文
译：Kubernetes 最佳实践
探针则不会生效。译者：还有一点尽量为 Pod 内的所有容器都定义探针。使用自动缩放在适当的情况下，可以使用自动缩放来动态调整 pod 的数量（Pod 水平自动缩放器，HPA）、pod 消耗的资源量（Pod 垂直自动缩放器, VPA）或集群中的节点数量（集群自动缩放器，CA），具体取决于 对资源的需求。Pod 水平自动扩缩器还可以根据 CPU 需求扩展复制控制器、副本集或有状态集。使用缩放也带来了一些挑战，例如不在容器的本地文件系统中存储持久数据，因为这会阻止水平自动缩放。相反，可以使用 PersistentVolume。当集群上存在高度可变的工作负载并且可能根据需求在不同时间需要不同数量的资源时，集群自动缩放器非常有用。 自动删除未使用的节点也是省钱的好方法！译者：更多自动缩放的内容，可以浏...阅读全文
Cortex: 高可用和水平扩展Prometheus监控系统
"} prometheus_tsdb_head_samples_appended_total{cluster="one"} Cleanupkubectl delete -f k8s/ helm delete --purge prom-one helm delete --purge grafana ingester pods将卡在终止阶段。这是设计使然的，因为ingester是半状态的，并且将在终止之前尝试将其数据刷新到其他ingester。这使得升级和回滚成为可能，同时避免了数据丢失。在这种情况下，我们只是尝试一下，而不关心数据，因此我们可以使用以下命令强制将其删除：kubectl delete pod -l name=ingester --grace-period=0 --force 具有数据去重功能的HA Prometheus设置此设置与上一个非常相似。主要区别在于我们正在部...阅读全文
三个简单而优秀的 Linux 网络监视器
接口。以这种方式合并多个接口的数据： $ vnstat -i wlan0+eth0+eth1 你可以通过以下几种方式过滤显示： -h 以小时显示统计数据。 -d 以天数显示统计数据。 -w 和 -m 按周和月显示统计数据。 使用 -l 选项查看实时更新。 此命令删除 wlan1 的数据库，并停止监控它： $ vnstat -i wlan1 --delete 此命令为网络接口创建别名。此例使用 Ubuntu 16.04 中的一个奇怪的接口名称： $ vnstat -u -i enp0s25 --nick eth0 默认情况下，vnstat 监视 eth0。你可以在 /etc/vnstat.conf 中更改此内容，或在主目录中创建自己的个人配置文件。请参见 man vnstat 以获得完整的参考...阅读全文
AWS省钱攻略：预留实例怎么玩
虑增加合适RI，以进行自动匹配针对license机型（Windows， RHEL 等），因不适用灵活匹配，可进行同实例类型的合并拆分针对实例类型，OS平台的修改等则需要可转换RI 本文转自【光环有云】，略有增删。...阅读全文
Redis 6.0.0 GA已正式发布
用于选定的前缀），但服务器端无需进行任何内存操作。此外，现在支持选择加入/退出模式，因此，对于不使用广播模式的客户端，可以将其将缓存的内容准确告知服务器，以减少无效消息的数量。从根本上说，现在该功能在需要低内存模式和需要选择性（低带宽）模式时都更好。 2.这是许多用户的旧请求。现在，Redis支持一种模式，用于复制的RDB文件会在不再有用时立即删除。在某些环境中，最好不要将数据存储在磁盘上，而要存储在内存中。 3. ACL在某些方面更好。首先，有一个新的ACL LOG命令，该命令允许查看所有违反ACL的客户端，访问不应该访问的命令，不应该访问的密钥或尝试失败的身份验证。该日志实际上位于内存中，因此每个外部代理都可以调用“ ACL LOG”以查看发生了什么。这对于调试ACL问题非常有用。 但是...阅读全文
Polar Signals 开源 Parca 以优化代码并减少云账单 - OSCHINA
。Apache Maven 是一个项目管理和构建工具。基于项目对象模型（POM）的概念， Maven 可以从中心位置管理项目的构建、报告和文档。 此版本更新内容如下： Bug [MNG-7045] - 从 Maven 中删除 CDI API [MNG-7214] - CDI API 中的过渡性依赖 parent 不好。 [MNG-7215] - [Regression] Maven 网站插... 1 4 Visual Studio Code 1.61 发布 Visual Studio Code 1.61 现已发布，其中一些主要亮点内容如下： 在同一组内拆分编辑器：为同一文件快速创建 side-by-side 的编辑器。添加了一个新命令 Split in Group ( Ctrl+K Ctrl+Shift...阅读全文
如何对一个deb包解压、修改、重新打包 全过程
,打开PP助手-越狱系统-/var/mobile/新建一个文件夹命名为aaa 5打开手机终端 6,输入命令su 回车 7,输入密码alpi linux 解压 .deb 及 .tar.xz 包的方法 s_sunnyy的博客 04-21 2898 1. ar -x ***.deb 2. xz -d ***.tar.xz 3. tar -xvf ***.tar tar -zxvf ***.tar.gz Linux下安装软件的几种方法 shun01的专栏 03-25 2万+ 怎么安装应用软件？ 我的软件安装在什么地方？ 如何删除不要的应用软件？ …… 下面，我们就一起来认识一下这些方面的问题。 一、 解析Linux应用软件安装包： 通常Linux应用软件的安装包有三种： 1） tar包，如...阅读全文
Kotlin 一统天下？Kotlin/Native 支持 iOS 和 Web 开发
发行版）。该版本引入了一系列新功能，包括对多平台项目的实验性支持 —— 允许开发者在针对 JVM 和 JavaScript 的模块之间共享代码，以及多项对语言方面的改进 —— 包括支持在注释中使用数组字面量。更多关于 1.2 版本新功能的内容，点此查看。 此外，值得关注的就是协程这个特性了。虽然协程仍然被标记为实验性状态，但官方特意说明了这里“实验性”代表的含义。官方表示协程已经完全准备好用于生产环境，他们也已使用协程进行开发，而且也没发现在使用当中出现任何重大问题。之所以仍保持实验性状态，是为了能够对 Kotlin 继续进行设计迭代。根据目前的计划，Kotlin 1.3 将会删除协程的实验性状态。 Kotlin/Native 对 iOS 开发的支持 另外一个重大消息就是 Kotlin...阅读全文
Debian 11 "bullseye" 发布，带来内核 exFAT 支持
：更新了 42821 个软件包（占 buster 软件包总数的 72%）。而且，由于各种原因，有相当数量的软件包（9519 个，占 buster 软件包总数的 16%）从这次发行中被删除了。您将不会看到这些包有任何更新，而且在包管理软件中它们会被标记为“过时的”；桌面程序和软件包如往常一样，Debian 也提供了多个桌面程序和环境。提供的桌面环境包括 GNOME 3.38，KDE Plasma 5.20，LXDE 11，LXQt 0.16，MATE 1.24，以及 Xfce 4.16。生产力应用也得到了升级，包括办公套件：LibreOffice 已升级到 7.0 版；Calligra 已升级到 3.2 版；GNUcash 已升级到 4.4 版；这次发行包含了许多软件的更新，其中包括：无驱动扫...阅读全文
APISIX Ingress 如何使用 Cert Manager 管理证书
": [ { "title": "Wake up to WonderWidgets!", "type": "all" }, { "items": [ "Why WonderWidgets are great", "Who buys WonderWidgets" ], "title": "Overview", "type": "all" } ], "title": "Sample Slide Show" } } 经过上述操作，可以看到访问成功，说明证书已经生效。注意，由于证书是自签名的，这里需要加上 -k 选项来忽略证书的校验。 此外，如果你想要轮转证书，删除 httpbin 这一 Secret 对象即可，Cert Manager 会立刻创建一个新的 httpbin Secret...阅读全文
改善 Debian Linux 软件包管理的七款工具
如果你运行Debian或它的衍生版本之一(比如Linux Mint或Ubuntu)，迟早会遇到apt-get和dpkg，它们是主要的软件包管理命令。然而，这些只是最常见的Debian软件包工具。这些年来，Debian实际上陆续推出了几十款让安装和配置软件包更容易的脚本和工具。 许多这样的脚本和工具可以帮助你创建软件包。而且，它们常常包括你在桌面工具中根本找不到的功能特性。 下面是Debian中七款最实用的软件包管理工具。大多数工具还应该出现在Debian衍生版中： 7. Aptitude 众所周知，Aptitude是一款基于文本的软件包管理工具。桌面工具可能更符合现代用户的期望，不过Aptitude仍然很有用，所以常常默认情况下安装。 如果你试图修复阻止安装或删除其他任何内容的破损软件包...阅读全文
CentOS停止维护后，我们应该用什么操作系统？
、家庭路由器以及大量单板计算机（SBC）。大量的软件包Debian 拥有大量的软件包（当前的稳定版本：59000 个软件包） ，使用 deb 格式。不同的发布版本除了我们的稳定版本外，您还可以通过安装测试版或不稳定版本来获得更新版本的软件。公开的错误跟踪系统我们的 Debian 错误跟踪系统（BTS）向所有人公开，任何人都可通过浏览器访问。我们不会隐藏我们的软件错误，您可以轻松提交新的错误报告或参与讨论。Debian 政策和开发人员工具Debian 提供高质量的软件包。欲了解我们的质量标准，请阅读我们的政策，它规定了每个被发行版接受的软件包所必须满足的技术需求。我们的持续集成策略包括 Autopkgtest（对软件包进行测试），Piuparts（测试安装、升级和删除），以及 Lintian（检...阅读全文
TLS1.3 正式版发布 — 特性与开启方式科普
。TLS1.2具有很强的可配置性，因此一些有安全漏洞的站点为兼容老版本的浏览器而没有关闭那些旧的属性。 TLS1.3信奉“少即是多”哲学，取消了对一些老旧而衰弱的加密方式的支持。这意味着你无法打开那些潜在的漏洞。TLS1.2中原有的大量特性都被删除了，其中大部分特性与那些著名的攻击有关，这些特性包括： RSA 密钥传输 —— 不支持前向安全性 CBC 模式密码 —— 易受BEAST和Lucky 13攻击 RC4 流密码 —— 在HTTPS中使用并不安全 SHA-1 哈希函数 —— 建议以SHA-2取而代之 任意 Diffie-Hellman 组 —— CVE-2016-0701漏洞 输出密码——易受 FREAK 和 LogJam攻击 TLS1.3 消除了旧版本中糟糕的加密方式，同时降低了旧的攻击方式对其...阅读全文
案例：Redis命令不当 引起数据库雪崩 造成数百万损失
最近的互联网线上事故发生比较频繁，9月19日网上爆料出顺丰近期发生了一起线上删库事件，在这里就不介绍了。 这里分享一下最近发生在我公司的事故，以及如何避免，并且如何处理优化。 该宕机的直接原因是使用 Redis 的 keys * 命令引起的，一共造成了某个服务化项目的两次宕机。 间接原因还有很多，技术跟不上业务的发展，由每日百万量到千万级是一个大的跨进，公司对于系统优化的处理优先级不高，技术开发人手的短缺。 第一次宕机 2018年9月13日的某个点，公司某服务化项目的 RDS 数据库实例连接飙升，CPU 升到 100%，拒绝了其他应用的所有请求服务。 整个过程如下： 监控报警，显示RDS的CPU使用率达到80%以上，DBA介入，准备KILL慢SQL 1分钟内，没有发现明显阻塞的SQL...阅读全文
Gitlab CI 配置文件 .gitlab
8.9和GitLab Runner v1.3.0 引入。 在job失败的时候，artifacts:when用来上传artifacts或者忽略失败。 artifacts:when可以设置一下值： on_success - 当job成功的时候上传artifacts。默认值。 on_failure - 当job失败的时候上传artifacts。 always - 不论job失败还是成功都上传artifacts。 示例配置 只在job失败的时候上传artifacts。 job: artifacts: when: on_failure artifacts:expire_in GitLab 8.9 和 GitLab Runner v1.3.0 引入。 artifacts:expire_in用于过期后删除邮件...阅读全文
我要彻底放弃 Debian 操作系统！-Michael Stapelberg
早在 Ubuntu 诞生之前，作为完全由自有软件组成的类 UNIX 操作系统 Debian 凭借着惊人的软件数量、高度集成的软件包、良好的安全等特性成为 Linux 领域的佼佼者。不过如今看来，Debian 的流行度开始大大减弱。 日前，维护 Debian 包近 10 年的开发者 Michael Stapelberg 发文表示，要在维护的 Debian 包中删除自己的姓名，并让这些包自生自灭，彻底放手 Debian，而这究竟是何原因使得 Debian 惨遭嫌弃？ 作者 | Michael Stapelberg 译者 | 弯月 责编 | 屠敏 出品 | CSDN（ID：CSDNNews） 以下为译文： 这篇文章我写得十分艰难，一来是感情上的纠结，二来是我没有时间。因此，在阅读本文时请注意，我...阅读全文
提问的智慧 – 全文
这还差点什么？」，「我应该查哪个网站？」，通常要比「请给出我可以用的解决方案」更容易得到回复，因为你的行为表明一种积极的态度：只要有人能为我指明方向，我就会很乐意自己走完剩下的路。 提问时 认真选择论坛 谨慎地要选择提问的地方，如果你做了下述事情，多半会被忽视或被看成loser： 张贴与论坛主题无关的问题； 在面向高级技术问题的论坛上张贴初级的问题，反之亦然； 在不同的论坛或讨论小组同时张贴同一个问题； 向非熟人或没有义务解决你问题的人发送私人问题邮件。 为防止论坛被灌水，黑客们（论坛管理员）会删掉那些与论坛及主题无关的问题，你不想自己的问题被删掉吧。 因此，第一步是找到正确的提问论坛。谷歌和其它搜索引擎是你好帮手，当你遇到问题时，它们可以帮你搜索到与问题最相关的网站或者论坛。那里通常都会有...阅读全文
Redis 命令、特性介绍与性能调优
何操作，时间复杂度O(1) HEXISTS：判断指定Hash中field是否存在，存在返回1，不存在返回0，时间复杂度O(1) HDEL：删除指定Hash中的field（1个或多个），时间复杂度：O(N)，N为操作的field数量 HINCRBY：同INCRBY命令，对指定Hash中的一个field进行INCRBY，时间复杂度O(1) 应谨慎使用的Hash相关命令： HGETALL：返回指定Hash中所有的field-value对。返回结果为数组，数组中field和value交替出现。时间复杂度O(N) HKEYS/HVALS：返回指定Hash中所有的field/value，时间复杂度O(N) 上述三个命令都会对Hash进行完整遍历，Hash中的field数量与命令的耗时线性相关，对于尺寸不...阅读全文
Debian Live 项目的剧变
他们的努力开发出可行的、可靠的、经过完善测试替代品，以及一个合适的取代 live-build 的候选者，这对于 Debian 项目有利无害。如果他们继续做这件事，他们不会「用一个官方改良，但不可靠且几乎没有经过测试的待选者取代 live-build 」。到目前为止，我还没有看到他们那样做的迹象。其间， live-build 仍保留在存档中——它仍然处于良好状态，且没有一种经过改良的继任者来取代它，因此开发团队没有必要尽快删除它。 11 月 24 号， Armstrong 也在他的博客上发布了一个有关 Debian Live 的新消息。它展示了从 Baumann 退出起两周内的令人高兴的进展。甚至有迹象表明 Debian Live 项目与 live-wrapper 开发者开展了合作。博客上也有...阅读全文
技术部门的 SEO 规范
，不要使用JS生成。所有用户生成内容（UGC）中的链接加nofollow属性。栏目、产品/文章页面主图加ALT文字，如没有人工填写，可与页面Title相同。禁止使用任何隐藏文字或链接。尽量避免使用表格（table），尤其是嵌套表格。 页面打开速度相关 在不明显影响视觉效果前提下，所有图片均需要最大程度压缩处理后才能使用。不要使用超出实际显示尺寸的图片（不要上传大尺寸图片，然后缩小尺寸显示）。页面纯文字代码（包括HTML、JS、CSS）不超过500K。特殊页面如首页可适当放宽。删除未使用的CSS代码。尽量合并CSS文件。慎用、少用JS。在主流浏览器测试JS是否拖慢页面打开速度。使用主流浏览器实际测试页面打开速度，应不超过3秒。条件允许的话，从多省市测试。 功能使用及代码 除非另行要求，网站所有页...阅读全文
Golang 中的 channel 通道详解
，接收操作则是从队列的头部删除元素。如果内部缓存队列是满的，那么发送操作将阻塞直到因另一个goroutine执行接收操作而释放了新的队列空间。相反，如果channel是空的，接收操作将阻塞直到有另一个goroutine执行发送操作而向队列插入元素。...阅读全文
Kubernetes 使用 PodPreset 注入信息到 Pods_哎_小羊的博客
，例如 Pod Yaml 容器挂载配置跟 PodPreset 容器挂载配置为同一路径时，会报错提示冲突。 最后要提一下注意的问题： 目前 PodPreset 的预设功能这块还在演进中，不过已经能大大简化了相关的管理工作，将这些公用配置从开发者手中分离出来，变成系统管理配置。PodPreset 是 Namespace 级别的对象，其作用范围只能是同一个命名空间下容器。目前为 v1alpha1 版本，还不成熟，例如当我们对已创建的 PodPreset 执行非常少量的修改时，重新 apply 或者 replace 时，服务端并没有更新过来（亲测会有问题，只能删除重建），大家可以自己尝试下。 参考资料 PodPreset DocEnable PodPreset...阅读全文
Debian 9.3上安装和配置 Observium 监控平台
once every 2 hours 完成后保存并关闭文件，然后重新启动cron服务以应用此更改： systemctl restart cron 结论 恭喜！ 您已经在Debian 9服务器上成功安装了Observium。 您现在可以轻松获得网络的状态和健康状况。 您可以检查Observium官方文档页面以获取有关配置设备，警报和身份验证模块的更多信息。【本文转载自 Howtoing.com，略有增删】...阅读全文
下一代时间同步服务 Chrony 详解
的时间间隔是 64.1s。以上结果中的其它参数的含义分别是： 引用 ID - 计算机当前同步的引用 ID 和名称。Stratum - 连接参考时钟的计算机的跳数。参考时间 - 这是参考源的最后一次测量的 UTC 时间。系统时间 - 来自同步服务器的系统时钟延迟。最后一次偏移 - 上次时钟更新的估计偏移量。RMS 偏移 - 偏移值的长期平均值。频率 - 如果 chronyd 没有纠正它，那么系统的时钟错误的速率。它以 ppm （百万分率）提供。残余频率 - 残余频率表示参考源的测量值与当前使用的频率之间的差异。偏斜 - 估计频率的误差界限。根延迟 - 网络路径延迟到计算机正在同步的层计算机的总和。跳跃状态 - 这是跳跃状态，可以具有以下值之一：正常、插入秒、删除秒或不同步。显示所有 NTP 源...阅读全文
Golang Context 探究
, err error) { // 直接调用 cancelCtx 的取消方法 c.cancelCtx.cancel(false, err) if removeFromParent { // 从父节点中删除子节点 removeChild(c.cancelCtx.Context, c) } c.mu.Lock() if c.timer != nil { // 关掉定时器，这样，在deadline 到来时，不会再次取消 c.timer.Stop() c.timer = nil } c.mu.Unlock() } 总结：context 实现取消和定时取消的核心是 context.cancelCtx 和 context.timerCtx。 context 传递数据 context.valueCtx 在...阅读全文
成为Debian社区维护人需要做好的准备
荐后，会有一位专门的负责人来对他进行考核，这个人就是他的 AM。 10. WNPP: Work-Needing and Prospective Packages 的缩写，指需要有人接手或帮助的软件包。这个概念不是模糊的，而是有明确的定义的。 11. MIA: Missing In Action 的缩写，指某位 Maintainer 长时间不参与维护自己的软件包，同时别人也没能成功地与之取得联系。这样的 Maintainer 被称为 Zombie Maintainer 。如果他是 DD，那么他的 Debian 项目帐号会被锁定，一年内无回应则会删除。 12. Debian Project: Debian 项目是构建自由的通用操作系统（The Universal Operating System...阅读全文
谷歌公开了内部管理Infra层的两个工具的Paper
库？服务需要支持多大的流量？ 这些都是很重要的问题，但服务是动态并且变化的：二进制版本不断更新，实例被添加和删除。架构也就需要随之演进：可能需要在某个特定的集群添加新的缓存，移除一些过时的日志等等。 在2014年，我们发现自己不能充分地适应服务的灵活性。对于绝大多数服务，我们使用人工编制的工作流来变更基础架构：推送x，然后y；手动执行不常见的变更。 但是团队通常需要管理数十个服务，每个服务都有很多job，数据库，配置以及自定义的管理流程。已有的解决方案因为如下两大原因无法扩展： 基础架构配置和API是异构的，并且很难连接在一起——比如，不同的服务使用不同的配置语言，抽象级别，存储和推送机制等等。因此，基础架构不一致，很难确定出通用的变更管理。生产变更管理的流程很脆弱，不理解变更之间的联系...阅读全文
说透IO多路复用模型_京东云开发者的博客
epoll_wait三个函数结合来对此数据结构进行操控。 说道epoll_create函数，其作用是在内核中创建一个epoll数据结构实例，然后将返回此实例在系统中的文件描述符。此epoll数据结构的组成其实是一个链表结构，我们称之为interest list，里面会注册连接上来的client的文件描述符。 其简化工作机制如下： 说道epoll_ctl函数，其作用则是对epoll实例进行增删改查操作。有些类似我们常用的CRUD操作。这个函数操作的对象其实就是epoll数据结构，当有新的client连接上来的时候，他会将此client注册到epoll中的interest list中，此操作通过附加EPOLL_CTL_ADD标记来实现；当已有的client掉线或者主动下线的时候，他会将下线的client从...阅读全文
Kafka 3.0新特性全面曝光，真香！
partition都是有序的，即消息发送到队列的顺序跟消费时拉取到的顺序是一致的。replication：副本。一个topic对应的分区partition可以有多个副本，多个副本中只有一个为leader，其余的为follower。为了保证数据的高可用性，leader和follower会尽量均匀的分布在各个broker中，避免了leader所在的服务器宕机而导致topic不可用的问题。 （二）kafka2当中zk的作用/admin：主要保存kafka当中的核心的重要信息，包括类似于已经删除的topic就会保存在这个路径下面。/brokers：主要用于保存kafka集群当中的broker信息，以及没被删除的topic信息。/cluster: 主要用于保存kafka集群的唯一id信息，每个kafka集群都会给分配...阅读全文
2017 年会是 Serverless 爆发之年吗
站）。一般来说包含客户端、服务端程序、数据库，服务端用 Java 开发完成，客户端用 JavaScript。 采用这种架构，服务端需要实现诸多系统逻辑，例如认证、页面导航、搜索、交易等都需要在服务端完成。如果采用 Serverless 架构来对该应用进行改造，则架构如图所示： Serverless 架构相比于传统面向客户端的三层应用架构，有以下几方面的差异： 删除认证逻辑，用第三方 BaaS 服务替代； 使用另外一个 BaaS，允许客户端直接访问架构与第三方（例如 AWS Dynamo）上面的数句子库。通过这种方式提供给客户更安全的访问数据库模式； 前两点中包含着很重要的第三点，也就是以前运行在服务端的逻辑转移到客户端中，例如跟踪用户访问。客户端则慢慢转化为单页面应用。 计算敏感或者需要访问...阅读全文
使用 MongoDB 之前应该知道的 14 件事
索容易许多。 创建大文档集合 MongoDB 乐于把最大 16MB 的文档置于集合中，而 GridFS 设计用于超过 16MB 的大文档。但是，可以容纳大文档并不意味着那是一个好主意。MongoDB 在单个文档的大小为几 KB 时表现最好，处理它们的方式更像宽 SQL 表的行。大文档会导致 多种性能问题 。 使用大数组创建文档 文档可以包含数组。最好是把数组元素的数量保持在四位数以下。如果数组频繁添加，会使得包含它的文档过大，那样， 它在磁盘上的位置就需要移动 ，反过来，这意味着 每个索引都必须更新 。当一个包含大数组的文档重新索引时，由于 每个数组元素都有一个单独的索引条目 ，所以会发生大量的索引重写。此外，这种重新索引在这类文档插入或删除时也会发生。 为了最小化这个问题，MongoDB...阅读全文
如何读懂火焰图？+ 实例讲解程序性能优化 - xuxh120
627891 > 627891.svg -d N 分析持续时间（以秒为单位）。如果未提供启动，恢复，停止或状态选项，则探查器将运行指定的时间段，然后自动停止。 -i N 设置分析间隔(以纳秒或者毫秒等作为单位),默认分析间隔为10ms。 -o 转储文件的格式。 等待15s，就会产生结果，生成 627891.svg 文件。vim 627891.svg 并删除第一行，然后下载到本地并使用浏览器打开。 结果如下图，此图俗称火焰图，主要看每个方法的横轴长度，占用横坐标越长的操作，其占用的 cpu 即最长，很直观的。 9.2 性能黑点分析 我们首先发现下图红框内的代码存在严重的性能问题。在append的过程中，获取线程 stack 的过程耗时比较大。从火焰图中分析，耗时占据了接近50%的是，一个logger操作...阅读全文
细数k8s支持的4种类型的container - 侃豺小哥
API 中的一种特殊的 ephemeralcontainers 处理器进行创建的，而不是直接添加到 pod.spec 段，因此无法使用 kubectl edit 来添加一个临时容器。 与常规容器一样，将临时容器添加到 Pod 后，将不能更改或删除临时容器。 为什么我们需要Ephemeral 容器？ 我们知道容器的优点是它们通过使用不变方法提供所有必需的依赖项来运行隔离的进程。通过仅将所需的依赖项添加到镜像中，容器可以降低攻击面并提供更快的启动和部署。使用“distroless”方法构建容器镜像（基于scratch），通过仅包含已编译的应用程序二进制文件，将容器镜像提升到了一个新的水平。与普通的容器镜像不同，它们不基于任何种类的Linux发行版，因此不包含任何其他可通过kubectl exec执行...阅读全文
WebAssembly：无需容器的 Docker （下）
ghcr.io/vmware-labs/php-wasm:7.4.32-server-wordpress 容器镜像的一部分，我们先将其下载到本地。此命令将只创建一个临时容器（拉取镜像），将 WordPress 文件复制到 /tmp/wp/docroot，然后删除容器。container_id=$(docker create ghcr.io/vmware-labs/php-wasm:7.4.32-server-wordpress) && \ mkdir /tmp/wp && \ docker cp $container_id:/docroot /tmp/wp/ && \ docker rm $container_id 现在我们有了 WordPress，让我们添加服务器：wasmedge --dir...阅读全文
分布式运行时 Dapr 知多少
，并支持通过选项设置并发和一致性行为。 存储：POST http://localhost:
Debian 9 使用kubeadm创建 k8s 集群（上）
文件。 使用组设置服务器清单后，我们继续安装操作系统级依赖关系并创建配置设置。 第2步 - 在所有远程服务器上创建非root用户 在本节中，您将在所有服务器上创建一个具有sudo权限的非root用户，以便您可以作为非特权用户手动SSH连接到这些用户。 例如，如果您希望使用top/htop等命令查看系统信息，查看正在运行的容器列表或更改root拥有的配置文件，这将非常有用。 这些操作通常在维护群集期间执行，并且使用非root用户执行此类任务可以最大程度地降低修改或删除重要文件或无意中执行其他危险操作的风险。 在工作区中创建名为~/kube-cluster/initial.yml的文件： nano ~/kube-cluster/initial.yml 接下来，将以下播放添加到该文件以创建在所有服...阅读全文
RabbitMQ 高可用实现镜像队列
queuerabbitmqctl cancel_sync_queue name #取消某个queue的同步功能以上针对消息同步的命令，均可以通过监控界面来进行操作，最终也是通过这些操作命令执行。 说明：镜像队列不是负载均衡，镜像队列无法提升消息的传输效率，或者更进一步说，由于镜像队列会在不同节点之间进行同步，会消耗消息的传输效率。 对exclusive队列设置镜像并不会有任何作用，因为exclusive队列是连接独占的，当连接断开，队列自动删除。所以实际上这两个参数对exclusive队列没有意义。那么有哪些队列是exclusive呢？一般来说，发布订阅队列及设置了该参数的队列都是exclusive 排他性队列。 如何确定一个队列是不是排他性队列呢？ 如果队列的features包含Excl，就代表它是排他性队列。 镜像队...阅读全文
Kafka生产问题总结以及性能优化
again. //回滚事务 producer.abortTransaction(); } producer.close(); 2.1.10 kafka高性能的原因 磁盘顺序读写：kafka消息不能修改以及不会从文件中间删除保证了磁盘顺序读，kafka的消息写入文件都是追加在文件末尾，不会写入文件中的某个位置(随机写)保证了磁盘顺序写。数据传输的零拷贝读写数据的批量batch处理以及压缩传输 数据传输零拷贝原理：...阅读全文
Golang 操作 Kafka 样例
，可能是先从RSS数据源中抓取文章的内 容，然后将其丢入一个叫做“文章”的topic中；后续操作可能是需要对这个内容进行清理，比如回复正常数据或者删除重复数据，最后再将内容匹配的结果返 还给用户。这就在一个独立的topic之外，产生了一系列的实时数据处理的流程。 日志聚合:使用Kafka代替日志聚合（log aggregation）。日志聚合一般来说是从服务器上收集日志文件，然后放到一个集中的位置（文件服务器或HDFS）进行处理。然而Kafka忽略掉 文件的细节，将其更清晰地抽象成一个个日志或事件的消息流。这就让Kafka处理过程延迟更低，更容易支持多数据源和分布式数据处理。比起以日志为中心的 系统比如Scribe或者Flume来说，Kafka提供同样高效的性能和因为复制导致的更高的耐用性保证...阅读全文
influxdb内存消耗分析及性能优化【探索篇】
-duration = "80h" #并行压缩处理器 max-concurrent-compactions = 8 #压缩每秒落盘数据量 compact-throughput = "16m" #压缩每秒最大落盘数据量 compact-throughput-burst = "16m" #wal日志超过128m时会被压缩为索引文件，并删除 max-index-log-file-size = "128m" [monitor] #关闭监控 store-enabled = false(3) 程序启动numactl --interleave=all env GODEBUG=madvdontneed=1 /usr/bin/influxd -config /usr/bin/influxdb.conf由于笔者水平有限，上述如...阅读全文
三个技巧 大幅减少 Docker 镜像体积
需要的只是 Node.js。Docker 容器应该只包含一个进程以及用于运行这个进程所需的最少的文件，你不需要整个操作系统。实际上，你可以删除 Node.js 之外的所有内容。 但要怎么做？所幸的是，谷歌为我们提供了 distroless。以下是 distroless 存储库的描述： “distroless”镜像只包含应用程序及其运行时依赖项，不包含程序包管理器、shell 以及在标准 Linux 发行版中可以找到的任何其他程序。 这正是你所需要的！你可以对 Dockerfile 进行调整，以利用新的基础镜像，如下所示： FROM node:8 as build WORKDIR /app COPY package.json index.js ./ RUN npm install FROM...阅读全文
HTTP状态码详解
下，某次 PUT 提交的对特定资源的修改请求所附带的版本信息与之前的某个（第三方）请求向冲突，那么此时服务器就应该返回一个409错误，告知用户请求无法完成。此时，响应实体中很可能会包含两个冲突版本之间的差异比较，以便用户重新提交归并以后的新版本。 410 被请求的资源在服务器上已经不再可用，而且没有任何已知的转发地址。这样的状况应当被认为是永久性的。如果可能，拥有链接编辑功能的客户端应当在获得用户许可后删除所有指向这个地址的引用。如果服务器不知道或者无法确定这个状况是否是永久的，那么就应该使用404状态码。除非额外说明，否则这个响应是可缓存的。 410响应的目的主要是帮助网站管理员维护网站，通知用户该资源已经不再可用，并且服务器拥有者希望所有指向这个资源的远端连接也被删除。这类事件在限时、增...阅读全文
大起底：揭开亚马逊云计算丰厚利润的秘密 - 电子商务
使是用户删除计算实例之后，数据存储继续有效。亚马逊还提供了基于硬盘的弹性块存储服务，每个月每GB的存储费仅为4.5美分。上述业者苏里预测，弹性块存储的毛利率在60%到70%之间。数据库软件亚马逊云计算还给企业提供了多种数据库工具。传统上，企业更多使用关系数据库。数据存储在一个表中，每个表有多行和多列数据。应用软件可以在数据库中保存数据，也可以读出数据。AWS的“关系数据库服务”提供了多种选项：比如微软公司的SQL Server，甲骨文公司知名的Oracle，开放源码的MariaDB、MySQL和PostgreSQL，以及亚马逊自家的Aurora（可以和MySQL和PostgreSQL兼容）。苏里表示，如果客户在关系数据库中使用亚马逊自有的Aurora，那么这一业务的毛利润率大约65%到75...阅读全文
Web前端知识体系精简
止，页面渲染完毕。 3、重绘和回流 当渲染树中的一部分(或全部)因为元素的规模尺寸，布局，隐藏等改变而需要重新构建。这就称为回流。比如上面的img文件加载完成后就会引起回流，每个页面至少需要一次回流，就是在页面第一次加载的时候。 当渲染树中的一些元素需要更新属性，而这些属性只是影响元素的外观，风格，而不会影响布局的，比如background-color。则就叫称为重绘。 从上面可以看出，回流必将引起重绘，而重绘不一定会引起回流。 会引起重绘和回流的操作 添加、删除元素(回流+重绘) 隐藏元素，display:none(回流+重绘)，visibility:hidden(只重绘，不回流) 移动元素，比如改变top,left,transform的值，或者移动元素到另外一个父元素中。(重绘+回流...阅读全文
最新评论
