InfraPub 为您找到相关结果 76

在TKE上使用Kubecost进行成本管理

看所有原生 Kubernetes 概念的分配支出,例如 NS、Label、Service。 Cost Allocation 还允许将成本分配给 team、product/project、department、or environment 等组织概念。 3. **时间窗口**: 用于衡量成本的指定时间窗口。默认情况下会缓存 1d、2d、7d 和 30d 的结果。 4. **过滤**: 按 NS、clusterId 、lable、Pod prefix 过滤资源,以更密切地成本支出的关键位置。 5. **Allocate idle costs(分配空闲成本)**: Allocate idle costs 按比例将空闲或空闲集群成本分配给租户。具体来说,这适用于已配置但未被租户完全使用或请求...阅读全文

Debian 10.8 发布:包括多项安全更新和错误修复

) | 修正cron脚本中的版本比较 | | [debian-edu-config](https://packages.debian.org/src:debian-edu-config) | 将主机keytabs清理代码从gosa-modify-host中移出,变成一个独立的脚本,将LDAP调用减少为一个 | | [debian-installer](https://packages.debian.org/src:debian-installer) | 使用 4.19.0-14 Linux 内核 ABI;根据提议的更新进行重建 | | [debian-installer-netboot-images](https://packages.debian.org/src:debian...阅读全文

博文 2021-02-07 10:57:22 joseph

Ceph 12.2.0 正式版本发布, 代号 Luminous

SSD来调整其默认配置。一般不需要手动调整。 原型mclock QoS排队算法已经可用。 新增一种退出机制,可以防止OSD出现对当前不能处理IO对象或PG的请求过载情况。 OSD更换过程简化,变得更加强大了。 您可以使用ceph功能来所有连接的后台程序和客户端的支持功能和版本。 通过ceph osd set-require-min-compat-client连接到集群,您可以配置最旧的Ceph客户端版本,但 Ceph将阻止您启用会破坏与这些客户端的兼容性的功能。 包括osd_recovery_sleep,osd_snap_trim_sleep和osd_scrub_sleep的几个睡眠设置,已经被重新实现,并且可以有效地工作。(这些在某些情况下用于解决问题,限制后台工作。) 完成对...阅读全文

博文 2017-08-31 13:36:49 debian.cn

Apache Kafka发布 3.0 正式版

弃用,新的subtopology()和partition()干将替换旧topicGroupId和partition字段(参见KIP-744的相关变化和修正KIP-740)。KIP-744:迁移TaskMetadata,并ThreadMetadata与内部实现的接口KIP-744将KIP-740提出的更改更进一步,并将实现与许多类的公共 API 分开。为了实现这一点,引入了新的接口TaskMetadata、ThreadMetadata和StreamsMetadata,而弃用了具有相同名称的现有类。KIP-666:添加Instant基于方法到ReadOnlySessionStore交互式 API 扩展了ReadOnlySessionStore和SessionStore接口中的一组新方法,这些...阅读全文

博文 2021-09-26 14:13:03 joseph

一位资深Java架构师的晋级心得

计原理,Spring事务处理机制,SpringMVC,Spring源码分析Mybatis:Mybatis体系结构,Mybatis核心应用与配置,Mybatis关联,与Spring集成,Mybatis源码分析 2. 工程化工具 Maven项目工具:Maven命令使用,Maven的pom配置体系,插件机制及插件开发,Nexus使用,上传,配置Git分布式版本控制:Git安装和理解仓库,工作常用命令,分支和Tag管理,代码冲突解决方案,Github开源社区,Git企业应用,与IDE集成Sonar代码检测:Sonar环境搭建和使用,使用Sonar进行代码质量管理,与IDE集成使用Jenkins:搭建Jenkins自动化部署环境,集成git/maven/sonar工具,插件机制 3. 微服务架构...阅读全文

博文 2019-01-13 22:49:22 debian.cn

Proxy-Go v6.6 发布啦

持在 tls 和 kcp 之后进行自定义加密, 也就是说自定义加密和 tls|kcp 是可以联合使用的, 内部采用 AES256 加密, 使用的时候只需要自己定义一个密码即可。 底层压缩高效传输,http(s)\sps\socks 代理在 tcp 之上可以通过自定义加密和 tls 标准加密以及 kcp 协议加密 tcp 数据, 在加密之后还可以对数据进行压缩, 也就是说压缩功能和自定义加密和 tls|kcp 是可以联合使用的。 安全的 DNS 代理,可以通过本地的 proxy 提供的 DNS 代理服务器与上级代理加密通讯实现安全防污染的 DNS 。 负载均衡, 高可用,HTTP(S)\SOCKS5\SPS 代理支持上级负载均衡和高可用, 多个上级重复-P 参数即可. 指定出口 IP...阅读全文

博文 2018-12-01 09:52:14 Go v6.6 发布 新增智能模式

Stackstorm 入门介绍

可扩展套件,与你的基础环境交互,执行流程如下: 从各个服务系统通过push或pull的方式把event传给sensors, sensors会产生一个trigger到规则配置中该trigger对应的动作或者工作流将来自工作流的Action发送到消息队列(内置rabbitmq)中Actions到达外部的系统后就执行相应的动作日志和审计历史被推送到数据库进行存储(Mongodb)处理后的结果被发送回规则引擎进行进一步处理 Stackstorm的更新非常活跃,最新的发布信息从官方网站上可以看到。目前最新的版本是 2.10.1。 Stackstorm工作原理 目录...阅读全文

Tmux 快速教程:快捷键和配置

作逻辑 复制粘贴缓冲区 安装的话也很简单,在 mac 下直接 brew install tmux(前提需要安装 homebrew),Debian 下则直接 sudo apt-get install tmux 在终端中输入 tmux 就可以打开一个新的 tmux session,tmux 的所有操作必须先使用一个前缀键(默认是 ctrl + b)进入命令模式,或者说进入控制台,就像 vim 中的 esc。 基本操作 信息 tmux list-keys 列出所有可以的快捷键和其运行的 tmux 命令 tmux list-commands 列出所有的 tmux 命令及其参数 tmux info 流出所有的 session, window, pane, 运行的进程号,等。 窗口控制 先来看看在...阅读全文

博文 2017-11-07 15:17:49 debian.cn

玩转 AWS 的必备工具

个轻巧的分布式存储。小编迄今依然仍在应用GXP开展日常的管理方法和规模性数据处理方法实际操作这些,有感兴趣的大家能够到GXP首页:qnu/gxp。 SaltStackSaltStackautomationforCloudOps,ITOps&DevOpsatscale SaltStack也是根据Python的一种系统软件布署管理系统软件。和Ansible相近,SaltStack也是根据ssh和服务项目上的SaltStack过程(minions)通讯并根据YAML叙述环境变量。可是有别于Ansible,SaltStack选用的是主从关系式的多级别系统架构,因而必须在服务端事先安裝一个SaltStackminion软件包。 系统架构图自动生成可视化工具...阅读全文

玩转 AWS 的必备工具

一个根据make的Map-Reduce解决构架和一个轻巧的分布式存储。小编迄今依然仍在应用GXP开展日常的管理方法和规模性数据处理方法实际操作这些,有感兴趣的大家能够到GXP首页:qnu/gxp。 SaltStackSaltStackautomationforCloudOps,ITOps&DevOpsatscale SaltStack也是根据Python的一种系统软件布署管理系统软件。和Ansible相近,SaltStack也是根据ssh和服务项目上的SaltStack过程(minions)通讯并根据YAML叙述环境变量。可是有别于Ansible,SaltStack选用的是主从关系式的多级别系统架构,因而必须在服务端事先安裝一个SaltStackminion软件包。 系统架构图自动...阅读全文

案例:Redis命令不当 引起数据库雪崩 造成数百万损失

服务化项目服务不可用几十分钟,造成订单数减少几十万笔,损失百万资金。 原因分析 当时是没有定位到具体的原因的,但是下面的原因也是一部分可能引起宕机的情况。 某服务化项目的业务增速非常快,在高峰期,数据库QPS突破35000,系统处于高负荷状态。 在高峰期如果同时执行几个全表扫描的SQL,会造成数据库压力急剧上升,应用超时增多,前端应用超时,用户重试,流量飙升,形成了雪崩效应。 主要原因在与一些老项目的SQL性能较差,并且使用的主库,对数据库影响较大。数据库QPS太高,但是缓存方案因为人手原因一直没有落地,慢SQL的问题处理优先级应该提升。 改进方案 针对每个应用建一个数据库账号,严格按照规范使用 缓存优化方案即时落地,慢SQL问题优先处理,集中处理目前已经发现的慢SQL(时间超过1S...阅读全文

博文 2018-10-27 10:18:18 debian.cn

Web前端知识体系精简

-Modified 是标识文件在服务器上的最新更新时间。下次请求时,如果文件缓存过期,浏览器通过 If-Modified-Since 字段带上这个时间,发送给服务器,由服务器比较时间戳来判断文件是否有修改。如果没有修改,服务器返回304告诉浏览器继续使用缓存;如果有修改,则返回200,同时返回最新的文件。 Cache-Control 通常与 Last-Modified 一起使用。一个用于控制缓存有效时间,一个在缓存失效后,向服务是否有更新。 Cache-Control 还有一个同功能的字段:Expires。Expires 的值一个绝对的时间点,如:Expires: Thu, 10 Nov 2015 08:45:11 GMT,表示在这个时间点之前,缓存都是有效的。 Expires 是 HTTP1.0 标准...阅读全文

博文 2021-01-28 17:50:33 debian.cn

得物云原生全链路追踪Trace2.0-采集篇 - OSCHINA

="Servlet3FilterMappingResolverFactory",le="0.2"} 3949.0 1654575981.216 # {span_id="48f29964fceff582",trace_id="c0a80355629ed36bcd8fb1c6c89dedfe"} 1.0 1654575979.751 为了采集 Exemplar 格式指标,同时又需防止分桶标签“le”产生的高基数问题,我们二次开发了指标采集 vmagent,额外过滤携带 Exemplar 数据的指标,并将这类数据异步批量发送到了 Kafka,经过 Flink 消费后落入 Clickhouse 后,由天眼监控门户系统提供接口和UI。 分位线统计与Exemplar 数据关联UI示意图 在数据上报层,OpenTelemetry Java SDK 使用了比 JDK 原生的阻...阅读全文

博文 2022-12-10 06:50:41 中文开源技术交流社区

隐私声明

带类型; 您的IP (Internet Protocol)地址,该地址有时可以显示您所在地理位置; 您在本网站内浏览过的页面、广告和链接; 您访问本网站时发出的访问请求及其日期、时间和引荐网址(如有); 通过Cookie标注您的浏览器的唯一性和在本网站的账户信息(包括您访问本网站的各项活动,浏览习惯等);您可以通过修改浏览器设置的方式拒绝cookie; 我们可能会使用浏览器网络存储(包括 HTML 5)和应用程序数据缓存等机制,在您的设备上收集和存储您所浏览过的网页信息; 如果您需要、更正您的个人信息或注销账号,请通过 support@debian.cn 与我们联系并提供您的账号和其他验证信息,我们在核实后会回复您的请求。 2. 信息的使用 我们仅在必要的情况下...阅读全文

最全的 DevOps 工具集合

Jira Jira 是 Atlassian 开发的专用问题跟踪产品,提供了错误跟踪和敏捷项目管理功能。 JetBrains YouTrack YouTrack 是由 JetBrains 开发的,基于浏览器的专用商业软件,融合了错误跟踪器、问题跟踪系统以及项目管理软件。它的卖点是基于的问题搜索,拥有自动完成、分批处理问题、自定义问题属性集,以及创建自定义工作流的特性。 Zendesk Zendesk 可以轻松地从所有渠道跟踪每一个客户问题。目前 Uber 和 Airbnb 等许多公司都在使用 Zendesk Support 作为他们的问题跟踪软件。 源代码控制 源代码控制主要是为了控制资产,减少沟通障碍,赋能团队。目前业内比较常用的 SCM 工具包括 Git、GitHub、GitLab...阅读全文

博文 2021-05-26 14:35:21 博客园

说透IO多路复用模型_京东云开发者的博客

细信息,请参阅这两篇文章:Nonblocking IO & The method to epoll’s madness. 简化流程如下: 数据存储这块解决了,那么针对连接上来的客户端socket,该用什么数据结构保存进来呢?这里用到了红黑树,由于客户端socket会有频繁的新增和删除操作,而红黑树这块时间复杂度仅仅为O(logN),还是挺高效的。有人会问为啥不用哈希表呢?当大量的连接频繁的进行接入或者断开的时候,扩容或者其他行为将会产生不少的rehash操作,而且还要考虑哈希冲突的情况。虽然速度的确可以达到o(1),但是rehash或者哈希冲突是不可控的,所以基于这些考量,我认为红黑树占优一些。 客户端socket怎么管理这块解决了,接下来,当有socket有数据需要进行读写事件处理的时...阅读全文

博文 2023-01-01 15:13:50 CSDN博客

中国开源人访谈系列之:清风博主

基本为技术相关的文章。请问起初做这个网站的初衷是什么呢?关于网站还有其他需要说的吗? 答:原来写过一个成绩分析的php小程序(phpcj的由来),放到网上,得到不少人的鼓励,于是就申请了个域名作为程序的网站。后来在朋友的建议下,做成了博客。说是博客,也就是一个个人笔记,记录一下遇到的问题如何解决的,方便以后,好记性不如一个烂笔头嘛!有时遇到问题,搜索一下,也会搜索到自己的博客上,咦,以前不是遇到过这个问题么? 11.作为一名狂热的Linux爱好者,能介绍下日常你怎么折腾技术或者Linux的吗?您喜欢哪些呢,能与我们分享吗? 答:由于喜欢折腾各种发行版,笔记本上目前有若干个Linux最新的发行版,现在是 Gentoo + Ubuntu16.04 + Archlinux + Fedora23...阅读全文

博文 2021-01-28 17:50:13 debian.cn

译:Kubernetes 最佳实践

。Azure Monitor 等日志聚合工具可用于将日志从 AKS 发送到日志分析工作区,以便将来使用 Kusto 进行审讯。在 AWS Cloudwatch 上可以使用。第三方工具还提供更深入的监控功能,例如 Dynatrace 和 Datadog。最后,应该为日志设置一个保留期,通常为 30-45 天左右。使用版本控制系统K8s 配置文件应该在版本控制系统 (VCS) 中进行管理。这带来了很多好处,包括提高安全性、启用更改的审计跟踪,并将提高集群的稳定性。应为所做的任何更改设置审批,以便团队可以在将更改提交到主分支之前对其进行评审。使用基于Git的工作流程(GitOps)K8s 的成功部署需要考虑团队使用的工作流程。使用基于 git 的工作流可以通过使用 CI/CD(持续集成 / 持续交付)管...阅读全文

博文 2022-09-13 19:32:21 atbug.com

Monit:开源服务器监控工具

!= 0 then alert 控制台访问验证 访问Monit Web界面主要通过ALLOW选项进行控制,ALLOW选项用于指定身份验证并仅授权特定客户端进行连接。 如果正在使用Monit命令行界面,至少需要一个明文密码(见下文),否则Monit命令行界面将无法连接到Monit Web界面。 尝试连接到Monit,但提交错误的用户名和/或密码的客户端将使用其IP地址记录。 主机和网络允许列表 Monit维护允许连接的主机和网络的访问控制列表。您可以添加任意数量的主机,但只允许具有有效域名或其IP地址的主机。 Monit将名称服务器以检查任何尝试连接的主机。如果主机(客户端)正在尝试连接,但无法在访问列表中找到或无法解决,Monit将立即关闭与客户端的连接。 配置文件示例: set httpd...阅读全文

博文 2023-04-12 15:21:43 阿里云开发者社区

kubectl 创建 Pod 背后到底发生了什么?—探寻 Kubectl 创建 Pod 的原理

意到一个问题:如果 kube-apiserver 不能显示这些资源,那么用户级控制器是如何处理资源的呢? 为了解决这个问题,kube-apiserver 暴露了一个 ?includeUninitialized 参数,它会返回所有的资源对象(包括未初始化的)。 5. 控制循环 Deployments controller 到了这个阶段,我们的 Deployment 记录已经保存在 etcd 中,并且所有的初始化逻辑都执行完成,接下来的阶段将会涉及到该资源所依赖的拓扑结构。在 Kubernetes 中,Deployment 实际上只是一系列 Replicaset 的集合,而 Replicaset 是一系列 Pod 的集合。那么 Kubernetes 是如何从一个 HTTP 请求按照层级结构依...阅读全文

博文 2022-04-18 16:18:04 CSDN

HTTP状态码详解

能够处理的范围。此种情况下,服务器可以关闭连接以免客户端继续发送此请求。 如果这个状况是临时的,服务器应当返回一个 Retry-After 的响应头,以告知客户端可以在多少时间以后重新尝试。 414 请求的URI 长度超过了服务器能够解释的长度,因此服务器拒绝对该请求提供服务。这比较少见,通常的情况包括: 本应使用POST方法的表单提交变成了GET方法,导致字符串(Query String)过长。 重定向URI “黑洞”,例如每次重定向把旧的 URI 作为新的 URI 的一部分,导致在若干次重定向后 URI 超长。 客户端正在尝试利用某些服务器中存在的安全漏洞攻击服务器。这类服务器使用固定长度的缓冲读取或操作请求的 URI,当 GET 后的参数超过某个数值后,可能会产生缓冲区溢出,导致任...阅读全文

博文 2021-01-28 17:50:11 debian.cn

深度解密基于 eBPF 的 Kubernetes 问题排查全景图

火焰图来看。如果代码没有问题,那么可能执行代码的环境是有问题的,这时可以查看系统的 CPU/Memory 等资源是否有问题来做进一步排查。​下面举个 SQL 慢的例子(如下图)。在这个例子中网关调用 product 服务,product 服务依赖了 MySQL 服务,逐步查看链路上的黄金指标,最终发现 product 执行了一条特别复杂的 SQL,关联了多张表,导致 MySQL 服务响应慢。MySQL 协议基于 TCP 之上的,我们的 eBPF 探针识别到 MySQL 协议后,组装、还原了 MySQL 协议内容,任何语言执行的 SQL 语句都能采集到。​第二个例子是应用本身慢的例子,这时候自然会问具体哪一步、哪个函数造成了慢,ARMS 应用监控支持的火焰图通过对 CPU 耗时定期采样(如...阅读全文

博文 2022-03-21 09:11:51 joseph

谷歌公开了内部管理Infra层的两个工具的Paper

证:我们通过一系列广泛的验证器运行每个生成的incarnation。大多数验证器会验证incarnation的一致性,而有些验证器则使用外部数据库交叉检查内容。准备一系列的验证器是极其重要的——损坏是非常常见的配置问题,验证器可以有效地检测损坏并防止错误配置进入生产环境。在添加新的asset类型或插件时,我们几乎总会同时添加多个验证器。存储:一旦验证了某个incarnation,结果就会存储到Spanner里。虽然特定的incarnation很少使用很长时间,但是在事后保留结果以辅助问题的调试是很有价值的。服务:通过服务器访问存储的incarnation。消费者可以请求最新的incarnation,特定的incarnation,或者其他的。它们还可以过滤出想看到的asset,这在处理有上...阅读全文

博文 2023-01-08 11:23:20 CSDN博客

Redis 命令、特性介绍与性能调优

集并返回/存储至另一个Set中,时间复杂度O(N),N为参与计算的所有集合的总member数 上述几个命令涉及的计算量大,应谨慎使用,特别是在参与计算的Set尺寸不可知的情况下,应严格避免使用。可以考虑通过SSCAN命令遍历获取相关Set的全部member(具体请见 https://redis.io/commands/scan ),如果需要做并集/交集/差集计算,可以在客户端进行,或在不服务实时请求的Slave上进行。 Sorted Set Redis Sorted Set是有序的、不可重复的String集合。Sorted Set中的每个元素都需要指派一个分数(score),Sorted Set会根据score对元素进行升序排序。如果多个member拥有相同的score,则以字典序进行升...阅读全文

博文 2018-10-27 10:37:55 debian.cn

Hadoop 核心 - HDFS 分布式文件系统详解

> 6.1 抽象为block块的好处 1) 一个文件有可能大于集群中任意一个磁盘 10T*3/128 = xxx块 2T,2T,2T 文件方式存—–>多个block块,这些block块属于一个文件 2) 使用块抽象而不是文件可以简化存储子系统 3) 块非常适合用于数据备份进而提供数据容错能力和可用性 6.2 块缓存 通常 DataNode 从磁盘中读取块,但对于访问频繁的文件,其对应的块可能被显示的缓存在 DataNode 的内存中,以堆外块缓存的形式存在。默认情况下,一个块仅缓存在一个DataNode的内存中,当然可以针对每个文件配置DataNode的数量。作业调度器通过在缓存块的DataNode上运行任务,可以利用块缓存的优势提高读操作的性能。 例如: 连接(join)操作中使用的一个小的表...阅读全文

Kafka 3.0新特性全面曝光,真香!

),则在下一次推送日志时缩小nextIndex,直到nextIndex验证通过。总结一下就是:当leader和follower日志冲突的时候,leader将校验 follower最后一条日志是否和leader匹配,如果不匹配,将递减,直到匹配,匹配后,删除冲突的日志。这样就实现了主从日志的一致性。(二)Raft协议算法代码实现前面我们已经大致了解了Raft协议算法的实现原理,如果我们要自己实现一个Raft协议的算法,其实就是将我们讲到的理论知识给翻译成为代码的过程,具体的开发需要考虑的细节比较多,代码量肯定也比较大,好在有人已经实现了Raft协议的算法了,我们可以直接拿过来使用。创建maven工程并导入jar包地址如下: 阅读全文

博文 2022-04-28 16:02:11 mp.weixin.qq.com