Monit：开源服务器监控工具
> | MATCHING
InfraPub 为您找到相关结果 266 个
Kafka 3.0新特性全面曝光，真香！
导语 | kafka3.0的版本已经试推行去zk的kafka架构了，如果去掉了zk，那么在kafka新的版本当中使用什么技术来代替了zk的位置呢，接下来我们一起来一探究竟，了解kafka的内置共识机制和raft算法。一、Kafka简介Kafka是一款开源的消息引擎系统。一个典型的Kafka体系架构包括若干Producer、若干Broker、若干Consumer，以及一个ZooKeeper集群，如上图所示。其中ZooKeeper是Kafka用来负责集群元数据的管理、控制器的选举等操作的。Producer将消息发送到Broker，Broker负责将收到的消息存储到磁盘中，而Consumer负责从Broker订阅并消费消息。（一）Kafka核心组件producer：消息生产者，就是向broker...阅读全文
六大算法之三：动态规划【转载】
详细徐叙述 2、设置数组边界值，一维数组就是设置第一个数字，二维数组就是设置第一行跟第一列的值，特别的滚动一维数组是要设置整个数组的值，然后根据后面不同的数据加进来变幻成不同的值。 3、找出状态转换方程，也就是说找到每个状态跟他上一个状态的关系，根据状态转化方程写出代码。 4、返回需要的值，一般是数组的最后一个或者二维数组的最右下角。 代码基本框架： for(j=1; j<=m; j=j+1) // 第一个阶段 xn[j] = 初始值; for(i=n-1; i>=1; i=i-1)// 其他n-1个阶段 for(j=1; j>=f(i); j=j+1)//f(i)与i有关的表达式 xi[j]=j=max（或min）{g(xi-[j1:j2]), ......, g(xi-1[jk:jk+1...阅读全文
Apache Flink 1.14 新特性预览 - OSCHINA
的方式希望能够达到更加精细的资源管理和资源的使用率。 五、Table / SQL / Python API 1. Table API / SQL Window Table-Valued Function 支持更多算子与窗口类型 ，可以看如下表格的对比： 从表格中可以看出对于原有的三个窗口类型进行加强，同时新增 Session 窗口类型，目前支持 Aggregate 的操作。 ■ 1.1 支持声明式注册 Source/Sink Table API 支持使用声明式的方式注册 Source / Sink 功能对齐 SQL DDL； 同时支持 FLIP-27 新的 Source 接口； new Source 替代旧的 connect() 接口。 ■ 1.2 全新代码生成器 解决了大家在生成代码超过...阅读全文
RabbitMQ 高可用实现镜像队列
队列机制，将 queue 镜像到 cluster 中其他的节点之上。在该实现下，如果集群中的一个节点失效了，queue 能自动地切换到镜像中的另一个节点以保证服务的可用性。 在通常的用法中，针对每一个镜像队列都包含一个 master 和多个 slave，分别对应于不同的节点。slave 会准确地按照 master 执行命令的顺序进行命令执行，故slave 与 master 上维护的状态应该是相同的。除了 publish 外所有动作都只会向master 发送，然后由 master 将命令执行的结果广播给 slave 们，故看似从镜像队列中的消费操作实际上是在 master 上执行的。 一旦完成了选中的 slave 被提升为 master 的动作，发送到镜像队列的 message 将不会再丢失...阅读全文
“Debian 章程有毒” - OSCHINA
些代表有权力在考虑技术标准和共识的情况下做出他们认为最佳的决定。 至于 Debian 社区的项目层面，DPL 更是无权过问，每个项目的开发者都对项目有百分百的决定权。比如，个别开发者几乎可以完全控制他们维护的软件包；开发人员之间的技术分歧很大的时候，将由项目技术委员会处理；发布管理者与 FTP 主人有权最终决定项目实际发布的内容，以及何时发布；项目秘书负责确保遵循必要的程序；政策团队处理项目的大部分总体设计。 其次，DPL 是可以随时进行更换的，因为有一般决议（General Resolution）这样的通道，开发者们可以重新选举另外的 DPL、撤销 DPL 或代表的决定、修改基本文件并做出其他有约束力的决定。（如下图所示） 那么，DPL 到底是干什么的呢？主要分为两个方面： 在对外职能中...阅读全文
阿里巴巴版 JDK 首发 GA 版 生产环境可用
增强和安全修复，主要针对的场景是数据中心大规模 Java 应用部署情况下，Java 应用稳定性、效率以及性能的优化与提高。从目前公开的功能和披露的规划上来看，Dragonwell 8 具有下述三大重要特性： JwarmUp JwarmUp 是为了解决双十一抢购场景下，阿里巴巴 Java 系统 warmup 的痛点。以普通的 Java 应用举例，JVM 需要经过解释执行 (interpreter) 找到热点，然后通过 JIT 编译器来加速热点方法的运行。对于高并发场景，应用启动之后会有很长时间处于寻找热点、编译热点的状态。这时，很多性能指标 (CPU 使用率、TPS 吞吐量、 RT 响应时间) 不是非常理想。换句话说，当 Java 应用启动并提供服务之后，在相当长的时间内处于 warmup 状...阅读全文
译：零信任对 Kubernetes 意味着什么
。2024财年；国防部创建了零信任参考架构；美国国家安全局发布了一份Kubernetes 强化指南，专门描述了 Kubernetes 中零信任安全的最佳实践。随着这种噪音，零信任无疑吸引了很多营销关注。但尽管有噪音，零信任不仅仅是一个空洞的术语——它代表了对未来安全的一些深刻和变革性的想法。那么具体来说，什么是零信任，为什么它突然变得如此重要？零信任对 Kubernetes 用户意味着什么？什么是零信任？正如所料，零信任从根本上讲是关于信任。它是解决安全核心问题之一的模型：是否允许 X 访问 Y？换句话说，我们是否相信 X 可以访问 Y？当然，零信任中的“零”有点夸张。要使软件正常工作，显然某些东西需要信任其他东西。因此，零信任并不是完全消除信任，而是将信任降低到最低限度（众所周知的最小特权原则）并...阅读全文
influxdb内存消耗分析及性能优化【探索篇】
0.269t 0.053t 0.025t D 14.6 86.2 1081:18 influxd在出现堆积时，wa很高，说明问题再次出现在磁盘io上，而且influxd的SHR空间占用了25g，又是为什么？面对新出现的问题，当前的主要手段仍然是从influxdb配置文件入手，但是该如何优化?2.tsi原理工欲善其事，必先利其器。查阅了相关资料之后，整理了influxdb使用tsi索引时原理图:说明:写入influxdb时，会同时写wal文件及cache内存, wal用于宕机恢复cachecache在达到配置中的阈值时，会进行snapshot快照,进行落盘influxdb的series及index索引会在内存中全量保存，用于快速检索wal文件大小在达到配置中阈值时，会进行压缩转换到index索引...阅读全文
一位五年工作经验架构师的感悟
了一个小时。但是我的水平有限，结果可想而知。我肯定也知道没过，然后我就请教面试官，需要提升的地方，学**哪方面的内容。 于是我去学习，一个月过去了。 第二次面试，也是阿里 B2B 的岗位，我不知道那个时候有没有招聘的公海，按照我的理解是没有的，然后我肯定不会有这么多次机会。这次的面试和上次很像，只不过内容换成了多线程并发相关的知识。我又不知道，面试官还是很容忍我，最后没通过，我同样为了需要什么提高。 于是我去学习，一个月又过去了。 第三次面试，是淘宝，应该是广告部门。这次面试，我觉得除了不知道的内容，其他的内容都还回答的蛮正确的。但是面试官，拿着面试题就和我聊了，然后讲到一个数据库方面的知识时（内连接，外连接），我说不知道。面试官说：这么基础的问题你都不会，这是不能容忍的，其实当时很伤心。有...阅读全文
Cortex: 高可用和水平扩展Prometheus监控系统
高可用性。使Prometheus高可用的一种方式是运行多个实例去scraping相同的作业。这些实例在抓取指标时会因微小的时间间隔差异而在数据中产生细微差异。此外，如果其中一个实例宕机了几个小时，那么当查询转发到该实例时，将会出现数据空白。如果我们使用grafana这样的工具将指标展示为图形，我们可能会得到不同的样本值或有数据缺失的图形。可以将Cortex配置为从多个HA Prometheus实例读取数据。它从一个主实例main接受指标，并从其他实例放弃该度量。一旦这个副本掉线，Cortex会无缝切换到另一副本并将其标记为主副本main。为此，Cortex着眼于两个标签，一个共同的标签与一个集群（或一组Prometheus）相关联，另一个识别副本。全局指标视图可以将Prometheus实例配...阅读全文
Sam Altman的成功学｜OneFlow
且也是显而易见的。 这同样也适用于个人。如果你所从事的工作具有可替代性，那么你最终就会被薪资要求更低的人所取代。 增强竞争力的最佳方式就是建立话语权。例如，你可以利用好个人关系，打造强大的个人品牌，或是在不同领域的交叉点建立起自己的个人优势。当然增强竞争力的方式还有很多，但不论采取什么方式，关键是你必须要做到这一点。 大多数人会模仿身边人的做法，但这种方式并不可取，如果一味模仿他人，那你还有什么竞争优势可言呢？ 11 建立人际网络 出色的工作需要团队合作。打造既可密切合作又可轻松相处的优质人际网络是事业成功的必要因素。拥有优秀人才的人际网络的规模会决定你能成功的上限。 建立人际网络的有效方法之一是尽可能多帮助他人。长期以来，这种行为方式给我带来了最佳职场机遇以及四项最佳投资中的三项。我总是惊...阅读全文
得物云原生全链路追踪Trace2.0-采集篇 - OSCHINA
塞队列性能更好的 Mpsc (多生产单消费）队列，它使用大量的 long 类型字段来做内存区域填充，用空间换时间解决了伪共享问题，减少了并发情况下的写竞争来提高性能。 在流量高峰时期，链路数据的发送队列这一块的性能从火焰图上看 CPU 占比平均小于2%，日常服务CPU整体水位与0采样相比几乎没有明显差距，因此我们经过多方面压测对比后，决定在生产环境客户端侧开放链路数据的全量上报，实现了在得物技术史上的全链路 100% 采样，终结了一直以来因为低采样率导致问题排查困难的问题，至此，在第三阶段，得物的全链路追踪技术正式迈入 Trace2.0 时代。 得益于 OpenTelemetry 整体的可插拔式 API 设计，我们二次开发了 OpenTelemetry Java...阅读全文
最全的 DevOps 工具集合
Groovy 的领域特定语言，替代 Apache Maven 使用的 XML 格式来声明项目配置。 MSBuild Microsoft Build Engine（通常称为 MSBuild）是用来托管代码及原生 C++ 代码的免费开源构建工具集，它之前是.NET Framework 的一部分。Visual Studio 依赖 MSBuild（反之则不然）。 Rake Rake 是一个软件任务管理和自动化构建工具。它允许用户指定任务并描述依赖关系。你也可以对命名空间中的组任务执行这些操作。 JFrog Artifactory JFrog Artifactory 这款工具可用来存储构建过程的二进制输出，以备分发和部署之用。Artifactory 支持许多软件包格式，如 Maven、Debian、npm...阅读全文
CCPA vs. GDPR：欧美这两部个人数据保护法有什么差异？
（establishment）在欧盟境内，不论该数据处理的行为发生在境内或境外，该数据控制者或处理者及其欧盟境内的营业场所都将受到GDPR的约束——前提是该数据控制者或处理者与欧盟境内的营业场所之间存在“不可摆脱的联系”（inextricable link）。依据第29工作组（WP 29）的观点和欧盟法院判例，“财务上的联系、提供免费网络服务以换取用户会员费或用户订阅、利用用户数据盈利”，都可被认定存在‘不可摆脱的联系’。”[5] （3） 保护性管辖：无论数据控制者和处理者是否在欧盟境内有实体机构，也不论数据处理行为是否发生在欧盟境内，只要向欧盟数据主体提供产品或服务（无论该产品或服务是否需要支付对价）[6]或监控其行为[7]，或只要处理或持有居住在欧盟的数据主体的数据的所有企业，都受GDPR的管辖。 （4） 根据国...阅读全文
kubectl 创建 Pod 背后到底发生了什么？—探寻 Kubectl 创建 Pod 的原理
的 Pod 的分布状况，这是分布式系统（比如 Kubernetes）的关键因素。这些任务都是由 Kubelet 组件完成的，让我们开始吧！ 在 Kubernetes 集群中，每个 Node 节点上都会启动一个 Kubelet 服务进程，该进程用于处理 Scheduler 下发到本节点的任务，管理 Pod 的生命周期，包括挂载卷、容器日志记录、垃圾回收以及其他与 Pod 相关的事件。 如果换一种思维模式，你可以把 Kubelet 当成一种特殊的 Controller，它每隔 20 秒（可以自定义）向 kube-apiserver 通过 NodeName 获取自身 Node 上所要运行的 Pod 清单。一旦获取到了这个清单，它就会通过与自己的内部缓存进行比较来检测新增加的 Pod，如果有差异，就...阅读全文
最新评论
