InfraPub 为您找到相关结果 268

监控Kubernetes集群证书过期时间的三种方案 - OSCHINA

前言 Kubernetes 中大量用到了证书, 比如 ca证书、以及 kubelet、apiserver、proxy、etcd等组件,还有 kubeconfig 文件。 如果证书过期,轻则无法登录 Kubernetes 集群,重则整个集群异常。 为了解决证书过期的问题,一般有以下几种方式: 大幅延长证书有效期,短则 10年,长则 100 年; 证书快过期是自动轮换,如 Rancher 的 K3s,RKE2 就采用这种方式; 增加证书过期的监,便于提早发现证书过期问题并人工介入 本次主要介绍关于 Kubernetes 集群证书过期的监,这里提供 3 种监方案: 使用 Blackbox Exporter 通过 Probe 监 Kubernetes apiserver 证书过期时间; 使...阅读全文

博文 2022-12-10 06:49:43 中文开源技术交流社区

Kong发布新项目Kuma 通用的服务网格

Kong 发布了新的开源项目 Kuma,一个通用的现代服务网格制平面。Kuma 基于 Envoy 构建,Envoy 是一个为云原生应用设计的强大的代理软件。Envoy 是业内最领先的边车代理;而随着监、安全和可靠性对大规模微服务应用变得更加重要,服务网格也在成为云原生生态系统的重要组成部分。 “看到技术社区快速地接纳 Envoy 让我非常高兴;同时我也对 Kong 的 ‘Kuma’ 项目充满期待。” Envoy 的创始人 Matt Klein 表示,“Kuma 扩展了 Envoy 的使用场景,使得企业在服务网格中创建云原生应用更加快速,更加便捷。” Kuma 解决了第一代服务网格技术中的缺陷,使得无缝管理网络中包括四层和七层流量、微服务和 API 在内的任意服务成为可能。Kuma 高效...阅读全文

Kafka 3.3 使用 KRaft 共识协议替代 ZooKeeper

引入的新的仲裁制器确保元数据在整个仲裁中可以被准确复制。活动制器将元数据存储在事件源日志主题中,仲裁中的其他制器对活动制器创建的事件做出响应。事件日志定期进行快照,确保日志不会无限增长。与基于 ZooKeeper 的制器不同,如果出现了问题,仲裁制器不需要从 ZooKeeper 加载状态,因为集群的内部状态已经分布在元数据主题中。这大大减少了不可用时间窗口,缩短了系统最坏情况恢复时间。下图显示了使用新的仲裁制器比使用 ZooKeeper 更快地关闭具有 200 万个分区的 Kafka 集群。​新的 KRaft 共识算法和仲裁制器使得 Kafka 集群可以扩展到数百万个分区,不仅提升了稳定性,让 Kafka 变得更容易监、管理和支持,而且让整个系统可以有一个单一的安全模型,使...阅读全文

得物云原生全链路追踪Trace2.0-采集篇 - OSCHINA

一、0xcc开篇 2020年3月,得物技术团队在三个月的时间内完成了整个交易体系的重构,交付了五彩石项目,业务系统也进入了微服务时代。系统服务拆分之后,虽然每个服务都会有不同的团队各司其职,但服务之间的依赖也变得复杂,对服务治理等相关的基础建设要求也更高。 对服务进行监是服务治理、稳定性建设中的一个重要的环节,它能帮助提早发现问题,预估系统水位,以及对故障进行分析等等。从 2019 年末到现在,得物的应用服务监系统经历了三大演进阶段,如今,整个得物的应用微服务监体系已经全面融入云原生可观测性技术 OpenTelemetry。 回顾过去十年间,应用服务监行业的竞争也很激烈,相关产品如雨后春笋般涌现,如推特在 2012 年开源的 Zipkin,韩国最大的搜索引擎和门户网站 Naver...阅读全文

博文 2022-12-10 06:50:41 中文开源技术交流社区

Kubernetes v1.21 新特性预览

Kubernetes v1.21 下个月就要发布了(v1.21.0 将于 4 月 8 日发布),本文梳理该版本带来的新特性,以便你为下个月的升级做好准备。PodSecurityPolicy 弃用PodSecurityPolicy(PSP)是 Kubernetes 1.8 开始就支持的 Beta 特性,大量应用于容器的安全策略制。但由于其 API 不够灵活、认证模型不够完善且配置更新繁琐等缺陷,PodSecurityPolicy 将在 v1.21 正式弃用[1],并将在 v1.25 中从代码库中删除。已经使用 PodSecurityPolicy 的用户建议迁移到 Gatekeeper[2]。不可变 ConfigMap/Secret 进入稳定版当集群包含大量 ConfigMap 和...阅读全文

博文 2021-03-30 20:24:36 mp.weixin.qq.com

Google 宣布新拥堵控制算法 TCP BBR

Google 宣布了 新拥堵制算法 TCP BBR。Google 官方博客称新算法将 google.com 和 YouTube 的全球网络吞吐量平均改进了 4%,在某些国家改进了 14%+。 Google 解释说,现有的 TCP 拥堵制算法源自 1980 年代,是为低带宽数据传输设计的,解决拥堵主要考虑丢包,也就是在网络堵塞的时候路由器将会丢弃新的数据包。BBR 代表 Bottleneck Bandwidth and Round-trip propagation time,它的拥堵制采用了不同的方法,考虑了网络实际的数据交付率有多快。根据最近测量的网络交付率和往返时间构建显示模型,最大化近期可用带宽和最小化近期往返延迟。BBR 使用这些数据决定数据发送速率有多快。 Google 已经...阅读全文

博文 2017-07-22 19:42:30 debian.cn

服务监控系统 Prometheus 2.0 发布

服务监系统 Prometheus 2.0 已发布,Prometheus 是一个 Go 语言开发的开源的服务监系统和时间序列数据库。 Prometheus 2.0 有一个简单而强大的运营模式。然而,基础设施领域也没有停滞不前,像 Kubernetes 和 Mesos 这样的项目正在迅速改变软件的部署和管理方式。受监的环境变得越来越活跃。 存储 Prometheus 2.0 有性能显着提高,几乎在所有方面都有所改进。查询延迟更加一致,特别是在高系列流失的情况下,它的规模更大。在不同的现实世界生产情景下测量的资源消耗也显着下降: 与 Prometheus1.8 相比,CPU 使用率 降低了 20% – 40% 与普 Prometheus1.8 相比, 磁盘空间使用率 降低了 33...阅读全文

博文 2017-11-09 10:44:45 debian.cn

译:Kubernetes 最佳实践

束使用 Deployment、DaemonSet、ReplicaSet 或者 StatefulSet 跨节点部署 Pod使用多节点使用基于角色的访问制(RBAC)在外部托管Kubernetes集群(使用云服务)升级Kubernetes版本监集群资源和审计策略日志使用版本制系统使用基于Git的工作流程(GitOps)缩小容器的大小用标签整理对象(译者注:或理解为资源)使用网络策略使用防火墙使用命名空间K8s 中的命名空间对于组织对象、在集群中创建逻辑分区以及安全方面的考虑至关重要。 默认情况下,K8s 集群中有 3 个命名空间,default、kube-public 和 kube-system。RBAC 可用于制对特定命名空间的访问,以限制组的访问以制可能发生的任何错误的爆炸半径,例...阅读全文

博文 2022-09-13 19:32:21 atbug.com

osquery 4.1.0 发布,操作系统监控工具

osquery 是 SQL 驱动的分析和监操作系统的工具,是操作系统分析框架,支持 OS X 和 Linux 系统。osquery 能帮助监和分析低水平的操作系统,提供更直观的性能监。 4.1.0 版本内容如下: New Features / Under the Hood improvements 还原扩展 SDK 和构建支持改进文档在整个代码库中添加更多的测试允许使用标志配置更多 Linux Audit 设置添加 logger_tls_max_lines 标志添加对 AWS Session Token 支持 Build 在所有平台上将 OpenSSL 升级到 1.0.2t在 Windows 和 MacOS 上使用 SQLite 3.29.0在 Windows 和 MacOS 上使用...阅读全文

博文 2019-11-07 10:14:24 debian.cn

Saltstack极高危漏洞: 可获取master权限

这两天开源配置管理工具 saltstack 爆出了CVSS得分为10分的漏洞。如果你对CVSS的评分没有概念,那么前几年震惊互联网的 openssl心脏滴血漏洞,CVSS base评分是5.0,由此可知这次爆出来的 saltsatck 漏洞是多么严重。 漏洞信息: 该漏洞是 F-secure 研究人员在3月份发现的,目前该漏洞已经在最新版本中修复。本次极高危漏洞,是由两个不同的漏洞引起的,一个是身份验证绕过漏洞 CVE-2020-11651,一个是目录遍历漏洞没有过滤掉不受信任的输入 CVE-2020-11652,从而导致攻击者可以不受限制的访问 salt-master 的整个文件系统。 攻击者获取salt-master的权限后,便可以制整个被salt-master管理的数据中心的各主机...阅读全文

博文 2020-05-05 18:32:44 debian.cn

Kubernetes常用命令大全(持续更新)

分析错误)对制器和服务,node同样有效 kubectl describe pods xxxxpodsname --namespace=xxxnamespace 其他制器类似吧,就是kubectl get 制器 制器具体名称 查看pod日志 kubectl logs $POD_NAME 查看pod变量 kubectl exec my-nginx-5j8ok -- printenv | grep SERVICE kubectl get cs #### 集群健康情况 kubectl cluster-info #### 集群核心组件运行情况 kubectl get namespaces #### 表空间名 kubectl version #### 版本 kubectl api...阅读全文

博文 2020-03-13 12:35:13 debian.cn

Pyinotify – Linux中实时监控文件系统更改

Pyinotify 是一个简单而实用的 Python 模块,它用于通过 inotify 实时监Linux文件系统的更改。用于在Linux中实时监文件系统的变化。 作为系统管理员,您可以使用它来监视目标感兴趣的更改,如Web目录或应用程序数据存储目录及其他目录。这取决于inotify (包含在 2.6.13及后续Linux内核中的功能),它是一个事件驱动的通知程序,其通知通过三个系统调用从内核空间导出到用户空间。 pyinotiy的目的是绑定三个系统调用,并支持其上的实现,提供了一个共同和抽象的手段来操纵这些功能。 在本文中,我们将向您展示如何在Linux中安装和使用pyinotify来实时监文件系统更改或修改。 依赖关系 为了使用pyinotify ,您的系统必须运行: Linux内...阅读全文

博文 2011-11-09 10:53:58 debian.cn

Debian上安装配置Docker容器管理平台Rancher

Rancher是一个开源项目为Docker容器环境提供了较完善的管理平台。Rancher 允许我们在大规模生产环境中使用 Docker。 Rancher 提供模块化基础架构服务,如多主机网络、全局和本地负载平衡、监、恢复和卷快照等。本文我们将介绍如何在Debian 9 Stretch 上安装配置 Rancher。 安装要求 运行Debian 9的服务器。 具有sudo权限的非root用户。 开始 在开始之前,建议将您的APT存储库更新为最新版本。 您可以使用以下命令执行此操作。 sudo apt-get update -y sudo apt-get upgrade -y 接下来,可以重新启动系统以应用所有更改。然后使用以下命令安装所需的软件包: sudo apt-get install...阅读全文

博文 2018-04-10 22:27:37 debian.cn

QEMU 5.0 稳定版发布

设备HPPA: 通过 HP Artist 图形设备支持图形制台MIPS: 支持 GINVT (global TLB invalidation) 指令PowerPC: 当 ic-mode=dual 时,‘pseries’ 机器不再需要重启来进行 XIVE/XICS 中断制器之间的中断制PowerPC: ‘powernv’ 机器现在可以模拟 KVM 硬件加速,并在 TCG 模式下运行 KVM guestsRISC-V: ‘virt’ 和 ‘sifive_u’ 板卡现在支持 Linux 中的通用 syscon 驱动,以制启动和重启RISC-V: ‘virt’ 板卡支持 Goldfish RTCRISC-V: 实验性支持扩展草案的 v0.5 版本s390: 当在 KVM 模式中运行时,支持适...阅读全文

博文 2020-04-30 10:20:13 debian.cn

百度运维工程师挖矿实录:四个月用155台服务器挖矿赚10万判3年

近日,百度两年前的一桩诉讼案终于有了答案。中国裁判文书网显示,百度运维员工“安某”从 2018 年1 月底到 5 月底,以技术手段在公司服务器上部署“挖矿”程序,非法制 150 余台服务器以获取比特币、门罗币等虚拟货币,共获利人民币 10 万余元。 事发后,“安某”不仅被没收了所有获利金额,罚款 11000 元,还背上了三年牢饭,有点惨。 4 个月,占用 155 台服务器,获利 10 万余元。 2017 年“安某”正式入职百度,彼时,比特币的价格飙升到了近 2 万美元,按照当时的汇率,一枚比特币人民币价格将近 13 万。虽然后续的币价有所降低,但挖到一枚,还可以挣几万块,这样的诱惑或许没有几个人会选择无视。 2018 年初,“安某”开始打起了挖矿的主意。 挖矿,是指利用服务器CPU的运算...阅读全文

博文 2020-03-17 20:42:41 debian.cn

GitLab 11.5 正式版发布 大量安全新功能

GitLab 11.5 正式版已发布 ,该版本带来了许多关于安全的新功能。如新的 Group Security Dashboard、Operations Dashboard,和对 GitLab Pages 的访问制权限等。 Group Security Dashboard Group Security Dashboard 提供了项目组中所有项目 SAST 漏洞的摘要,以及可用于启动修复过程的可操作条目列表。例如,可以使用建议的解决方案开启 issue,或者如果需要将其归类为误报,则只需关闭该条目。将来会添加对其他测试(依赖扫描、容器扫描和 DAST)的支持。 Operations Dashboard GitLab 11.5 引入了一个新的、以操作为中心的仪表板,提供了用户感兴趣的每个项目...阅读全文

博文 2018-11-23 10:08:31 debian.cn

Istio 1.2.0发布 包含重大改进

的 Sidecar 支持(不包含 iptables)添加了为 sidecar Envoys 配置 DNS 刷新速率 的功能,以减少 DNS 服务器上的负载Graduated Sidecar API from Alpha to Alpha API and Beta runtime. 详细内容请查看发布公告。 源码下载地址:https://github.com/istio/istio/releases/tag/1.2.0 Istio 是一个由谷歌、IBM 与 Lyft 共同开发的开源项目,旨在提供一种统一化的微服务连接、安全保障、管理与监方式。 Istio 项目能够为微服务架构提供流量管理机制,同时亦为其它增值功能(包括安全性、监、路由、连接管理与策略等)创造了基础。这款软件利用久经考验的...阅读全文

博文 2019-06-24 10:13:28 debian.cn

通用服务网格 Kuma 被 CNCF 接纳为 Sandbox 项目

Kong 官方宣布,Kuma 作为 Sandbox 项目被捐赠给了 CNCF,并表示“这是有史以来第一个基于 Envoy 的服务网格被捐赠给基金会”。 Kuma 诞生于 2019 年 6 月,它是一个现代的通用服务网格制平面,基于 Envoy 搭建(Envoy 是一个为云原生应用设计的代理软件)。Kuma 可以在包括 Kubernetes、虚拟机、容器、裸机和传统环境在内的任意平台上运行,以落实整个组织中的云原生体验。 “服务网格越大,就越有价值”。因此,Kuma 始终提供 Kubernetes 和 Universal 两种模式,以对 Kubernetes 和 VM 工作负载提供支持。在最新发布的 0.6 版本中,Kuma 的原始 DNA 得到扩展,以支持混合通用工作负载,这不仅允许跨...阅读全文

博文 2020-07-05 23:55:52 debian.cn

AWS IAM 基本概念介绍

AWS Identity and Access Management (IAM) 是AWS云平台上的一种 Web 服务,可帮助你安全地制用户对 AWS 资源的访问权限。通过 IAM 可以制哪些人可以使用你的 AWS 资源(身份验证)以及他们可以使用的资源和采用的方式(授权)。 IAM 主要功能与特点 Shared access to your AWS accountGranular permissionsSecure access to AWS resources for applications that run on Amazon EC2Identity federationIdentity information for assurancePCI DSS...阅读全文

博文 2019-06-04 20:22:31 debian.cn

PostgreSQL 10 正式版发布,显著的性能提升

从 5 月份发布的 PostgreSQL 10 首个 Beta 测试版到今天已有小半年时间,今天 PostgreSQL 终于宣布了 PostgreSQL 10 正式版。 全新的 PostgreSQL 10 正式版值得关注的新特性包括: 使用基于发布和订阅机制的逻辑复制 声明式的表分区 提升了查询的并发性 显著的性能提升 更强的基于 SCRAM-SHA-256 密码认证机制 提升了监制功能 详细的 PostgreSQL 10 新特性描述请看 这里 。 官方发行说明请看 https://www.postgresql.org/docs/10/static/release-10.html?x=1 。 同时这里有一份 PDF 文档 通过实例详细介绍 PG 10 的新特性。...阅读全文

博文 2017-10-09 10:15:08 debian.cn

Uyuni 4.0.2 发布: 配置和基础架构管理工具

Uyuni 4.0.2, 发布了,新版本基于 openSUSE Leap 15.1 但同时支持 Leap 15.1, CentOS, Ubuntu 和其他客户端。Debian 的支持目前还在体验阶段。此外新版本使用 Salt 2019.2, Grafana 6.2.5, Cobbler 3.0 和 Python 3.6 。详细说明请看这里 。 Uyuni 是一种解决方案,适用于需要对其服务器上的维护和软件包部署进行绝对制的组织。 通过自动化软件管理,资产管理和系统配置,Uyuni 使您能够管理大型 Linux 系统并使其保持最新。 Uyuni 允许您在有效管理系统生命周期要求的同时保持高级别的安全性。 Uyuni 使用 Salt 来提供事件驱动的配置和管理制。 Salt-master...阅读全文

博文 2019-08-05 07:35:34 debian.cn

CCPA vs. GDPR:欧美这两部个人数据保护法有什么差异?

欧盟一般数据保护条例(GDPR)和加州消费者隐私法案(CCPA)是欧美两大经济体所出台的两部具有代表意义的个人数据保护方面的法规,代表欧美监管机关对于个人数据保护两种不同的管取向。 本文选取了“个人数据或信息的类型与范围界定”、“法律的管辖范围”、“数据跨境传输管”、“儿童数据的保护”、“数据主体的反对权和被遗忘权”等关键概念,对GDPR和CCPA的部分要点进行比较分析。 1. “个人数据”或“个人信息”的范围界定 1.1 GDPR对个人数据的定义——侧重用抽象概念定义,实践中存在很大解释空间 除了对少数“特殊种类个人数据”(如宗教信仰、种族、工会成员信息、健康状况等)进行了零星列举以外,《欧盟一般个人数据保护条例》(GDPR)主要用抽象概念对其所管辖的“个人数据”的范围进行界定。 根...阅读全文

Monit:开源服务器监控工具

Monit是一个跨平台的用来监Unix/linux系统(比如Linux、BSD、OSX、Solaris)的工具。Monit特别易于安装,而且非常轻量级(只有500KB大小),并且不依赖任何第三方程序、插件或者库。 Monit可以监服务器进程状态、HTTP/TCP状态码、服务器资源变化、文件系统变动等等,根据这些变化,可以设定邮件报警、重启进程或服务。易于安装、轻量级的实现以及强大的功能,让Monit成为一个理想的后备监工具。 官网:https://mmonit.com/monit文档:https://mmonit.com/monit/documentation/monit.html最新版本:https://mmonit.com/monit/dist/monit-5.20.0...阅读全文

博文 2023-04-12 15:21:43 阿里云开发者社区

SpringCloud 之外的选择:国产JBoot v1.7.1 发布

JBoot 是一个基于 JFinal 和 Undertow 开发的微服务框架。提供了 AOP、RPC、分布式缓存、限流、降级、熔断、统一配置中心、Opentracing 数据追踪、metrics 数据监、分布式 session、代码生成器、shiro 和 jwt 安全制、swagger api 自动生成等功能。 Jboot v1.7.1 主要更新如下: 新增:redis 添加自定义序列化配置的功能 新增:Jboot.java 添加方法 service(Class clazz, JbootrpcServiceConfig config) 方便获取 rpc service 新增:JbootController 添加 getRawObject() 方便获取 api 传过来的 json 数据...阅读全文

博文 2018-10-24 13:19:05 debian.cn

基于树莓派并支持触屏的模块化 PC:Zero Terminal 3

硬件黑客 NODE 开发了一款运行在树莓派零(Raspberry Pi Zero)上的模块化手持式 Linux PC,名为 "Zero Terminal 3"。其配有 WaveShare 5.5 英寸全高清触 AMOLED 显示屏、全尺寸 USB 2.0 接口、micro SD 插座和 1200 mAh 的内置锂电池。 同时,Zero Terminal 3 还支持附加组件,包括键盘、游戏制器、无线电收发器、网络接口、太阳能电池板或电视调谐器等。事实上,这并不是 NODE 开发的第一款手持计算机,不过与旧版本相比,Zero Terminal 3 拥有更大的显示屏和更多的功能。 Zero Terminal 3 Linux PC 的规格具体如下: USB 2.0 A 型端口微型 USB 端口...阅读全文

博文 2020-08-10 11:31:07 debian.cn

360开源企业级 Kubernetes 集群管理平台 Wayne

以同时管理多个 Kubernetes 集群,更方便地管理多个集群。 丰富的权限管理 :将资源抽象化为部门、项目级别,角色的权限可以更细化的制,适用于多部门、多项目的统一集中管理。 多种登录模式 :支持企业级 LDAP 登录、支持 OAuth2 登录,支持数据库登录多种模式。 完备的审计 :所有操作都会有完整的审计功能,方便追踪操作历史。 开放平台 :支持 APIKey 开放平台,用户可自主申请相关 APIKey 并管理自己的项目。 多层次监 :提供多级别的监统计信息,实时关注集群的运行状态。 架构图 整体采用前后端分离的方案: 前端采用 Angular 框架进行数据交互和展示,使用 Ace 编辑器进行 Kubernetes 资源模版编辑。 后端采用 Beego 框架做数据接口处理,使用...阅读全文

博文 2018-11-20 12:24:17 debian.cn

Icinga Web2 v2.7.0 发布 轻量级和可扩展的 web 接口

Icinga Web 2 是 Icinga 项目开发的下一代开源监 Web 接口、框架和命令行接口,支持 Icinga 2、Icinga Core 和与 IDO 数据库兼容的任何其他监后端。 Icinga’s Amazingness Spreads Further 增加日语支持增加乌克兰语支持不再配置中翻译 pane 和 dashlet name Modules – 其他功能 无论您是否想要连接到配置表单的处理中,都可以执行自己的 Ajax 请求,或者使用花哨的图形增强我们的多选择视图。 允许连接到配置窗体的处理中允许完全自定义单击和提交处理将 Detailview 扩展集成到多选择视图中 UI——日常例程和事件管理、增强 添加色盲主题改善表格的外观使 ctrl-click 打开新选项...阅读全文

博文 2019-08-06 12:18:01 debian.cn

使用 setfacl 管理文件的访问控制列表ACL

如果你是在一个大型组织,你运行了 NFS 或者 Samba 服务给不同的用户,你将会需要灵活的挑选并设置很多复杂的配置和权限去满足你的组织不同的需求。Linux(以及其他Unix等POSIX兼容的操作系统)有一个被称为访问制列表(ACL)的权限制方法,它是一种权限分配之外的普遍范式。例如,默认情况下你需要维护3个权限组:owner、group和other。 使用ACL后,你可以设置权限给其他用户或组,而不单只是简单的"other"。可以允许指定的用户A、B、C拥有写权限而不再是让他们整个组拥有写权限。 ACL支持多种Linux文件系统,包括ext2, ext3, ext4, XFS, Btrfs等。如果你不确定你的文件系统是否支持ACL,请参考文档。 首先我们需要安装工具来管理ACL...阅读全文

Facebook 开源的一组 Linux 内核组件与工具

近日,Facebook 开源了一套解决重要计算集群管理问题的 Linux 内核组件和相关工具,这些项目覆盖了资源制、资源利用、工作负载隔离、负载均衡、测量和监等方面:BPF、Btrfs、Netconsd、Cgroup2、PSI、Oomd。 Facebook 表示这些项目现在已大规模用于其所有基础设施生产环境中,并用于其它许多企业组织的环境中。 BPF:https://facebookmicrosites.github.io/bpf/ BPF 是 Linux 内核中一种高度灵活、高效率的代码执行引擎,可以让字节码在各个 hook 点运行,以使用自定义代码。虽然 BPF 已广泛用于数据包过滤,但是 BPF 的指令集具有很强的通用性和灵活性,足以支持和允许除网络之外的众多使用场合,比如跟踪和...阅读全文

博文 2018-11-24 09:27:14 debian.cn

高性能日志采集工具 logpipe 简单介绍

在集群化环境里,日志采集是重要基础设施。本文结合最新的 1.0.9 版,对 logpipe 做一个简单的介绍。开源主流解决方案是基于 flume-ng,但在实际使用中发现 flume-ng 存在诸多问题。 比如 flume-ng 的 spoolDir 采集器只能对文件名转档后的大小不能变化的最终日志文件进行采集,不能满足采集时效性要求,如果要采集正在被不断追加的日志文件,只能用 exec 采集器搭配 tail -F 命令,但 tail -F 命令又不能通配目标目录中将来新增的未知文件名。其它解决方案如 logstash 由于是 JAVA 开发,内存占用和性能都不能达到最优。 作为一个日志采集的本地代理,内存占用应该小而受,性能应该高效,耗费 CPU 低对应用影响尽可能小,要能异步实时追踪...阅读全文

Docker 核心原理

用,容器之间相互隔离,并且能按需分配资源。大大提高了运维效率和资源利用率 架构 Docker使用了 C/S 体系架构,Docker 客户端与 Docker 守护进程通信,Docker 守护进程负责构建,运行和分发 Docker 容器。Docker 客户端和守护进程可以在同一个系统上运行,也可以将Docker客户端连接到远程Docker守护进程。 我们日常在命令行的操作 docker build, docker push, docker pull, docke build 等等操作都是客户端通过 rest api 请求与 Docker 守护进程交互。 实现原理 下面我们就介绍一下 Docker 在实现隔离,资源制,文件系统等关键部分所采用的的技术 Namespace Linux manaul...阅读全文

博文 2021-02-25 09:14:23 lxkaka

聊聊很重要的内核技术eBPF

在2018年的 Linux Plumber 大会上,eBPF成了亮点,有24个议题提到了 eBPF,可以预计eBPF会成为一大技术热点。 eBPF(Extended Berkeley Packet Filter) 的核心是驻留在 kernel 的高效虚拟机。最初的目的是高效网络过滤框架,前身是 BPF。 Linux kernel 3.18版本开始包含了eBPF,相对于 BPF 做了一些重要改进,首先是效率,这要归功于 JIB 编译 eBPF 代码;其次是应用范围,从网络报文扩展到一般事件处理;最后不再使用socket,使用map进行高效的数据存储。 根据以上的改进,内核开发人员在不到两年半的事件,做出了包括网络监、限速和系统监。目前eBPF可以分解为三个过程: 以字节码的形式创建...阅读全文

博文 2020-08-16 11:08:44 debian.cn

Vinux 5.1 发布 基于 Ubuntu 的 Linux 发行版

流行的 GNOME 2 fork — 被称为 MATE,虽然将主要支持 Unity。 还要记住开发团队建议用户定期执行更新。这将使 Vinux 团队能够更新软件包,并引入新功能。 发行说明中提到一个制台语音回归的变化:“由于 Vinux 5.1 不再使用 ConsoleKit,我们不能引入 Vinux 4.0 制台语音的更改,请参阅 wiki 了解更多信息。使用 Speechd-up 登录到桌面会话,并从 GNOME 终端运行 sudo speechd-up 或添加启动项以在登录时自动执行”。 参考发布公告获取更多的细节。 下载地址 Download: vinux-5.1-amd64.iso (1,318MB, MD5, pkglist)...阅读全文

博文 2021-01-28 17:50:20 debian.cn

分布式版本控制系统 Git v2.12.2 发布

Git v2.12.2 发布了,Git 是一个开源的分布式版本制系统,用以有效、高速的处理从很小到非常大的项目版本管理。是 Linus Torvalds 为了帮助管理 Linux 内核开发而开发的一个开放源码的版本制软件。 部分更新内容: git status –porcelain” is supposed to give a stable output, but a few strings were left as translatable by mistake. “Dumb http” transport used to misparse a nonsense http-alternates response, which has been fixed. “git diff...阅读全文

博文 2021-01-28 17:50:24 debian.cn

比UFS 2.1性能翻番 UFS 3.0正式发布:2.9GB/s

错性能提升,电压2.5V,支持最新的NANG Flash闪存介质。面向工业领域如汽车自动驾驶,工作温度零下40摄氏度到高温105摄氏度。 至于 UFSHCI v3.0 规范则面向主厂商参考,用于简化通行设计。 至于UFS存储卡v1.1,则实现了对HS-Gear1/2/3的全部兼容,这样存储速度就达到最高1.5GB/s。 另外,三星已经宣布,将在2018年第一季首发推出UFS 3.0接口的产品。由于骁龙845、Exynos 9810等尚无证据支持UFS 3.0接口,所以是否对应Galaxy S9终端或者仅仅是主、闪存这类零部件,暂不得而知。...阅读全文

博文 2018-01-31 12:00:48 debian.cn

Linux 5.2.1 发布 最新的稳定版内核

BFQ I / O调度程序的性能改进。 Linux Kernel 5.2还为cgroups v2添加了一个冷冻制器以释放资源,部署了新设备隐射“dust”目标来模拟读取失败或者扇区失败的设备,为 clone(2)添加了CLONE_PIDFD这个Flag从而在创建进程时候获取PID,能够通过pidfd_send_signal(2)使用,并在Android系统中提供了更高的资源监。 在安全方面,Linux Kernel 5.2附带了一个全新的CPU BUG框架,用于保护设备免受英特尔MDS(微架构数据采样)硬件漏洞的影响,同时还有一个名为“mitigations=”独立于架构的启动选项,以便更容易启用或禁用缓解CPU缺陷。 Linux内核5.2还包括许多更新的和新的驱动程序,以获得更好的硬件支持...阅读全文

博文 2019-07-15 10:24:57 debian.cn

Prometheus 2.13.0 发布

服务监系统 Prometheus 2.13.0-rc.0 发布了,Prometheus 是一个 Go 语言开发的开源的服务监系统和时间序列数据库。该版本引入了一些新特性,比如记录其他组件、增强功能和修复 bug,这些都是为了提高可用性。 更新内容如下: [SECURITY/BUGFIX] UI:修复了一个 Stored DOM XSS 漏洞 CVE-2019-10215. #6098[CHANGE] Metrics:将 prometheus_sd_configs_failed_total 重命名为 prometheus_sd_failed_configs,并更改为仪表 #5254[ENHANCEMENT] 在构建中包含 tsdb 工具 #6089[ENHANCEMENT...阅读全文

Proxmox VE 6.1/6.2 U盘安装教程

本默认,要注意选择DD镜像模式,不然U盘启动后找不到安装文件; 二、安装PVE(1-8这里用的网上图片,6.1/6.2安装和5.2基本一致,就没有截图) 1、进入ISO启动,选择“Install Proxmox VE” 2、同意协议,点击“I agree” 3、选择硬盘,点击“Next” 4、设定国家、时区和键盘,Country输入China即可,点击“Next” 5、设置管理员root账号密码和邮箱 6、设定主机名,IP,网关,掩码和DNS 7、安装完提示重启(重启前请先移除ISO启动) 8、启动完成后的制台,会提示制台访问URL 9、PVE默认端口为8006,可以导入自己的SSL证书 10、PVE安装完毕,进入系统界面...阅读全文

博文 2021-02-15 08:36:49 星哥的博客

红帽 2017 峰会 第三天回顾:自动化的未来

能够统一面向多个接入口进行自动化操作的定义与管理。 在本次峰会之前,红帽的 Linux发行版RHEL OpenStack发行版RDO OpenShift(Kubernetes) 存储产品Cepht与Gluster 已经与Ansible集成。本次峰会上,红帽又发布了Red Hat Insights(红帽的监预警产品)和CloudForms与Ansible的集成。 为什么是Ansible? 其中一个很重要的原因在于,Ansible连不懂技术的业务人员也可以拿来用。甚至可以这么说:任何一个能够阅读英文的人都能看懂Ansible Playbook的用法。红帽认为Ansible代表了自动化的未来,在此投入了大量研发力量与资源。 2、Red Hat Insights作为统一的数据分析层 Red Hat...阅读全文

博文 2021-01-28 17:50:29 debian.cn

兼容 tmux 的文件上传/下载工具 trzsz ( trz / tsz ) 使用指南 支持进度条和目录传输

xxx ( 加上 -q 选项 ),则在传输文件时不显示进度条。-y 覆盖模式trz -y 或 tsz -y xxx ( 加上 -y 选项 ),如果存在相同文件名的文件就直接覆盖。-b 二进制模式trz -b 或 tsz -b xxx ( 加上 -b 选项 ),二进制传输模式,对于压缩包、图片、影音等较快。-e 转义制字符二进制模式时,制字符可能会导致失败,trz -eb 或 tsz -eb xxx ( 加上 -e 选项 ) 转义所有已知的制字符。-d 传输文件夹trz -d 或 tsz -d xxx ( 加上 -d 选项 ),则可以上传或下载指定文件夹和文件。-B 缓冲区上限trz -B 20m 或 tsz -B 2M xxx 等,设置最大缓冲区上限 ( 默认 10M )。会自动根据网速选...阅读全文

打破IP协议重塑互联网 华为能做到吗

效率;二是新 IP 的灵活性使地址分割简化了边界路由器的设计,边界路由器不需要维护地址映射指令。 目前,New IP 网络架构技术已在建设中,将于 2021 年开始测试。 New IP 是否会带来垄断? 正如一切新事物在诞生初期都往往会招致人们的质疑和误会一样,New IP 也正深处这样的困境当中。 对于华为提出的 New IP 提案,沙特阿拉伯、伊朗、俄罗斯等国家均表示了支持。不过,有部分学者对这一“新事物”怀有质疑,主要有两方面立场: 一是关于绝对制权。哈佛大学的社会科学家 Shoshana Zuboff 认为,华为提出新 IP 是为了通过技术基础设施赋予他们政治上的绝对制权; 二是关于安全和人权。网络安全公司牛津信息实验室认为,New IP 虽能对网络基础进行细粒度制,但网络协议...阅读全文

博文 2020-03-31 06:40:15 debian.cn

kubectl 创建 Pod 背后到底发生了什么?—探寻 Kubectl 创建 Pod 的原理

认证凭证与本地的状态匹配。 如果认证失败,则请求失败并返回相应的错误信息;如果验证成功,则将请求中的 Authorization 请求头删除,并将用户信息添加到其上下文中。这给后续的授权和准入制器提供了访问之前建立的用户身份的能力。 授权 OK,现在请求已经发送,并且 kube-apiserver 已经成功验证我们是谁,终于解脱了! 然而事情并没有结束,虽然我们已经证明了我们是合法的,但我们有权执行此操作吗?毕竟身份和权限不是一回事。为了进行后续的操作,kube-apiserver 还要对用户进行授权。 kube-apiserver 处理授权的方式与处理身份验证的方式相似:通过 kube-apiserver 的启动参数 --authorization_mode 参数设置。它将组合一系列授权...阅读全文

博文 2022-04-18 16:18:04 CSDN

ChaosMesh 的基本功能有哪些

混沌实验场景,以及方便地将已有的混沌实验场景复用到其他应用混沌实验中,大大降低了混沌实验的成本。目前混沌实验场景提供的功能有:编排串行混沌实验编排并行混沌实验支持状态检查步骤支持中途暂停混沌实验支持使用 YAML 文件定义和管理混沌实验场景支持通过 Web UI 定义和管理混沌实验场景具体的实验场景配置,参考具体创建 Chaos Mesh Workflow。可视化操作​Chaos Mesh 为用户提供了单独的 Chaos Dashboard 组件,即可视化支持。Chaos Dashboard 极大地简化了混沌实验,用户可以直接通过可视化界面来管理和监混沌实验,仅需点一点鼠标就能够定义混沌实验的范围、指定混沌注入的类型、定义调度规则,以及在界面上获取到混沌实验的结果等。​安全保障​Chaos...阅读全文

Grafana 6.4.4 发布,系统指标监控与分析平台

Grafana 6.4.4 发布了,Grafana 是一个功能丰富的指标标准仪表板和图形编辑器,用于分析和监 Graphite、Elasticsearch、OpenTSDB、Prometheus 和 InfluxDB。 新版本更新说明如下: Bug Fixes DataLinks:修复模糊问题 #19883Docker:使解析 Docker 镜像中的时区成为可能 #20081LDAP:即使其中一个返回连接错误,也应尝试所有 LDAP 服务器 #20077LDAP:不再根据调试页面中的角色显示不正确匹配的组 #20018Singlestat:修复无数据/空值映射 #19951 详细更新说明:https://github.com/grafana/grafana/releases/tag...阅读全文

博文 2019-11-09 08:48:39 debian.cn

JavaFX 11 发布,与 JDK 拆分后的首个正式大版

JDK 11。 此次更新主要内容如下: 重要更新: JavaFX 模块指定:因为 JDK 不再包含 JavaFX,那么必须明确包含应用程序使用的 JavaFX 模块,详情见:https://openjfx.io/openjfx-docs/。 添加 API 以自定义 Spinner 件的步骤重复计时。在 JavaFX 11 中修改值步骤之前,必须在 Spinner 件箭头按钮上按下鼠标一段默认持续时间,JavaFX 11 中已添加两个新属性“initialDelay”和“repeatDelay”来配置此操作。 javafx.* 模块现在由应用程序类加载器加载,默认情况下不再具有权限。想要在启用安全管理器的情况下运行的应用程序需要使用“-Djava.security.policy”指定自定义策略...阅读全文

博文 2018-09-20 13:09:25 debian.cn

Kubernetes 1.14 发布,31 项功能增强

Kubernetes 1.14 发布了,些版本主要关注可扩展性并支持更多工作负载,带来了 30多项功能增强,其中包括从 beta 到稳定的 10 项功能。亮点包括以下几部分。 持久化本地存储 持久性本地存储的主要用例是数据库和分布式文件系统。这是一个重要里程碑,显然,本地存储的性能优于远程磁盘,无论该存储是由云提供商提供的本地 SSD 还是连接到裸机系统的磁盘。 Windows 节点的生产级支持 绝大多数企业都拥有包含 Windows 工作负载的异构环境,现在不必寻找其它协调器来管理这些 Windows 容器。Kubernetes v1.14 改进支持了 pod、服务类型、工作负载制器和 metrics/quotas,使得与 Linux 功能相当。 PID 限制 目前处在测试阶段...阅读全文

机械轴首选 iKBC c87 高性价比键盘

ARM 32位处理器,可以扩展LED背光功能。键帽下方预留了灯位,无需额外的制系统,就可以实现丰富的灯光效果。比如逐行单独制亮度和呼吸效果、全键流光模式。总的来说,这是一款性价比不错的机械键盘,能够满足大部分用户的需求,预留的改装空间也照顾到了需求更高的玩家。 如果用279块的价格买到499块的静音版 iKBC c87 键盘呢?得赶在京东 618 大促结束前,目前京东官网价格是338元(比昨天涨了10块?),付款时选择开通京东白条。首次开通京东白条,会有50元的抵用券,折合 278元(更新:现在此购买沟通已关闭)。 上午拿到实物,比预期的要好一些,静音键盘果然声音柔和,又不影响手感,没有之前用的 Filco 键盘的噼里啪啦的噪音,可以放在办公室长期用了。这么好的键盘,即便不用券,现价338也...阅读全文

博文 2019-06-08 12:22:24 debian.cn