InfraPub 为您找到相关结果 526

Cortex: 高可用和水平扩展Prometheus监控系统

服务。如果cortex有许多的查询,则可以扩展Querier或Query Frontend微服务。高可用性– Cortex可以在实例之间复制数据replicate data。这样可以防止数据丢失,并避免度量标准数据出现间断,即使发生机器故障and/orpod被驱逐。多租户–多个不受信任的parties可以共享同一群集。Cortex在从ingester到querying的整个生命周期中提供数据隔离。这对于为多个单元或应用程序存储数据的大型组织或运行SaaS服务的人员非常有用。长期存储– Cortex将数据分块存储并为其生成索引。可以将Cortex配置为将其存储在自托管或云提供商持的数据库或对象存储中。Cortex的需求Prometheus高可用性和数据去重Prometheus默认情况下不具有...阅读全文

博文 2021-10-09 17:00:22 知乎

influxdb内存消耗分析及性能优化【探索篇】

1.新的问题influxdb目前持内存型索引inmem及文件型索引tsi1。之前追踪篇将influxd索引修改为tsi1之后,经过一段时间的运行,从监控观察到,由于调用方采用异步队列+批处理的方案将数据写入influxdb,会在某些时刻调用方内部出现数据堆积,指标如图:横坐标: 时间轴,从12-29 00:00 到 12-30 00:00纵坐标: 队列中数据堆积长度,坐标最大值250k,即最大25w个数据堆积从上图可以看到,当天监控出现数次堆积,上午7:00-10:00尤为严重。在堆积时,登录influxdb服务器,查看机器状态如下:top - 09:40:58 up 120 days, 19:18, 1 user, load average: 32.29, 32.32, 29.82...阅读全文

博文 2021-10-27 16:06:30 知乎

中国开源人访谈系列之:清风博主

,firefox和chrome就行了;QQ聊天用最新的wine,加上Yuking大神做的一个库跑精简版的QQ,很稳定;日常办公用WPS for Linux,老师用的最多的就是幻灯片,对于从网上下载的课件,Linux下的办公软件中,WPS是兼容性最好的。 12.您怎么看待开源精神,开源与商业? 答:我是开源精神的持者,也不反对开源与商业的结合,我认为这也是开源事业能有旺盛的生命力的原因之一。多数人在吃饱穿暖的基础上,才能有更高的追求,不可否认,像Richard Stallman这样的开源领袖,不是每个人都能做到的。但也正是有了这样一群可爱的狂热开源人士,我们的世界才变得更加美好! B.您与Linux社区 1.请问您有特别加入某个社区吗? 答:2013年的时候,在一位资深Gentooer的鼓动下,打算重建...阅读全文

博文 2021-01-28 17:50:13 debian.cn

谷歌公开了内部管理Infra层的两个工具的Paper

随着企业的逐步成熟,他们会开发更多工具。在Google,我们持续创建新的外部和内部服务,以及持这些服务的基础架构。 从2013年起,我们开始放弃之前用来更新和维护服务的简单的自动化工作流。每个服务都要求复杂的更新逻辑,并且还需要适应基础架构的变化,经常性的集群的启动关闭等等。配置多个,互相交互的服务的工作流变得难以维护。 我们需要一种全新的方案来适应业务的增长以及所涉及到的配置的复杂性。为此,我们开发了声明式的自动化系统,作为统一的控制层,并且取代了工作流。这个系统包括两个主要的工具:Podspec,描述服务基础架构的工具,和Annealing,更新生产环境来匹配Prodspec输出的工具。本文讨论我们解决过的问题,以及我们所选择的架构。 Prodspec和Annealing有一个根本共...阅读全文

博文 2023-01-08 11:23:20 CSDN博客

kubectl 创建 Pod 背后到底发生了什么?—探寻 Kubectl 创建 Pod 的原理

deployments,而背后的复杂性被隐藏在简单的抽象中。但为了充分理解它为我们提供的价值,我们需要理解它的内部原理。 本指南将引导您理解从 client 到 Kubelet 的请求的完整生命周期,必要时会通过源代码来说明背后发生了什么。 这是一份可以在线修改的文档,如果你发现有什么可以改进或重写的,欢迎提供帮助! 1. kubectl 验证和生成器 当敲下回车键以后,kubectl 首先会执行一些客户端验证操作,以确保不合法的请求(例如,创建不持的资源或使用格式错误的镜像名称)将会快速失败,也不会发送给 kube-apiserver。通过减少不必要的负载来提高系统性能。 验证通过之后, kubectl 开始将发送给 kube-apiserver 的 HTTP 请求进行封装。kube-apiserver 与...阅读全文

博文 2022-04-18 16:18:04 CSDN

如何在 Debian 下配置邮件服务器

:~# apt-get install dovecot-common dovecot-pop3d dovecot-imapd dovecot可以持POP3和IMAP(plain text),以及加密POP3S和IMAPS(secured)。默认情况下,dovecot将创建和使用SSL加密的自签名证书。证书可以根据需求手动创建或导入。在本教程中,将使用dovecot生成的自签名证书。 POP/IMAP:准备配置文件 根据需要修改下面的参数。 root@mail:~# vim /etc/dovecot/conf.d/10-mail.conf ## the location of the mailbox is specified in 'mbox' format ## mail_location...阅读全文

博文 2021-01-28 17:50:22 debian.cn

运维的未来:云服务兴起,运维人员会“下岗”吗?

我合作的或者是我了解的众多 dev 组织似乎不用 QA 也做得挺好。 同样的状况很快也会发生在运维人员身上。我之前在 Workiva 的基础设施和可靠性小组里工作时,我们将运行和基础建设工程团队并入一个单独的团队,该团队是由网站可靠工程师组成的,负责构建和维护基础设施服务,配置管理,日志管理,集合管理,监控等。 我非常持通过愿景实现对团队的领导。发展愿景令人信服,可以使团队之间达成共识,减少功能孤岛和组织孤岛的影响,并能够从内部激励员工。它能使团队高度一致又能松散耦合,能够更好地做出决定。我对运维未来作为组织能力的想法本质上是将合成工程看作是合理结论。跟 QA 一样,运维能力也应该被嵌入发展团队中。事实是,没有运维技能,你不可能在现代组织中成为一名合格的软件工程师。现如今的运维团队,应该重...阅读全文

博文 2021-01-28 17:50:31 debian.cn

什么是线程安全,以及并发需要知道的几个概念

里等待,直到售货员把衣服交给你后才算购物成功,这就相当于同步的过程。 不过,如果是在网上购物的话,我们只需下单并完成付,对我们来说整个购物过程就算完成了。网上的商家接到订单会帮我们加紧安排送货,这段时间我们可以去做其他的事,比如去外面打个篮球之类的。等送货上门并签收商品就完事了,这个过程就相当于异步。 并发和并行并发和并行的功能很相似,两者都可以表示多个任务一起执行的情况,但本质上两者其实是有区别的。 严格意义上来说,并行的多任务是真实的同时执行,而并发更多的情况是任务之间交替执行,系统不停的在多个任务间切换执行,也就是 “串行” 执行。 最直接的例子的就是我们的计算机系统,在单核CPU时代,系统表面上能同时进行多任务处理,比如听歌的同时又浏览网页,但真实环境中这些任务不可能是真实并行的...阅读全文

博文 2018-12-31 20:44:06 debian.cn

基于thanos搭建分布式prometheus

: failureThreshold: 10 httpGet: path: /-/ready port: 9090 scheme: HTTP initialDelaySeconds: 60 periodSeconds: 5 successThreshold: 1 timeoutSeconds: 3 terminationGracePeriodSeconds: 60 thanos-querier需要指定反向代理的列表,它持基于DNS SRV记录的服务发现机制,因为thanos querier部署在K8S集群内,所以直接走coredns的DNS SRV记录发现thanos receive的所有POD地址即可,对应参数:–store=dnssrv+_grpc._tcp.thanos...阅读全文

博文 2021-03-01 13:02:46 鱼儿的博客

Java Annotations详解

) { localNames = new ArrayList(); } localNames.add(getVehicleName()); return localNames; } } Java预置的编译注释 Java持三个可以用来给编译相关的注释,它们是: · @Deprecated · @Override · @SuppressWarings 下面将对它们此次做解释 @Deprecated @Deprecated用来标记一个类、方法、成员变量已经被舍弃了。如果你的代码中使用舍弃(Deprecated)的类、方法或成员变量,那么编译器会给你一个警告。下面是一个例子: @Deprecated public class MyComponent { } 当你使用@Deprecated表示舍弃时,你也可以在Java文档中...阅读全文

博文 2013-03-02 08:04:55 CSDN博客

树莓派 9 周年:你不知道的树莓派冷知识

种产品包括 Pi 1A 和 Pi 1B,因为 Pi 1A+ 和 B + 可以更好地取代它们。即使在 Raspberry Pi 4 B(2GB)的价格降至 35 美元之后,仍然会有客户以相同的价格购买 1GB 型号,因为某些客户可能仍希望将其作为即插即用的替代产品。 8.树莓派的价格 9 年未变最早的树莓派产品在 2012 年的价格为 35 美元,而如今的主力型号 Raspberry Pi 4 B(2GB)的价格仍然是 35 美元。考虑到通货膨胀,2012 年的 35 美元实际上相当于今天的 39.88 美元。也就是说,9 年后的今天,以相同的价格,用户将获得更好的树莓派: 处理器快 40 倍(1.5GHz 四核 vs 700 MHz 单核)8 倍存储(256GB vs 2GB)持 WiFi...阅读全文

博文 2021-03-11 17:03:55 diablo4

隐私声明

在如下情况下向特定主体披露您的个人信息: 获得您的同意。在您同意的情况下,我们可能会与第三方商业伙伴分享您的个人信息。 授权的第三方服务提供者。我们可能会与第三方服务提供者分享信息,这些第三方服务提供者帮助我们提供专业服务,包括客户持,电子邮件和短信应用,商业分析,市场推广和数据处理等。 竞赛或促销。当您选择参加一项竞赛或促销或其他类似活动,则根据该活动规则,您的信息可能会被披露给赞助商、供应商和其他协助我们设计、管理和实施该项活动的第三方服务提供者,这些第三方服务提供者可能包括竞赛评委,奖品提供者,奖品快递者和整体数据分析者。您的信息还可能跟法律法规的要求被披露。 重大交易。我们可能会在公司重大交易时披露您的信息,比如出售、并购和破产。法律法规或公权力部门要求。我们可能会根据...阅读全文

利用 NAT VPS 进行流量中转

Firewall (UFW) on Ubuntu配置 iptables、ufw 端口转发iptables port forwarding only for a certain range of IPgartnera / tcp-forward.servicesocat 中转单个端口,持 TCP 和 UDPsocat(1) - Linux man pagesocat 多端口转发配置socat 使用手册How to run socat in the background?socat examplesMigrate socat init script to systemdCan socat be started directly by systemd?socat port forwarding for...阅读全文

博文 2021-03-11 21:16:11 Silearner

Go 语言的大版本更新:Go 2.0 安排上了

任何类型的向后兼容的“增量”语言特性变更,因为他们认为无论变更多么小,都要有更全面的持计划,并将 Go 2 考虑在内。 对于这些累积下来的提案,官方表示现在是时候采取行动了! 近况 本文发布时,官方表示目前在 Go 2 的提案中,大约有 120 个尚未解决且被标记为提案的 issue。这些提案都涉及到重要的库或语言特性变更,而它们通常不能与 Go 1 互相兼容。Ian Lance Taylor 和 Robert Griesemer 一直在研究这些提案,并对它们进行了分类(Go2Cleanup, NeedsDecision 等),以理解这些提案背后的含义并使它们后续更易进行。此外,他们还合并了相似的提案,并关闭了那些看似明显超出 Go 范围的提案,或者其他方面无法实现的提案。 早期出现的两个...阅读全文

Sam Altman的成功学|OneFlow

离开一家大公司后,尽力发挥出了自己的最大影响力,此时他发现自己变得更快乐、更充实。为发挥出自己最大影响力而努力工作是值得庆祝的。 我完全不能理解为什么在美国某些地区努力工作反而成了一件坏事,但我知道世界其他地区肯定不是这样的,那些地区的企业家表现出来的精力和干劲正在快速成为新的社会标杆。 你必须想出一条平衡之策,在努力工作的同时,又不至于透身体。对此,虽然人们的应对之策不尽相同,但有条几乎不会出错的黄金准则,那就是与相处愉快的人一起从事喜欢的工作。 我认为,那些假装(在你生命中的某个时期)不用把精力放在工作上,就能平步青云的人,其实是在误人子弟。事实上,判断一个人能否笑到最后的关键因素之一就是工作耐力。 另外,我认为在刚入职场时就应该要努力工作。努力工作就像利滚利一样,越早开始,获利时间就...阅读全文

使用 MongoDB 之前应该知道的 14 件事

返回一个空的记录集 。 Lookup 而没有索引持 Lookup 的功能和 SQL 联合查询类似。为了获得良好的性能,作为外键的键值上需要有索引。这并不明显,因为其使用并没有在 explain() 中报告。这些索引并不包含在 explain() 记录的索引里,那些索引是供管道操作符$match、$sort 出现在管道开始时使用的。现在,索引可以覆盖聚合管道的任何阶段 。 不使用多条更新 db.collection.update() 方法用于修改一个已存在文档的一部分或全部,或者是整个替换一个已存在的文档,这取决于你提供的 更新参数 。除非你设置 multi 参数,更新匹配查询条件的所有文档,否则它不会更新集合里的所有文档。这一点不是那么明显。 忘记哈希对象中键序的意义 在 JSON 中,一...阅读全文

RabbitMQ 高可用实现镜像队列

:A,B同时停 该场景下可能是由掉电等原因造成,只需在30s内联系启动A和B即可恢复镜像队列。 场景3:A先停,B后停,且A无法恢复。 因为B是master,所以等B起来后,在B节点上调用rabbitmqctl forget_cluster_node A以接触A的cluster关系,再将新的slave节点加入B即可重新恢复镜像队列。 场景4:A先停,B后停,且B无法恢复 该场景比较难处理,旧版本的RabbitMQ没有有效的解决办法,在现在的版本中,因为B是master,所以直接启动A是不行的,当A无法启动时,也就没版本在A节点上调用rabbitmqctl forget_cluster_node B了,新版本中forget_cluster_node持-offline参数,offline参数允许...阅读全文

博文 2018-12-30 19:21:59 debian.cn

域名与商标: 如何防止域名被仲裁

,域名权与商标权、商号权、名称权不可避免地会产生冲突。这类情况相对比较复杂和不确定性,理论上,任何一个域名都有产生权利冲突的可能性。 在权利冲突上,仲裁机构还是会充分尊重域名作为独立知识产权的权利和它的先得原则。也就是说,如果域名的注册时间先于商标、商号或名称的启用时间,或者域名的使用区别于现有商标、商号或名称的经营范围的,域名所有权将不受影响。举个例子,alichat域名,阿里巴巴为何不通过仲裁而是出钱收购,就是因为alichat域名在阿里的Chat业务启动前就已经存在,阿里即使仲裁,也不会被持。 对于权利冲突类域名,经咨询相关法律专业人士,认为一般有以下争议解决办法: 1、注册在先,即域名的先得原则2、否认声明,在域名对应的网站上,声明自已域名的使用范围和商品类别,或者声明自已的域名与他...阅读全文

博文 2019-01-18 14:59:59 debian.cn

UCloud 叶理灯 谈:Docker、K8S 和 Serverless

使用,帮助他们减少在集群管理和资源整合方面的工作和投入。例如,我们网络能力、存储能力和计算能力的整合,就是让用户享受到原生K8S的好处,同时避免了很多运维的负担。 公有云的 K8S 处在底层 IaaS 和上层应用之间,一方面向下整合IaaS能力,一方面向上托管客户的应用。在整合 IaaS 方面,不改变 K8S原生特性,因为 K8S 本身架构足够开放,例如在我们实现的网络插件,是基于我们 IaaS 的 VPC 网络,让 pod 可以和我们托管区和物理云区域打通,这是我们 IaaS 能力在 K8S 产品上的体现,算是我们的特色之一,但这是在 K8S 体系持下的插件方式实现的,不影响我们提供原生 K8S;在应用层面,厂商也可以基于 K8S 提供一些周边的功能以帮助用户提高效率,但它和提供一个一致...阅读全文

博文 2019-06-14 08:28:49 debian.cn

Kubernetes源码探疑:Pod IP泄露排查及解决方法

性和可靠性,提升产品体验。 2019年内UK8S还将持节点弹性伸缩(Cluster AutoScaler)、物理机资源、GPU资源、混合云和ServiceMesh等一系列特性,敬请期待。 欢迎扫描下方二维码,加入UCloud K8S技术交流群,和我们共同探讨Kubernetes前沿技术。 如显示群人数已加满,可添加群主微信zhaoqi628543,备注K8S即可邀请入群。 如显示群人数已加满,可添加群主微信zhaoqi628543,备注K8S即可邀请入群。...阅读全文

kubelet 中垃圾回收机制的设计与实现

表 evictUnits, err := cgc.evictableContainers(gcPolicy.MinAge) if err != nil { return err } // 2、回收 Deleted 状态以及 Terminated 状态的 pod,此处 allSourcesReady 指 kubelet // 持的三种 podSource 是否都可用 if allSourcesReady { for key, unit := range evictUnits { if cgc.podStateProvider.IsPodDeleted(key.uid) || (cgc.podStateProvider.IsPodTerminated(key.uid...阅读全文

博文 2021-02-05 17:48:22 知乎

细数k8s支持的4种类型的container - 侃豺小哥

截止目前k8s1.18,k8s已经持标准容器,sidecar容器,init 容器,ephemeral 容器 4种类型的containers。本文我们详细介绍一下这4种容器的特性已经使用场景。 Ephemeral 容器 临时容器与其他容器的不同之处在于,它们缺少对资源或执行的保证,并且永远不会自动重启,因此不适用于构建应用程序。临时容器使用与常规容器相同的 ContainerSpec 段进行描述,但许多字段是不相容且不允许的。 临时容器没有端口配置,因此像 ports,livenessProbe,readinessProbe 这样的字段是不允许的。 Pod 资源分配是不可变的,因此 resources 配置是不允许的。 有关允许字段的完整列表,请参见临时容器参考文档。 临时容器是使用...阅读全文

博文 2021-08-20 11:45:32 博客园

“Debian 章程有毒” - OSCHINA

debhelper。赋予个人维护者如此大的自由,导致我们无法开展提高构建 Debian 软件包抽象级别的项目,这反过来又让工具更加困难。”Michael Stapelberg 在自己的文章中探讨了 Debian 中过大的个人自由。 “我认为 Debian 社区的管理存在一个很大问题 —— 社区正在被一些特定问题深深地分裂成很多不同阵营。” Russ Allbery 曾表示。 或许,这也成就了 Debian 如今的“儿孙满堂”——不少软件从 Debian 衍生出来。就拿2014 年systemd 事件为例,那场争议导致 Debian 阵营开始分裂 —— 反对者创建了一个不使用 systemd 的分 Devuan。此外,基于 Debian 的衍生产品还有很多,比如 Ubuntu、Deepin、Kali...阅读全文

博文 2021-12-06 13:55:33 中文开源技术交流社区

从 Debian 安装 Proxmox VE,并配置网络和双硬盘

no LVM-Thin images,rootdir raw no yes yes 可以看到,LVM-Thin 持快照和克隆,但是不能共享了,没事,我不需要共享给别的节点,我没用集群。 但是添加 LVM 和 添加 LVM-Thin 的步骤都记录下。 如果是添加 LVM如果是要添加 LVM,只需要到 Datacenter - Storage点击 Add:LVM 123Base storage: Existing volumn groupsVolumn group: hddID: 随便取名 这样添加后,容量是 hdd 的容量, 2.73T , 但是会显示已经占用了 100G。 Usage 3.59% (100.20 GiB of 2.73 TiB) 如果是添加 LVM-Thin添加 LVM...阅读全文

博文 2021-03-01 20:20:31 驱蚊器喵的插座

Hadoop 核心 - HDFS 分布式文件系统详解

(NameSpace) HDFS 持传统的层次型文件组织结构。用户或者应用程序可以创建目录,然后将文件保存在这些目录里。文件系统名字空间的层次结构和大多数现有的文件系统类似:用户可以创建、删除、移动或重命名文件。 Namenode 负责维护文件系统的名字空间,任何对文件系统名字空间或属性的修改都将被 Namenode 记录下来。 HDFS 会给客户端提供一个统一的抽象目录树,客户端通过路径来访问文件,形如:hdfs://namenode:port/dir-a/dir-b/dir-c/file.data。 4. NameNode 元数据管理 我们把目录结构及文件分块位置信息叫做元数据。NameNode 负责维护整个 HDFS 文件系统的目录树结构,以及每一个文件所对应的 block 块信息(block 的...阅读全文

CCPA vs. GDPR:欧美这两部个人数据保护法有什么差异?

(establishment)在欧盟境内,不论该数据处理的行为发生在境内或境外,该数据控制者或处理者及其欧盟境内的营业场所都将受到GDPR的约束——前提是该数据控制者或处理者与欧盟境内的营业场所之间存在“不可摆脱的联系”(inextricable link)。依据第29工作组(WP 29)的观点和欧盟法院判例,“财务上的联系、提供免费网络服务以换取用户会员费或用户订阅、利用用户数据盈利”,都可被认定存在‘不可摆脱的联系’。”[5] (3) 保护性管辖:无论数据控制者和处理者是否在欧盟境内有实体机构,也不论数据处理行为是否发生在欧盟境内,只要向欧盟数据主体提供产品或服务(无论该产品或服务是否需要付对价)[6]或监控其行为[7],或只要处理或持有居住在欧盟的数据主体的数据的所有企业,都受GDPR的管辖。 (4) 根据国...阅读全文