InfraPub 为您找到相关结果 69

谷歌公开了内部管理Infra层的两个工具的Paper

同点:不再关注于给生产环境推送单独的变更,而是关注于想要达到的状态。不再维护一步一步的工作流,而是让服务所有者使用配置来描述他们想要基础架构达到的样子:运行什么job,负载均衡器的搭建,数据库schema的位置等等。 基于这些信息,Prodspec和Annealing将这些配置转化成统一的结构,随后被执行。执行是安全并且持续性的:自动化系统重复地比较用户模型所表达的预期状态和生产环境的状态,并且在安全的时候自动发reconciliation。服务所有者不再需要将配置变更手动推送到生产环境里。 因为我们从2015年左右就开始开发Prodspec和Annealing,基于intent的执行(intent-based actuation)这一简单明了的理念如今已经成了实际的标准。Google生产...阅读全文

博文 2023-01-08 11:23:20 CSDN博客

得物云原生全链路追踪Trace2.0-采集篇 - OSCHINA

的监控: RPC 调用排障,调用方除了拥有下游接口信息,也可溯源自身发该调用的接口。 接口高耗时分析,根据指标,可还原出单位时间窗口的耗时分解图快速查看耗时组件。 3.2 关于选型的疑问 你可能会问,链路监控领域在业内有现成的 APM 产品,比如 Zipkin, Pinpoint, SkyWalking 等,为什么当时会选择 OpenTracing + Prometheus 自行埋点?主要有两大因素: 第一,在当时,CAT 无法满足全链路监控和一些定制化的报表分析,而得物交易链路五彩石项目交付也趋于尾声,贸然去集成外部一款庞大的 APM 产品在没有充分的验证下,会给服务带来稳定性风险,在极其有限的时间周期内不是个理智的选择。 第二,监控组件是随着统一的基础框架来发布,同时,由另一团队牵头开...阅读全文

博文 2022-12-10 06:50:41 中文开源技术交流社区

Redis 命令、特性介绍与性能调优

: save [seconds] [changes] 意为在[seconds]秒内如果发生了[changes]次数据修改,则进行一次RDB快照保存,例如 save 60 100 会让Redis每60秒检查一次数据变更情况,如果发生了100次或以上的数据变更,则进行RDB快照保存。 可以配置多条save指令,让Redis执行多级的快照保存策略。 Redis默认开启RDB快照,默认的RDB策略如下: save 900 1 save 300 10 save 60 10000 也可以通过BGSAVE命令手工发RDB快照保存。 RDB的优点: 对性能影响最小。如前文所述,Redis在保存RDB快照时会fork出子进程进行,几乎不影响Redis处理客户端请求的效率。 每次快照会生成一个完整的数据快照文件,所以可...阅读全文

博文 2018-10-27 10:37:55 debian.cn

Kafka 3.0新特性全面曝光,真香!

,选票会被瓜分,有可能没有选出领导人,那么,将会开始另一个任期,并且立刻开始下一次选举。Raft算法保证在给定的一个任期最多只有一个领导人。Leader选举的过程Raft使用心跳来进行发leader选举,当服务器启动时,初始化为follower角色。leader向所有Follower发送周期性心跳,如果Follower在选举超时间内没有收到Leader的心跳,就会认为leader宕机,稍后发起leader的选举。每个Follower都会有一个倒计时时钟,是一个随机的值,表示的是Follower等待成为Leader的时间,倒计时时钟先跑完,就会当选成为Leader,这样做得好处就是每一个节点都有机会成为Leader。当满足以下三个条件之一时,Quorum中的某个节点就会发选举:向Leader...阅读全文

博文 2022-04-28 16:02:11 mp.weixin.qq.com

深入理解Golang之context

方法时会设置取消原因,将done channel设置为一个关闭channel或者关闭channel,然后将子节点context依次取消,如果有需要还会将当前节点从父节点上移除。WithCancelWithCancel函数用来创建一个可取消的context,即cancelCtx类型的context。WithCancel返回一个context和一个CancelFunc,调用CancelFunc即可发cancel操作。直接看源码:type CancelFunc func() func WithCancel(parent Context) (ctx Context, cancel CancelFunc) { c := newCancelCtx(parent) propagateCancel...阅读全文

博文 2021-01-27 09:05:27 知乎

中国开源人访谈系列之:清风博主

、为Linux做些许贡献,也就知足了。 2,有什么话或者寄语要送给我们 LinuxStory 的读者吗? 答:想说对一些新手或对自己学习没信心的年轻人说:非计算机专业、30多岁才接Linux的我都行,你有大把的时间和精力,为什么不行? 别人都说兴趣不能作为职业,成为职业后你会丢了兴趣。通过对您的了解,小编觉得您是一位真正把Linux当作兴趣、爱好的Linuxer!是一名内心狂热而外显高冷Linux爱好者!正如清风博主这个名字,您对Linux的喜爱如清风一样纯粹!您把对她的关注和钻研悄悄融入了您的生活,您对Linux的态度让小编佩服不已!非常感谢清风老师给小编这样一次机会来了解您,祝您工作顺利,家庭幸福! 原文出自这里: https://linuxstory.org/qingfeng...阅读全文

博文 2021-01-28 17:50:13 debian.cn

2017 年会是 Serverless 爆发之年吗

务(Backend-as-a-Service,BaaS),或移动后端即服务(MobileBackend-as-a-service,MBaaS)。 现在,无服务器架构是指大量依赖第三方服务 (也叫做后端即服务,即“BaaS”) 或暂存容器中运行的自定义代码 (函数即服务,即“FaaS”) 的应用程序,函数是无服务器架构中抽象语言运行时的最小单位,在这种架构中,我们并不看重运行一个函数需要多少 CPU 或 RAM 或任何其他资源,而是更看重运行函数所需的时间,我们也只为这些函数的运行时间付费。无服务器架构中函数可以多种方式发,如定期运行函数的定时器、HTTP 请求或某些相关服务中的某个事件。 Serverless 案例 以带有服务功能逻辑的传统面向客户端的三层应用为例(一个典型的电子商务应用网...阅读全文

博文 2021-01-28 17:50:27 debian.cn

互联网协议正在发生变化

,在网络不拥有或无法访问计算机的情况下,这并不容易;例如,BYOD 已经很常用,并且物联网设备几乎没有合适的控制接口。 因此,在 IETF 中围绕协议开发的许多讨论,及了企业和其它的 “叶子” 网络有时相互竞争的需求,以及互联网整体的好处。 参与 为了让互联网在以后工作的更好,它需要为终端用户提供价值、避免僵化、让网络有序运行。现在正在发生的变化需要满足所有的三个目标,但是,人们需要网络运营商更多的投入。 如果这些变化影响你的网络 —— 或者没有影响 —— 请在下面留下评论。更好地可以通过参加会议、加入邮件列表、或者对草案提供反馈来参与 IETF 的工作。 感谢 Martin Thomson 和 Brian Trammell 的评论。本文转载自Linux.cn...阅读全文

RabbitMQ 高可用实现镜像队列

:A,B同时停 该场景下可能是由掉电等原因造成,只需在30s内联系启动A和B即可恢复镜像队列。 场景3:A先停,B后停,且A无法恢复。 因为B是master,所以等B起来后,在B节点上调用rabbitmqctl forget_cluster_node A以接A的cluster关系,再将新的slave节点加入B即可重新恢复镜像队列。 场景4:A先停,B后停,且B无法恢复 该场景比较难处理,旧版本的RabbitMQ没有有效的解决办法,在现在的版本中,因为B是master,所以直接启动A是不行的,当A无法启动时,也就没版本在A节点上调用rabbitmqctl forget_cluster_node B了,新版本中forget_cluster_node支持-offline参数,offline参数允许...阅读全文

博文 2018-12-30 19:21:59 debian.cn

UCloud 叶理灯 谈:Docker、K8S 和 Serverless

产品叫 UGC,腾讯有 FaaS,阿里也有 PaaS,目前都不算是渗透率很高。 原因有几个。第一、国内用户对新技术接受程度是比较低的,可能是习惯问题,国内的IT的发展水平跟国外也有差距,有 5、6 年差距;其次,对国内用户来说,把一个架构改成 Serverless 架构,其实成本是很高,而且改造的收益和规模相关;最后, FaaS 本身不是一个独立能起作用的产品,你会看到 Lambda 推出时,不是个独立的产品,它是体系的副产品,例如其他产品要开放事件源,通过事件去发 Lambda 函数执行。只有产品体系开放足够多的事件源,FaaS 才能渗透到整个平台里面去,才能覆盖更多场景。 我们国内的厂商还没有做到这一点。AWS 刚推出 FaaS 时,它主要是 S3 上的图片处理,不是每个用户都有这个场...阅读全文

博文 2019-06-14 08:28:49 debian.cn

在 Kubernetes 上扩展 TensorFlow 模型

由于人工智能 / 机器学习日益集成到应用和业务流程中,因此生产级机器学习模型需要更多可扩展的基础设施和计算能力,以用于训练和部署。 现代机器学习算法在大量数据上进行训练,并且需要数十亿次迭代才能使成本函数最小化。这类模型的垂直扩展会遇到操作系统级别的瓶颈,包括可提供的 CPU、GPU 和存储的数量,而且对于这种类型的模型,已经证明效率并不高。更为高效的并行处理算法,例如异步训练和 allreduce 式训练,需要一个分布式集群系统,由不同的 worker (工作器)以协调的方式同时学习。 可扩展性对于在生产环境中服务深度学习模型也非常重要。将单个 API 请求处理到模型预测端点可能会发复杂的处理逻辑,这将花费大量时间。由于更多用户访问模型的端点,为了有效地处理客户端请求,需要更多服务实例...阅读全文

我要彻底放弃 Debian 操作系统!-Michael Stapelberg

无意怒任何为Debian做出了贡献的人,我只是想表达我对Debian太过于失望而决定放手的原因。 到目前为止,Debian出现在我的生命中已经超过10年了。 几个星期前,我在苏黎世Debian聚会上遇见了一些多年未见的老朋友。在骑自行车回家的路上,我突然发现我们讨论的主题与我们上次的讨论大致相同。出于对开源社区的尊敬,我们绕了个圈子先探讨了systemd的好处,然后回到了Debian的讨论,最后兴致所至还谈到了Debian的民主以及他们在理论和实践上的失败。诚然,最后一个话题有点像瑞士。 我说这些不是对Debian聚会有异议,而是因为通过这次聚会我开始反思最近对Debian的感觉,还有它是否适合我。 最终,我做出了一个本应在很久以前就已经做出的决定:我会将有关Debian的工作减到最少...阅读全文

博文 2019-03-22 17:01:23 Michael Stapelberg

“Debian 章程有毒” - OSCHINA

,Debian 邮件列表出现了一封标题为“Leaderless Debian”的公开信,文章表示,这年的3月3日-10日是候选人提名阶段,然而,截至公开信发出,还没有一位符合资格的 Debian 开发者提交申请。 此前的 Debian 领导人 Chris Lamb 一直被寄予厚望,他已经连任了两年,但是今年他公开表示因为一些 Debian 相关的,以及一些私人的原因不参与竞选。由此,Debian 不得不根据章程延长提名时间,直至有人提交申请为止。 当然,最后还是有人跳了出来参加竞选。这里要指出的是,这一尴尬事件非常直观地反映出一个事实 —— DPL 并不吃香。 准确来说,在 Debian 章程的制约下,DPL 是一个没有绝对权利的虚席。 首先,DPL 并不接具体业务,他可以任命某人执行专门的任务,而这...阅读全文

博文 2021-12-06 13:55:33 中文开源技术交流社区

DPDK Graph Pipeline 框架简介与实现原理

enqueue 在上面介绍 node 的 object 队列大小部分,我们提到将报文排队到下一个 node 的概念。对于普通的 enqueue,就是简单的将当前 node 中处理好的报文,通过使用 rte_memcpy / pointer assignment 作为传递方法, enqueue 到下一个可能的 node。 Home run Home run 则是一种优化的情况,它不像普通的 enqueue 把报文复制到下一个 node,而是简单地交换当前 node 和下一个 node 之间的有关于报文的指针(例如报文、报文数目),从而消除 memory copy / pointer assignment 的开销。当满足以下条件时,home run 才会被发: 所有已处理好的报文都将前往同一个 node...阅读全文

博文 2023-02-09 07:13:55 掘金

Debian 往事: 与已故创始人 Ian Murdock 的昔日访谈

来分享一下他打造 Debian 的那段历程。 Murdock 第一次接到 GNU/Linux 是在 1993 年,当时他还是个 20 岁的学生,在普渡大学学习会计学。「那个年代,PC 才刚刚发展到勉强能运行 Unix 操作系统。我当时用的就是 Unix,那时候我觉得 Linux 是能让我更方便地使用 Unix 的一种方式。」用 Murdock 的话来说,当时的软件「完成度还相对粗糙」,但完善、改良软件对他来说也是一种兴趣爱好。 「Linux 最棒的地方之一就是它是第一批你不仅能看到它在干嘛,你还能亲自尝试着对它本身做尝试、做改动的操作系统。」 Murdock 开始研究的时候,GNU/Linux 的发行版还很少。Murdok 当时选择的是 SLS,Softlanding Linux...阅读全文

博文 2021-01-28 17:50:13 debian.cn

kubectl 创建 Pod 背后到底发生了什么?—探寻 Kubectl 创建 Pod 的原理

否需要发其他操作,例如记录命令(用来进行回滚或审计)。 在 kubectl 判断出要创建一个 Deployment 后,它将使用 DeploymentV1Beta1 生成器从我们提供的参数中生成一个运行时对象。 API 版本协商与 API 组 为了更容易地消除字段或者重新组织资源结构,Kubernetes 支持多个 API 版本,每个版本都在不同的 API 路径下,例如 /api/v1 或者 /apis/extensions/v1beta1。不同的 API 版本表明不同的稳定性和支持级别,更详细的描述可以参考 Kubernetes API 概述。 API 组旨在对类似资源进行分类,以便使得 Kubernetes API 更容易扩展。API 的组名在 REST 路径或者序列化对象的...阅读全文

博文 2022-04-18 16:18:04 CSDN

7大维度看国外企业为啥选择gRPC打造高性能微服务

动收集指标和跟踪信息可以快速回答常见问题,例如“我的服务对请求响应缓慢吗?”以及“请求失败的频率如何?”。 熔断 - 这种模式可以通过自动检测问题和快速失败来防止级联服务故障。也可以由长时间缓慢的请求来发,以提供响应降级的服务而不是不断地超时。 缓存和批处理 - 通过使用缓存或批处理请求来加速请求。 大多数框架不会提供所有功能,但至少它们应该是可扩展的,以便在需要时添加。 什么是gRPC和协议缓冲区? 没有一个框架是万能的。我们探索的一些选项包括Facebook的Thrift,Apache Hadoop的Avro,Twitter的Finagle,甚至使用JSON模式。 我们的需求更接近于远程程序调用(RPC),给予所需要的细粒度控制。使用RPC的另一个吸引力是使用接口描述语言或IDL...阅读全文

博文 2018-03-19 17:51:32 debian.cn

大起底:揭开亚马逊云计算丰厚利润的秘密 - 电子商务

设计处理器的消息。亚马逊最近几年比较受欢迎的另外一个云计算产品是“Lambda”,该产品将会在某种发条件下完成计算工作。比如一个用户在社交网络上传照片之后,系统将启动计算,自动生成一个微缩小图。上述产品被开发者描述为“无服务器”,意思是服务商并不要求开发者自己来管理服务器基础设施。行业研究报告显示,亚马逊对Lambda计算服务的收费是EC2实例的两倍之多。数据存储:S3和EBS亚马逊云计算的另外一个鼻祖服务是“简单计算存储”,简称S3,产品推出于2006年,客户可用该服务在网络上保存各种数据对象,包括照片、视频或其他文件类型。科技从业者丹·阿尔瓦雷兹(Don Alvarez)是上述服务的早期用户。他早年曾经在华盛顿州西雅图的新创科技公司工作,主要为电影制片人群体开发协作软件。当年,科技公司...阅读全文

博文 2021-09-07 11:41:54 cnBeta.COM