InfraPub 为您找到相关结果 782

如何写好技术文档 — 来自十多年的文档经验总结

本文大部分内容翻译总结自《Software Engineering at Google》 第10章节 Documentation。 另外,该书电子版近日已经可以免费下载了 https://abseil.io/resources/swe_at_google.2.pdf,有兴趣的同学可以下载翻阅下。 首先声明,本问所说的文档不仅限于纯文本文档,还包含代码注释(注释也是一种特殊形式的文档)。 ## 文档的重要性 ## 高质量的文档对于一个组织或团队来说有非常多的益处,比如让代码和API更容易解、错误更少;让团队成员更专注于目;也可以让一些手工操作更容易;另外如果有新成员加入的话有文档也会让他们更快融入…… 写文档有比较严重的收益滞后性,不像测试,你跑一个测试case,它能立即告诉你是对还是错...阅读全文

博文 2021-07-30 16:15:13 joseph

Prometheus 常用 PromQL 语句样例

PromQL 是 Prometheus 提供的一个函数式的表达式语言,可以使用户实时查找和聚合时间序列数据。表达式计算结果可以在图表中展示,也可以在 Prometheus表达式浏览器中以表格形式展示,或者作为数据源,以 HTTP API 的方式提供给外部系统使用。PromQL 虽然以 QL 结尾,但是它不是类似 SQL 的语言,因为在时间序列上执行计算类型时,SQL 语言相对缺乏表达能力。而 PromQL 语言表达能力非常丰富,可以使用签进行任意聚合,还可以使用签将不同的签连接到一起进行算术运算操作。内置了时间和数学等很多函数可以使用 选择序列选择指定指名称的序列最新样本: my_metric_name选择指定指名称序列5分钟的样本范围: my_metric_name[5m]筛...阅读全文

博文 2021-02-09 11:07:15 51CTO博客

提问的智慧 – 全文

,避免提「是或非」问题,除非你想得到「是或非」回答。 不要把问题记为「紧急」,即使你真的很紧急 「紧急」只是你的「紧急」,跟我们无关。同时,这些动辄「紧急」的提问往往欲速而不达,而且多数会被黑客们删掉,因为他们认为这是一种自私与鲁莽的提问方式:企图通过文字的简单修饰来引起别人注意而获得特殊的关照。 当然也有例外,如果你在知名度很高使用某些程序出现问题,你的提问很有可能让黑客们兴奋,在这种情况下,如果你有时间压力,并且很有礼貌提出请求,黑客们会有兴趣尽快回复你。 不过需要注意的一点是:这样提问是非常冒险的,因为黑客兴奋的准和你的不同。譬如发个主题关于「国际空间站」帖子就可以得到关注,但是如果转发关于慈善或政治的帖子就几乎没人你。再如「紧急:帮我救救这个毛绒绒的小海豹!」这样帖子在专业技...阅读全文

博文 2009-10-01 13:18:00 debian.cn

PostgreSQL 13 正式版发布

PostgreSQL 13 已正式发布,新版本对索引和查找系统进行了重大改进,大型数据库因此受益甚多,包括节省了空间并提高了索引的性能,使用聚合或分区的查询的响应时间更快,使用增强的统计信息时更好的查询计划(query planning)等。 除了并行化清(parallelized vacuuming)和增量排序(incremental sorting)等呼声较高的功能外,PostgreSQL 13 还为大大小小的工作负载提供了更好的数据管体验,并对日常管进行了优化,为应用开发者提供了更多便利,并增强了安全性。 性能提升 在先前 PostgreSQL 版本的基础上,PostgreSQL 13 可以有效 B 树索引(PostgreSQL 的准索引)中的重复数据,从而降低 B 树...阅读全文

博文 2020-10-04 20:07:23 debian.cn

Docker 17.06 社区版发布

的支持。可以将docker的/metrics端点暴露给插件: $ docker plugin install --grant-all-permissions cpuguy83/docker-metrics-plugin-test:latest $ curl http://127.0.0.1:19393/metrics 这个插件仅用于示范。它在主机的网络上运行了一个反向代,能将请求转发给插件中的本的指套接字。在真实场景中,可能会将收集的指数据发送给外部的服务,或者使它可以被一个服务如Prometheus访问并收集。 注意尽管指插件在非实验性的daemon中可以使用,指签(metrics label)仍应该被看作是实验性的,可能在Docker未来的版本中发生改动。 日志驱动插件 添...阅读全文

博文 2017-06-30 23:08:57 debian.cn

得物云原生全链路追踪Trace2.0-采集篇 - OSCHINA

化工作也是做得非常到位,而凭借着架构简单,开箱即用的特点,CAT 也是我们得物使用的第一个应用监控系统。 二、 0x01 第一阶段 从0~1基于CAT的实时应用监控 在得物五彩石项目交付之前,系统仅有基础设施层面的监控,CAT 的引入,很好弥补了应用监控盲区。它支持提供各个维度的性能监控报表,健康状况检测,异常统计,对故障问题排查起到了积极推动的作用,同时也提供简单的实时告警的能力。 CAT 拥有指分钟级别的聚合统计的能力,从 UI 上不难看出,它拥有丰富的报表统计能力和问题排障能力。 但随着公司业务规模逐步扩大,微服务粒度也不可避免变小,我们发现,CAT 已经逐步无法满足我们的使用场景了: 无法直观呈现全链路视图: 问题排障与日常性能分析的场景也越来越复杂,对于一个核心场景,其内部...阅读全文

博文 2022-12-10 06:50:41 中文开源技术交流社区

社交巨人Facebook使用Linux和Btrfs的姿势

针对性使用Btrfs的一些特性来提高我们手头工作的性能。我们比较关注在系统任务管、快照之类的事情上。 Linux.com:我们都知道Facebook是Linux的重度用户。在Facebook庞大的基础设施里,哪些方用到了Linux? Chris Mason:简单说,Facebook所有的基础设施都使用了Linux。围绕分布式操作系统我们利用了Btrfs的很多特性,比如分布式任务管、利用快照功能快速更新以及哈希校验功能,等等。 我们在相当数量的机器上运行着Gluster——既支持XFS也支持Btrfs,我们的目就是做好存储这件事。在Gluster上喜欢用Btrfs的其中一个原因是,数据循环冗余校验(cyclic redundancy checks)和元数据循环冗余校验使我们能够检测...阅读全文

博文 2021-01-28 17:50:22 debian.cn

在 Kubernetes 上扩展 TensorFlow 模型

由于人工智能 / 机器学习日益集成到应用和业务流程中,因此生产级机器学习模型需要更多可扩展的基础设施和计算能力,以用于训练和部署。 现代机器学习算法在大量数据上进行训练,并且需要数十亿次迭代才能使成本函数最小化。这类模型的垂直扩展会遇到操作系统级别的瓶颈,包括可提供的 CPU、GPU 和存储的数量,而且对于这种类型的模型,已经证明效率并不高。更为高效的并行处算法,例如异步训练和 allreduce 式训练,需要一个分布式集群系统,由不同的 worker (工作器)以协调的方式同时学习。 可扩展性对于在生产环境中服务深度学习模型也非常重要。将单个 API 请求处到模型预测端点可能会触发复杂的处逻辑,这将花费大量时间。由于更多用户访问模型的端点,为了有效客户端请求,需要更多服务实例...阅读全文

GitLab 12.5 稳定版发布:支持EKS集群、多云托管和环境面板等

以使用开源的 Crossplane 项目以声明方式提供云服务,该项目扩展了 Kubernetes API 以提供托管服务,包括 PostgreSQL、MySQL、Redis 和对象存储。 Crossplane 现在可以作为 GitLab 托管应用程序使用,可以安装到由 GitLab 管的 Kubernetes 集群中,可以在准的 GitLab 管道中或通过 Auto DevOps 使用 kubectl 声明性设置和使用 GCP、AWS 和 Azure 的托管服务。 通过环境面板一目了然查看环境状态 面对在生产环境中应用程序的频繁更改,在变更流程中各种开发、暂存和生产环境时,对环境变化的跟踪是个问题。GitLab 为此新增了环境面板可显示该信息,从而提供对所有组和项目中环境状态的单点访...阅读全文

Kubernetes 1.14 发布,31 项功能增强

Kubernetes 1.14 发布了,些版本主要关注可扩展性并支持更多工作负载,带来了 30多项功能增强,其中包括从 beta 到稳定的 10 项功能。亮点包括以下几部分。 持久化本存储 持久性本存储的主要用例是数据库和分布式文件系统。这是一个重要里程碑,显然,本存储的性能优于远程磁盘,无论该存储是由云提供商提供的本 SSD 还是连接到裸机系统的磁盘。 Windows 节点的生产级支持 绝大多数企业都拥有包含 Windows 工作负载的异构环境,现在不必寻找其它协调器来管这些 Windows 容器。Kubernetes v1.14 改进支持了 pod、服务类型、工作负载控制器和 metrics/quotas,使得与 Linux 功能相当。 PID 限制 目前处在测试阶段...阅读全文

CCPA vs. GDPR:欧美这两部个人数据保护法有什么差异?

据《欧盟一般个人数据保护条例》(GDPR)第4条第1款的规定,“个人数据”指与已经识别(identified)或可被识别(identifiable)的自然人(“数据主体”)相关的任何信息。 其中,“可被识别的自然人”,指通过姓名、识别号码、位置数据、在线身份识别码等识符,或通过针对该自然人的身体、生、遗传、心、经济、文化或社会身份等特定相关的一个或多个要素,能够直接或间接被识别出的个人[1]。 判断自然人是否可被识别,应考虑数据控制者或另外一人可能合使用到的所有方式(all the means reasonably likely to be used)。判断何种方式为“可能合使用到”,应考虑所有客观因素:例如当前现有的技术、技术的发展、识别所需的成本和时间等[2]。 由于实践中交...阅读全文

谷歌开源了代码评审规范:好坏代码应这样来判断

审 代码评审者指南本来是一个完整的文档,但作者将其分为了 6 部分,读者可根据需要阅读。 代码评审准代码评审希望达到什么在代码评审中导航 CL代码评审的速度如何写审查的评论处代码评审的回退 2.CL 作者指南——CL 作者批准代码的评审指南 CL 制定者指南包括一些进行代码评审的开发人员的最佳经验,这些经验能够帮助你更快、更高质量完成评审。 写一个好的 CL 描述构建一些小的 CL如何处代码评审者的评论 在谷歌看来,代码审核的目的是确保谷歌代码库的整体代码健康程度。谷歌将以下规则作为代码评审的准: 一般来说,一旦 CL 能提升整体代码的健康程度,那么即使 CL 不完善,评审者同样也应该倾向于批准该列表。这是所有代码评审指南中的高级原则。它也会有一些限制,例如,如果 CL 添加了一些...阅读全文

博文 2019-09-10 17:19:13 debian.cn

Linux基金会推出ACT项目 帮助开发者遵守开源许可证

的资助和支持。” 据悉,目前已确定将成为 ACT 的一部分的四个项目为: FOSSology:开源许可证合规性软件系统和工具包,允许用户从命令行运行许可证,版权和导出控制扫描。 QMSTR:该工具创建了一个集成的开源工具链,可实现许可证合规性管的行业最佳实践。QMSTR 集成到构建系统中,以了解软件产品及其来源和依赖性。开发者可在本运行 QMSTR 以验证结果,查看问题并生成合规性报告。 SPDX Tools:软件包数据交换(SPDX)是用于传达软件物料清单信息的开放准,包括组件、许可证、版权和安全参考。 Tern: 这是一款检查工具,用于查找容器映像中安装的软件包的元数据。它可以更深入了解容器的物料清单,从而可以更好决定基于容器的基础架构、集成和部署策略。...阅读全文

博文 2018-12-09 13:32:56 debian.cn

VS Code 公布 2018 路线图:生态改进 快乐编码

,例如 Java。 扩展创建、发现和管包括: 针对用户:改进推荐系统、改进扩展搜索、简化由扩展引起的问题跟踪、显示有关扩展使用情况的更多信息等。 针对作者:改进语言 API 、支持远程开发、快速选择命令改进、支持更换发布者等。 更多详情和具体细节请点此查阅 开发团队还表示,VS Code 将继续坚持按月更新的频率,并在每次迭代版本发布时对后续改进目进行“调查”。这也意味着今后几个月的目是在真正进行功能开发之前更好了解问题和潜在的解决方案。调查完成后,会适当调整开发计划。...阅读全文

博文 2017-11-02 11:50:40 debian.cn

SolydXK 9 正式发布,基于 Debian 的发行

SolydXK 9 已正式发布,它基于最近发布的 Debian 9。 自上个 beta 版本发布以来,团队一直在测试、改进和开发。除了基于新的 Debian 9,SolydXK 已默认删除了 Backports 存储库(尽管可以重新启用),添加了一个工具来协助分区加密以及引入新的桌面主题。 更新内容: SolydX 和 SolydK 的新主题,可以选择一个亮色或暗色的主题 SolydXK 系统现在有一个 GUI,你可以在其中加密分区(和你的 USB闪存驱动器),本化你的系统,选择最快的存储库,管软件包和清系统。此应用程序的加密部分现可正常工作,但仍处于测试阶段,注意风险 默认情况下,后端存储库已被删除,但可以在新的 SolydXK 系统应用程序中启用 solydx/k-info 软件...阅读全文

博文 2017-07-15 10:19:55 debian.cn

Tails 4.4 发布,能你隐身的发行版

, signature, torrent, pkglist) Tails (“The Amnesic Incognito Live System”的缩写) 是一个十分注重“隐私性”和“隐匿性”的 Linux 发行版,它衍生自 Debian,设计之初就是帮助用户匿名使用互联网,并最大限度保护个人隐私。 为达到此目,Tails 使用了 Tor 网络,使得网络流量很难被追踪。Tails 还预装了一些应用,包括网页浏览器、IRC 客户端、邮件客户端、即时消息通信工具,它们都以安全为念进行了预配置,并对网络流量进行了匿名性处。因此通过 Tails 我们可以不留下任何痕迹“隐身”使用互联网。...阅读全文

粘合万种芯片的“万能胶” 是摩尔定律的续命丹吗? - 硬件

。”平板电脑应用处嚣,自动驾驶域处器,数据中心应用处器将是Chiplet率先落的三个领域。也是解决chiplet‘鸡’和‘蛋’的问题的原动力。”也就是说,虽然Chiplet有能力延续摩尔定律,但对于绝大多数不太先进的芯片公司而言,是没有必要早早就为芯片万能胶买单。因此也就能够解,为何UCIe产业联盟是由几家芯片巨头携手共建的了。但不可否认的是,性能、功耗和面积的升级依然是芯片界向前发展的目,随着越来越多的终端产品开始用得起更加先进的工艺制程时,芯片万能胶主流时代就不会再遥远。会有那么一天,但芯片万能胶的复用能力达到一定水平时,就有能力完全战胜晶体管集成了。如果您对文章内容有疑问,欢迎添加作者微信Yolanda_Zuu进一步讨论交流。作者 | 吴优编辑 | 包永刚访问:京东商城...阅读全文

博文 2022-04-08 07:35:46 cnBeta.COM

高性能日志采集工具 logpipe 简单介绍

在集群化环境里,日志采集是重要基础设施。本文结合最新的 1.0.9 版,对 logpipe 做一个简单的介绍。开源主流解决方案是基于 flume-ng,但在实际使用中发现 flume-ng 存在诸多问题。 比如 flume-ng 的 spoolDir 采集器只能对文件名转档后的大小不能变化的最终日志文件进行采集,不能满足采集时效性要求,如果要采集正在被不断追加的日志文件,只能用 exec 采集器搭配 tail -F 命令,但 tail -F 命令又不能通配目目录中将来新增的未知文件名。其它解决方案如 logstash 由于是 JAVA 开发,内存占用和性能都不能达到最优。 作为一个日志采集的本,内存占用应该小而受控,性能应该高效,耗费 CPU 低对应用影响尽可能小,要能异步实时追踪...阅读全文

Proxmox VE 6.0 发布,基于 Debian 10.0 Buster

的基础设施,6.0 集成了最新的 ceph 14.2 版本的特性,并为基于 web 的用户界面带来了许多新的管功能安装程序现在通过 UEFI 支持 ZFS 根目录,例如可以在 NVMe SSD 上启动 ZFS 镜像Promxox VE 6.0 中包含了新的 QEMU 功能Proxmox VE 6.0 提供了对自定义 Cloudinit 配置的支持,并允许用户将其存储为代码片段Corosync 现在使用单播作为默认传输方法ZFS 的新特性包括增强安全性和数据保护,这是因为通过将加密直接集成到“zfs”实用程序中,增加了对本机加密和舒适的密钥处的支持 其他更改: 自动清旧内核映像:旧内核映像不再被记为‘NeverAutoRemove’,这有助于防止在小分区上安装/引导时出现问题安装程序中...阅读全文

博文 2019-07-18 13:58:35 debian.cn

Golang 操作 Kafka 样例

)、consumer(消息消费者)都可以是分布式的。 在消息的生产时可以使用一个识topic来区分,且可以进行分区;每一个分区都是一个顺序的、不可变的消息队列, 并且可以持续的添加。 同时为发布和订阅提供高吞吐量。据了解,Kafka每秒可以生产约25万消息(50 MB),每秒处55万消息(110 MB)。 消息被处的状态是在consumer端维护,而不是由server端维护。当失败时能自动平衡 1.1.3. 常用的场景 监控:主机通过Kafka发送与系统和应用程序健康相关的指,然后这些信息会被收集和处从而创建监控仪表盘并发送警告。 消息队列: 应用程度使用Kafka作为传统的消息系统实现准的队列和消息的发布—订阅,例如搜索和内容提要(Content Feed)。比起大多数的消息系统来说,Kafka...阅读全文

博文 2023-01-10 13:46:09 掘金

Go 语言发布 2.x 计划,或将不完全向后兼容

论 Go 2 了。 开发团队表示,Go 语言如今的目与 2007 年相同,就是希望使程序员更有效两种规模:生产规模和开发规模,其中又主要针对的是与许多其他服务器交互的并发系统,和许多工程师协调的大型代码库。Go 2 的目就是解决 Go 1 在规模化方面做的还不好的方。 据 Russ 估算,目前全球的 Go 开发者至少有 50 万,这意味着有数百万个 Go 源文件和至少十亿行 Go 代码。那些程序员和源代码代表了 Go 的成功,但同时也是对 Go 2 的主要约束。只有在回报非常巨大时,才能让开发者改变原有的旧习惯,学习新用法。Go 2 必须修正 Go 1 的问题,带动所有的 Go 开发者, 也就必须带上所有现有的 Go 源代码,不能让生态系统分裂。 如果把 Go 2 要增加的特性分...阅读全文

博文 2017-07-22 19:50:05 debian.cn

几种常用的方法论、思维方式

方法论,就是关于人们认识世界、改造世界方法的经验性的论,它是一种以解决问题为目的体系或系统,通常涉及对问题阶段、任务、工具、方法技巧的论述。方法论会对一系列具体的方法进行分析研究、总结并最终提出较为一般性的原则。 这里汇总介绍几种方法论。 吉德林法则 美国通用汽车公司管顾问查尔斯·吉德林提出:把难题清清楚楚写出来,便已经解决了一半。只有先认清问题,才能很好解决问题。这种观点在管学上被称为吉德林法则。 墨菲定律(Murphy's Law) 主要内容有四个方面:一、任何事都没有表面看起来那么简单;二、所有的事都会比你预计的时间长;三、会出错的事总会出错;四、如果你担心某种情况发生,那么它就更有可能发生。 彼德原 每个人在层级组织里都会得到晋升,直到不能胜任为止。换句话说,一个人...阅读全文

Facebook 以最高级别身份加入Linux基金会及其董事会

项目使电信运营商可以轻松在难以到达的区域部署移动网络,从而降低了建设和维护电信网络的成本。Facebook 的 “Data for Good” 计划用于共享数据,以解决一些世界范围内的人道主义问题,包括在 COVID-19 疫情期间发挥作用。创建并维护 PyTorch 开源生态系统,为在计算机视觉、自然语言处和其他学科中利用人工智能和机器学习贡献了很大一份力量;React.js 也由 Facebook 创建,它为世界上一些最受欢迎的网站提供支持,并且由于其简单性和灵活性而成为前端 Web 开发准。 Linux 基金会会员分为银级、金级和白金级三种不同等级,白金级即最高等级,每年需缴纳会费 50 万美元,同时拥有董事会席位。AT&T、谷歌、华为、IBM、英特尔、微软、Oracle、腾...阅读全文

Cloudpods容器化经验分享

Cloudpods是一个开源的多云混合云管平台。Cloudpods首先是一个私有云云平台,具备将计算节点使用开源QEMU/KVM虚拟化技术虚拟出虚拟机,实现私有云的功能。其次,Cloudpods能够纳管其他的云平台,包括主流私有云和公有云,实现云管的功能。 Cloudpods的目是帮助用户基于本基础设置以及已有云基础设置,构建一个统一融合的云上之云,达到降低复杂度,提高管效率的效果。Cloudpods从3.0开始全面拥抱Kubernetes,基于Kubernetes部署运行云平台的服务组件,采用Kubernetes Operator,基于Kubernetes集群自动化部署服务,实现了云平台的服务的容器化分布式部署。本文总结了Cloudpods在过去3年云平台底层容器化改造的经...阅读全文

单核心 IOPS 突破 1000 万,Linux 5.16 有望大幅提升 I/O 性能

Linux block 子系统的负责人 Jens Axboe 目前就职于 Facebook,他也因开发了 IO_uring 而闻名,他对 IO_uring 的不断开发与优化使得 Linux 系统的 I/O 性能得到巨大提升。一周前,Jens Axboe 开始对内核的 I/O 性能进行了新一轮的优化,以便在单个 CPU 核心上获得 800 万 IOPS。经过一周时间的努力,每个核心能够实现 890 万左右的 IOPS,就当大家以为这个数字已经达到他所使用的硬件极限,没有更多优化空间时,本周他又成功将每个核心的 IOPS 推到了 1000 万。IOPS(Input/Output Operations Per Second)是一个衡量电脑储存装置(如 HDD、SSD)输入/输出性能高低的指...阅读全文

博文 2021-10-27 10:32:50 joseph

理解 Linux 的虚拟内存

有些矛盾。于是翻一下资料重新整一下这些知识,希望下次在用到它们时能更顺畅。转载随意,请注明来源,文章持续修订。 由来 虚拟内存 毋庸置疑,虚拟内存绝对是操作系统中最重要的概念之一。我想主要是由于内存的重要”战略位”。CPU太快,但容量小且功能单一,其他 I/O 硬件支持各种花式功能,可是相对于 CPU,它们又太慢。于是它们之间就需要一种润滑剂来作为缓冲,这就是内存大显身手的方。 而在现代操作系统中,多任务已是配。多任务并行,大大提升了 CPU 利用率,但却引出了多个进程对内存操作的冲突问题,虚拟内存概念的提出就是为了解决这个问题。 虚拟内存简单直观的解释 操作系统有一块物内存(中间的部分),有两个进程(实际会更多)P1 和 P2,操作系统偷偷分别告诉 P1 和 P2,我的整个内存...阅读全文

博文 2018-11-25 11:03:49 debian.cn

Go 1.9 的新特性介绍

档: monotonic time 位处操作 新增加了math/bits包, 提供了很多位运算的函数。 Test Helper函数 新加`(T).Helper和(B).Helper m`, 用来记调用的函数是一个测试辅助函数,当输出文件名和行数的时候,这个函数回呗忽略。 准库的微小改动 准库也有一些小的功能的加入和提升, 比如image、net、runtime、sync等。 并行编译 支持并行编译函数,并且在Go 1.9中势默认设置。如果不想并行编译,设置GO19CONCURRENTCOMPILATION为0。 ./... 会忽略vendor下的包 这一条很有用,以后你在Makefile中可以直接使用./...,而不是曲折将vendor文件夹排除。 如果你想使用vendor下的包...阅读全文

博文 2021-01-28 17:50:34 debian.cn

ChaosMesh 的基本功能有哪些

混沌实验场景,以及方便将已有的混沌实验场景复用到其他应用混沌实验中,大大降低了混沌实验的成本。目前混沌实验场景提供的功能有:编排串行混沌实验编排并行混沌实验支持状态检查步骤支持中途暂停混沌实验支持使用 YAML 文件定义和管混沌实验场景支持通过 Web UI 定义和管混沌实验场景具体的实验场景配置,参考具体创建 Chaos Mesh Workflow。可视化操作​Chaos Mesh 为用户提供了单独的 Chaos Dashboard 组件,即可视化支持。Chaos Dashboard 极大简化了混沌实验,用户可以直接通过可视化界面来管和监控混沌实验,仅需点一点鼠就能够定义混沌实验的范围、指定混沌注入的类型、定义调度规则,以及在界面上获取到混沌实验的结果等。​安全保障​Chaos...阅读全文

最全的 DevOps 工具集合

用 Marathon 的 Apache Mesos 架构,©AdrianMouat 如图所见,集群中有四个元素。ZooKeeper 帮助 Marathon 查找 Mesos master 的址,可以使用多个实例来处故障。 Marathon 负责启动、监视并扩展容器。Mesos master 将分配给节点的任务发送给 Marathon,并在节点具有一些可用的 CPU/RAM 时向 Marathon 提出要约。Mesos slaves 负责运行容器并提交自身可用资源的列表。 Kubernetes Kubernetes 是用于 Docker 容器的编排系统,使用签和 pods 的概念将容器分为许多逻辑单元。Pod 是 Kubernetes 与其他两种解决方案之间的主要区别所在——它们是位于同...阅读全文

博文 2021-05-26 14:35:21 博客园

DevOps 越来越流行,2019 年这八大趋势值得关注

。 在 2019 年,将会发生从 CI 管道到 DevOps 装配线的转变。DevOps 装配线专注于自动化和连接多个团队执行的活动,例如开发人员的 CI,运维人员的基础架构配置和配置管,测试人员的测试自动化,SecOps 的安全补丁,发布负责人的语义版本控制和部署到多种环境,等等。 下图展示了单个应用程序或服务的典型装配线: 自动化将成为主要焦点 关于 DevOps,我们谈论了很多自动化方面的内容。如果可能的话,零接触(zero-touch)自动化就是未来的发展方向。这并不是说你一定要自动化一切,只是说如果有必要,你就应该能够做到。了解 DevOps 周期的六个“C”,并确保在这些阶段之间应用自动化,这才是关键,这将是 2019 年的主要目。 测试人员要学习编码 DevOps 对知道如何编...阅读全文

博文 2018-12-10 22:49:57 debian.cn

Kubernetes 1.7 发布,安全强化、StatefulSet 更新及可扩展特性

(canary)和分阶段(phased)推出部署(rollout);本持久卷(Local Persistent Volume)。当前以Alpha版发布,允许用户通过准的PersistentVolumeClaims/PersistentVolume接口及StatefulSets中的StorageClasses访问本存储卷;DaemonSets。该特性用于确保给定的Pod对每个节点准确执行和运行一次,现已添加了rollback和history功能;新提供的StorageOS Volume插件,它可在本的或附加的节点存储上提供在整个集群范围内高可用的持久卷。 在可扩展性方面,1.7中以Beta版的形式添加了API聚合层,允许用户在他们的集群中添加Kubernetes风格的预先构建的、用户定义的或是第...阅读全文

博文 2017-07-19 12:23:15 debian.cn

Q4OS Linux发行版使用Debonaire新桌面主题

Q4OS团队宣布他们在基于Debian的GNU/Linux发行版中使用Trinity Desktop Environment的新桌面主题。Q4OS是基于最新Debian GNU/Linux操作系统的小型Linux发行版,围绕Trinity Desktop Environment(TDE)构建。它被明确设计为习惯Microsoft Windows的任何人更容易的转换到Linux。 这个新的桌面主题被称为“Debonaire”,新的桌面主题为窗口题栏和面板使用黑暗的元素。从某种程度上来说,它类似于著名的Arc GTK +主题的外观相似,使得Q4OS操作系统比Trinity Desktop Environment提供的准外观更现代。 Q4OS开发者在一篇论坛上写道:我们引入了一个名为...阅读全文

7大维度看国外企业为啥选择gRPC打造高性能微服务

准外,还需要选择一个易于扩展的框架。随着微服务的发展,企业需要越来越多的“开箱即用”功能,发展的同时,为系统增加了更多的复杂性。因此企业希望的功能包括: 异常处 - 在请求级别提供一个处异常的机制。它允许捕获有关请求的重要上下文元数据,例如发出请求的用户,可以用例外报告。我们使用Bugsnag轻松监视这些异常。 智能重试 - 在特定条件下重试请求,例如仅在5xx状态码上。这包括支持各种退避策略,如指数退避。 服务发现配置 - 将通信框架连接到流行的服务发现应用程序(如Zookeeper,Eureka或Consul)的选项可以提供一种快速简便的解决方案,以绕过企业的架构来请求路由。 度量、跟踪和日志记录 - 可观察性对于复杂的分布式系统是必不可少的,但是应该小心监视的内容。在服务边界自...阅读全文

博文 2018-03-19 17:51:32 debian.cn

谷歌公开了内部管理Infra层的两个工具的Paper

同点:不再关注于给生产环境推送单独的变更,而是关注于想要达到的状态。不再维护一步一步的工作流,而是让服务所有者使用配置来描述他们想要基础架构达到的样子:运行什么job,负载均衡器的搭建,数据库schema的位置等等。 基于这些信息,Prodspec和Annealing将这些配置转化成统一的结构,随后被执行。执行是安全并且持续性的:自动化系统重复比较用户模型所表达的预期状态和生产环境的状态,并且在安全的时候自动触发reconciliation。服务所有者不再需要将配置变更手动推送到生产环境里。 因为我们从2015年左右就开始开发Prodspec和Annealing,基于intent的执行(intent-based actuation)这一简单明了的念如今已经成了实际的准。Google生产...阅读全文

博文 2023-01-08 11:23:20 CSDN博客

六个开源软件开发的潜规则

孤立看待问题。这表明,你要对项目各个部分如何与其他人协作交互有比较深入的解。让你的补丁填坑而不是挖坑。这样你朝成为社区精英的目上又前进了一大步。 粗枝大叶,自寻烦恼 代码提交完毕后你的工作还没结束。如果代码被接受,还会有一些关于这些更改的讨论和常见的问答,还要做测试。你要确保你可以准时提交,努力去解如何在不影响社区其他成员的情况下,改进代码和补丁。 和谐相处,助人助己 开源社区不是自相残杀的丛林世界,我们更看重项目的价值而非个体的贡献和成功。如果你想给自己加分,让自己成为更重要的社区成员、让社区接纳你的代码,那就努力帮助别人。如果你熟悉网络部分,那就去复审网络部分,用你的专业技能让整个代码更加优雅。道很简单,顶级的审查者经常和顶级的贡献者打交道。你帮助的人越多,你就越有价值。 八面...阅读全文

博文 2017-05-20 10:27:11 debian.cn

Rust 1.37.0 稳定版发布

Cargo 项目中选择默认二进制文件 cargo run 对于快速测试 CLI 应用程序是可以的,当多个二进制文件出现在同一个包中时,必须使用 --bin 志显式声明要运行的二进制文件的名称。这使得 cargo run 不像我们想要的那样符合人机工程学,特别是当一个二进制文件比其他的更频繁被调用时。 Rust 1.37.0 通过添加 default-run 来解决这个问题,这是 Cargo.toml 中的一个新键,当这个键在 [Package] 部分中声明时,如果没有传递 --bin 志,cargo run 将默认为所选的二进制文件。 枚举上的 #[repr(align(N))] #[repr(align(N))] 属性可用于提高类型定义的对齐性。以前,该属性仅允许在 struct 和...阅读全文

博文 2019-08-17 21:17:23 debian.cn

Terraform 学习总结 — Terraform 简介

前言 在 DevOps 实践中,基础设施即代码如何落是一个绕不开的话题。像 Chef,Puppet 等成熟的配置管工具,都能够满足一定程度的需求,但有没有更友好的工具能够满足我们绝大多数的需求?笔者认为 Terraform 是一个很有潜力的工具,目前各大云平台也都支持的不错,尤其是使用起来简单明了。本文会简单的介绍一下 Terraform 相关的概念,然后通过一个小 demo 带大家一起进入 Terraform 的世界。说明:本文的演示环境为 ubuntu 16.04。 Terraform 是什么? Terraform 是一种安全有效构建、更改和版本控制基础设施的工具(基础架构自动化的编排工具)。它的目是 "Write, Plan, and create...阅读全文

Kafka 3.3 使用 KRaft 共识协议替代 ZooKeeper

Apache 软件基金会发布了包含许多新特性和改进的 Kafka 3.3.1。这是第一个志着可以在生产环境中使用KRaft(Kafka Raft)共识协议的版本。在几年的开发过程中,它先是在 Kafka 2.8 早期访问版本中发布,然后又在 Kafka 3.0 预览版本中发布。KRaft 是一种共识协议,可以直接在 Kafka 中管元数据。元数据的管被整合到了Kafka当中,而不需要使用像ZooKeeper这样的第三方工具,这大大简化了 Kafka 的架构。这种新的 KRaft 模式提高了分区的可伸缩性和弹性,同时简化了 Kafka 的部署,现在可以不依赖 ZooKeeper 单独部署 Kafka 了。KRaft 使用了Raft共识算法的一种基于事件的变体,因此得名。​随 KRaft...阅读全文

Kong 发布 API 协作设计工具 Insomnia Designer

API 和服务生命周期管平台 Kong 发布了 Insomnia 系列开发工具的一个重要扩展 —— Insomnia Designer。Insomnia Designer 提供一个编辑 GraphQL 和 REST API 的协作环境,让开发团队可以更方便采用规范优先(spec-first)的方法用于软件设计。 Kong 于去年收购了开源 REST 客户端提供商 Insomnia,两者秉承着一致的目在 Insomnia 的基础上推出了 Insomnia Designer,旨在帮助开发者创建 REST 和 GraphQL API。Kong 认为,软件正逐渐朝着松耦合的微服务模式运行,API 也已成为一等公民(first-class citizens)。在这种新的模式下,开发者需要工具来...阅读全文

博文 2020-05-03 15:28:11 debian.cn

21款必不可少的Ubuntu桌面应用程序

能也不如后者来得大。 Ubuntu Cleaner是被抛弃的Ubuntu Tweak应用程序的“Cleaner”部分的分支。使用该应用程序是帮助释放Ubuntu空间的好方法。它可以清除不需要的程序包,清过时的应用程序配置,还能清apt和Web浏览器缓存内存。 16. FeedReader RSS阅读器 我用两种方式来密切关注成百上千的应用程序、网站及其他开发项目:电子邮件(通过邮件列表)和RSS新闻源(通过Feedly)。如果你使用后者(或者即便不用),可能会有兴趣打量一下FeedReader。 FeedReader是一款GTK桌面RSS阅读应用程序,适用于Linux桌面。它并不是各方面都很完善,好几个方还是不尽人意,但它是在浏览器签中使用Feedly的比较好的工具。它可以通过专用...阅读全文

博文 2021-01-28 17:50:19 debian.cn

基于thanos搭建分布式prometheus

prometheus存在单点问题,具体痛点可以这么描述: prometheus单机存储和抓取能力都有上限,容易单点故障。 虽然有一种方式是通过部署N个prometheus分别抓取不同的target来分摊压力的,但是grafana就要为不同的图表配置不同的prometheus址,复杂程度比较棘手。 thanos+prometheus可以解决这个问题,它提供了一个核心能力: 1,thanos querier组件可以反向代到N个prometheus,然后grafana直接指向thanos querier即可,thanos querier会从N个prometheus同时查询数据,返回满足Promql的数据结果; 2,如果N个prometheus抓取的数据存在重复的,那么thanos...阅读全文

博文 2021-03-01 13:02:46 鱼儿的博客

三星谈论下一代DRAM解决方案:GDDR7、DDR5、LPDDR5X和V-NAND

访问购买页面: SAMSUNG - 三星旗舰店 今年的活动有800多名客户和合作伙伴参加,三星的内存和系统LSI业务领导人--包括内存业务总裁兼负责人Jung-bae Lee、系统LSI业务总裁兼负责人Yong-In Park和执行副总裁兼设备解决方案(DS)美洲办事处负责人Jaeheon Jeong,一同就公司的最新进展和未来愿景发表了演讲。系统LSI业务亮点在今年技术日的上午会议上,系统LSI业务强调了其目,即通过最大限度发挥其独特和广泛的产品系列之间的协同作用,成为一个"整体解决方案无工厂"。作为三星电子的无晶圆厂IC设计公司,系统LSI业务目前提供约900种产品,其中包括SoC(片上系统)、图像传感器、调制解调器、显示驱动IC(DDI)、电源管IC(PMIC)和安全解决方案...阅读全文

Debian的版本号及distributions

然而然产生了:如果在/etc/apt/apt.conf中配置这个参数为stable,那么每次apt命令时如果没有指定目distribution,那么目distribution就会是stable;当需要操作其他distribution时,只要用-t明确指定就可以了。指定该参数的格式可以这么写:APT::Default-Release stable; 也可以这么写: APT { Default-Release stable; }; 如果指定了目distribution(不管是用APT::Default-Release指定还是用-t参数指定),apt用下面的算法来分配优先级: priority 100 to the version that is already installed (if...阅读全文

博文 2021-01-28 17:50:08 debian.cn

处理器CPU散装和盒装有什么区别

很多人在装机过程发现,在某电商平台输入处器信息后,会出现盒装版和明散片装两种商品,二者在售价上也天差别,因为担心假货,很多人愿意花费更多的售价购买正品盒装版,今天为大家讲解一下盒装版处器和散片之间的区别。 CPU有叫做中央处器,是一块超大规模的集成电路,它的主要功能是解释计算机指令以及处计算机软件中的数据。通常包括运算器、高速缓冲存储器以及实现他们之间联系的数据、控制、状态的总线。目前市面上主流CPU生产商包括Intel和AMD,其中散片主要集中在Intel生产的处器当中,ADM生产的市面上几乎没有散片包装。 CPU散片一般而言即只有一块CPU包装,没有任何正规包装盒,与正规CPU最大区别在没有CPU原装散热器,无法享受官方正品带来的任何售后以及三包服务。通常CPU散片主要是...阅读全文

博文 2018-09-02 19:32:35 debian.cn

基于 Qt 的开源笔记软件 VNote 1.11.1 发布

编辑器编辑笔记。 ———————————————————————————————— VNote是一个受Vim启发开发的专门为Markdown而优化、设计的笔记软件,也是一个更了解程序员和Markdown的笔记软件。 VNote是一个基于Qt框架的、免费的开源笔记软件。VNote专注于Markdown的编辑与阅读,以提供舒适的编辑体验为设计目。 VNote不是一个简单的Markdown编辑器。通过提供笔记管功能,VNote使得编写Markdown笔记更简单和舒适! 基于Qt框架,VNote能够在主流操作系统上运行,包括Linux, Windows以及macOS。【本文转载自开源中国】...阅读全文

博文 2018-01-05 23:43:22 debian.cn

Grafana 6.3.3发布 系统指标监控与分析平台

Grafana 6.3.3 发布了,Grafana 是一个功能丰富的指准仪表板和图形编辑器,用于分析和监控 Graphite、Elasticsearch、OpenTSDB、Prometheus 和 InfluxDB。 新版本更新主要是 Bug修复,具体如下: Annotations:修复取消时间序列查询时,失败的注释查询 #18532Auth:如果 cookie_samesite 为 none,请不要设置 SameSite cookie 属性 #18462DataLinks:正确将范围变量应用于数据链接 #18454DataLinks:在图形上下文菜单中显示数据点的时间戳时,遵守时区 #18461DataLinks:插值变量时,正确使用数据点时间戳 #18459Explore:修复空...阅读全文

博文 2019-08-17 21:20:29 debian.cn

中国投资130亿元量产相变内存 比闪存快1000倍

全球的内存市场主要被三星、SK Hynix和美光三家公司垄断,他们三家加起来的份额高达95%,中国要想在内存市场突破封锁并不容易,尽管有紫光、长鑫、兆易创新等公司投身存储芯片市场,但在现有的DDR内存技术上,中国公司技术、产能还差得远呢。 此外,内存也不止传统的DDR技术,还有很多新兴领域正在发展,比如PCM相变存储,相比传统内存它的优势很多,比如速度快了1000倍,耐用性也是传统内存的1000倍,江苏淮安市时代芯存公司投资130亿元建设了国内最大的相变存储基,上周已经开始正式运营,预计年产值45亿元。 来自中国江苏网的消息称,淮安市集成电路产业现场推进暨江苏时代芯存半导体有限公司相变存储器工厂竣工运营启动仪式在淮安高新技术产业开发区顺利举行,此举志着130亿元投资的相变存储项目开始进...阅读全文

博文 2018-04-10 22:34:58 debian.cn

Kubernetes常用命令大全(持续更新)

kubernetes,简称K8s,是知名的开源容器编排与调度平台,它的目是让容器化部署、资源分配简单且高效。K8s是绝对主流且流行的容器管平台,据说在合肥运维同学不会k8s是找不到工作的。本文我们将列举常用的kubernetes命令,后续会完善内容并提升易读性。 想起十几年前,我曾在Linux伊甸园的论坛,整过一份rpm常用命令的列表,不知有多少朋友看过? 查看所有namespace的pods运行情况 kubectl get pods --all-namespaces 查看具体pods,记得后边跟namespace名字哦 kubectl get pods kubernetes-dashboard-76479d66bb-nj8wr --namespace=kube-system 查看...阅读全文

博文 2020-03-13 12:35:13 debian.cn

Linux Systemd被爆远程漏洞 CVE-2017

"dns_packet_new" 函数中, 它是一个 dns 响应处程序组件, 它为本应用程序提供网络名称解析。 根据星期二发布的一个公告, 当系统试图在攻击者控制的 dns 服务上查找主机名时, 经过精心构造的恶意 dns 响应,可以远程崩溃 " systemd-resolved " 程序。 最终, 大量 dns 响应会溢出目计算机的缓冲区, 从而使攻击者改写其内存,引发远程代码执行。这意味着攻击者可以通过其恶意的 dns 服务,在目系统或服务器上,远程执行任何恶意软件。 ubuntu 开发者Chris Coulson在开发规范中这样描述, “直到 233版本的 systemd , certain sizes passed to dns_packet_new in systemd-resolved can...阅读全文

博文 2017-07-02 09:39:36 9445 影响多种Linux系统