InfraPub 为您找到相关结果 614

Facebook 是如何进行大规模代码部署的

过多,以至于无法持续。 这个 CD 系统的关键组件是一种控制方法,即谁将接收变更,以及用于部署和测量的自动化工具。在第一步中,经过一系列自动化测试后,变更就从内部推送到 Facebook 员工。在这一发现的任何回归,都会被认为这一进程受阻或者停止。下一步涉及到“ canary deployment ”(金丝雀部署),只推送至生产环境的 2% 。依靠连续的监测来检测问题。如果一切顺利,这些变更将 100% 部署到生产环境中。名为 Flytrap 的工具收集用户报告,并发送任何异常情况的告警。 Facebook 中的 Web 和移动产品遵循两条不同的路径,原生移动变更的部署频率低于 Web 。这两个都由名为 Gatekeeper 的系统控制。除此之外,Gatekeeper 还离出了部署和发...阅读全文

博文 2017-10-31 14:05:20 debian.cn

中国投资130亿元量产相变内存 比闪存快1000倍

入运营。这个项目2017年11月份完成了厂房封顶,并完成了设备采购,从开工到封顶不到9个月时间,今年3月底开始运营。 根据之前的消息,江苏淮安的这个项目总投资130亿元,一期投资43亿元,建成后将年产10万片12英寸PCM相变存储芯片。相变存储芯片被成为21世纪的存储芯片标准,与传统存储芯片(比如内存)相比,它是一种非易失性存储芯片,但是速度达到了传统存储芯片的1000倍,同时可靠性是后者的1000倍——当然这些指标都是理论上的。 目前量产的PCM存储芯片并没有这么强,Intel的3D XPoint闪存据说就是一种PCM存储芯片,只不过一直没有被证实,而它宣传的特点就是性能是闪存的1000倍,可靠性也是闪存的1000倍,同时容量密度是闪存的10倍。...阅读全文

博文 2018-04-10 22:34:58 debian.cn

AMD Zen之父跳槽Intel:推进10nm工艺

、GlobalFoundries已经纷纷开始或准备量产7nm,AMD Zen2架构产品明年也会上7nm。 虽然Intel一再宣称自己的工艺比对手领先一个时代,但现在的问题是,就算对手的7nm只相当于你的10nm,人家也已经在量产了,这是无法回避的。再加上AMD步步紧逼,作为几十年龙头老大的Intel,身上的压力可想而知。 相信这也是Intel挖过来Jim Keller,共同推进新工艺的关键原因。当然,Jim Keller擅长的是架构设计,而不是工艺制造,因此在Intel更多的应该也就是配合工艺技术、研发和生产进度,优化架构和产品设计,帮助尽快落地上市。 之前还有消息说,Intel已经在调整10nm工艺,为了能尽快量产而降低技术要求,所以最终我们看到的Intel 10nm可能只是个缩水版,也就谈不上比肩对手7nm了。...阅读全文

博文 2018-08-11 18:15:33 debian.cn

Kubernetes v1.21 新特性预览

Beta ,并默认开启。注意,使用该特性需要 CSI 驱动程序实现对应的接口。TTL 控制器 BetaTTL 控制器用来自动清理已经结束的 Pod,如处于 Complete 或 Failed 状态的 Job。Pod 停止之后的 TTL 可以通过 .spec.ttlSecondsAfterFinished 来设置。注意,该特性要求集群中各节点(包括控制节点)的时间一致,比如在所有节点中运行 NTP 服务。GenericEphemeralVolume Beta通用临时卷(GenericEphemeralVolume)类似于 emptyDir 卷,但它更加灵活:存储可以是本地的,也可以是网络存储。卷可以有固定的大小,Pod 不能超量使用。卷可能有一些初始数据,这取决于驱动程序和参数。当驱动程序支持...阅读全文

博文 2021-03-30 20:24:36 mp.weixin.qq.com

最全的 DevOps 工具集合

本文最初发布于 Better Programming 博客,经原作者授权由 InfoQ 中文站翻译并享。 随着 DevOps 的出现频率越来越高,很多企业都在蠢蠢欲动,想要设计和开发 DevOps 平台。工欲善其事必先利其器,本文为大家总结了 DevOps 各个可以选择的工具,也许 DevOps 平台的技术选型在这一篇文章中就可以完成。 DevOps 的目标是持续改进,因此技术选型也是的。 DevOps 技术类别 规划工具 在规划最重要的是要制定共同的目标、保证透明度和赋权。目前业内比较常用的规划工具主要包括 GitLab、TaskTop、CollabNet VersionOne、Pivotal Tracker、Trello 和 Azure Boards。 GitLab...阅读全文

博文 2021-05-26 14:35:21 博客园

Java 12 / JDK 12 正式发布

自 2 月 7 日开始,Java/JDK 12 就进入了 RC 。按照发布周期,美国当地时间 3 月 19 日,也就是今天 Java 12 正式发布了! △ JDK 12 GA 发布 Java 12 带来了一系列新特性: 189Shenandoah: A Low-Pause-Time Garbage Collector (Experimental) 低暂停时间的 GC230Microbenchmark Suite 微基准测试套件325Switch Expressions (Preview) Switch 表达式334JVM Constants API JVM 常量 API340One AArch64 Port, Not Two 只保留一个 AArch64 实现341Default...阅读全文

博文 2019-03-20 12:46:27 debian.cn

HTTPS 证书有效期被提议缩短至13个月

的证书颁发机构带来巨大压力。 Hollebeek 称: 将证书寿命迅速缩短到一年,甚至更少,对于许多依赖数字证书保护系统的公司来说,这将带来巨大的成本。这些费用不会换来更加安全的改进,并且这项提案对从事非法活动或冒充合法公司的非法子不会有任何影响。最主要的一点是,减少证书寿命的任何好处都是属于理论性的,在短期内要付诸实际的话,产生的风险和成本也将难以预测。 该提案于今年早些时候在谷歌员工 Ryan Sleevi 的一次会议上提出,目前仍处于草案,还没有关于何时进行表决的消息。...阅读全文

博文 2019-08-14 14:13:58 debian.cn

几种常用的方法论、思维方式

方法论,就是关于人们认识世界、改造世界方法的经验性的理论,它是一种以解决问题为目标的体系或系统,通常涉及对问题、任务、工具、方法技巧的论述。方法论会对一系列具体的方法进行析研究、总结并最终提出较为一般性的原则。 这里汇总介绍几种方法论。 吉德林法则 美国通用汽车公司管理顾问查尔斯·吉德林提出:把难题清清楚楚地写出来,便已经解决了一半。只有先认清问题,才能很好地解决问题。这种观点在管理学上被称为吉德林法则。 墨菲定律(Murphy's Law) 主要内容有四个方面:一、任何事都没有表面看起来那么简单;二、所有的事都会比你预计的时间长;三、会出错的事总会出错;四、如果你担心某种情况发生,那么它就更有可能发生。 彼德原理 每个人在层级组织里都会得到晋升,直到不能胜任为止。换句话说,一个人...阅读全文

Linux 基金会与 RISC

、紫光展锐等公司也加入了RISC-V联盟,其中华米科技今年9月份还宣布了基于RISC-V指令集的首款智能穿戴芯片黄山1号。 不过RISC-V前景虽好,但是现在还在起步,包括RISC-V基金会本身的运作也需要向Linux基金会这样的成熟社区学习,所以这次合作对RISC-V阵营意义重大,Linux软件生态在RISC-V处理器的开发、优化、支持等方面都会推动RISC-V建立更强大的生态系统。...阅读全文

博文 2018-12-01 09:45:27 V 基金会合作推广开源芯片

当 Atom 遇见 VSCode:微软将对 GitHub 做的 6 件事

生态 微软 CEO Nadella 谈到了微软在过去几年中如何成为 GitHub 上最活跃的组织,提交了超过 200 万次的项目 commits 和 updates ,并表示微软正在全身心地投入开源。 至于 GitHub 将如何发展成为一家微软公司,Nadella 主要关注三大策略:在开发周期的各个为开发者赋能,加速 GitHub 用于企业开发,并利用该平台让更多用户使用微软的开发工具和服务。 2、保持 GitHub 的开放性 GitHub 创始人 Chris Wanstrath 表示,无论使用的是哪种编程语言、平台、操作系统或编码设备,GitHub 都会是面向所有开发者的开放平台。像之前的 LinkedIn 和 Minecraft 一样,Nadella 时期的微软会让被收购的公司保持其...阅读全文

博文 2018-06-06 11:08:17 debian.cn

Debian瞻前 微软顾后:安全改进是否会产生负面影响

都知道,我们都是晚期拖延症患者,要落实一个功能,只会晚不会早。 比方说,微软刚刚向其老化的Windows Server 2008平台添加了TLS 1.1和TLS 1.2支持。 表面上看,添加对优化版TLS的支持是件好事。但如果我们细看Server 2008的其他TLS功能,缺陷是显而易见的: 没有AES GCM支持 没有AEAD密码 没有SNI(服务器名称指示)支持 没有OCSP Stapling支持 这不是一个非常有吸引力的HTTPS服务器。可能你今天就不想用,更别提三年后了。 Windows Server 2008(使用IIS 7)至2020年仍处于扩展支持。但为什么现在添加TLS 1.2? 从2018年6月开始,你将不得不支持TLS 1.1或更高版本的PCI兼容性。微软在其任何一篇...阅读全文

博文 2017-08-11 09:54:18 debian.cn

OpenAI掌门人Sam Altman:AI的下一个发展阶段_OneFlow

类的价值观)。风险在于,有人担心懂得“自我改进”的AI有可能会像科幻小说描写的那样,擅自改动代码或修改优化算法。 我深信,真正有利于促进人类和经济的前行的,是一个能够推动科学进步的社会架构。我们能从这样的社会架构中获益很多。 Audience Member:像GPT-3这样的基础模型会如何影响生命科学研究的步伐?生命科学研究中有没有一些技术手无法克服的限制因素,比如自然规律等? Sam Altman:目前的可用模型还不够好,不足以对生命科学领域产生重大影响——不少生命科学家了解这些模型之后都说,它们只能在部情况下发挥些许作用。AI在基因组学领域有一些很有前景的应用方向,但目前尚属起步,不过我很看好。我认为这也是市值千亿的巨头准备进军的领域之一。 如果AI未来真的可以让医药公司的研发速...阅读全文

博文 2023-02-04 15:55:11 CSDN博客

Linux:为什么那么多人讨厌 Systemd

因。也有其他人认为,systemd的日志记录并不是很好,二进制日志被很多人所诟病,虽然systemd提供了更快的索引,但二进制日志本身就有问题,而且systemd的日志损坏也不是第一次发生了。而且systemd真正令人反感的是设计不够灵活,对很多人而言,systemd阻止了他们的选择自由,考虑到kFreeBSD支的软件源无法纳入systemd,为与其他支保持一致,Debian的开发者尽力避免纳入systemd。但Lennart Poettering本人对此并不在意,并称“Debian GNU/kFreeBSD不过是玩具系统”。 systemd目前还处于中间发展,那些想要超级安全或超级小或超快速系统的人都不适合使用。事实的真相是,systemd的很多反对者并不真正关心“底层”,只是抱怨...阅读全文

Debian 社区陷入尴尬 或群龙无首

前两天我们才报导过 Debian 包维护者 Michael Stapelberg 因对 Debian 社区的现状不满而 宣布退出 Debian 的维护 ,该消息引发了人们对于 Debian 的担忧。11 日,邮件列表上一封标题为“Leaderless Debian”的公开信进一步加深了这种担忧。 Debian 社区目前正在进行领导人选举,3 月 3 日-10 日是候选人提名,然而,截至公开信发出的 11 日,还没有一位符合资格的 Debian 开发者提交申请。 此前的 Debian 领导人 Chris Lamb 一直被寄予厚望,他已经连任了两年,但是今年他公开表示因为一些 Debian 相关的与私人的原因 不参与竞选 。 所以,现在出现了尴尬的情况:“提名期已经结束,竞选期已经开始,但...阅读全文

博文 2019-03-14 11:05:23 debian.cn

Elastic search 6.0.0 正式发布 大量新特性

性就是序列 ID,它允许基于操作的片恢复。 以前,如果由于网络问题或节点重启而从集群断开连接的节点,则节点上的每个区都必须通过将文件与主片进行比较并复制任何不同的来重新同步。 这可能是一个漫长而昂贵的过程,甚至使节点的滚动重新启动非常缓慢。 使用序列 ID,每个片将只能重放该片中缺少的操作,使恢复过程更加高效。 使用排序索引更快查询 通过索引排序,只要收集到足够的命中,搜索就可以终止。它对通常用作过滤器的低基数字(例如 age, gender, is_published)进行排序时可以更高效的搜索,因为所有潜在的匹配文档都被组在一起。 稀疏区域改进 以前,每个列中的每个字都预留了一个存储空间。如果只有少数文档出现很多字,则可能会导致磁盘空间的巨大浪费。现在,你付出你...阅读全文

博文 2017-11-15 18:11:10 debian.cn

粘合万种芯片的“万能胶” 是摩尔定律的续命丹吗? - 硬件

Chiplet可以应用,以及Chiplet产品的性价比何时能最先验证。"戴伟民说到。正因如此,即便是有了UCIe这一标准,大家也容易停留在观望,都在等待第一个吃螃蟹的人出现。"芯原正在与有意向使用Chiplet的企业积极沟通,并尝试探索向潜在客户'众筹'Chiplet的方案,有望尽快打破僵局。"戴伟民补充道。续命摩尔定律,万能胶芯片不万能抛开工艺难题,芯片万能胶普及的关键在于,能否延续摩尔定律给芯片公司们更大价值。从产业链角度,一方面,Chiplet作为半导体产业的技术趋势,需要各家芯片公司都在自己的位置上做最擅长的工作,通过工协作减少Chiplet芯片与市场需求匹配的时间和周期,因此芯片公司之间的连接会更加紧密,另一方面,芯片万能胶似乎正在改写芯片公司或芯片产品的评价体系或维度。"一直以来,最先...阅读全文

博文 2022-04-08 07:35:46 cnBeta.COM

Linux 27周年:这27件有趣的事实你可能不知道

开发和发布时间表后,新版本的 Linux kernel 现在基本每隔 66 天左右发布一次。 18、Linux 不是 Linus Trovalds 唯一知名的作品,还有 Git 版本控制系统和潜水应用 SubSurface 。 19、据估计,90% 的好莱坞视觉效果在生产流程的某个依赖于 Linux 。 20、根据 openhub.net 的统计数据,超过 95% 的 Linux 是用 C 语言编写的。 21、最新版本的 Linux kernel 可能有 13.3%的代码由空行组成。这并非毫无意义,空行是严谨的编码风格的一部,使内核保持整洁、高效和有序。 22、基于 Linux 的 Android 是目前全球最成功的移动操作系统。 23、Linux 的每个内核版本都有一个有趣的代号,比...阅读全文

MongoDB 4.2 正式发布 引入分布式事务

MongoDB 4.2 正式发布了,MongoDB Server 4.2 提高了现代事务和析数据平台的技术水平。 Mongodb-4.2 的主要改动包括: 布式事务将 MongoDB 的多文档 ACID 从副本集扩展到共享集群,能够为更广泛的用例服务按需物化视图使用新的 $Merge 运算符,在集合中缓存大型聚合的输出是一种常见的模式,新的 $Merge 运算符将可以有效地更新这些结果,而不是完全重新计算它们通配符索引使建模像产品目录这样的高度异构的集合变得简单和自然,而不牺牲对索引的支持。只需定义一个过滤器,它将自动索引集合中所有匹配的字、子文档和数组MongoDB 查询语言增强功能,如更有表现力的更新、新的数学运算符和扩展的 regex 支持。此版本的 update 和...阅读全文

博文 2019-08-16 07:54:08 debian.cn

Debian、Ubuntu安装源配置文件说明

源列表主文件 /etc/apt/sources.list,兼取 /etc/apt/sources.list.d/*,结果以并集论。 源列表文件以行为单位,每行多个字,字间以空白符隔。井号(#)开头为注释行。样例如下: 安装源配置样例(Debian 8 jessie): deb http://ftp.tw.debian.org/debian/ jessie main contrib non-free deb http://ftp.tw.debian.org/debian/ jessie-updates main contrib non-free deb http://ftp.tw.debian.org/debian/ jessie-backports main contrib non...阅读全文

博文 2021-01-28 17:50:10 debian.cn

Intel 再曝“幽灵”类漏洞:二四六代酷睿受影响

在英特尔处理器的“熔断”(Meltdown)和“幽灵”(Spectre)漏洞风波还未完全平息的时候,研究人员又在英特尔的处理器上发现了新的漏洞,此前的“熔断”与“幽灵”补丁可能无法完全应对这种攻击手。 这几名研究者来自美国的几所著名大学。他们发现了一种新的攻击方式,并把这一漏洞称为“BranchScope”。该漏洞与“熔断”和“幽灵”不完全相同,但与后者相似的地方在于,它们都是通过处理器中的支预测(Branch Prediction)部发起攻击的。它们的危害也相似:都可以直接访问用户的敏感信息。 研究人员在i7-2600、i7-4800MQ和i5-6200U三枚不同年代的Intel处理器上成功验证了BranchScope漏洞。这很有可能说明,Intel酷睿系列的二代Sandy...阅读全文

博文 2018-03-30 08:48:47 debian.cn

InfluxDB 的 percentile 函数详解

官方文档的说明并不详细: https://jasper-zhang1.gitbooks.io/influxdb/content/Query_language/functions.html 实际百位取第几位的值参考如下 PERCENTILE(field_key, N) 选取某个字中大于N%的这个字值。 如果一共有4条记录,N为10,则10%*4=0.4,四舍五入为0,则查询结果为空。N为20,则 20% * 4 = 0.8,四舍五入为1,选取的是4个数中最小的数。如果N为40,40% * 4 = 1.6,四舍五入为2,则选取的是4个数中第二小的数。 由此可以看出N=100时,就跟MAX(field_key)是一样的,而当N=50时,与MEDIAN...阅读全文

2017年DevOps的5大发展预测

DevOps解决方案营销副总裁Aruna Ravichandran预测道。她说,“鉴于攻击者强度和复杂度的提高,以及安全问题快速公诸于众对品牌带来潜在不可挽回的损害,代码本身必须考虑安全问题,并且部署在牢固的安全架构中。” Ravichandran认为,随着微服务框架和SDK的引入,开发人员为了避免影响用户体验,应该从一开始就考虑安全功能。当到了测试和部署,安全验证应该被视为特殊情况处理。她提到“安全相关代码需求测试要求是非常特殊和动态的,这个过程非常有可能需要专家和用户的介入,这不是传统DevOps流程的一部。” 更加注重安全的时期 按照Tufin首席技术管兼联合创始人Reuven Harrison的说法,DevOps可能是企业的最新漏洞。2017年,他期望能够看见安全相关流程能够融入到...阅读全文

博文 2021-01-28 17:50:18 debian.cn

Kubernetes 1.7 发布,安全强化、StatefulSet 更新及可扩展特性

(canary)和(phased)推出部署(rollout);本地持久卷(Local Persistent Volume)。当前以Alpha版发布,允许用户通过标准的PersistentVolumeClaims/PersistentVolume接口及StatefulSets中的StorageClasses访问本地存储卷;DaemonSets。该特性用于确保给定的Pod对每个节点准确地执行和运行一次,现已添加了rollback和history功能;新提供的StorageOS Volume插件,它可在本地的或附加的节点存储上提供在整个集群范围内高可用的持久卷。 在可扩展性方面,1.7中以Beta版的形式添加了API聚合层,允许用户在他们的集群中添加Kubernetes风格的预先构建的、用户定义的或是第...阅读全文

博文 2017-07-19 12:23:15 debian.cn

Kubernetes 1.7:安全加固、有状态应用更新等

谢庞大的开放社区让这次发布成为可能。仅仅在三年时间内就完成了超过5万次提交,这还只是 Kubernetes 主要仓库的数量。 其他对于 Kubernetes 贡献到相关的仓库的扩展,提升了项目整体的稳定性。是速度让 Kubernetes 成为史上发展最快的开源项目之一。 世界的每一个角落都能发现 Kubernetes 的采用案例。从社区收集到的近期案例有: GolfNow,一个 NBC Sports Group 成员,在把应用迁移到 Kubernetes 后,获得了更好的资源利用率,基础设施的开销砍掉一半。 Bitmovin,一个视频基础设施解决方案提供商,向我们展示了他们在云环境和就地部署环境中如何实施多金丝雀部署。 Ocado,世界最大的在线超市,使用 Kubernetes 为他们的...阅读全文

博文 2021-01-28 17:50:35 debian.cn

技术部门的 SEO 规范

为客户提供SEO顾问服务的时候,经常遇到一些作为外部顾问不方便全程参与的情况。比如有的公司要新建网站,或者现有网站推到重来,问我能否从一开始就参与,提供SEO建议。 网站规划设计就考虑SEO当然是好事,但作为一个远在异国的顾问,参与到这种需要大量深度讨论、沟通、协调的过程中,实在是不好操作,内部SEO人员更适合这种工作。 有的客户公司规模比较大,技术开发、内容、SEO等各部门是开的,SEO部门的很多需求是要提交给技术、运营等部门实施的。反过来,其它部门的需求也由技术部门实施,但可就不一定经过SEO部门同意了。这个过程中就可能产生对SEO的不良影响。 也有的公司人员流动频繁,即使原先的开发人员都经过SEO培训,也还是会有完全不了解SEO的新人加入团队。 这些情况都需要有一个技术部门必须...阅读全文

博文 2019-03-28 13:58:51 debian.cn

DevOps 越来越流行,2019 年这八大趋势值得关注

。 在 2019 年,将会发生从 CI 管道到 DevOps 装配线的转变。DevOps 装配线专注于自动化和连接多个团队执行的活动,例如开发人员的 CI,运维人员的基础架构配置和配置管理,测试人员的测试自动化,SecOps 的安全补丁,发布负责人的语义版本控制和部署到多种环境,等等。 下图展示了单个应用程序或服务的典型装配线: 自动化将成为主要焦点 关于 DevOps,我们谈论了很多自动化方面的内容。如果可能的话,零接触(zero-touch)自动化就是未来的发展方向。这并不是说你一定要自动化一切,只是说如果有必要,你就应该能够做到。了解 DevOps 周期的六个“C”,并确保在这些之间应用自动化,这才是关键,这将是 2019 年的主要目标。 测试人员要学习编码 DevOps 对知道如何编...阅读全文

博文 2018-12-10 22:49:57 debian.cn

协议介绍之深入了解 gRPC

经过很长一时间的开发,TiDB 终于发了 RC3。RC3 版本对于 TiKV 来说最重要的功能就是支持了 gRPC,也就意味着后面大家可以非常方便的使用自己喜欢的语言对接 TiKV 了。 gRPC 是基于 HTTP/2 协议的,要深刻理解 gRPC,理解下 HTTP/2 是必要的,这里先简单介绍一下 HTTP/2 相关的知识,然后在介绍下 gRPC 是如何基于 HTTP/2 构建的。 HTTP/1.x HTTP 协议可以算是现 Web 上面最通用的协议了,在之前很长一时间,很多应用都是基于 HTTP/1.x 协议,HTTP/1.x 协议是一个文本协议,可读性非常好,但其实并不高效,笔者主要碰到过几个问题: Parser 如果要解析一个完整的 HTTP 请求,首先我们需要能正确的读出...阅读全文

博文 2017-06-22 11:08:48 debian.cn

取代TCP:工程师宣布QUIC协议已完成RFC 9000发布

访问:天猫6·18 “开门红”超级红包活动主会场 | 手机版京东6·18“京享红包”25日12点开始领取 最大面额高达18618元 (图 via Orozco 2018)据悉,工程团队中有三位核心成员,且他们对 QUIC 的承诺深信不疑。其中包括 IETF QUIC 工作组只需 Mark Nottingham,协议主要贡献者兼 quicly 创作者 Kazuho Oku,以及核心文档集编辑、杰出工程师 Jana Iyengar 。最新消息是,互联网工程任务组(IETF)已经发布了 RFC 9000,且得到了 RFC 9001 / 9002 / 8999 支持,意味着 QUIC 已从草稿转向了 1.0 正式版。与此同时,基于 QUIC 的 HTTP/3 也有望紧随其后很快发表。对于...阅读全文

7大维度看国外企业为啥选择gRPC打造高性能微服务

我们正处于gRPC采用的开始,期待社区提供更多的工具和技术。很高兴能够加入这个充满活力的社区,并对未来的项目有一些想法,我们希望看到这些项目是开放源代码或我们自己写的。 gRPC工具的当前状态 gRPC比较新,缺乏可用的开发工具,特别是与经验丰富的REST over HTTP / 1.1协议相比。搜索教程和示例时,这一点尤其明显,因为只有少数有用的信息。二进制格式也使消息不透明,需要努力解码。虽然有一些选择,例如JSON代码转换器可以帮助,但预计需要做一些基础工作,以便为gRPC提供顺畅的开发体验。 我们喜欢用Apiary 来记录外部API。使用服务协议缓冲区(protobuf)文件自动生成交互式文档的等价物,将是理想的有效的内部通信gRPCAPI。protobuf文件的静态析在运行时...阅读全文

博文 2018-03-19 17:51:32 debian.cn

Golang 操作 Kafka 样例

有更好的吞吐量,内置的区,冗余及容错性,这让Kafka成为了一个很好的大规模消息处理应用的解决方案。消息系统 一般吞吐量相对较低,但是需要更小的端到端延时,并尝尝依赖于Kafka提供的强大的持久性保障。在这个领域,Kafka足以媲美传统消息系统,如ActiveMR或RabbitMQ 站点的用户活动追踪: 为了更好地理解用户行为,改善用户体验,将用户查看了哪个页面、点击了哪些内容等信息发送到每个数据中心的Kafka集群上,并通过Hadoop进行析、生成日常报告。 流处理:保存收集流数据,以提供之后对接的Storm或其他流式计算框架进行处理。很多用户会将那些从原始topic来的数据进行 性处理,汇总,扩充或者以其他的方式转换到新的topic下再继续后面的处理。例如一个文章推荐的处理流程...阅读全文

博文 2023-01-10 13:46:09 掘金

Elasticsearch 7.6.0 发布,分布式搜索和分析引擎

Elasticsearch 7.6.0 发布了,Elasticsearch 是一个布式的 RESTful 风格的搜索和数据析引擎。 更新内容较多,摘取部新特性: Aggregations 新的直方图字映射器,支持百位数聚合 #48580 (issue: #48578)对字符串术语实施统计汇总 #47468 Analysis 实施 Lucene EstonianAnalyzer,投票 #49149 (issue: #48895) Authentication 受密码保护的密钥库 (Feature Branch) #49210 Features/ILM+SLM 等待 SLM 策略执行的 ILM 操作 #50454 (issue: #45067)添加 ILM histore 商店索引...阅读全文

玩转 AWS 的必备工具

/free/? sc_channel=seo&sc_campaign=acquisition_CN&sc_medium=backlink&sc_content=developer 一般我们在AWS上建立了一个集群服务器,则很有可能我们要对这种这一群集的全部服务器虚拟机统一的实际操作,例如安裝一个程序包,运行某一服务项目,布署某一文档这些。倘若大家假如仅有一台网络服务器,那全部流程非常简单,立即根据ssh登陆到网络服务器,并手动式实行一系列的指令就可以。但要是使用的另一半是成千上万的网站服务器的情况下,大家就必须一个能完成群集实际操作(collectiveoperation)的专用工具了。现这种的专用工具许多,包含Ansible,Chef,Fabric,Puppet,Saltstack,文中...阅读全文

玩转 AWS 的必备工具

/? sc_channel=seo&sc_campaign=acquisition_CN&sc_medium=backlink&sc_content=developer 一般我们在AWS上建立了一个集群服务器,则很有可能我们要对这种这一群集的全部服务器虚拟机统一的实际操作,例如安裝一个程序包,运行某一服务项目,布署某一文档这些。倘若大家假如仅有一台网络服务器,那全部流程非常简单,立即根据ssh登陆到网络服务器,并手动式实行一系列的指令就可以。但要是使用的另一半是成千上万的网站服务器的情况下,大家就必须一个能完成群集实际操作(collectiveoperation)的专用工具了。现这种的专用工具许多,包含Ansible,Chef,Fabric,Puppet,Saltstack,文中主要详细介绍Ansible和...阅读全文

希捷预告120TB机械硬盘:全新介质、单碟容量达10TB

这些年,机械硬盘容量的提升速度十缓慢,大有被SSD全面赶超的趋势,不过每个季度,希捷、西部数据都会更新路线图,展望机械硬盘在技术、容量上的发展趋势,尤其是希捷。近日,希捷更是公布了详细的未来技术路线图,计划在2026年左右达到50TB左右,2030年则可以超过120TB。机械硬盘最近几年普遍基于PMR(垂直存储技术),但即便经过各种优化加强,也已经逼近极限,新的存储技术、机械结构迫在眉睫。比如希捷研发近20年的HAMR(热辅助磁记录),终于已经开花落地,去年底交付了20TB HAMR硬盘,同时新的多传动器(Muti-Actuator)结构也已经基本成熟,二者结合可让机械硬盘的容量跨上新台,2026年达到50TB就靠它们了。类似未来的半导体工艺制程,要想实现更进一步的突破,全新的存储介质...阅读全文

如何熬出又香又白的猪油

主要有三个步骤; * 猪油要先焯水,去浮沫后再煮2-3钟 * 重新下锅熬油时,多加清水( 1/3 的肉量)。开始出油时,加姜片、小葱去腥增香。 * 熬好的油用砂锅存放,锅底先放黄豆、红花椒、一勺盐。熬好的猪油,自然冷却后放冰箱保鲜层保存。 这样熬出来的猪油,不腥不苦,雪白细腻,炒菜和面都非常的香。...阅读全文

Debian 安装 fail2ban 方式SSH爆破攻击

= 127.0.0.1/8 #IP白名单bantime = 600 #封禁时间秒,默认是10钟maxretry = 3 #最大重试次数,子项未设置时以此为准 SSH 区如下: [ssh]enabled = true #启用开关port = ssh #保护端口,默认SSH为22filter = sshd #默认即可logpath = /var/log/auth.log #日志位置,默认即可maxretry = 6 #最大重试次数 如果调整了 fail2ban 的配置,需要重启服务生效,通用的方法都支持, /etc/init.d/fail2ban restart#或者用 systemctlsystemctl restart fail2ban fail2ban 的管理维护,可以通过以下命令操作, fail2ban...阅读全文

博文 2019-03-27 16:45:58 debian.cn

基于thanos搭建分布式prometheus

的永久存储和查询能力。 Compactor则是对Bucket里的历史数据进行采样或者清理,有具体需求后再自行研究即可。 上述组件均是可选的,没有历史数据永存需求的可以直接忽略。 方案2:thanos receive + thanos querier thanos提供的另一种方案是计算与存储离,利用thanos receive组件部署一个布式存储集群,然后令prometheus通过remote write机制直接写入到thanos receive集群完成布式存储,这样prometheus本身就无状态了。 再利用thanos querier反向代理到thanos receive集群,最终对外提供统一的promql查询入口,这个就没有prometheus什么事了。 这套方案的工作原理如下...阅读全文

博文 2021-03-01 13:02:46 鱼儿的博客

HAProxy用法详解 最详细中文文档

install -y haproxy #直接使用deb来安装 2,详解配置文件 haproxy 的配置文件由两部组成:全局设定和对代理的设定,共为五:global,defaults,frontend,backend,listen。 2.1 配置文件格式 HAProxy的配置处理3类来主要参数来源: ——最优先处理的命令行参数; ——“global”配置,用于设定全局配置参数; ——proxy相关配置,如“defaults”、“listen”、“frontend”和“backend”; 2.2 时间格式 一些包含了值的参数表示时间,如超时时长。这些值一般以毫秒为单位,但也可以使用其它的时间单位后缀。 us: 微秒(microseconds),即1/1000000秒; ms: 毫秒...阅读全文

博文 2014-05-10 17:14:46 debian.cn

Go 语言的大版本更新:Go 2.0 安排上了

月)。 而在为期3个月的开发周期中(2019年2月至5月),被选择的提案将会被实现,每位使用者都可以体验新功能并进行反馈(评估流程的第4步)。最后,在短暂的冻结期后(2019年5月1日),Go 开发团队会最终决定是否永久保留新功能(并保证这些功能与 Go 1 兼容),或是放弃这些功能(评估流程的最后一步)。 Go 开发团队表示这是首次采用这一流程,因此在冻结将会是反思这个流程,并在必要时进行调整的好机会。我们也不妨拭目以待吧!...阅读全文

Golang 之禅: 如何写优质代码

减少耦合的操作,需要通过提供类型需要的依赖项作为该类型上的字,而不是使用包变量。 简单性很重要 简单性不是老练的代名词。简单并不意味着粗糙,它意味着可读性和可维护性。如果可以选择,请遵循较简单的解决方案。 编写测试以确认包 API 的行为 软件包的 API 是与使用者的一份合约,不管先后,不管多少,一定要进行测试。测试是确定合约的保证。要确保测试使用者可以观察和依赖的行为。 如果你认为速度缓慢,先通过基准测试进行验证 以性能之名会犯下许多危害可维护性的罪行。优化会破坏抽象、暴露内部和紧密耦合。如果要付出这样的代价,请确保有充理由这样做。 节制是一种美德 适度使用 goroutine、通道、锁、接口与嵌套。...阅读全文

博文 2020-02-25 20:48:33 debian.cn

Web前端知识体系精简

,服务器返回该文件; 如果中引用了外部js文件,则发出js文件请求,服务器返回该文件后开始运行; 渲染引擎继续载入html中的部的代码,并开始解析前面返回的css文件,然后根据css选择器计算出节点的样式,创建渲染树; 从根节点递归调用,计算每一个元素的大小、位置等,给每个节点所应该出现在屏幕上的精确坐标; 如果body中的引用了图片资源,则立即向服务器发出请求,此时渲染引擎不会等待图片下载完毕,而是继续渲染后面的代码; 服务器返回图片文件,由于图片占用了一定面积,影响了后面落的排版,因此引擎需要回过头来重新渲染这部代码; 如果此时js脚本中运行了style.display="none", 布局被改变,引擎也需要重新渲染这部代码; 直到为...阅读全文

博文 2021-01-28 17:50:33 debian.cn

谷歌公开了内部管理Infra层的两个工具的Paper

丝雀部署,然后是一时间的延迟,然后增量到生产环境的其余部,每个步骤之间还有一些进一步的延迟。 select步骤是通过名为Target Selection的无状态服务来实现的。这个服务提供了一个RPC方法: 输入是上线的asset列表和哪些asset已经更新的信息输出是还没有更新,但是已经准备更新的asset列表。这个列表通常是空的——比如,因为推出中间配置了一些延迟。 Target Selection通过Prodspec配置,并且实现如下策略: 一次性推送所有东西以预先定义好的顺序,一次推送一个集群推送一个asset,随后所有其他asset 我们发现,即使在单次推出的时间范围内,也需要能够应对不断变化的环境。比如,如果推出持续两周并影响数百个asset,则在推出过程中可能会添加和删除...阅读全文

博文 2023-01-08 11:23:20 CSDN博客

Greg Kroah

Ubuntu根本就是个祸害开源社区发行版。资本家是“无利不起早”的。“新人用Ubuntu系列是最不明智的选择,因为很难利用到别人的经验。Ubuntu修改了太多东西造就了和其它发行版的不兼容。 “Ubuntu通过大量散发免费光盘圈走很大一部初级用户,这部用户自行解决问题能力相对较差,当遇到问题而又因为系统和别人不兼容而无法获得别人帮助时,最终将屈服于Ubuntu而购买Ubuntu的服务。 “这种称作糖衣炮弹的诈骗手古往今来屡试不爽。实际上微软也这样,只不过微软是通过放纵盗版来圈客户,并且微软的Windows好歹还有很大一部是它自己编的;Ubuntu则明着圈初学者,并且利用的工具也基本上不是它自己的,而是GNU/Linux。”(按:在以上大字报贴出一年后,Ubuntu果然提供了比买...阅读全文

博文 2021-01-28 17:50:09 Hartman批评Ubuntu发行版

漫画赏析:Linux 内核到底长啥样

接待了。 Port 21 而在最右侧的一个门牌号 22 的们的待遇就大为不同,居然有一只带着墨镜的小企鹅在守着,看起来好酷啊,它是黑衣人叔叔吗?为什么要这么酷的一个企鹅呢,因为 22 端口是 SSH 端口,是一个非常重要的远程连接端口,通常通过这个端口进行远程管理,所以对这个端口进来的人要仔细审查。 ssh daemon 它的身上写着 52,说明它是第 52 个小企鹅。 to fs 在图片的左上角,有一个向下台。这个台是底层(地基)的文件系统中的,进程们可以通过这个台,到文件系统中去读取文件,进行操作。 Crontab 在这一层中,有一个身上写着 217 的小企鹅,他正满头大汗地看着自己的手表。这只小企鹅就是定时任务(Crontab),他会时刻关注时间,查看是否要去做某个工作...阅读全文

博文 2021-01-28 17:50:24 debian.cn

“Debian 章程有毒” - OSCHINA

,Debian 邮件列表出现了一封标题为“Leaderless Debian”的公开信,文章表示,这年的3月3日-10日是候选人提名,然而,截至公开信发出,还没有一位符合资格的 Debian 开发者提交申请。 此前的 Debian 领导人 Chris Lamb 一直被寄予厚望,他已经连任了两年,但是今年他公开表示因为一些 Debian 相关的,以及一些私人的原因不参与竞选。由此,Debian 不得不根据章程延长提名时间,直至有人提交申请为止。 当然,最后还是有人跳了出来参加竞选。这里要指出的是,这一尴尬事件非常直观地反映出一个事实 —— DPL 并不吃香。 准确来说,在 Debian 章程的制约下,DPL 是一个没有绝对权利的虚席。 首先,DPL 并不接触具体业务,他可以任命某人执行专门的任务,而这...阅读全文

博文 2021-12-06 13:55:33 中文开源技术交流社区

如何使用 ipset 将单个国家的所有IP加入黑名单

ipset 是 iptables 的扩展,它允许你创建匹配整个地址集合的规则,而不像普通的 iptables 链只能单IP或单网匹配。 ipset 规则中的IP地址集合存储在带索引的数据结构中,这种结构即时集合比较大也可以进行高效的查找,从而减少系统资源占用或网络拥塞。IPset 也具备一些新防火墙设计方法,并简化了配置。ipset 的官网:http://ipset.netfilter.org 下面我们以一个实际场景为样例,介绍如何在Debian系统中,使用 ipset 将单个国家的左右 IP 加入黑名单。 #### 准备工作:安装 ipset、或者网列表 sudo apt-get -y install ipset wget -P . http://www.ipdeny.com...阅读全文

博文 2021-02-06 16:43:47 joseph

Debian Jessie 将于2018年6月17日终止安全支持

Debian 项目组宣布计划从下个月开始终止对 Debian GNU/Linux 8 “Jessie” 系列操作系统提供定期安全更新支持,仅有数量有限的软件包仍将受支持。 根据开发者 Moritz Muehlenhoff 在 Debian-security-announce 邮件列表上发布的 安全通告 ,截至 2018 年 6 月 17 日,Debian GNU/Linux 8 “Jessie” 系列操作系统将不会再接收到定期的安全更新。但是,数量有限的部软件包仍将会更新一时间。Moritz Muehlenhoff 表示这是一个预先通知,与以前的版本一样,6 月 17 日后,只会为更少的架构和软件包提供额外的 LTS 支持。 LTS 支持将提供至 2020 年 6 月 6 日 2018...阅读全文

博文 2018-05-25 09:31:46 debian.cn

[图]ARM推出全新armv9架构:预估五年内装备3000亿颗芯片

访问:2021阿里云上云采购季:采购补贴、充值返券、爆款抢先购云通信会场:爆款产品低至7.2折,短信低至0.034元/条 ARM 首席执行官 Simon Segars 表示:“当我们展望由人工智能定义的未来时,我们必须奠定一个领先的计算基础,为应对未来的独特挑战做好准备。armv9 就是答案,它将会成为下个 3000 亿台 ARM 芯片的最前沿,其驱动力是建立在通用计算的经济性、设计自由度和可获得性基础上的普遍的专业化、安全和强大的处理需求”。armv9 架构有两个核心侧重点:人工智能和安全。ARM 表示到 21 世纪中叶,将会有超过 80 亿台语音辅助设备,90% 的应用将包含 AI 元素。ARM 与富士通合作创建了可扩展矢量扩展(SVE),现在,SVE2 是 armv9 的一部,用...阅读全文

博文 2021-03-31 10:20:33 cnBeta.COM

Gitlab 从 12.1 版本开始不再支持 MySQL

Gitlab 官方 宣布 ,将从 12.1 版本开始不再支持 MySQL 数据库。早在 2017 年 7 月,Gitlab 就计划将弃用对 MySQL 的支持。而目前这个决定将从 12.1 版本开始。 官方列出几个 MySQL 不能满足 Gitlab 需求的地方: 无法支持嵌套组查询(详情)必须使用黑科技来提升 MySQL 对列的限制,这将导致 MySQL 拒绝存储数据MySQL 无法添加 TEXT 类型字的长度限制MySQL 不支持区索引还有类似 Geo 为了解决上面这些问题,Gitlab 创建了许多专门针对 MySQL 的代码。 在某些情况下,这导致合并请求的复杂性要高一倍,因为它们必须支持第二个数据库后端。 创建和维护这些代码会消耗我们的循环时间和速度,并且会降低我们的迭代值...阅读全文

博文 2019-07-03 22:41:20 debian.cn