InfraPub 为您找到相关结果 777

Debian 相比 Ubuntu 有哪些不同之处

区别在,Debian更提倡软件自由。它在默认情况下只安装免费软件,安装程序甚至提供没有专有固件的内核。如果你需要非免费软件,就需要为每个软件库添加Nonfree和Contrib这两个部分。 正好相反,免费与专有之间的区别在Ubuntu当中不是那么清楚。这边厢,Debian不鼓励使用专有软件,不过允许用户做出自己的选择;那边厢,Ubuntu鼓励用户安装专有软件,获得与其他商业操作系统上的计算体验相媲美的计算体验。万一你愿意试一下,可以在Debian上获得同样的体验,但是Debian更清楚地表明:你这么做的同时牺牲了软件自由。 桌面方面的区别 Ubuntu和Debian默认情况下使用不同的桌面环境。Ubuntu默认情况下使用Unit;近几年来,背后大支持Ubuntu的企业...阅读全文

博文 2017-12-22 23:41:07 debian.cn

阿里巴巴版 JDK 首发 GA 版 生产环境可用

态。这时,虽然 Java 能够对外提供服务,但服务质量较差,如果该阶段的用户并发较高,那么就会造成服务质量降级乃至服务崩溃。 为了优化这一过程,通常的工业实践会在 Java 启动后引入 " 预热 "(warmup) 步骤,通过人为导入数据来让应用提前加热。在预热完成之前,用户请求通过网络控制不让它发送到 Java 进程,在预热完成之后才打开流量限制让 Java 真正提供服务。这个做法可以部分缓解上述问题,但是该方案在很多场景下会有一些局限性,在很多情况下,获取一份高质量的预热数据是很困难的。而预热数据的正确性直接影响预热效果,与实际情况相符的数据可以提高编译质量,如果不一,有时反而会造成反面效果,比如一种常见的情况是预热时漏掉重要方法调用。更糟糕的情况是由和实际情况不一,导 JVM...阅读全文

博文 2019-07-11 10:24:52 debian.cn

Ceph 基金会正式成立 接受 Linux 基金会的管理

(SARAO),加州大学圣克鲁兹分校开放源码软件研究中心(CROSS)等。 Linux基金会执行董事Jim Zemlin说:"Ceph在帮助企业有效管理高增长和扩展数据存储需求方面有非常丰富的经验,在Linux基金会下,Ceph基金会将能够利用更多资源来帮助完善Ceph生态系统建设。" Ceph联合创始人&Red Hat Ceph首席架构师 Sage Weil说:"Ceph基金会的成立证明了一个多元化的开源社区的量所在,各方共同联合起来解决数据存储和数据服务的爆炸性增长。" Ceph被世界各地的云提供商和企业使用,包括金融机构(Bloomberg,Fidelity),云服务提供商(Rackspace,Linode),学术和政府机构(Massachusetts Open Cloud),电信基础设...阅读全文

成功运作一个开源项目的15个要点

所需工具的期望,与项目团队联系的渠道以及针对潜在贡献者的其他重要信息。抓取所有这些信息,使其尽可能容易被发现。在项目源代码存储库的根目录中包含一个贡献指南是一个很好的做法(通过DVCS,潜在的贡献者将找到存储库副本的副本;存储库中的贡献指南可以让潜在的贡献者轻松找对项目的途径)。 7、确保项目代码始终可构建 项目代码包含构建脚本和说明。使其尽可能容易地构建成功和测试项目代码。 8、与用户社区联系 用户社区是使用开源项目产品的一群人。用户社区很少直接向项目代码贡献任何东西,但却往往会提出很多问题。确保这些问题得到回答。健康的用户社区可以为采用者社区提供信息。 9、与采用者社区联系 开源项目取得成功的一个明显迹象是,其他组织开始在他们自己的产品中使用或构建扩展你的开源项目。此社区更有意愿反...阅读全文

博文 2017-11-08 09:58:28 debian.cn

STIG for Debian 9发布

支持和独一无二的ReproducibleBuilds。 3, Debian社区有大量的高质量贡献者(Security team超过20个人业余时间贡献)。STIG for Debian是参考了STIG for RHEL的实现,去除了一些Debian没有的或者以另外方式实现的功能,具体请查询porting log。 btw:棱镜事件的影响之一是导国内产生了开源咨询这个快速增长的行业,而GNU/Linux作为基础架构也是充满了机遇,希望STIG for Debian能为Debian GNU/Linux在数据中心的推进助一把。 "...阅读全文

博文 2017-07-13 13:40:35 debian.cn

单核心 IOPS 突破 1000 万,Linux 5.16 有望大幅提升 I/O 性能

Linux block 子系统的负责人 Jens Axboe 目前就职 Facebook,他也因开发了 IO_uring 而闻名,他对 IO_uring 的不断开发与优化使得 Linux 系统的 I/O 性能得到巨大提升。一周前,Jens Axboe 开始对内核的 I/O 性能进行了新一轮的优化,以便在单个 CPU 核心上获得 800 万 IOPS。经过一周时间的努,每个核心能够实现 890 万左右的 IOPS,就当大家以为这个数字已经达到他所使用的硬件极限,没有更多优化空间时,本周他又成功地将每个核心的 IOPS 推到了 1000 万。IOPS(Input/Output Operations Per Second)是一个衡量电脑储存装置(如 HDD、SSD)输入/输出性能高低的指标...阅读全文

博文 2021-10-27 10:32:50 joseph

美国东海岸大范围断网 谷歌、亚马逊等公司服务受影响 - 通信运营商

题已经解决。该公司早些时候曾表示,正在调查与一家互联网供应商的连接问题,该问题导AWS服务和许多依赖AWS的在线服务中断。谷歌的一位发言人表示,该公司已经了解到有关影响其部分产品访问问题的报道,但尚未发现其服务存在问题。据Downdetector.com报道,零售交易平台嘉信理财(Charles Schwab Corp)和罗宾汉(Robinhood)的用户也连续第二天报告了市场交易中的操作问题。“今天上午早些时候,我们遇到了银行余额不能准确显示的问题,这个问题已经得到了解决。交易功能没有受到影响,”嘉信理财发言人表示。美国散户投资平台Robinhood表示,由威瑞森的网络中断,其东海岸的客户可能在接入互联网方面遇到了问题,但其平台仍在运行。...阅读全文

CCPA vs. GDPR:欧美这两部个人数据保护法有什么差异?

易双方处理的数据类型非常复杂且在不断演进更迭,交易双方仅根据GDPR的定义或监管机构的指引,很难判断特定类型数据是否属GDPR管辖的“个人数据”,导实践中对“个人数据”这一概念的解释弹性空间极大。例如:通讯网络和设备中(例如核心网存储设备)存储或传输的IMSI、IMEI、ISDN等识别号码,虽也可与其它信息结合间接地识别到特定个人,但识别的过程复杂,需利用一定技术手段,并投入较多时间和成本。 这些成本及投入何时是“合理的”,何时是“不合理的”?对广大交易双方而言很难判定,导数据的控制者(譬如电信运营商)经常与数据处理者(如通讯设备和运维供应商)之间时常就上述IMSI、IMEI号等数据是否受GDPR管辖这一问题无法达成一,进而无法在前述DPA《数据处理协议》、SCC《数据跨境转移协...阅读全文

2017年DevOps的5大发展预测

在即将过去的一年中,DevOps经历了大规模容器化,许多公司投入了容器化的怀抱。这并不意味着DevOps相关工具已经成熟,但是这些工具为安全改进、容器化和工具集中化奠定了基础。以下是2017年DevOps的5大发展预测。 工具整合 根据Quali公司CTO Joan Wrabetz的说法,DevOps相关工具市场整合的时机已经成熟,这主要归功消费者需求和公司数量的大规模增长。她提到:“为了简化流程,消费者只会选择其中的几个优秀软件,并且围绕着这些工具,将它们整合到自身的流程当中去。这将会导越来越多的工具直接提供横跨整个持续交付周期端到端功能。” 另外,由DevOps公司数量的增长,2017年将会迎来小公司的收购潮。“我们已经看见亚马逊对Chef进行了投资。另外,一些DepOps公司已...阅读全文

博文 2021-01-28 17:50:18 debian.cn

互联网协议正在发生变化

。 现在,核心互联网协议的重要改变已经开始了。虽然它们意图与互联网大部分兼容(因为,如果不兼容的话,它们不会被采纳),但是它们可能会破坏那些在协议中没有规定的地方,或者根本就假设那些地方不存在变化。 为什么我们需要去改变互联网 有大量的因素推动这些变化。 首先,核心互联网协议的局限性越来越明显,尤其是考虑到性能的时候。由在应用和传输协议方面的结构性问题,网络没有得到高效使用,导终端用户认为性能不能满足要求(特别是,网络延迟)。 这就意味着人们有强烈的动机来演进或者替换这些协议,因为有 大量的经验表明,即便是很小的性能改善也会产生影响。 其次,演进互联网协议的能 —— 无论在任何层面上 —— 会随着时间的推移变得更加困难,这主要是因为上面所讨论的对网络的非预期使用。例如,尝试去压缩响应的...阅读全文

7 个月猛涨 12 亿美元,开源技术服务商成北欧最新独角兽 - OSCHINA

10 月 20 日,2021 云栖大会上,阿里云发布全新操作系统“龙蜥”并宣布开源。同时,阿里达摩院操作系统实验室也宣告成立。 龙蜥操作系统定位服务器端,支持 x86、ARM 等多种芯片架构和计算场景,兼容 CentOS 生态,支持一键迁移,并提供全栈国密能。 阿里云在大会上透露,龙蜥操作系统已经在阿里巴巴内部打磨 10 年,... 30 13 阿里平头哥宣布开源四款玄铁 RISC-V 系列处理器 10 月 19 日,2021 云栖大会现场,阿里云智能总裁张建锋宣布,平头哥开源玄铁 RISC-V 系列处理器,并开放系列工具及系统软件。 此次开源的 OpenXuantie 系列 RISC-V 处理器,包括玄铁 E902、E906、C906、C910 等 4 款量产处理器,以及基...阅读全文

博文 2021-10-21 20:04:43 中文开源技术交流社区

7大维度看国外企业为啥选择gRPC打造高性能微服务

,基RESTful API的工具。 不幸的是,这感觉就像试图将简单的方法调用变成一个数据驱动的RESTful界面。这满足了RESTful接口的verb,header,URL标识符,资源的URL和有效载荷的神奇组合,并做了一个清洁,简单,看起来几乎不可能实现的功能界面。RESTful有很多规则和解释,在大多数情况下会导REST ish接口,这需要花费额外的时间和精来保持其纯度。 最终,考虑到RESTAPI的复杂性,我们找到了替代方案。希望微服务尽可能相互隔离,减少交互和解耦服务。它可以让企业在很短的时间内创造出一个可行的服务,并防止跳过hoops。 评估REST的替代方案 不要轻易选择通信框架。大型组织(如Netflix)可以拥有超过500+个微服务的后端系统。迁移这些服务以取代不充分的服...阅读全文

博文 2018-03-19 17:51:32 debian.cn

开源软件对于商业机构的6大好处

可以及时地发现问题并解决问题。 开源除了源代码开放外,开发的过程也是透明的,因此,你可以检查供应商是否遵循 ISO27001,云安全原则等基准行业标准开发流程。 4、更多的用户导向 开源能使顾客和用户直接看到并参与到产品开发中来,这比闭源软件开发更能了解客户的需求。供应商可能只关注产品的某一特定方面,而一个社区能开发出更多的功能,能创造出对用户更有价值的产品。 5、更好的支持 专有供应商是在产品遇到问题时,唯一可以给你提供帮助的一方。如果他们无法提供你所需要的服务,或者需要对额外的服务收费,那事情就麻烦了。而软件一旦开源,如果供应商无法提供相应的服务或支持,可以有其他人来填补空白,这就是自由市场的优势,能保证你得到最好的服务。 6、更有利的许可 典型的软件许可充斥这一些不公平条例,它通...阅读全文

博文 2017-11-15 23:41:11 debian.cn

Apache Flink 1.14 新特性预览 - OSCHINA

作为社区 RoadMap 的重要组成部分,是大数据实时化必然的趋势。但是另一方面,传统离线的计算需求其实并不会被实时任务完全取代,而是会长期存在。 在实时和离线的需求同时存在的状态下,以往的流批独立技术方案存在着一些痛点,比如: 需要维护两套系统,相应的就需要两组开发人员,人的投入成本很高; 另外,两套数据链路处理相似内容带来维护的风险性和冗余; 最重要的一点是,如果流批使用的不是同一套数据处理系统,引擎本身差异可能会存在数据口径不一的问题,从而导业务数据存在一定的误差。这种误差对大数据分析会有比较大的影响。 在这样的背景下,Flink 社区认定了实时离线一体化的技术路线是比较重要的技术趋势和方向。 Flink 在过去的几个版本中,在流批一体方面做了很多的工作。可以认为 Flink...阅读全文

博文 2021-09-05 07:26:58 中文开源技术交流社区

Memcache UDP反射放大攻击技术分析

60k 服务器可以被利用,并且这些服务器往往拥有较高的带宽资源。 基以上特点,作者认为该攻击方式可以被利用来发起大规模的DDoS攻击,某些小型攻击团队也可能因此获得原先没有的大流量攻击能。 在 DDoSMon 上观察到的现网趋势 自批露以来,我们就一直利用 DDoSMon 的统计页面 持续监控Memcache DRDoS在实际现网中的情况。在过去的几个月中,这种类型攻击的频率和单次破坏性都不大,但是自2018-02-24开始,这种情况发生了较大变化。 近期,Memcache DRDoS 的攻击频率上升到了平时的10+倍,从每天小50件,上升到每天300~400件,直到今天的1484件(实际上,离今天结束还有1个小时),如下图所示。 需要指出,当前 Memcache DRDoS 仍然还不是...阅读全文

博文 2018-03-02 09:20:52 debian.cn

Nginx 安全问题致 1400 多万台服务器易受 DoS 攻击

据外媒报道,近日 nginx 被爆出存在安全问题,有可能会使 1400 多万台服务器易遭受 DoS 攻击。而导安全问题的漏洞存在 HTTP/2 和 MP4 模块中。nginx Web 服务器11月6日发布了新版本,用修复影响 1.15.6, 1.14.1 之前版本的多个安全问题,被发现的安全问题有一种这样的情况 —— 允许潜在的攻击者触发拒绝服务(DoS)状态并访问敏感的信息。 “在 nginx HTTP/2 实现中发现了两个安全问题,这可能导过多的内存消耗(CVE-2018-16843)和CPU使用率(CVE-2018-16844)”,详见 nginx 的安全建议。 此外,“如果在配置文件中使用"listen"指令的"http2"选项,则问题会影响使用...阅读全文

博文 2018-11-09 11:43:37 debian.cn

HTTPS 证书有效期被提议缩短至13个月

推荐的加密和散列证书,而不是使用不安全算法的老化证书。 不过,本周一时,DigiCert 的 Timothy Hollebeek 却反对将证书有效期缩短至 13 个月,他认为,缩短证书寿命确实带来的好处,但意味着要有更好的方法来确保证书是最新的和安全的,同时也存在一些麻烦,企业不得不每年续签一次付费证书,并且增加其成本。 换句话说,减少有效期可能会促使企业免费使用 Let's Encrypt TLS/SSL,就不会向 Digicert 这样的机构支付费用。Let's Encrypt 可以免费发放 90 天的 HTTPS 证书,使用提供的软件客户端来自动更新和部署证书,而由几乎所有浏览器和操作系统都支持 Let's Encrypt TLS/SSL 证书,导该服务正给向 HTTPS 证书收费...阅读全文

博文 2019-08-14 14:13:58 debian.cn

不可变基础设施 (immutable infrastructure) - 云原生定义解析

(对大中型机,甚至重启都是一种奢侈的)。所以,在当时不可变基础设施的设想是难以实现的,开发人员总是需要在服务器上对运行环境做一下持续的更改,如:系统升级,配置修改,补丁等。在许多手动修改之后,服务器的不同配置的重要性或必要性变得不清楚,因此更新或更改任何配置可能会产生意想不到的副作用(这就导了 Martin Fowler所说的snowflake server “Phoenix Server”,2012)。可变基础设施通常会导以下问题。在灾难发生的时候,难以重新构建服务。持续过多的手工操作,缺乏记录,会导很难由标准初始化后的服务器来重新构建起等效的服务。在服务运行过程中,持续的修改服务器,就犹如程序中的可变变量的值发生变化而引入的状态不一的并发风险。这些对服务器的修改,同样会引入中间...阅读全文

2018 GitHub 最火技术趋势

。Warner强调说,安全性必须是代码不可分割的一部分,不能简单地在生产过程中才添加至系统。Warner看到了由对机器学习的关注,对目前的安全领域产生了巨大影响,这种趋势最终会导构建的系统会受一个自动的保护机制所保护。 云服务基础设施方面将会有工具和服务的增长,这些工具和服务将减少开发人员对基础设施的关注,开发人员能够更自由地专注构建他们的产品和项目。这一过程将会与Warner所谓的“工作流战争(workflow war)”相关联: 随着大型科技公司开始收购那些专注提升开发人员体验、解决基础设施问题以及构建更好的工作流工具的小型企业,企业的并购活动将会升温。 开源软件将在2018年继续发展,并将成为许多开发封闭源代码系统公司的重要竞争对手。据Warner所说,这一趋势在过去的10年中一直都很强劲...阅读全文

博文 2017-12-14 22:50:29 debian.cn

分布式任务调度平台 XXL

期性自动注册任务, 调度中心将会自动发现注册的任务并触发执行。同时,也支持手动录入执行器地址; 6、弹性扩容缩容:一旦有新执行器机器上线或者下线,下次调度时将会重新分配任务; 7、路由策略:执行器集群部署时提供丰富的路由策略,包括:第一个、最后一个、轮询、随机、一性 HASH、最不经常使用、最近最久未使用、故障转移、忙碌转移等; 8、故障转移:任务路由策略选择” 故障转移” 情况下,如果执行器集群中某一台机器故障,将会自动 Failover 切换到一台正常的执行器发送调度请求。 9、阻塞处理策略:调度过密集执行器来不及处理时的处理策略,策略包括:单机串行(默认)、丢弃后续调度、覆盖之前调度; 10、任务超时控制:支持自定义任务超时时间,任务运行超时将会主动中断任务; 11、任务失败重试...阅读全文

博文 2018-11-05 21:47:15 JOB 2.0.0 发布

Debian Live 项目的剧变

尽管围绕 Debian Live 项目发生了很多戏剧性事件,关 Debian Live 项目结束的公告的影响甚至小该项目首次出现时的公告。主要开发者的离开是最显而易见的损失,而社区对他本人及其项目的态度是很令人困惑的,但是这个项目也许还是会以其它的形式继续下去。 所以 Debian 仍然会有更多的工具去创造启动光盘和其他介质。尽管是用这样一种有遗憾的方式,项目创始人 Dabiel Baumann 和 Debian CD 团队以及安装检测团队之间出现的长期争论已经被「解决」了。 在 11 月 9 日, Baumann 发表了题为「 Debian Live 项目的突然结束」的一篇公告。在那篇短文中,他一一列举出了自从这个和他有关的项目被发起以来近 10 年间发生的不同的事件,这些事件可以...阅读全文

博文 2021-01-28 17:50:14 debian.cn

SK海力士宣布HBM2E内存:带宽最高460GB/s

SK海士宣布,已经成功研发出新一代DRAM内存“HBM2E”,可视为HBM2的增强版,拥有业界最高的传输带宽,相比现在的HBM2提升了大约50%,同时容量也翻了一番。 SK海士的HBM2E每个针脚传输速率为3.6Gbps,搭配1024-bit位宽的话可以提供超过460GB/s的超高带宽,无可比拟。 AMD Radeon VII显卡曾经率先实现1TB/s的显存带宽,但应用了4096-bit的位宽,如果换成HBM2E总带宽可以轻松超过1.8TB/s。 同时得益TSV硅通孔技术,HBM2E内存可以最多垂直堆叠八颗16Gb芯片,单颗封装总容量因此可达16GB,是目前的两倍。 SK海士表示,超高带宽的HBM2E可用工业4.0、高端GPU显卡、超级计算机、机器学习、AI人工智能等各种尖端领域...阅读全文

使用 MongoDB 之前应该知道的 14 件事

MongoDB 服务器都很重要。尤其是,除非有非常好的理由要使用mapReduce、group 或 $where,否则你应该 在配置文件中设置 javascriptEnabled:false,禁用 JavaScript。因为标准 MongoDB 的数据文件是不加密的,另外, 使用专门的用户运行 MongoDB 也是一个明智的做法,对数据文件的完全访问仅限那个用户,这样就可以使用操作系统自带的文件访问控制了。 没有设计一个模式 对模式,MongoDB 没有强制要求。这不是说它不需要模式。如果你真想保存文档而又没有一的模式,那么你可以非常快速、简单地保存它们,但是 检索会十分麻烦 。 “MongoDB 模式设计的六大经验原则 ”是一篇值得一读的经典文章,而第三方工具(如 Studio 3T)提供的类似...阅读全文

Kafka 3.0新特性全面曝光,真香!

的节点。分区带来了负载均衡和横向扩展的能。发送消息时可以根据分区的数量落在不同的Kafka服务器节点上,提升了并发写消息的性能,消费消息的时候又和消费者绑定了关系,可以从不同节点的不同分区消费消息,提高了读消息的能。另外一个就是分区又引入了副本,冗余的副本保证了Kafka的高可用和高持久性。(五)详细说说消费者组和消费者重平衡?Kafka中的消费者组订阅topic主题的消息,一般来说消费者的数量最好要和所有主题分区的数量保持一最好(举例子用一个主题,实际上当然是可以订阅多个主题)。当消费者数量小分区数量的时候,那么必然会有一个消费者消费多个分区的消息。而消费者数量超过分区的数量的时候,那么必然会有消费者没有分区可以消费。所以,消费者组的好处一方面在上面说到过,可以支持多种消息模型,另...阅读全文

博文 2022-04-28 16:02:11 mp.weixin.qq.com

海力士推新企业级SSD:72层闪存 16TB即将到来

SK海士日前宣布推出新一代企业级SSD硬盘,不过官方并没有公布SSD硬盘的名称,只知道是NVMe标准的,基72层堆栈的3D TLC闪存,M.2版容量最大4TB,U.2容量可达8TB。 性能方面,SK海士表示新一代企业级硬盘的连续速度可达3200MB/s,随机性能可达160K IOPS,与2018年FMS展会上推出的72层堆栈闪存硬盘相比,新一代企业级SSD的顺序读写性能提升30%,随机写入提升了70%,同时支持读取敏感型及混合型应用,包括数据中心、AI、ML机器学习及VDI虚拟桌面架构等。 值得一提的是,SK海士的新一代企业级SSD具备极低的功耗,正常应用低14W,这在企业级SSD中是很低的水平了。 此外,SK海士还表示将在今年底推出容量更大的企业级SSD硬盘,闪存会从目前的...阅读全文

博文 2019-06-20 20:27:53 debian.cn

谷歌公开了内部管理Infra层的两个工具的Paper

解决这个问题之前,我们依赖传统的工作流引擎。比如,一个工作流列出部署新二进制文件的步骤:在集群X上做金丝雀测试,然后将N部署到集群Y和Z上,运行测试等等。 创建工作流本身就需要大量工作,因此我们只为经常需要做的事情创建工作流,比如二进制文件的版本更新。我们通常手动处理不那么常见的情况,比如重启。已有的脚本经常会过期而不再适用。 对运维人员来说,这些工作流很容易实现:做X,然后Y。想要添加压测试?只需要添加一个步骤。但是随着工作流使用规模的扩大,它的问题也显露出来。 首先,扩展工作流会造成很多重复。每个服务都有很好的理由要求一些特殊逻辑,这意味着需要定制化的实现。尝试了几次整合工作流的实现,但是只有适用某个特定模型的服务才能使用。这样导的重复让服务变得不一。最佳实践,比如跨集群的有...阅读全文

博文 2023-01-08 11:23:20 CSDN博客

RabbitMQ 高可用实现镜像队列

如果 RabbitMQ 集群只有一个 broker 节点,那么该节点的失效将导整个服务临时性的不可用,并且可能会导 message 的丢失(尤其是在非持久化 message 存储非持久化 queue 中的时候)。可以将所有 message 都设置为持久化,并且使用持久化的 queue,但是这样仍然无法避免由缓存导的问题:因为 message 在发送之后和被写入磁盘并执行 fsync 之间存在一个虽然短暂但是会产生问题的时间窗。通过 publisher 的 confirm 机制能够确保客户端知道哪些 message 已经存入磁盘,尽管如此,一般不希望遇到因单点故障导服务不可用。 如果 RabbitMQ 集群是由多个 broker 节点构成的,那么从服务的整体可用性上来讲,该集群对...阅读全文

博文 2018-12-30 19:21:59 debian.cn

总结系统设计中的33个黄金法则

Refer to https://www.linkedin.com/pulse/system-design-rules-navneet-kumar-p6n7f/ 系统设计很复杂,它需要设计者有深厚的计算机知识和专业知识,没有一种通用的设计可以适应所有业务场景。尽管如此,还是有一些比较通用的规则可以供你设计系统时参考,也能帮助你在面试中摆脱困境。 1. 对数据密集型系统 — 考虑使用缓存。 2. 对写入量大的系统 — 使用消息队列进行异步处理 3. 对低延迟要求 — 考虑使用缓存和 CDN。 4. 需要𝐀原子性、𝐂一性、𝐈隔离性、𝐃耐用性兼容数据库 — 选择 RDBMS/SQL 数据库。 5. 对非结构化数据——可以选择NoSQL...阅读全文

不要光想着价格 QLC 与 TLC 闪存有什么不同

在这个互联网时代,游戏、电影、照片等数据越来越大,硬盘容量将会面临着前所未有的挑战。虽然传统的机械硬盘可以解决容量问题,但是速度太慢,体验糟糕,并不是最优的个人存储解决方案。我们渴求大容量的SSD,不过超过TB大容量SSD动不动就几千元的售价,对支付能有限用户实际上没有意义。SSD的成本主要来源闪存,在TLC闪存能够实现TB容量可惜价格未能降下来。只有不断开发新类型的闪存,解决容量与价格的矛盾,才能让SSD真正在大数据时代发挥应有作用。 这时,QLC 闪存就应运而生, 目前,东芝和西数先后宣布成功开发基四比特单元3D NAND闪存芯片,即QLC闪存,这也意味着QLC SSD将要来临。那么,它与TLC闪存又有什么区别,能否取代TLC成为SSD主流闪存之选? 先来了解一下什么是TLC...阅读全文

博文 2017-08-01 09:52:54 debian.cn

处理器架构消亡史

发货期,HPE的服务区将支持到2025年。随着纯血64位安腾处理器的停售,也意味着Itanium架构将黯灭在历史当中。而随着服务器市场的发展,这场处理器架构的淘汰赛似乎并没有结束。文章开篇提到的,MIPS将不再设计MIPS芯片,而将开发基 RISC-V 架构的处理器,也预示着引领MIPS架构发展的一代枭雄的退场了。(但严格来说,MIPS架构并没有在真正意义上消失,包括龙芯、芯联芯在内的厂商还在以MIPS架构为基础的处理器的开发)未来,谁主沉浮由新的市场应用对处理器有了新的需求,尤其是在摩尔定律发展放缓的情况下,处理器架构的创新为处理器带来的提升就愈显重要。由此,业内也有不少人士认为,市场即将迎来计算架构的黄金十年,这当中当然也包括了处理器架构的技术迭代。从目前处理器架构市场来看...阅读全文

Debian 成为主流 Linux 操作系统的七个原因

长足发展,戳穿了它很难安装这个流言。目前的安装程序是市面上最灵活的安装程序之一。如果你接受默认设置、安装它建议的一群软件包,它就会进行安装,安装时间与Fedora的Anaconda大一样。然而如果你自行选择,安装和选择一个个软件包所花的时间要长得多。这就是为什么率先推出快速安装程序的Ubuntu建议使用快速解决问题的Debian安装程序版本。 1.Debian社区 除了技术方面外,Debian还拥有免费软件领域最庞大、最创新的社区之一。该项目的邮件列表上热烈地讨论政策和技术选择;重大问题在Debian维护人员当中进行投票表决,包括谁是下一任项目负责人。所有投票取决Condorcet方法,这是最公正的表决方法之一。在过去,该社区常常不欢迎女性,但这种情况在改善;总体上来讲,Debian在...阅读全文

博文 2021-01-28 17:50:13 debian.cn

隐私声明

(比如完成一项特定交易、参加一项优惠活动或有奖竞赛活动或根据法律法规要求)使用您的付款信息和个人身份证信息。 关您的其他个人信息,我们主要应用如下方面: 根据您的要求向您提供特定服务、产品或信息;授权您参加一项活动,比如调查问卷、网上论坛或优惠抽奖等; 代表本网站客户、我们的关联公司、其他第三方等向您提供或发送电子资讯,广告信息,个性化广告或优惠信息; 分析用户对本网站的使用方式和使用习惯,以便改进我们的服务; 阻止违法或潜在违法行为,阻止违反本网站用户协议的行为;以及我们在收集特定信息时向您披露的其他用途。 3. 信息的披露 我们取得和维护您对我们的信任,因此我们使用商业上合理的技术和其他措施,帮助防止您的个人资料丢失、被盗用或遭篡改。同时,请了解我们仅会...阅读全文

深入学习golang — channel

可以提供一个可选的整型参数,用设置该channel的缓冲区大小。该值缺省为0,用来构建默认的“无缓冲channel”,也称为“同步channel”。 Channel作为goroutine间的一种通信机制,与操作系统的其它通信机制类似,一般有两个目的:同步,或者传递消息。 2. 同步 c := make(chan int) // Allocate a channel. // Start the sort in a goroutine; when it completes, signal on the channel. go func() { list.Sort() c <- 1 // Send a signal; value does not matter...阅读全文

博文 2021-01-25 12:39:17 博客园

团队激励的八大方法,让你的团队成员更加高效地达成目标

激励是指激发人的行动动机的心理过程,是一个不断朝着期望的目标前进的循环的动态过程。简言之,就是在工作中调动人的积极性的过程。激励是对人的一种刺激,是促进和改变人的行为的一种有效的手段。激励的过程就是管理者引导并促进工作群体或个人产生有利管理目标行为的过程。每一个人都需要激励,在一般情况下,激励表现为外界所施加的推动或吸引,转化为自身的动,使得组织的目标变为个人的行为目标,促进团队合作的的动,使企业更高效的达成既定目标!团队激励的八大方法1、为团队成员设立共同的奋斗目标依照激励理论,共同的奋斗目标是调动全体团队成员积极性的利器,这个目标必须是可衡量的和可实现的。人的动机与行为都有一定的目的性,而建立明确的目标,就能有效地激发和引导人们的动机,鼓舞和激励人们采取积极的方法去努奋斗...阅读全文

WordPress 5.0“Bebo” 正式版发布

WordPress 5.0 最大的亮点就是正式引入新的基块(block-based)的编辑器 —— Gutenberg,给用户提供更简化的编辑体验。无论是首次构建网站、修改博客还是编写代码,用户都可以更灵活地显示内容。新的 Gutenberg 编辑器不会改变访问者对你的内容的观感,它的作用是让你快速插入任何类型的多媒体并重新排列你想要核心展示的内容。每块内容都在自己的块中,有单独的封装,便操作。 WordPress 默认提供大量的块,而且社区也在不断添加新的块。 这种全新的编辑体验为设计和内容提供了更加一的处理。如果你正在构建 client 站点,则可以创建可重用的块,这有益你的客户随时添加新内容,同时仍保持一的外观。 此外,WordPress 5.0 还引入了新的默认主题...阅读全文

博文 2018-12-07 12:11:52 debian.cn

社交巨人Facebook使用Linux和Btrfs的姿势

Mason:因为在主线内核上我们无法做自己想做的事——我们不得不fork一个自己的版本,以便微调、修改和允许在我们特有使用情况下打补丁到这个内核里。我们的目标是,在人可控的范围内将fork版做到最小。在我们把内核从4.0升级到4.6的过程中(我们现在还没完成),当我们只用一个补丁就能够获得一个相当可观的生产工作负载性能提升时,我打心里为此感到高兴。我们打过补丁的4.0版本的内核拥有和未修改的普通4.6版本的内核相同的性能。这也是我们团队的长期目标:紧随主线内核的步伐,以便我们能从一个内核版本快速过渡到另一个版本。 Linux.com:我见过太多跑在旧内核上的Linux机器,然而您的目标却是尽可能使用新版本的内核。这样做有什么好处? Chris Mason:对一个工程师团队来说,最大的好处就是利我...阅读全文

博文 2021-01-28 17:50:22 debian.cn

如何在 Debian 中锁定软件包版本

在 Debian 或基 Debian/Ubuntu 的 Linux 发行版系统中,有多种方法可以将软件包锁定在一个特定的版本。也就是说,可以将某个软件固定维护在指定版本,不让其随系统更新而更新。 为什么要锁定软件包,防止软件包更新呢? 通常是用户对某个软件版本有特定的需求,或更新期间、更新后可能会导问题,所以需要维持特定的版本不进行升级。在常见的数据类服务中,这样的需求很有代表性,比如缓存Redis、数据队列RabbitMQ等。还有部分服务依赖系统中特定的软件,比如指定的 Linux 内核版本,这时就需要锁定内核版本防止因内核升级导服务异常。 我们这里介绍两种方式,防止软件包被更新。需要注意的是,如果软件包被其他软件所依赖,阻止其更新,可能会导关联问题。建议将尽量少的的软件包锁定...阅读全文

博文 2019-01-09 13:19:52 debian.cn

Go 1.9 的新特性介绍

可能有问题。自go 1.6之后, 并发地读写map会报错,这在一些知名的开源库中都存在这个问题,所以go 1.9之前的解决方案是额外绑定一个锁,封装成一个新的struct或者单独使用锁都可以。 群众的呼声是响亮的,并发map在项目中大量使用,所以Go 1.9中在包sync加入了新的map, 查询、存储和删除都是平均常数时间,可以并发访问。 Monotonic Time 先前的time包的实现都是基wall time的,但是当机器的时钟调整后会有问题。 比如在计算duration的时候,如果时钟往回拨,可能导end时间比start时间还早。 所以Go 1.9使用monotonic Time来实现大部分的time中的函数,在计算duration的时候不会出现因为时钟调整出现的误差了。 设计文...阅读全文

博文 2021-01-28 17:50:34 debian.cn

Linux系统诊断-内存基础

谈及linux内存,很多时候,我们会关注free,top等基础命令。当系统遇到异常情况时,内存问题的根因追溯,现场诊断时,缺乏深层次的debug能。本篇幅不做深层讨论,能把当前系统的问题描述清楚,是每个SRE应该具备的最基础能。free========2.1 free命令原理free是通过查看 /proc/meminfo 来获取内存的使用情况。但是 /proc/meminfo 这个文件又是怎么来的?我们先了解下 /proc 目录:/proc 是一个虚拟文件系统,该目录下的所有文件都是伪文件,该类文件只存在内存中,并不占用空间——使用 du -sh 即可验证,该模具路下的磁盘占用都是0。/proc 下的所有文件都是内核调用proc_create() 接口来创建的虚拟条目。/proc 中...阅读全文

博文 2021-02-11 14:22:42 SegmentFault 思否

Redis 命令、特性介绍与性能调优

、Hyperloglogs等。 Redis具备LRU淘汰、事务实现、以及不同级别的硬盘持久化等能,并且支持副本集和通过Redis Sentinel实现的高可用方案,同时还支持通过Redis Cluster实现的数据自动分片能。 Redis的主要功能都基单线程模型实现,也就是说Redis使用一个线程来服务所有的客户端请求,同时Redis采用了非阻塞式IO,并精细地优化各种命令的算法时间复杂度,这些信息意味着: Redis是线程安全的(因为只有一个线程),其所有操作都是原子的,不会因并发产生数据异常 Redis的速度非常快(因为使用非阻塞式IO,且大部分命令的算法时间复杂度都是O(1)) 使用高耗时的Redis命令是很危险的,会占用唯一的一个线程的大量处理时间,导所有的请求都被拖慢。(例如时间复杂度为O(N)的...阅读全文

博文 2018-10-27 10:37:55 debian.cn

Java 12 / JDK 12 正式发布

,同时保留 32 位 ARM 实现和 64 位 aarch64。 JDK 中存在两套 64 位 ARM 实现,主要存在 src/hotspot/cpu/arm 和 open/src/hotspot/cpu/aarch64 目录。两者都实现了 aarch64,现在将只保留后者,删除由 Oracle 提供的 arm64。这将使贡献者将他们的精集中在单个 64 位 ARM 实现上,并消除维护两套实现所需的重复工作。 Default CDS Archives 默认类数据共享归档文件 针对 64 位平台,使用默认类列表增强 JDK 构建过程以生成类数据共享(class data-sharing,CDS)档。 Abortable Mixed Collections for G1 可中止的 G1...阅读全文

博文 2019-03-20 12:46:27 debian.cn

GlusterFS 和 Ceph 比比看

Ceph 块设备,它可以在 Linux 环境中用作常规块设备,使你可以像访问常规 Linux 硬盘一样来使用 Ceph。Ceph 还有 CephFS,它是针对 Linux 环境编写的 Ceph 文件系统。 最近,SUSE 添加了一个 iSCSI 接口,使得运行 iSCSI 客户端的客户端能像任何其他 iSCSI 目标一样访问 Ceph 存储。 所有这些功能使得 Ceph 成为异构环境的更好选择,而不仅仅是使用 Linux 操作系统。 所以 Ceph 是一个更灵活的产品,更容易集成到非 Linux 环境中。对许多公司来说,这足以让它们在 Ceph 而不是 GlusterFS 上构建存储产品。对仅运行 Linux 的环境,此功能不够有说服,所以来谈谈另一个非常重要的事情:速度。 为了比较...阅读全文

博文 2017-08-09 10:35:29 debian.cn

使用 Go 语言的三个原因

几个星期前,我一个朋友问我:“为什么要关心 Go 语言”? 因为他们知道我热衷 Go 语言,但他们想知道为什么我认为 其他人 也应该关心。本文包含三个我认为 Go 是重要的编程语言的原因。 安全 个人而言,你和我或许完全有能在 C 中编写程序,既不会泄漏内存,也不会不安全地重复使用内存。然而,整体上,即使有超过40年的经验,用 C 的程序员也无法可靠地这样做。 尽管静态代码分析、valgrind、tsan 以及 “-Werror” 已经存在了几十年,却很少有证据表明这些工具被广泛认可,更不用说广泛采用。总而言之,事实表明,程序员根本无法安全地管理自己的内存。现在是离开 C 的时候了。 Go 不需要程序员直接管理内存,所有内存分配都由语言运行时自行管理,使用前初始化,必要时检查边界。它肯...阅读全文

博文 2021-01-28 17:50:28 debian.cn

nginx 1.18.0 稳定版发布

访问受限而引起的时序攻击(Timing Attack)。 其他一些变更: 安全方面的改进,主要是修复针对 HTTP/2 客户端可能导过多内存消耗和 CPU 使用率升高的问题修复 nginx 在某些情况下可能过多占用 CPU 的问题,以及许多其他错误修复需要使用 OpenSSL 0.9.8 或更高版本 nginx 1.18.0 下载地址:http://nginx.org/en/download.html 根据 nginx 发布新版的策略,“稳定”指的是功能和更新频率,它与软件质量无关。稳定分支在其生命周期中从不接收新功能,并且通常仅接收一个或两个更新,用修复严重的错误。另外,稳定版本通常 fork 自最新的 mainline 版本。 因此,nginx 1.18.0 fork 自最新的...阅读全文

博文 2020-04-23 09:18:27 debian.cn

Jonathan Carter 再次当选为 Debian 项目负责人

Carter 的有 421 票,高 Sruthi Chandran 的 341 票。 具体投票过程与结果分析访问:https://www.debian.org/vote/2021/vote_001 Jonathan Carter 在竞选宣言中描述了他的工作目标: - 改进财务相关工作,例如提升财务透明度,更好地追踪资金的收入和使用情况 - 实行支出政策 (expendature policy),主要是让项目成员更清楚他们可以在哪些方面花钱以及如何花钱,Jonathan Carter 表示项目成员之间对这方面没有达成一的认识,通常会导这些成员不使用本来可以让 Debian 项目受益的资金 - 考虑正式注册 Debian 组织 今年选举 DPL 的投票中还提及到了是否应就 Richard...阅读全文

GitHub 发布10月21日系统故障分析报告

Raft 共识机制之上达成共识。Orchestrator 可以实现应用程序无法支持的拓扑,因此必须注意将 Orchestrator 的配置与应用程序级别的期望保持一。 然而 21 日,在上述网络分区中,Orchestrator 在主数据中心中一直保持活跃,根据 Raft 的共识机制,它开始了一个取消领导选举的过程。美国西海岸数据中心和美国东海岸公有云 Orchestrator 节点能够建立合规数量并开始对群集进行故障转移,以便将写入指向美国西海岸数据中心。Orchestrator 继续组织美国西海岸数据库集群拓扑,当连接恢复时,应用层立即开始将写入流量引导到西海岸站点的新当选者。 美国东海岸数据中心的数据库服务器包含一段短暂的写入时间,但尚未复制到美国西海岸的设施。由两个数据中心中的数据库集群...阅读全文

SK海力士进军PCIe 4.0 SSD:密度世界第一 轻松32TB

SK海士今天正式发布了最新款的企业级SSD PE8000系列,包括PE8010、PE8030、PE8111三款型号,这也是其首款PCIe 4.0 SSD,无论存储密度、容量还是性能都是世界一流的,甚至是超一流的。 PE8010、PE8030都配备了SK海士自产的96层堆叠4D TLC NAND闪存颗粒,搭配自研主控,最大容量8TB,兼容U.2、U.3接口,其中PE8010面向读取密集型应用,PE8030则为读写混合应用而优化。 性能方面,持续读写速度最高均可达8.3GB/s、3.7GB/s,随机读写速度最高则可达1100K IOPS、320K IOPS。 相比去年的上代产品,持续读取性能提升103%,随机写入性能提升357%,另外最大功耗为17W。 PE8111则是针对读取密集型负载...阅读全文

博文 2020-04-08 09:31:41 debian.cn

架构师详解 Nginx 架构

,主进程和工作进程需要进程交互。交互依赖 Socket 实现的管道来实现。 Master-Worker 交互 这条管道与普通的管道不同,它是由主进程指向工作进程的单向管道,包含主进程向工作进程发出的指令,工作进程 ID 等;同时主进程与外界通过信号通信;每个子进程具备接收信号,并处理相应的事件的能。 worker-worker 交互 这种交互是和 Master-Worker 交互是基本一的,但是会通过主进程。工作进程之间是相互隔离的,所以当工作进程 W1 需要向工作进程 W2 发指令时,首先找到 W2 的进程 ID,然后将正确的指令写入指向 W2 的通道。W2 收到信号采取相应的措施。 五. 总结 通过这篇文章,我们对 Nginx 服务器的整体架构有了一个整体的认识。包括其模块化的设计...阅读全文

博文 2018-05-01 23:10:47 debian.cn

译:Kubernetes 最佳实践

如,一组开发人员可能只能访问名为 dev 的命名空间,并且无法访问 production 命名空间。 将不同团队限制在不同命名空间的能避免重复工作或资源冲突可能很有价值。还可以针对命名空间配置 LimitRange 对象,以定义部署在命名空间中的容器的标准大小。ResourceQuotas 还可用限制命名空间内所有容器的总资源消耗。可以对命名空间使用网络策略来限制 pod 之间的流量。使用就绪和存活探针Readiness(就绪)和 Liveness(存活)探针本质上都是健康检查的类型。这些是在 K8s 中使用的另一个非常重要的概念。就绪探针确保仅当 pod 准备好为请求提供服务时,才会将对 pod 的请求定向到它。如果它还没有准备好,那么请求将被定向到其他地方。为每个容器定义就绪探针...阅读全文

博文 2022-09-13 19:32:21 atbug.com