、Hyperloglogs等。 Redis具备LRU淘汰、事务实现、以及不同级别的硬盘持久化等能力，并且支持副本集和通过Redis Sentinel实现的高可用方案，同时还支持通过Redis Cluster实现的数据自动分片能力。 Redis的主要功能都基于单线程模型实现，也就是说Redis使用一个线程来服务所有的客户端请求，同时Redis采用了非阻塞式IO，并精细地优化各种命令的算法时间复杂度，这些信息意味着： Redis是线程安全的（因为只有一个线程），其所有操作都是原子的，不会因并发产生数据异常 Redis的速度非常快（因为使用非阻塞式IO，且大部分命令的算法时间复杂度都是O(1)) 使用高耗时的Redis命令是很危险的，会占用唯一的一个线程的大量处理时间，导致所有的请求都被拖慢。（例如时间复杂度为O(N)的...阅读全文
二分法查找是一种基础的、简单而高效的算法，又称为折半查找。顾名思义，就是将待查表一分为二，从而减少了查找次数，提高了效率。但缺点就是待查表必须为顺序表，并且待查表在查找时不宜做增删操作。 其最优时间复杂度为O(1)，最坏时间复杂度为O(logn)。代码样例： ``` # coding:utf-8 方法一：递归法 def binarySearch_01(listx, item): """Be of recursion""" length = len(listx) if length > 0: #定义中间值下标： split = length // 2 if listx[split] == item...阅读全文
作为拥有多个 VPS 服务器的人，当你买了海外的 VPS 后，或多或少有科学上网的需求。目前来说，v2ray 是比较安全、方便的方式。 v2ray是一个功能强大，配置不算复杂的上网工具。相比 SS 的配置稍显复杂，v2ray 功能比 SS 强大太多，只要上手了，可以很方便、安全的使用。系统还是我最喜欢的Debian 系统，轻巧、稳定、流畅，让我能在上面做很多事。 安装 v2ray 也很简单，只需要安装依赖，然后一行命令就能安装好。当然，你也可以不自己安装依赖，而让v2ray去安装依赖。 #### 安装 v2ray 依赖 在终端执行命令： `apt install curl unzip daemon` 如果系统已经有这几个包，则无需手动安装。 #### 安装 v2ray 上面说了，v2ray...阅读全文
一、当 Kubernetes 成为云原生事实标准，可观测性挑战随之而来当前，云原生技术以容器技术为基础，通过标准可扩展的调度、网络、存储、容器运行时接口来提供基础设施。同时，通过标准可扩展的声明式资源和控制器来提供运维能力，两层标准化推动了开发与运维关注点分离，各领域进一步提升规模化和专业化，达到成本、效率、稳定性的全面优化。在这样的大技术背景下，越来越多的公司引入了云原生技术来开发、运维业务应用。正因为云原生技术带来了越发纷繁复杂的可能性，业务应用出现了微服务众多、多语言开发、多通信协议的鲜明特征。同时，云原生技术本身将复杂度下移，给可观测性带来了更多挑战：1、混沌的微服务架构，多语言和多网络协议混杂业务架构因为分工问题，容易出现服务数量多，调用协议和关系非常复杂的现象，导致的常见问题...阅读全文
Gitlab 官方 宣布 ，将从 12.1 版本开始不再支持 MySQL 数据库。早在 2017 年 7 月，Gitlab 就计划将弃用对 MySQL 的支持。而目前这个决定将从 12.1 版本开始。 官方列出几个 MySQL 不能满足 Gitlab 需求的地方： 无法支持嵌套分组查询（详情）必须使用黑科技来提升 MySQL 对列的限制，这将导致 MySQL 拒绝存储数据MySQL 无法添加 TEXT 类型字段的长度限制MySQL 不支持分区索引还有类似 Geo 为了解决上面这些问题，Gitlab 创建了许多专门针对 MySQL 的代码。 在某些情况下，这导致合并请求的复杂性要高一倍，因为它们必须支持第二个数据库后端。 创建和维护这些代码会消耗我们的循环时间和速度，并且会降低我们的迭代值...阅读全文
。 Zoom 升级到 AES 256 位 GCM 加密标准，为会议数据提供了更多的保护和防篡改功能。这为 Zoom 会议、Zoom 视频网络会议和 Zoom 电话数据的保密性和完整性提供了保障。Zoom 5.0 将于本周内发布，支持 GCM 加密，一旦所有账户启用 GCM，该标准将生效。 现在通过点击界面会议菜单栏中的安全图标，就可以找到Zoom的安全功能。会议密码是现有的 Zoom 功能，Zoom 5.0 对大多数客户，包括所有基本版、单授权专业版和 K-12 客户，都默认开启了会议密码。对于管理账户，账户管理员现在可以定义密码复杂度（如长度、字母数字和特殊字符要求）。此外，Zoom Phone 管理员现在可以调整访问语音信箱所需的密码长度。 另外，Zoom 5.0 将为大型企业提供新的数据结构，允...阅读全文
。Linode采用了定制版内核，安装较为复杂。...阅读全文
随着希捷、东芝先后推出16TB容量的HDD硬盘，现今的垂直磁道PMR机械硬盘不论容量还是技术水平应该是到头了，西数计划今年出样18TB及20TB的硬盘，会用上MAMR全新技术。 访问购买页面： 西部数据自营旗舰店 机械硬盘要想再提高容量，现在的磁记录技术已经没多少潜力可挖了，新一代HDD硬盘技术会转向HAMR热磁辅助记录技术，不过西数认为HAMR使用激光辅助加热，技术复杂，成本高，可靠性也低，所以他们更倾向于MAMR微波辅助磁记录技术。 根据西数所说，MAMR硬盘技术的成本和传统垂直记录类似，复杂性、可靠性也都更可控(99.99％的MAMR磁头写入寿命HAMR磁头高出几个数量级)，生态方面也不需要更换新的主机管理损耗均衡。 西数最新表态今年底会推出两款MAMR技术的容量，一款是18TB容量...阅读全文
Refer to https://www.linkedin.com/pulse/system-design-rules-navneet-kumar-p6n7f/ 系统设计很复杂，它需要设计者有深厚的计算机知识和专业知识，没有一种通用的设计可以适应所有业务场景。尽管如此，还是有一些比较通用的规则可以供你设计系统时参考，也能帮助你在面试中摆脱困境。 1. 对于数据密集型系统 — 考虑使用缓存。 2. 对于写入量大的系统 — 使用消息队列进行异步处理 3. 对于低延迟要求 — 考虑使用缓存和 CDN。 4. 需要𝐀原子性、𝐂一致性、𝐈隔离性、𝐃耐用性兼容数据库 — 选择 RDBMS/SQL 数据库。 5. 对于非结构化数据——可以选择NoSQL...阅读全文
制化的网络；二是目前的 TCP/IP 协议和框架对 ManyNets（包括 IoT 网络、卫星网络等） 互连有限制且具有复杂性。 当下，全息通信满足了人们对交互式的通信体验的需求，从而也需要更高的带宽、更低的延迟、更灵活的网络处理，而满足这些传感应用需求，需要更细度的网络服务能力。 由于现有 IP 不相兼容的寻址机制，IoT 网络、蜂窝网络、工业网络等网络之间的互连受到了限制。而后引进的多种映射机制不仅给系统带来了额外的复杂性，也带来了潜在的隐私和弹性问题。 由此，需要一个更好的解决方案来处理所有类型或虚拟对象的交付和通信，New IP 应运而生。 文章指出，New IP 主要有三个关键特征： 可变 IP 地址长度，无缝支持跨网络通信；用于标识物理和虚拟对象的 IP 地址的语义定义；用户定义...阅读全文
，基于RESTful API的工具。 不幸的是，这感觉就像试图将简单的方法调用变成一个数据驱动的RESTful界面。这满足了RESTful接口的verb，header，URL标识符，资源的URL和有效载荷的神奇组合，并做了一个清洁，简单，看起来几乎不可能实现的功能界面。RESTful有很多规则和解释，在大多数情况下会导致REST ish接口，这需要花费额外的时间和精力来保持其纯度。 最终，考虑到RESTAPI的复杂性，我们找到了替代方案。希望微服务尽可能相互隔离，减少交互和解耦服务。它可以让企业在很短的时间内创造出一个可行的服务，并防止跳过hoops。 评估REST的替代方案 不要轻易选择通信框架。大型组织（如Netflix）可以拥有超过500+个微服务的后端系统。迁移这些服务以取代不充分的服...阅读全文
户设计 pipeline 的灵活度，但 graph 框架也同时带来下列缺点： 引入潜在内存安全风险 复杂的代码逻辑，需要大量的测试工作 初学者学习曲线陡峭 总体而言，与传统的 pipeline 模式相比，graph 框架也会出现 tradeoff。使用者需要考虑其业务逻辑的复杂程度，才能有计划地设计出可管理的 graph pipeline。graph 模型更适用于 pipeline 比较复杂的场景。有兴趣的读者可以持续关注后期即将发布的《DPDK Graph Pipeline 框架示例和性能分析》，以更好地理解 DPDK libgraph 的性能和实际用途。...阅读全文
改并不重要，因为在实践中，我们仔细地推出了整个incarnation的内容。 但是，这个方案缺少灵活性。考虑这样的场景：多个正在进行的推出改变了相同的asset——比如，为期一周的新标志与每日版本更新并行推出。这个用例无法通过纯粹的基于actuation的推出来管理。在实践中，需要对更改进行批处理。 如图12所示，基于intent的推出仅仅在特定asset选中后才会更新asset的intent。随后intent立即通过Enforcer被执行。 图12：基于intent的推出 基于intent的推出比基于acutation的推出复杂很多。它们要求能够程序化地改变intent的能力。在Prodsepc模型里，这个需求意味着依赖于可以以编程方式编辑的SoT。SoT还应允许足够的粒度来匹配asset...阅读全文
根据此前的消息，基于Thunderbolt 3（雷电3）技术的USB 4接口与此前的USB 3.2相比带宽提升了一倍，能够提供40Gbps的带宽与100W的供电，使用USB Type-C 物理接口，所以你可以将USB 4当作是雷电3的大众化版本。目前USB Promoter Group正在努力开发USB 4规范，相关零售产品将于2020年底上市。 根据 AnandTech 的报道，目前USB 4已经来到了0.7版本，并且研发进度比较快。USB Promoter Group表示，USB 4基于雷电3技术，但是由于目前的研发情况非常复杂，所以他们希望能够在保证性能的情况下将部分功能进行简化，同时也在考虑新的产品标识和推广方案。 USB 4将会提供40Gbps（5GB/s）的传输速率并支持...阅读全文
findAndModify 命令可以引用现有字段，并加入聚合管道，以获得更强的表现力可还原读写，降低了编写处理临时集群故障的代码的复杂性 客户端字段级加密 (FLE，Client-side Field Level Encryption) 现已是 MongoDB 4.2 的一部分，可以在 beta 版中使用。使用 FLE，可以选择性地保护文档中的敏感字段，每个字段都使用自己的密钥加密，并在客户端上无缝解密。 MongoDB 是现代应用程序的通用数据库，它汇集了文档模型、智能分布式系统以及在任何地方运行它的能力，从笔记本电脑到大型机，在公共和私有云中运行。如果以 MongoDB 4.2 为例，最快和最简单的方法是在 MongoDB Atlas 上启动一个集群，在 AWS、Azure 和 GCP 上的 60 多个区域都可...阅读全文
当时预计该项目将在2020年就会投入使用，但除了要处理跨越各大洲之间的长电缆的复杂问题外，项目负责人当时可能没有为COVID-19全球大流行做好准备。这条近4000英里的电缆总容量为每秒250Tb--或者说足以传输 "整个数字化的美国国会图书馆每秒三次"。与一些老旧的电缆不同，Dunant使用了12对光纤，再加上围绕最大化其带宽的一些技术创新，才实现了这些数字。"谷歌致力于满足对云服务和在线内容的爆炸性需求，这种需求有增无减，"谷歌云基础设施高级总监Mark Sokol说。"凭借创纪录的容量和传输速度，Dunant将帮助用户在任何地方访问内容，并补充互联网上最繁忙的路线之一，以支持谷歌云的发展。Dunant是一项了不起的成就，如果没有SubCom和谷歌员工、合作伙伴和供应商的奉献，他们在今...阅读全文
Cloudpods是一个开源的多云混合云管理平台。Cloudpods首先是一个私有云云平台，具备将计算节点使用开源QEMU/KVM虚拟化技术虚拟出虚拟机，实现私有云的功能。其次，Cloudpods能够纳管其他的云平台，包括主流私有云和公有云，实现云管的功能。 Cloudpods的目标是帮助用户基于本地基础设置以及已有云基础设置，构建一个统一融合的云上之云，达到降低复杂度，提高管理效率的效果。Cloudpods从3.0开始全面拥抱Kubernetes，基于Kubernetes部署运行云平台的服务组件，采用Kubernetes Operator，基于Kubernetes集群自动化部署服务，实现了云平台的服务的容器化分布式部署。本文总结了Cloudpods在过去3年云平台底层容器化改造的经...阅读全文
“隐藏”和“显示”。当对索引进行隐藏时，它不会被查询优化器所使用。我们可以使用这个特性用于性能调试，例如我们先隐藏一个索引，然后观察其对数据库的影响。如果数据库性能有所下降，说明这个索引是有用的，然后将其“恢复显示”即可；如果数据库性能看不出变化，说明这个索引是多余的，可以考虑删掉。 5. 降序索引：MySQL 8.0 为索引提供按降序方式进行排序的支持，在这种索引中的值也会按降序的方式进行排序。 6. 通用表表达式(Common Table Expressions CTE)：在复杂的查询中使用嵌入式表时，使用 CTE 使得查询语句更清晰。 7. UTF-8 编码：从 MySQL 8 开始，使用 utf8mb4 作为 MySQL 的默认字符集。 8. JSON：MySQL 8 大幅改进了对...阅读全文
对70个软件包添加重要更正的杂项错误修复，以及解决各种最新安全漏洞和其他相关问题的52个安全更新。详情请查看发布公告。...阅读全文
2012 年宣布的 GNU Guix 包管理器项目正式释出了 1.0.0 版本。在过去七年中，260 名开发者递交了超过 4 万个 commits，此外还有文档、翻译、设计等方面的大量工作。 GNU Guix 是事务性包管理器，可以安装在 GNU/Linux 发行版上，也可以作为 i686、x86_64、ARMv7 和 AArch64 机器的独立操作系统发行版。 用户可使用 Guix 安装应用程序并保持程序在最新状态，软件开发者可以产生一次性的软件环境，系统管理员可以更容易的部署复杂服务。 感兴趣的用户可以使用虚拟机镜像体验 Guix。...阅读全文
Ubuntu 19.10 生命周期将在今年 7 月结束，之后一段时间内最大的版本则是 Ubuntu 20.04 LTS，其重大更新和改进将在 2030 年前终止。20.04 是 Ubuntu 的第 8 个 LTS 版本，计划于今年 4 月 23 日发布。前两天我们报导过 Ubuntu 20.04 LTS 的版本更新时间表，描述了各个时间节点的发布情况，今天来看看 20.04 会带来什么亮点。 首先是主题变化，Yaru 会有一个从亮到暗的主题变化可选，该主题下的复选框、单选按钮以及滑块和进度条等，都不再呈蓝色或绿色，而以紫色取代之。从绿色切换到紫色，整体上减少了纷杂的色彩，同时也不破坏 Ubuntu 本身的和谐。 其次，Ubuntu 社区的另一个期待已久的需求也将得到满足，系统将删除预装的...阅读全文
，Go 超越了那些暴露操作系统的多进程或多线程并行模型的语言。goroutines 允许程序员避开复杂的回调，而语言运行时确保有足够的线程来保持你的内核的活跃。 总结 我给朋友推荐 Go 有三个原因：安全性、生产力和并发性。有些语言可以涵盖一个也有可能是两个方面，但是这三个方面的结合使得 Go 成为主流程序员的绝佳选择。 原文: https://dave.cheney.net/2017/03/20/why-go 作者：Dave Cheney 译者：geekpi 校对：jasminepeng...阅读全文
并到所使用的 LTS 版本。 因此谷歌转向了滚动更新发行版，不过它没有选择知名的滚动更新发行版 Arch Linux，而是基于 Debian 测试分支构建了 gLinux Rodete (Rolling Debian Testing)。 选择 Debian 是因为它有着庞大的社区和软件库，还可以使用 Debian 格式的现有内部软件包和工具。而且 Ubuntu 也是基于 Debian，迁移过去更容易顺畅。 Debian 稳定分支也是差不多两年发布一次大更新，但其测试分支是滚动更新的。滚动更新意味着需要尽可能防止新版本对现有工作流程造成破坏，为了管理从源代码构建所有上游软件包的所有这些复杂任务，谷歌构建了一个名为 Sieve 的工作流系统。通过运行一个虚拟化测试套件，确保核心组件和开发者工作流...阅读全文
统的消失 许多用户都在哀叹他们最喜爱的发行版和软件项目中不再支持32位操作系统。越来越少的产品继续支持32位平台，这将会带来市场份额的降低和用户的流失。幸运的是，我们谈论的是开源，所以只要有人还在关心32位平台，你至少会有几个32位系统可选择。 5.不支持X-forwarding 很多长期用户经常使用X-forwarding，并将其看作一个关键功能。但随着Linux有越来越多的人使用，其对于X-forwarding的测试和支持有所减少，尤其是新应用程序。随着网络的透明度不断发展，情况可能会在好转之前变得更糟。 与去年相比有哪些变化 ·视频（特别是加速器加速；最新的视频卡；专用驱动程序；高效的电源管理） ·蓝牙支持，特定的wifi芯片和打印机，电源管理以及暂停/恢复，对许多用户来说仍然是麻烦的...阅读全文
程序可以处理这些更复杂的工作负载之前，还有很多工作要做。甚至由于驱动程序错误或未实现的 Vulkan 功能，连 Sascha 的一些演示都无法运行。 为此，接下来几个月的工作将集中在支持基本的 Vulkan 1.0 功能集，至少涉及支持计算着色器、输入附件、纹理像素缓冲区、存储镜像、pipeline 缓存和多重采样。在 Vulkan 1.0 中，还需要支持其它一些功能，例如健壮的缓冲区访问等。 一旦完成了功能开发，则可能会将重心转移到 CTS 一致性上，这将全部用于 bug 修复，并处理特殊情况。最后也会有许多性能调整和优化工作。 Raspberry Pi 基金会还介绍，目前已经将驱动程序的开发转移到一个开放的存储库中，开发者可以在其中找到有关如何构建和安装驱动的说明。...阅读全文
在去年年初，SUSE 的开发者向 Linux 内核提交了一个 v2 补丁，该补丁将 ReiserFS 文件系统标记为已弃用，并将会在 2025 年从内核中正式删除它。删除的原因主要是过去十多年该文件系统都不再活跃，并且在现代内核的生产用例中也不太可能再使用。基于差不多的原因，日前开发者也开始着眼讨论 Journaled File-System（JFS）文件系统是否还应该在内核中继续保留的问题。内核开发者 Christoph Hellwig 在邮件列表中表示：不久前，我们已经弃用了 ReiserFS，并计划将其删除。看着 JFS 中的代码，我想知道我们是否也应该这样做。虽然 JFS 不像 ReiserFS 那么复杂，但它的使用率也很低，而且从未成为任何主要发行版中的默认文件系统。1990...阅读全文
4200G，它也不需要多复杂，直接使用笔记本版的锐龙4000U系列改改就行了，降低GPU频率，提升CPU频率，因为桌面市场上CPU比GPU更重要。 结合之前的消息，锐龙4000 APU的桌面版预计会在8月份发布。...阅读全文
项目）仍应由各自的所有者负责，但重要的是默认情况应该是相反的。 Debian缺乏管理重大变更的工具：很难用程序的方式处理包和存储库（请参见下一小节的内容）。最近一次发送过来要求审核的更改是一个附带补丁的bug报告。我认为接受bug报告更改的流程太复杂，然后开始尝试mergebot，但只有Guido曾经表示对该项目感兴趣。 在文化方面，Debian的评论和反应都很慢。凡事都没有截止期限。有时我会收到电子邮件，通知我说我在几年前（！！）发送的补丁现在终于合并了。只有短短数周的项目拖到了数年，对我来说这是一个巨大的消极影响。 有趣的是，你可以看到缓慢的线上活动也影响到了线下的文化：我不想在第一次听到systemd后，过10年之久再讨论它。 最后，如果有人坚持拒绝合作，那么你做出的变更很容易就会被一...阅读全文
2020年前后将进入5G时代，5G将推动对整个产业带来革命性影响，并改变我们所有人的工作和生活方式，人类社会全面进入到数字化时代。 云计算和智能互联,正在快速演进，5G将是全球最智能的互联设备之一。在全球范围内，中国率先启动5G试验，在国际上率先发布5G系统在中频段内的频率使用规划。 怀柔5G试验外场对5G系统技术的验证，在技术、频谱利用、密集组网、大规模天线的布设、复杂网络的优化等方面，业界已可以看到5G特定场景的演示，促进5G发展进入新的阶段。 中国率先启动5G试验 2018年将重点研发5G产品 对于5G频谱的研究，专家认为，全球频谱越统一越有利于频谱效率的最大化。毫米波的频率规划，是我国5G推进的重要工作。目前毫米波频段，仍有一些不确定性，建议业界尽早明确一些5G场景，明确中国毫米波...阅读全文
systemd的各种不方便，比如命令太长，不熟悉daemon报错等。systemd几乎没有所需的外部依赖，它们主要由glibc(或兼容的libc)，setcap和libmount组成。 由于systemd项目合并了udev, logind等基础设施，以及Gnome/KDE积极与systemd集成，这给其它开源内核的桌面用户(以及Debian这样的多内核发行版)造成了困扰。 想想systemd最开始出现时，还是以一个纯粹的init软件的身份，之后短短的时间内大肆攻城略地，合并了很多进程，与Gnome暧昧不清，还设置了API锁定。虽然我可以理解很多linux用户为什么不喜欢复杂的桌面环境，但还是有很多人希望选择一个完整的桌面环境。 init系统中，虽然你可以轻松地选择桌面环境和窗口管理器，但在大多数发行版中...阅读全文
据国外媒体报道，微软公司联合创始人比尔盖茨现在还是世界首富，目前个人财富高达900亿美元。 但比尔盖茨在2008年就退出了微软公司的日常管理，仅作为董事长继续保证公司的正常运营，而在2014年，也就是在他60岁的前一年，他又放弃了微软公司董事长一职。 在离开微软管理层之后，盖茨将大部分精力和财富都放到了慈善事业上，通过慈善活动，他也时常出现在公众的视野之中，但也有很多人好奇，曾经忙于微软公司事务的他，在退休之后的每一天又是怎么度过的？ 事实上在2008年退休之后，如果没有慈善等需要外出的活动，他的一天基本都是在他那历时7年、耗资6300万美元打造的豪宅 “仙乐都2.0” 中度过的，他的一天从豪宅中醒来之后就算开始了。 在早餐方面，盖茨喜欢的早餐是可可泡芙，不过他的妻子梅琳达?盖茨却透露，盖...阅读全文
地化工作也是做得非常到位，而凭借着架构简单，开箱即用的特点，CAT 也是我们得物使用的第一个应用监控系统。 二、 0x01 第一阶段 从0～1基于CAT的实时应用监控 在得物五彩石项目交付之前，系统仅有基础设施层面的监控，CAT 的引入，很好地弥补了应用监控盲区。它支持提供各个维度的性能监控报表，健康状况检测，异常统计，对故障问题排查起到了积极推动的作用，同时也提供简单的实时告警的能力。 CAT 拥有指标分钟级别的聚合统计的能力，从 UI 上不难看出，它拥有丰富的报表统计能力和问题排障能力。 但随着公司业务规模逐步扩大，微服务粒度也不可避免地变小，我们发现，CAT 已经逐步无法满足我们的使用场景了： 无法直观呈现全链路视图： 问题排障与日常性能分析的场景也越来越复杂，对于一个核心场景，其内部...阅读全文
选给定标签的序列： my_metric_name{label1="value1", label2="value2"}更复杂的标签匹配器： my_metric_name{label1!="value1", label2=~"regex1", label3!~"regex2"}匹配器： =: 等于 !=: 不等于 =~: 正则匹配 !~: 正则不匹配 Counter 的增长速率过去5分钟每秒平均增长速率： rate(http_requests_total[5m])1分钟时间窗口中最后两个样本计算的每秒增长速率： irate(http_requests_total[1m]过去1小时增加的绝对数值： increase(http_requests_total[1h])多个序列聚合对所有序列进行求和...阅读全文
模作业调度的优化 构建 Pipeline Region 的性能提升：所有由 pipline 边所连接构成的子图 。在 Flink 任务调度中需要通过识别 Pipeline Region 来保证由同一个 Pipline 边所连接的任务能够同时进行调度。否则有可能上游的任务开始调度，但是下游的任务并没有运行。从而导致上游运行完的数据无法给下游的节点进行消费，可能会造成死锁的情况 任务部署阶段：每个任务都要从哪些上游读取数据，这些信息会生成 Result Partition Deployment Descriptor。 这两个构建过程在之前的版本都有 O (n^2) 的时间复杂度，主要问题需要对于每个下游节点去遍历每一个上游节点的情况。例如去遍历每一个上游是不是一个 Pipeline 边连接的关系...阅读全文
本文翻译自 Jack Roper 的文章 Kubernetes Best Practice。译者：文章中作者从应用程序开发、治理和集群配置三个方面给出了一些 Kubernetes 的最佳实践，同时翻译过程中也加入了我过往的一些使用经验。有误的地方，也欢迎大家指正。在这篇文章中，我将介绍一些使用 Kubernetes (K8s) 时的最佳实践。作为最流行的容器编排系统，K8s 是现代云工程师掌握的事实标准。众所周知，不管使用还是维护 K8s 复杂的系统，因此很好地掌握它应该做什么和不应该做什么，并知道什么是可能的，将是一个好的开局。这些建议包含 3 大类中的常见问题，即应用程序开发、治理和集群配置。最佳实践目录使用命名空间使用就绪和存活探针（译者注：还有启动探针）使用自动缩放使用资源请求和约...阅读全文
的最细粒度的身份验证和授权。虽然服务网格可以提供帮助，但 Kubernetes 安全性仍然是一个复杂而微妙的话题，需要从多个层次进行了解。零信任是一种位于现代安全实践前沿的强大的安全模型。这也是一个容易引起轰动和炒作的术语，因此很难消除噪音。那么，究竟什么是零信任，对于 Kubernetes，它究竟意味着什么？在本文中，我们将从工程的角度探讨什么是零信任，并构建一个基本框架来理解它对 Kubernetes 运维和安全团队等的影响。介绍如果你正在构建现代云软件，无论是采用 Kubernetes 还是其他软件，可能都听说过“零信任”一词。零信任的安全模式变得如此重要，以至于美国联邦政府已经注意到：白宫最近发布了一份联邦零信任战略的备忘录，要求所有美国联邦机构在年底前满足特定的零信任安全标准...阅读全文
遍历，O(n)的轮询时间复杂度。 poll模型 考虑到select模型的几个限制，后来进行了改进，这也就是poll模型，既然是select模型的改进版，那么肯定有其亮眼的地方，一起来看看吧。当然，这次我们依旧是先翻阅linux man二类文档，因为这是官方的文档，对其有着最为精准的定义。 int poll(struct pollfd *fds, nfds_t nfds, int timeout); 其实，从运行机制上说来，poll所做的功能和select是基本上一样的，都是等待并检测一组文件描述符就绪，然后在进行后续的IO处理工作。只不过不同的是，select中，采用的是bitmap结构，长度限定在1024位的文件描述符表，而poll模型则采用的是pollfd结构的数组fds，也正是由于...阅读全文
、API 应用相同的上下文中运行程序或脚本。可以上传并运行可执行文件，例如 cmd、bat、exe、psl 等等。WebJobs 提供 SDK 用于简化针对 Web 作业可以执行的常见任务，例如图像处理、队列处理、RSS 聚合、文件维护，以及发送电子邮件等等。 Serverless 架构原则 按需使用计算服务执行代码 Serverless 架构是 SOA 概念的自然延伸。在 Serverless 架构中，所有自定义代码作为孤立的、独立的、细粒度的函数来编写和执行，这些函数在 AWS Lambda 之类的无状态计算服务中运行。开发人员可以编写函数，执行常见的任务。在比较复杂的情况下，开发人员可以构建更复杂的管道，编排多个函数调用。 编写单一用途的无状态函数单单负责处理某一项任务的函数很容易测试，并稳...阅读全文
统瘫痪！ 5.线上Redis禁止使用Keys正则匹配操作 Redis是单线程处理，在线上KEY数量较多时，操作效率极低【时间复杂度为O(N)】，该命令一旦执行会严重阻塞线上其它命令的正常请求，而且在高QPS情况下会直接造成Redis服务崩溃！如果有类似需求，请使用scan命令代替！ 6.可靠的消息队列服务 Redis List经常被用于消息队列服务。假设消费者程序在从队列中取出消息后立刻崩溃，但由于该消息已经被取出且没有被正常处理，那么可以认为该消息已经丢失，由此可能会导致业务数据丢失，或业务状态不一致等现象发生。 为了避免这种情况，Redis提供了RPOPLPUSH命令，消费者程序会原子性的从主消息队列中取出消息并将其插入到备份队列中，直到消费者程序完成正常的处理逻辑后再将该消息从备份队列...阅读全文
争议的地方是违背了Unix哲学，太过于复杂。而Devuan提供了多种 init 系统供用户选择，其中包括 sysvinit、sinit、openrc、runit、s6 和 shepherd。 稳定版 Devuan GNU/Linux 到达1.0里程碑历时两年半时间，提供了没有 systemd的稳定、可靠、安全的操作系统。该系统基于Debian GNU/Linux 8 "Jessie"发行版本，目前仅提供安装镜像，没有图形界面、QUMU和Vagrant虚拟镜像的最小化在线ISO，以及支持/不支持UEFI的Xfce Live镜像，以及面向ARM设备的镜像。 除了支持32位和64位之外，嵌入式镜像还允许用户在树莓派、树莓派2、树莓派3、Acer Chromebook、Veyron/Rockchip...阅读全文
Gitlab 12.2 已经发布，此版本将帮助团队优化他们的管道，改进协作，并管理项目之间的相互依赖。更新内容如下： 更快、更灵活的管道 CI 管道的目标是自动化手工构建和测试任务，加速软件交付，同时减少错误。然而，对于某些用例，GitLab CI/CD 管道并没有那样高效。GitLab 12.2 现在支持 Directed Acyclic Graphs (DAG) 作为创建和管理详细作业依赖关系的方法，而不是依赖于顺序阶段。使您的 CI 管道变得更快和更有效率。 设计管理 软件开发是一项团队协作工作，在 12.2 版本中，提供了新的能力，包括在 GitLab 上的设计管理。设计管理将使设计内容的共享、版本和协作变得容易，从而帮助团队更有效地使用单一来源。 跨项目合并请求依赖 复杂系统通常...阅读全文
TensorFlow 官方博客宣布开源新的运行时 TFRT，该运行时提供了统一的、可扩展的基础结构层，并在各类硬件上均具有高性能。 TFRT 产品经理 Eric Johnson 表示，TFRT 将取代现有的 TensorFlow 运行时。原有的 TensorFlow 运行时最初是为图形执行和训练模型的工作负载而构建的。与之相比，新的运行时将急切的执行需求放在第一位，同时特别强调架构的可扩展性和模块化。 它能够很好地满足开发复杂模型时寻求更快迭代时间的开发者需求、在训练和服务生产模型时改进性能的需求，以及希望以模块化方式将边缘和数据中心设备集成到 TensorFlow 中的硬件制造商需求。 简单来讲，TFRT 可以减少开发、验证和部署企业级模型所需的时间。 TFRT 利用了 eager 和图...阅读全文
，那么这并不影响你。不过如果你正在使用 swap 分区，而不是 swap 文件，你也同样不会受到影响。据我所知，所有正常的发行版都是用swap分区，而不是文件来设置的 因为老实说，swap 文件往往会比较慢，而且还有其他各种复杂的问题。许多发行版仍然默认使用 swap分区，而不是文件。但是Ubuntu--它可能是这个星球上部署最广泛的Linux发行版--已经默认安装 swapfiles四年多了。而这个 bug 很可能会毁掉你的整个根文件系统。...阅读全文
Rancher 2.3 GA版本发布了，据说这是Rancher Labs迄今为止最重要的版本更新。Rancher 2.3是业界首个GA支持Windows容器的Kubernetes管理平台，并正式集成了Istio，还引入了创新的“集群模板”功能以增强企业集群的安全性。 支持Windows容器 通过把Kubernetes的所有优势引入Windows，Rancher 2.3极大降低了企业使用Windows容器的复杂性，并为基于Windows遗留应用程序的现代化提供快捷的途径——无论这些程序是在本地运行还是在多云环境中运行。此外，Rancher 2.3还可以将它们容器化并将其转换为高效、安全和可迁移的多云应用程序，从而省去重写应用程序的工作。 正式集成Istio Rancher 2.3正式完成了对...阅读全文
来实现。完整的镜像列表可在以下网址获得。 [https://www.debian.org/mirror/list](https://www.debian.org/mirror/list) ## 杂项错误修正 这个稳定的更新为以下软件包添加了一些重要的修正。 | 包 | 原因 | | ------------------------------------------------------------ | ------------------------------------------------------------ | | [atftp](https://packages.debian.org/src:atftp) | 修复拒绝服务问题[CVE-2020-6097...阅读全文
普通人来说,也没有那么可怕。一般人平均每天的写入量很少能超过10GB，那么我们就假设是10GB，120GB QLC SSD，写入寿命达到120 TB。假设写入放大系数则假定为3，甚至5，那么三年之内，很难写坏它。且QLC闪存拥有高容量，也意味着其在QLC驱动器中可通过超额配置以延长产品本身的有效寿命。 目前TLC SSD在质保期普遍达到3年，有的质保期甚至达到5年。那么QLC 寿命问题又有什么好担心？ 2、稳定性 QLC闪存是存储4位电荷，有16种状态，而TLC存储3位电荷，有8种状态 。这意味着QLC闪存单位存储密度更大，是TLC的2倍，单颗芯片可达到256GB甚至512GB。但是，也因如此，QLC闪存的电压更难控制，干扰更复杂，而这些问题都会影响QLC闪存的性能、可靠性及稳定性。不过...阅读全文
2021 年每月（以及之后的双月刊）系列“ Debian 热门话题”（日文）撰写在日本组织一些当地 Debian 活动，尤其是东京。Debian 议程为贡献者和用户提供更好的 Debian “体验”。向用户提供“一些尝试”并听取他们的声音，然后在贡献者之间进行讨论。更多的基础设施变化，对 Web、Wiki、BTS、存储库等 Debian 基础架构进行更多更改。知识和技术的更新和转让，与新的贡献者讨论、转移和改进旧的知识体系。此外，Hideki Yamane 还在展示页面中警告“我可能是 DPL 有史以来最差的候选人”：不擅长英语（可以使用 Eng“r”ish ;），所以无法回答一些复杂的问题。没有任何技巧来调解贡献者之间的争吵，只有：保持冷静，保持安全。...阅读全文
-cfb, aes-192-cfb, aes-256-cfb,**bf-cfb, camellia-128-cfb, camellia-192-cfb,**camellia-256-cfb, cast5-cfb, des-cfb timeout：连接超时时间，单位秒。要适中。 如果客户端有OpenWRT路由器等设备，推荐rc4-md5，性能更好；否则可以选用安全性更好的aes-256-cfb等，不过计算复杂度上升，会有性能的损失，不过对于PC机以及现在的只能手机来说没有任何问题。路由器性能较弱所以可以考虑rc4-md5 保存配置文件后，就重启 shadosocks-libev 服务 $ service shadowsocks-libev restart 然后就搭建完成了，查看shadowsocks...阅读全文
出很多时间和努力。 1. 尽可能多地使用 Debian 完成日常工作。也就是说，成为开发者前，先做一个用户。 2. 阅读 Debian New Maintainer’s Guide 学习 Debian 打包的基本知识（英文版，中文版）。 这些知识能帮助你让不太复杂的软件包工作起来，但是与满足 Debian 标准之间还有相当大的距离。这个过程中可以独立地重新打包一个已经在仓库中的包，完成后和别人现有的工作进行对比，找出自己的不足。这个包一般不需要很复 杂，初学时直接弄复杂的包很可能只会浪费很多精力。做包的过程中遇到任何问题都可以找有经验的人询问清楚，这对提高水平非常有益。 3. 寻找一个感兴趣的软件进行打包，WNPP (Work-needing and Prospective Packages...阅读全文
DevOps解决方案营销副总裁Aruna Ravichandran预测道。她说，“鉴于攻击者强度和复杂度的提高，以及安全问题快速公诸于众对品牌带来潜在不可挽回的损害，代码本身必须考虑安全问题，并且部署在牢固的安全架构中。” Ravichandran认为，随着微服务框架和SDK的引入，开发人员为了避免影响用户体验，应该从一开始就考虑安全功能。当到了测试和部署阶段，安全验证应该被视为特殊情况处理。她提到“安全相关代码需求测试要求是非常特殊和动态的，这个过程非常有可能需要专家和用户的介入，这不是传统DevOps流程的一部分。” 更加注重安全的时期 按照Tufin首席技术管兼联合创始人Reuven Harrison的说法，DevOps可能是企业的最新漏洞。2017年，他期望能够看见安全相关流程能够融入到...阅读全文
