Scrapy 是一个为了爬取网站数据，提取结构性数据而编写的应用框架。 可以应用在包括数据挖掘、信息处理或存储历史数据等一系列的程序中。本文着重介绍 Scrapy 架构及其组件之间的交互。 Scrapy 组件介绍 Scrapy Engine 引擎负责控制数据流在系统中所有组件中流动，并在相应动作发生时触发事件。 详细内容查看下面的数据流(Data Flow)部分。 调度器(Scheduler) 调度器从引擎接受request并将他们入队，以便之后引擎请求他们时提供给引擎。 下载器(Downloader) 下载器负责获取页面数据并提供给引擎，而后提供给spider。 Spiders Spider 是 Scrapy用户编写用于分析response并提取item(即获取到的item)或额外跟进的...阅读全文
遇到问题，当然应该大胆提问！但绝对不是随便截个图丢给其他人，等待解决方案。原文请见 提问的智慧 (How To Ask Questions The Smart Way) 。这篇文章对于社区提问给出了很多建议，现作要点精简如下。请你做到完成了 RTFM (Read The Fucking Manual) 和 STFW (Search The Fucking Web) 两个步骤。通常，用这两句之一回答你的人会给你一份包含你需要内容的手册或者一个网址，而且他们打这些字的时候也正在读着。这些答复意味着回答者认为你需要的信息非常容易获得；你自己去搜索这些信息比灌给你，能让你学到更多。按发生时间先后列出问题症状问题发生前的一系列操作，往往就是对找出问题最有帮助的线索。因此，你的说明里应该包含你的操作步...阅读全文
律动 BlockBeats 消息，5 月 25 日，据官方消息，牛油果 Enumivo 团队宣布推出新项目 EVO Chain，旨在复制一条 ETH2。官方表示，将在区块高度 12,520,000 至 12,800,000 区间内进行代币空投。 用户需要在此区间内，向 0x3fEa51dAab1672d3385f6AF02980e1462cA0687b 地址发送 0 ETH，成功后便可获得 4 EVO，同时团队将获得 1 EVO。单一地址发送交易次数不限，EVO 总量 1 亿枚。 团队同时表示，对 DPoS 已经失望，此前发行于 EOS 链上的项目将会迁移至 EVO Chain 上。...阅读全文
昨日，一位名为 Michael Stapelberg 的 Debian 包维护者在其个人博客发表了一篇长文，宣布将逐渐减少参与 Debian 的维护和相关活动，以及解释为何这样做的原因。 Stapelberg 提到了几个星期前参加 Debian 聚会时的感受，他表示这次聚会讨论的主题和几年前基本一样，这使得他开始反思自己是否仍适合留在 Debian 继续参与维护。最后 Stapelberg 宣布了一个他自认为早已应该做出的决定：退出 Debian 的维护。 Stapelberg 表示他在 Debian 上投入了十年以上的时间，刚开始是以学生的身份加入，因此拥有大量的业余时间。此后，在 Debian 开发团队做了五年的全职工作也学到了很多知识，包括大型软件工程项目的工作原理以及个人喜欢的计算...阅读全文
以很多情况下工程师最容易忽视。而且还有另外一个问题，没合适的地方放，参考文档可以写代码里，落地页可以写项目主页里，概念性文档似乎也只能在项目文档里找个不起眼的角落存放了。 这类文档的受众会比较广，专家和新手都会去看。另外，它需要强调概念清晰明了，因此可能会牺牲完整性(可以由参考文档补齐)，也有可能会牺牲准确性，这不是说一定要牺牲准确性，只是应当分清主次，不重要的就没必要说了。 ## Landing pages(落地页) ## Landing pages就先简单翻译成落地页了，没想到啥恰当的翻译词。比如一个团队或者项目的导航页，虽然没啥具体的内容，但应该包含其他页面的链接。 比如你新入职一个团队，比较成熟的团队都会扔给你一个文档，这个文档里包含常用的工具、文档链接，这就是这个团队的落地页。 落...阅读全文
Docker基于mamespace、cgroups、chroot等技术来构建容器，不是一个系统调用就能搞定，容器是一个用户态的概念。本文中Docker软件工程师Michael Crosby深入探讨了Docker对namespace技术的应用。 相信你在很多地方都看到过“Docker基于mamespace、cgroups、chroot等技术来构建容器”的说法，但你有没有想过为何容器的构建需要这些技术？ 为什么不是一个简单的系统调用就可以搞定？原因在于Linux内核中并不存在“linux container”这个概念，容器是一个用户态的概念。 Docker软件工程师Michael Crosby将撰写一些列博客，深入到Docker运行的背后，探索在 docker run这段代码的背后发生了什么...阅读全文
基于 Debian 的 Parsix 发行版已经宣布将会在 Debian Stretch 发布六个月后终止。官方表示 Parsix GNU/Linux 8.15 (Nev) 在这段时间里会得到完全的支持，用户应该可以把他们的安装升级到 Debian Stretch 而不会有重大的问题。官方也会进行有必要的更改和更新，以确保能平滑过渡到 Debian Stretch。 下面是官方的公告全文： Parsix GNU/Linux 项目终止公告 — 2017.5.19 Parsix GNU/Linux 项目将在 Debian GNU/Linux 9.0 a.k.a Stretch 发布六个月后关闭。 Parsix GNU/Linux 8.15 (Nev) 在此期间将得到完全的支持，用户应该能够将其...阅读全文
Carter 的有 421 票，高于 Sruthi Chandran 的 341 票。 具体投票过程与结果分析访问：https://www.debian.org/vote/2021/vote_001 Jonathan Carter 在竞选宣言中描述了他的工作目标： - 改进财务相关工作，例如提升财务透明度，更好地追踪资金的收入和使用情况 - 实行支出政策 (expendature policy)，主要是让项目成员更清楚他们可以在哪些方面花钱以及如何花钱，Jonathan Carter 表示项目成员之间对于这方面没有达成一致的认识，通常会导致这些成员不使用本来可以让 Debian 项目受益的资金 - 考虑正式注册 Debian 组织 今年选举 DPL 的投票中还提及到了是否应就 Richard...阅读全文
2021 年 1 季度，HDD / SSD 年化故障率对比。在笔记本电脑市场，厂商也愈加倾向于将内置 SSD 作为其轻薄本产品线的唯一选项。此外 BackBlaze 祖辛发表的一项研究，更是揭示了一个有趣的事实 —— SSD 的可靠性，竟然是 HDD 的 21 倍！以定期发表企业存储可靠性报告而被大家所熟知的 BackBlaze，让我们直观地了解到了各款驱动器的平均或年化故障率（AFR）。HDD / SSD 终身年化故障率对比2021 年 1 季度期间，BackBlaze 发现，各品牌机械硬盘的 AFR 为 10.56%，而同期各品牌固态硬盘的 AFR 低至惊人的 0.58% 。换言之，大约每 10 块 HDD 中，就有 1 个发生了故障。而在大约每 200 块 SSD 中，也只有 1 个...阅读全文
深受Linux之父 -- Linus Torvalds 青睐的 GNU/Linux 发行版 - Fedora 于今天发布了 28.0 正式版。Fedora 28 带来了很多的新功能，但令桌面/工作站用户最为开心的事情就是引入了GNOME 3.28环境，支持Thunderbolt 3 端口并改善笔记本电池续航表现。 如需下载Fedora 28，请访问 官方网站：https://getfedora.org/ ● Get Fedora 28 Workstation ● Get Fedora 28 Server ● Get Fedora 28 Atomic Host Fedora系统此前一直将GNOME作为默认桌面环境，而且最令人称道的一点在于Fedora并不会对该桌面环境进行修改和自定义。换句话...阅读全文
激励是指激发人的行动动机的心理过程，是一个不断朝着期望的目标前进的循环的动态过程。简言之，就是在工作中调动人的积极性的过程。激励是对人的一种刺激，是促进和改变人的行为的一种有效的手段。激励的过程就是管理者引导并促进工作群体或个人产生有利于管理目标行为的过程。每一个人都需要激励，在一般情况下，激励表现为外界所施加的推动力或吸引力，转化为自身的动力，使得组织的目标变为个人的行为目标，促进团队合作的的动力，使企业更高效的达成既定目标！团队激励的八大方法1、为团队成员设立共同的奋斗目标依照激励理论，共同的奋斗目标是调动全体团队成员积极性的利器，这个目标必须是可衡量的和可实现的。人的动机与行为都有一定的目的性，而建立明确的目标，就能有效地激发和引导人们的动机，鼓舞和激励人们采取积极的方法去努力奋斗...阅读全文
TimescaleDB 1.0 正式发布了，开发团队表示，自 9 月分宣布第一个候选版本以来，Timescale 的工程师团队合并了 50 多个 PR，以加强数据库，提高稳定性和易用性。 今天，TimescaleDB 1.0 宣布正式推出，官方表示该版本已可用于生产环境，是首个支持完整 SQL 和扩展的企业级时序数据库。TimescaleDB 是基于 PostgreSQL 数据库开发的一款时序数据库，以插件化的形式打包提供，随着 PostgreSQL 的版本升级而升级，不会因为另立分支带来麻烦。 TimescaleDB 架构 数据自动按时间和空间分片 (chunk) 更新亮点： 更广泛的可用性改进 后台作业自动化和调度的基础 增强了数据库强化和测试 构建开源监控堆栈：对 Grafana 和...阅读全文
美国证监会规定上市公司公开披露各种信息时要提交统一格式的文件，又叫Form（一般翻成“表格”）。根据不同的情况要提交不同的表格，比较重要的是S-1（招股书）或F-1（外国公司招股书），10-K（年报）、10-Q（季报）、8-K（重大事件）。 问题问到的三种Form的具体含义： 6-K Report of foreign private issuer pursuant to Rule 13a-16 or 15d-16 under the Securities Exchange Act of 1934（注册地不在美国的外国公司披露特定财务信息） 20-F Registration statement / Annual report / Transition report（注册...阅读全文
根据 GitLab CEO Sid Sijbrandij 在圣诞节来临之际，向开发者宣布，在 GitLab 11.8 发布时，将开源 ChatOps 功能。 GitLab ChatOps 的主要功能，就是开发者通过即使通讯平台发送命令，目前支持的平台包括 Slack 和 Mattermost 。Sid Sijbrandij 表示，GitLab 在未来也会加入 GitLab ChatOps 功能。 ChatOps 共有以下 5 大特点： 提供监测功能，配备相关的监工仪表盘，让运维人员更方便的进行鼓掌排除。支持 JQuery 指令操作，也支持输入简单的 SQL 指令。整合角色控制权限，为每个使用者配置不同的权限。不需要进行相关的设置工作，开发者开通后即可使用。ChatOps 作为平台中的功能...阅读全文
云存储服务商Backblaze发布了二季度的硬盘故障率统计报告。 此次统计涵盖了BB旗下的177935块机械硬盘，总的年化故障率为1.01%。 硬盘出问题数量最多型号来自希捷4TB（ST4000DM000），但需要注意的是其通电服役时间同样比较长，整体年化故障率1.94%。 有三款硬盘在统计周期内没有故障发生，分别是希捷6TB（ST6000DX000）、HGST 12TB（HUH72122ALE600）和西数16TB（WUH72186ALE6L0）。 综合来看，在二季度，西数以及西数旗下的HGST硬盘，可靠性整体表现还是最为可圈可点。 另外，BB还统计了从2013年至今的硬盘故障率表格，并得出东芝16TB、西数14TB和HGST的12TB/4TB是年化故障率最低的三块硬盘。 - THE...阅读全文
Canonical的Adam Conrad今天向Ubuntu社区发布公告，表示Ubuntu 16.10（Yakkety Yak）操作系统将于2017年7月20日结束生命周期。在此之前，就有消息称该系统将会在今年7月底之前停止支持，而今天团队终于敲定了具体的日期。 Conrad在公告中表示：“Ubuntu 16.10 (Yakkety Yak)于2016年10月13日发布，至今已经有接近9个月了。作为非LTS版本，16.10按照惯例会有9个月的支持周期，支持周期已经临近尾声，Ubuntu 16.10将会在7月20日周四结束生命周期。” 此外Adam Conrad还推荐Ubuntu 16.10用户尽快完成升级，升级至最新版本Ubuntu 17.04 (Zesty Zapus)，相关的帮助文档和...阅读全文
SparkyLinux 采用的是滚动更新模式，日前已更新到 5.0 版本，并已提供下载使用。SparkyLinux 5.0 基于测试版的 Debian 10 "Buster"，并带来了 LXQt, Xfce 和 MATE 桌面环境下的镜像文件。 SparkyLinux 5.0 代号 "Nibiru"，与旧的 SparkyLinux 4.5 系列相比，SparkyLinux 5.0 "Nibiru" 版本附带了一个完全最新的系统，与2017年7月14日发布的 Debian 测试版本同步，默认使用 Linux Kernel 4.11.6，不过用户可以从“不稳定”仓库中安装 Linux Kernel 4.12。 该版本使用最新的 Calamares 3.1.1 作为默认系统安装程序，从而修复了较...阅读全文
Debian Project的Cyril Brulebois本周早些时候很高兴地宣布，即将释出的Debian GNU/Linux 10 “Buster”操作系统的安装程序的第二个alpha版本发布。 Debian的 安装程序 Alpha 2版本有一些重要的变化，比如默认通过pkgsel组件添加无人值守升级包，以确保安全升级的自动安装，以及为mips64el架构添加安装映像。 Debian GNU/Linux 10 “Buster” 安装程序的第二个alpha版本的另一个重要变化是现在支持新的Linux 4.13内核系列安装，尽管你应该知道它上个月已经结束支持，所以我们相信第三个Debian Installer的alpha版本将支持Linux kernel 4.14 LTS。 此外，还支持针...阅读全文
WordPress 5.0 最大的亮点就是正式引入新的基于块（block-based）的编辑器 —— Gutenberg，给用户提供更简化的编辑体验。无论是首次构建网站、修改博客还是编写代码，用户都可以更灵活地显示内容。新的 Gutenberg 编辑器不会改变访问者对你的内容的观感，它的作用是让你快速插入任何类型的多媒体并重新排列你想要核心展示的内容。每块内容都在自己的块中，有单独的封装，便于操作。 WordPress 默认提供大量的块，而且社区也在不断添加新的块。 这种全新的编辑体验为设计和内容提供了更加一致的处理。如果你正在构建 client 站点，则可以创建可重用的块，这有益于你的客户随时添加新内容，同时仍保持一致的外观。 此外，WordPress 5.0 还引入了新的默认主题...阅读全文
微软发烧友 Brad Sams 近日在 Petri 上写道，微软正在开发一个名为 Windows Lite 的新版操作系统。顾名思义，Windows Lite 将是轻量级并快速的，因为它抛开了 Windows 长达数十年的臃肿积累。此举似乎暗示着微软转向云计算并重新进入移动领域的野心。但微软想取得成功，它必须从过去的错误中吸取教训。 Windows 的转型是有必要的。尽管微软已经在其 Surface 系列产品上取得了成功，但即便是最新的 Windows 10 系统，仍然包含着几十年前的代码，部分原因是微软的许多企业客户仍然需要与旧软件兼容。因此，Windows 10 不仅臃肿，而且还不适合移动世界。比方说，微软试图将 Surface Go 作为 iPad 的竞争对手，但受操作系统的限制，它...阅读全文
系列真的不会再发布版本了，这是一个独特的纪念版本，下载地址：https://www.python.org/downloads/release/python-2718...阅读全文
nginx 1.18.0 已发布，这是继 1.16 系列之后的最新稳定版本。 1.18.0 加入了 1.17.x mainline 分支中的新功能和 bug 修复，包括 limit_req 和 limit_conn 中的 dry run 模式，limit_rate, limit_rate_after 和 grpc_pass 指令中对变量的支持，以及支持 auth_delay 指令等。 auth_delay 指令位于 ngx_http_core_module 模块中，用法如下： 语法：auth_delay time; 默认值：auth_delay 0s; 上下文：http, server, location 通过 401 响应状态码来延迟处理未经授权的请求，以防止因密码、子请求结果或 JWT...阅读全文
手册 官方 完全开发手册 已经更新至最新 2018-1-1 ThinkPHP 官方团队 5.1 的扩展也同步更新支持了（都支持 composer 安装），包括： topthink/think-testing topthink/think-mongo topthink/think-migration topthink/think-queue topthink/think-captcha topthink/think-image topthink/think-walkman topthink/think-swoole 以及大量的第三方类库包（不一一列举） 另外，官方已经把 5.1 版本的很多组件独立成 composer 包了（不再依赖 ThinkPHP 核心框架运行），包括但不限于...阅读全文
） PCI 直通管理 GUI 界面，vGPU 管理 GUI 界面。 容器嵌套，也就是在lxc容器中运行lxc、lxd，同时开始支持AppArmor，提供更好安全性。 5.0 系列的 Proxmox 更新，大概有 1/3 是 GUI 方面，1/3 是 Qemu、Ceph 等各种组件包的升级，另外1/3就是各种猎奇了，比如这次支持ARM架构虚拟机。总体上 Proxmox 越来越好玩了。官方提供了一个 “What's new in Proxmox VE 5.3” 的视频，有兴趣的同学可以看看。 发布公告链接： https://forum.proxmox.com/threads/proxmox-ve-5-3-released.49422/ 下载地址： https://www.proxmox.com/en...阅读全文
GNU nano 5.0 已正式发布，代号 ”Among the fields of barley”。 GNU nano 是 Unix 和类 Unix 系统中，非常流行的一个文本编辑器，也是 Pico 的复制品，旨在成为一个类似 Pico 的全功能但又易于使用的编辑器。在多个主流 Linux 发行版中，nano 做为默认的编辑器出现。 下载地址：https://www.nano-editor.org/download.php 与 Nano 4.x 系列相比，5.0 在编辑体验方面进行了许多改进。其中值得关注的更新亮点包括： -indicator 选项可用于在屏幕右侧提供一个 “滚动条”，以指示视口(viewport)/文本在缓冲区的大约位置执行命令提示符现在可以直接从主菜单中访问对于支持至...阅读全文
Infrastructure as Code", 基础架构即代码。Terraform 几乎可以支持所有市面上能见到的云服务。具体的说就是可以用代码来管理维护 IT 资源，把之前需要手动操作的一部分任务通过程序来自动化的完成，这样的做的结果非常明显：高效、不易出错。 Terraform 提供了对资源和提供者的灵活抽象。该模型允许表示从物理硬件、虚拟机和容器到电子邮件和 DNS 提供者的所有内容。由于这种灵活性，Terraform 可以用来解决许多不同的问题。这意味着有许多现有的工具与Terraform 的功能重叠。但是需要注意的是，Terraform 与其他系统并不相互排斥。它可以用于管理小到单个应用程序或达到整个数据中心的不同对象。 Terraform 使用配置文件描述管理的组件(小到单个应用程序，达到整个数据中心...阅读全文
在最近的一份报告中，Canonical的Will Cooke透露，Ubuntu Desktop团队正在考虑在即将推出的Ubuntu 17.10版本中以GDM（GNOME显示管理器）取代LightDM登录管理器。本周早些时候已经有传闻表示Ubuntu 17.10将采用GNOME GDM显示管理器。 特别是现在，在默认情况下，日常构建的ISO映像默认都采用了GNOME桌面环境而不是Unity。现在，Canonical官方证实说，他们没有时间让LightDM与GNOME一起工作。 Canonical官方表示：“我们决定转而使用GNOME显示管理器（GDM）而不是LightDM，我们计划尝试使用LightDM，根据我们的调查显示，我们需要投入大量时间进行更改让所有的东西都能正常工作，但是我们没用那...阅读全文
SK海力士日前宣布推出新一代企业级SSD硬盘，不过官方并没有公布SSD硬盘的名称，只知道是NVMe标准的，基于72层堆栈的3D TLC闪存，M.2版容量最大4TB，U.2容量可达8TB。 性能方面，SK海力士表示新一代企业级硬盘的连续速度可达3200MB/s，随机性能可达160K IOPS，与2018年FMS展会上推出的72层堆栈闪存硬盘相比，新一代企业级SSD的顺序读写性能提升30%，随机写入提升了70%，同时支持读取敏感型及混合型应用，包括数据中心、AI、ML机器学习及VDI虚拟桌面架构等。 值得一提的是，SK海力士的新一代企业级SSD具备极低的功耗，正常应用低于14W，这在企业级SSD中是很低的水平了。 此外，SK海力士还表示将在今年底推出容量更大的企业级SSD硬盘，闪存会从目前的...阅读全文
Grafana v6.0.0 正式版发布了。Grafana 是一个功能丰富的指标标准仪表板和图形编辑器，用于分析和监控 Graphite、Elasticsearch、OpenTSDB、Prometheus 和 InfluxDB。 新版是 Bug 修复版本，更新内容如下： Stackdriver: fix for float64 bounds for distribution metrics #14509Stackdriver: no reducers available for distribution type #15179Dashboard: fixes click after scroll in series override menu #15621MySQL: fix mysql...阅读全文
11 月 1 日，开源数据库 MariaDB 在官网正式宣布已完成由阿里巴巴领投的 C 轮 2700 万美元的融资。融资完成后，MariaDB 将具备更强的实力参与数据库竞争。阿里巴巴集团旗下云计算部门阿里云已在今年 3 月成为 MariaDB 白金赞助商，双方后续将继续合作，为云端和新兴用例提供新的解决方案。 MariaDB 公司创始人 Michael Wideneus 表示：“ MariaDB 获得本轮融资，得益于基于我们为下一代应用而推出的一整套完备的数据基础应用功能建设。同时，在发布基于人工智能的，面向云和自动化的新一代解决方案之后，这轮融资将使得 MariaDB 未来得以高速发展。” 阿里云副总裁李津也表示：“ MariaDB 正在成为企业级开源数据库的标准。我们相信，在开源社区...阅读全文
在 2019 年，Oracle 决定更改许可模式，从提供免费的 Java 更新转变为要求付费订阅，这一重大变化无疑在市场上掀起了一片波澜。之后，尽管有一些使用 Java 的公司扔坚持使用 Oracle 并承担了增加的支持成本，但许多公司也在步步为营，谋求新的选择。 据 Azul Systems 的一项新调查显示，目前有 80％ 的 Oracle JDK 用户正在考虑其他选择。Snyk 和 Oracle 联合进行的 2018 年调查层表明，Oracle JDK 用户以前占 Java 用户的很大比例。该调查发现 70％ 的受访者使用 Oracle JDK，21％ 的受访者使用 OpenJDK，9％ 的受访者使用其他 JDK 实现，例如 Eclipse OpenJ9/IBM J9、Android...阅读全文
EventType = "ERROR" PodStatus 有一组 PodConditions。 PodCondition 中的 ConditionStatus，它代表了当前 pod 是否处于某一个阶段（PodScheduled，Ready，Initialized，Unschedulable），true 表示处于，false 表示不处于。 Pod 的详细状态有这些， CrashLoopBackOff： 容器退出，kubelet正在将它重启InvalidImageName： 无法解析镜像名称ImageInspectError： 无法校验镜像ErrImageNeverPull： 策略禁止拉取镜像ImagePullBackOff： 正在重试拉取RegistryUnavailable： 连接不到镜像中心...阅读全文
通过以下方式界定： 不可更改或可变地 by-reference。这可以通过诸如ref my_var或ref mut my_var分别明确地实现，在大多数情况下，绑定模式将自动推导。by-value，或者当绑定变量的类型实现 Copy 时 by-copy，否则 by-move。 以往，Rust 将禁止在表达式的保护结构中共享对 match 表达式中 if 守卫的 by-move 绑定的引用，这意味着以下代码将被拒绝： fn main() { let array: Box<[u8; 4]> = Box::new([1, 2, 3, 4]); match array { nums // ---- nums is bound by move. if nums.iter().sum::() == 10...阅读全文
2023年-美联储利率决议日程、非农就业数据、CPI数据公布时间表 ...阅读全文
查询mysql 中，记录数最大的10张表， ``` select TABLE_SCHEMA,table_name,table_rows,ENGINE,DATA_LENGTH,MAX_DATA_LENGTH,DATA_FREE from information_schema.tables order by table_rows desc limit 10; ```...阅读全文
。每个服务都将自己的运行指标推送到 Atlas 中，用于绘制仪表盘和报警。Atlas 是Netflix的一个内存时间序列数据库。每个服务都将自己的日志发送到 ELK 集群中。每个内部服务除了deck 和 gate 必须用 mutual TLS，并且证书和认证通过 Lemur 进行管理。不允许任何外部流量进入内部服务中。所有的 API 调用必须经过 gate。每个外部服务（除了gate）都要支持 mTLS 或者 SSO。如果某个服务有数据存储的需求，那么只能存在自己的数据库中，服务之间不共享数据存储。 为了保证兼容性，Spinnaker 在开发过程中还会准守一些准则： 保证足够的单元测试和覆盖率。在 code review 的时候特别注意是否会破坏API兼容性。7×24 不间断的执行集成测试。有...阅读全文
部依赖调整为开源库。 对于需要集成治理能力融入微服务体系的 Kitex，他们基于其扩展性，对内外部代码做了拆分，把 Kitex 的核心代码迁移到开源库，内部库封装一层壳保证内部用户无感知升级，而集成内部治理特性的模块则作为 Kitex 的扩展保留在内部库。字节跳动基础架构团队表示，未来也会持续把已经在内部经过稳定性验证的新特性，迁移到开源库。 谈到 CloudWeGo 的未来规划，字节跳动基础架构团队表示：“CloudWeGo 不仅仅是一个开源项目，它也是一个真实的超大规模企业级实践项目。通过开源，我们希望 CloudWeGo 能丰富云原生社区的 Golang 工具体系，为更多开发者和企业搭建云原生化的大规模分布式系统，提供一种现代的、资源高效的的技术方案。” 未来他们会进一步推动...阅读全文
eBPF 的程序。编写C代码，将LLVM编译成驻留在ELF文件中的eBPF字节码。将程序加载到内核中，并创建必要的 eBPF-maps。eBPF 具有用作 socket filter，kprobe 处理器，流量控制调度，流量控制操作，tracepoint 处理，eXpress Data Path(XDP)，性能监测，cgroup 限制，轻量级tunnel的程序类型。将加载的程序attach到系统中。根据不同的程序类型attach到不同的内核系统中。程序运行的时候，启动状态并且开始过滤，分析或者捕获信息。 2016年10月的NetDev 1.2大会上，Netronome的Jakub Kicinski和Nic Viljoen发表了标题为“eBPF / XDP硬件卸载到SmartNIC”。 Nic...阅读全文
Querier–查询器处理PromQL的求值。如果是最近的数据，则从大块存储和或内部获取样本其他组件：Ruler–处理alertmanager产生的警报Alertmanager –评估警报规则ConfigsAPI –在Postgres中存储Ruler和Alertmanager的配置Table Manager–负责在选定的块chunk/索引index存储后端中创建表Consul –存储分发服务器distributor生成的一致的哈希环(hash ring)。分发服务器在发送指标时使用散列值来选择ingester。与其他选项的异同ThanosThanos和Cortex具有非常相似的目标：聚合指标，将其存储在块存储中，并为所有度量使用一块single pane。因此，两个项目重用大量Prometheus代码也...阅读全文
固态硬盘近年来也是随着计算机的发展而得到了迅速的发展，目前已经隐隐有要取代机械硬盘的势头。但是关于固态硬盘相关的概念实在是繁琐，很多人选购固态硬盘时，看到商家宣传NVMe，PCIE 却不懂是什么意思，今天我们就来为大家详解这些概念。 首先我们要把 M2 跟 SATA 放一起说，我们常说的 M2 其实是 M.2，更多是指一种尺寸或者插槽，就是上图中右边的尺寸较小的直接插主板上的这种，而 SATA 通常是指上图左边那个尺寸较大的一大块那种。 还要提的是M.2插槽也是有两种的，一种是金手指有两个缺口的Socket 2跟金手指只有一个缺口的Socket 3，这两种可以走不同的通道，我们后面会说到。 接下来要搞懂的是 SATA 跟 PCIE，这两个东西是指串行接口或者就是数据走的通道，相信有人看到这...阅读全文
的战略文件战略方法关键考虑因素其他组成确定投资回报率投资目标 这里关键的第一步是创建和将你的开源策略形成文字，该策略将“帮助你最大限度地提高组织从开源中获得的利益。”同时，你详细的策略可以帮助你避免因错误而导致的困难，例如：选择错误的许可证或不正确地维护代码。根据指南，该文件还可以： 让领导者感到兴奋并参与帮助在公司内获得支持促进分散的多部门组织的决策帮助建立一个健康的社区解释贵公司的开源方式和对其使用的支持明确贵公司在社区驱动的外部研发中投资的地方，以及贵公司将重点放在增值差异化的地方 Salesforce 的软件架构师兼本指南的撰稿人 Ian Varley 说：“在 Salesforce 内，我们有内部文件，我们将这些围绕开源战略指导和鼓励的文件分发给我们的工程团队。其中鼓励创建和使用开...阅读全文
Linux Kernel 5.11 为期两周的窗口合并期即将于今天结束。Linux 5.11 合并了很多新特性和令人激动的改进，正式版将会在明年 2 月和大家见面。Linux 5.11 作为非 LTS 长期支持版本，是 2021 年首个主要的稳定内核版本。 Linux Kernel 5.11 新版本的工作量比较繁重，主要涉及了大量英特尔和 AMD 的更改，改进 Syscall User Dispatch 以便于让 Wine 运行更新的 Windows 游戏，持续 IO_uring 改进，优化 Btrfs 文件系统，并会整合联想贡献的 ThinkPad 掌托传感器检测等。 在英特尔方面，经过多年的努力 Linux 5.11 中将合并 SGX Enclaves，英特尔的图形驱动也支持整数缩放支...阅读全文
，那么同样地，Manjaro 将一个不开源的 FreeOffice 引入，也可以让 Linux 上的协作效率提高，“这个桌面发行版的开发人员了解真正重要的是拥有合适的工具来完成工作，无论它们是开放源代码还是封闭源代码的。” 同时，Manjaro 也没有把开源方面的选择封死，如果不喜欢使用闭源的工具，那么还是可以使用 LibreOffice，或者如果不喜欢像 Manjaro 这种使用了不开源项目的 Linux，那么也可以选择其它发行版。...阅读全文
Debian 开发者最近一直在讨论一个不太正统的想法 —— 在他们的年度 DebConf 开发者大会上，嘉宾在发表演讲后不允许向其提问，或要求他们回答。据说，这种禁止问答的想法来自 Python 开发者大会的政策，他们的会议也禁止在演讲后向嘉宾提问/回答，目的是帮助新人。 Debian 开发者大都拒绝了在 DebConf 大会上发表演讲后不允许进行 Q&A 的想法，因为开发者/贡献者的年度聚会是关于协作和为这个领先的 Linux 发行版培养新的想法。禁止 Q&A 这个想法是由 Debian 项目负责人 Chris Lamb 提出的，他在看到 PyCascades Python 大会上演讲完明确禁止进行问答环节后，发起了对这个想法的讨论。 这个在太平洋西北地区举办的年度 Python 大会决...阅读全文
。AppleInsider也进行了测试，但是并没有出现任何中断或者卡顿的情况。 凌晨4点45分：谷歌报告称，由于网络比较拥挤“用户可能会看到性能下降或者间歇性错误”。谷歌表示已经确认了造成拥堵的根本原因，预计很快会恢复正常。 凌晨6点：在简讯中，谷歌承认这些问题， 并表示工程团队已经完成缓解工作的第一阶段，目前正在实施第二阶段，应该会尽快修复正常。...阅读全文
Kong 官方宣布，Kuma 作为 Sandbox 项目被捐赠给了 CNCF，并表示“这是有史以来第一个基于 Envoy 的服务网格被捐赠给基金会”。 Kuma 诞生于 2019 年 6 月，它是一个现代的通用服务网格控制平面，基于 Envoy 搭建（Envoy 是一个为云原生应用设计的代理软件）。Kuma 可以在包括 Kubernetes、虚拟机、容器、裸机和传统环境在内的任意平台上运行，以落实整个组织中的云原生体验。 “服务网格越大，就越有价值”。因此，Kuma 始终提供 Kubernetes 和 Universal 两种模式，以对 Kubernetes 和 VM 工作负载提供支持。在最新发布的 0.6 版本中，Kuma 的原始 DNA 得到扩展，以支持混合通用工作负载，这不仅允许跨...阅读全文
访问：2021阿里云上云采购季：采购补贴、充值返券、爆款抢先购云通信分会场：爆款产品低至7.2折，短信低至0.034元/条 ARM 首席执行官 Simon Segars 表示：“当我们展望由人工智能定义的未来时，我们必须奠定一个领先的计算基础，为应对未来的独特挑战做好准备。armv9 就是答案，它将会成为下个 3000 亿台 ARM 芯片的最前沿，其驱动力是建立在通用计算的经济性、设计自由度和可获得性基础上的普遍的专业化、安全和强大的处理需求”。armv9 架构有两个核心侧重点：人工智能和安全。ARM 表示到 21 世纪中叶，将会有超过 80 亿台语音辅助设备，90% 的应用将包含 AI 元素。ARM 与富士通合作创建了可扩展矢量扩展（SVE），现在，SVE2 是 armv9 的一部分，用...阅读全文
functions, modules 和其他功能。 ISO C++标准委员会主席 Herb Sutter 还介绍了 C++23 的相关会议和进度表，从11月开始将开始召开虚拟会议，以正式批准对 C++23 工作文件的更改，包括潜在的新功能。 C++23 进度表和优先级安排 C++23 schedule (P1000R4)C++23 priorities (P0592R4)...阅读全文
些，有效地在 Kubernetes 上扩展 TensorFlow 模型。 ## 使用 TFJob 进行可扩展的 TensorFlow 训练 TFJob 可以在 Kubernetes 中扩展，方法是使用[TensorFlow 分发策略](https://www.tensorflow.org/api_docs/python/tf/distribute/Strategy)实现分布式训练。在机器学习中有两种常用的分布式策略：同步和异步。 在同步训练中，worker 对特定批次的训练数据进行并行训练。每个 worker 都会进行自己的前向传播步骤，并对迭代的整体结果进行汇总。 相比之下，在异步训练中，worker 对相同的数据进行并行学习。在这种方法中，有一个称为[Parameter Server...阅读全文
。2024财年；国防部创建了零信任参考架构；美国国家安全局发布了一份Kubernetes 强化指南，专门描述了 Kubernetes 中零信任安全的最佳实践。随着这种噪音，零信任无疑吸引了很多营销关注。但尽管有噪音，零信任不仅仅是一个空洞的术语——它代表了对未来安全的一些深刻和变革性的想法。那么具体来说，什么是零信任，为什么它突然变得如此重要？零信任对 Kubernetes 用户意味着什么？什么是零信任？正如所料，零信任从根本上讲是关于信任。它是解决安全核心问题之一的模型：是否允许 X 访问 Y？换句话说，我们是否相信 X 可以访问 Y？当然，零信任中的“零”有点夸张。要使软件正常工作，显然某些东西需要信任其他东西。因此，零信任并不是完全消除信任，而是将信任降低到最低限度（众所周知的最小特权原则）并...阅读全文
