IPv4 和 IPv6 两个地址。注意，如果使用了 CNI 插件和云服务商扩展（Cloud Provider），CNI 插件和云服务商扩展也需要支持 IPv4/IPv6 双栈。CSIVolumeHealth Alpha 和 CSIStorageCapacity Beta从 v1.21 开始，Kubernetes 支持 CSI 存储插件的 Volume 健康检查（Alpha 版），CSI 插件需要实现外部健康监控控制器。当 Volume 或者 Node 出现异常时，该控制器会向 Volume 所属的 PVC 以及使用该 PVC 的 Pod 发送一个异常事件。CSIStorageCapacity 用于跟踪 CSI 存储容量并确保 Pod 调度到足够存储容量的节点上。该特性从 v1.21 开始进入...阅读全文
起运维人员挖矿导致百度损失 2.7 万的事件，同样是运维人员在“涉险”，为什么是运维人员呢？ “运维”人员在企业的价值，他们自己的调侃是：当企业没有发生技术故障的时候，大家感觉不到运维人员的存在。当企业发生故障的时候，大家感觉到运维人员确实没有存在的必要。 但调侃归调侃，这反映了技术运维人员在企业中面临的尴尬处境，但实际上，运维人员对于一家企业运营维护的保障，确实是很重要的。他们的职责包括服务器的部署、配置、维护；互联网平台的部署、升级、迁移、数据备份恢复；监控服务器，平台的运行，系统优化等，可以说，他们掌握了企业的后门，一旦运维部门发生危险，公司有可能陷入瘫痪状态，因此，一直以来，运维人员也拥有很多访问权限，而这却变成了运维人员不惜“涉险”的一个原因之一。 于是，如何对运维人员进行权限管理...阅读全文
、API 应用相同的上下文中运行程序或脚本。可以上传并运行可执行文件，例如 cmd、bat、exe、psl 等等。WebJobs 提供 SDK 用于简化针对 Web 作业可以执行的常见任务，例如图像处理、队列处理、RSS 聚合、文件维护，以及发送电子邮件等等。 Serverless 架构原则 按需使用计算服务执行代码 Serverless 架构是 SOA 概念的自然延伸。在 Serverless 架构中，所有自定义代码作为孤立的、独立的、细粒度的函数来编写和执行，这些函数在 AWS Lambda 之类的无状态计算服务中运行。开发人员可以编写函数，执行常见的任务。在比较复杂的情况下，开发人员可以构建更复杂的管道，编排多个函数调用。 编写单一用途的无状态函数单单负责处理某一项任务的函数很容易测试，并稳...阅读全文
Kubernetes 中， pod 从创建到成功运行会分别处于不同的阶段，每个阶段又分为不同的状态，本文将简单介绍这个环节。 在 K8S 源码中，使用了 PodPhase 这个变量定义这几个阶段信息，如下图所示： 运行中（PodRunning）：该 Pod 已经绑定到了一个节点上，Pod 中所有的容器都已被创建。至少有一个容器正在运行，或者正处于启动或重启状态。等待中（PodPending）: 创建 Pod 的请求已被 Kubernetes 系统接受，但有一个或者多个容器镜像尚未创建。可能的原因有，写数据到etcd，调度，pull镜像，启动容器这四个阶段中的任何一个阶段，pending 伴随的事件通常会有：ADDED, Modified这两个事件的产生。等待时间包括调度 Pod 的时间和下...阅读全文
程中的演示只是运行在实验室环境中。测试DNS服务器所有必要的记录都已配置，并且用户之间的邮件可以在相同的服务器上发送(相同的域交换)。为了让事情更有趣，多邮件服务器可以被部署到不同的域来检查电子邮件如何跨域通信，因为必要的DNS记录都已存在。 对外的邮件服务器有效的DNS记录。 Postfix和Dovecot的的设置，可以根据需要进行调整。 警告：如果想要部署邮件服务器任何能够访问互联网邮件服务器，请确保您的SMTP是安全的。互联网以及来自局域网内部的恶意软件都是可以攻击SMTP的。...阅读全文
曾在微软工作了17年的老员工、担任多个项目经理的Tim Sneath近日离职加盟了Google，在谈论自己新工作的同时，也回顾了在微软的经历，以及对微软的一些看法，相当尖锐。 首先，Sneath强调说微软是一家非常伟大的公司，有着不可思议的广泛兴趣，到处都是天才。然而，微软这些年也走错了太多路，一切都是从Windows Vista这个失败的操作系统开始…… 他指出，Vista广受批评之后，微软急于从中脱身，但面临标准化Web、iPhone智能手机的崛起，微软没能快速调整步伐。 与此同时，微软本身发展过快，结果处处树敌，又不愿意牺牲已有的业务模式去创新，才导致一个又一个悲剧。 Sneath还列举了Silverlight、Internet Explorer、Windows Phone等几个失败...阅读全文
](https://www.kubeflow.org/docs/components/training/tftraining/)资源，可以轻松创建上面提到的 TensorFlow 分布式策略。TFJob 可以识别容器化的 TensorFlow 代码中定义的分布式策略，并可以使用一组内置组件和控制逻辑对其进行管理。使得在 Kubeflow 中实现 TensorFlow 的分布式训练成为可能的组件包括： - Chief：组织分布式训练并执行模型检查点。 - Parameter Server：协调异步分布式训练和计算梯度。 - worker：执行学习任务。 - Evaluator：计算和记录评估指标。 上述组件可以在 TFJob 中配置，TFJob 是一个用于 TensorFlow 训练的 Kubeflow...阅读全文
Linux 的 I/O 调度器是一个以块式 I/O 访问存储卷的进程，有时也叫磁盘调度器。Linux I/O 调度器的工作机制是控制块设备的请求队列：确定队列中哪些 I/O 的优先级更高以及何时下发 I/O 到块设备，以此来减少磁盘寻道时间，从而提高系统的吞吐量。 目前 Linux 上有如下几种 I/O 调度算法： noop - 通常用于内存存储的设备。 cfq - 完全公平调度器。进程平均使用IO带宽。 Deadline - 针对延迟的调度器，每一个 I/O，都有一个最晚执行时间。 Anticipatory - 启发式调度，类似 Deadline 算法，但是引入预测机制提高性能。 查看设备当前的 I/O 调度器： # cat /sys/block//queue/scheduler 假设磁...阅读全文
个例子可以说明两者的关系：Netflix 内部有人不用 Spinnaker 的 pipeline，而只是将 Spinnaker 看为一个部署工具，直接在 jenkins 中调用它的 API 来部署服务。 逻辑架构 Spinnaker 自己是一个微服务架构，由若干组件组成，所有组件都开源在github上，整个逻辑架构如下图所示： Deck：AngularJS 写的 WebUI。Gate：提供 API 接口给外部程序，Deck 也是其中之一，Spinnaker 的大门。Cloud Driver：对接各种云服务提供商，比如AWS, GCP, Azure 等。她负责所有对这些云服务的读写操作。Orca ：处理 pipeline 和任务编排，比如创建一个虚拟机，等待它创建完成，然后执行其他操作...阅读全文
云存储服务商Backblaze发布了二季度的硬盘故障率统计报告。 此次统计涵盖了BB旗下的177935块机械硬盘，总的年化故障率为1.01%。 硬盘出问题数量最多型号来自希捷4TB（ST4000DM000），但需要注意的是其通电服役时间同样比较长，整体年化故障率1.94%。 有三款硬盘在统计周期内没有故障发生，分别是希捷6TB（ST6000DX000）、HGST 12TB（HUH72122ALE600）和西数16TB（WUH72186ALE6L0）。 综合来看，在二季度，西数以及西数旗下的HGST硬盘，可靠性整体表现还是最为可圈可点。 另外，BB还统计了从2013年至今的硬盘故障率表格，并得出东芝16TB、西数14TB和HGST的12TB/4TB是年化故障率最低的三块硬盘。 - THE...阅读全文
据外媒（PCWorld）报道，之前在戴尔担任服务器业务总经理，以直言不讳性格著称的AMD的现任服务器业务主管Forrest Norrod表示：面向企业级市场的Naples(那不勒斯)高性能服务器处理器正式亮相后，将重振芯片大厂AMD在服务器领域的辉煌，该处理器采用最新Zen架构，拥有32个核心。这是AMD回归服务器市场的第一个大动作。 Naples芯片将在今年第二季度正式上市，直接瞄准被英特尔牢牢占据的服务器市场。AMD高级副总裁兼企业、嵌入式和半定制(EESC)事业群总经理Norrod毫不掩饰同英特尔一争高下的战略意图。 如今英特尔占据着超过90%的服务器芯片市场份额。而AMD的目标是逐步地吸引客户。价格因素或将成为AMD的秘密武器。英特尔的芯片因高昂的价格著称，其中最贵的芯片售价...阅读全文
流量，也可以处理服务间的东西向流量。它是基于 Nginx 和 etcd 来实现，和传统 API 网关相比，Apache APISIX 具备动态路由和插件热加载，特别适合微服务体系下的 API 管理。 这次发布的0.9版本，带来了很多新特性： 支持使用 Tengine 来运行 APISIX增加了对开发人员更友好的高级调试模式配合 redis，实现集群内限流限速功能新增 URI 重定向插件使用全新的 jsonschema，性能提升一个数量级启用 HTTP2 并支持设置 ssl_protocols 加入 Apache APISIX 如果你希望使用修改任意配置都无需重启的 web 服务器，如果你希望使用代码简洁、云原生友好的微服务网关，那么 Apache APISIX 就是你不二的选择。 你可以加入...阅读全文
-Day 测试服务在到达 Linux 内核前很久就发现了错误。此服务会自动从 Linux 内核邮件列表 (LKML) 中提取修补程序并对其进行测试。这意味着在影响用户之前，许多问题都会被解决。 4.9 开发周期是内核历史上最繁忙的一次，其变化比任何时候都要多。不过，4.12 涉及到的开发人员数量和首次贡献者的数量创造了一个新的记录。经过这么多年，内核开发社区成长迅速。 Kroah-Hartman 和 Corbet 总结说：“Linux 内核是迄今为止最大和最成功的开源项目之一，巨大的变革率和个人贡献者人数显示，它拥有一个充满活力和活跃的社区，参与其中的开发着和公司的数量也在增加；到目前为止，开发过程已经证明是能够无障碍地扩展到更高的速度。“ 来自：ZDNet...阅读全文
（比如完成一项特定交易、参加一项优惠活动或有奖竞赛活动或根据法律法规要求）使用您的付款信息和个人身份证信息。 关于您的其他个人信息，我们主要应用于如下方面： 根据您的要求向您提供特定服务、产品或信息；授权您参加一项活动，比如调查问卷、网上论坛或优惠抽奖等； 代表本网站客户、我们的关联公司、其他第三方等向您提供或发送电子资讯，广告信息，个性化广告或优惠信息； 分析用户对本网站的使用方式和使用习惯，以便改进我们的服务； 阻止违法或潜在违法行为，阻止违反本网站用户协议的行为；以及我们在收集特定信息时向您披露的其他用途。 3. 信息的披露 我们致力于取得和维护您对我们的信任，因此我们使用商业上合理的技术和其他措施，帮助防止您的个人资料丢失、被盗用或遭篡改。同时，请了解我们仅会...阅读全文
Foundation）为例，它将Kubernetes和其他平台即服务（PaaS）云计划结合在一起。在过去的5年中，LFN项目大大加速了网络创新，使数据网络在未来数十年以前所未有的速度发展。” 在LNF下，每个项目都将继续按照现有的章程运作，保持技术的独立性，社区的亲和力，项目的发布路线图和以及网站的存在。 LFN 长远的目标是形成从网络协议栈到数据平面到控制平面，协调，自动化，端到端（end-to-end ）测试等的协作基础。LFN 有 83 个成员组织参与： 90%排名前10位的开源网络项目 超过60％由参与公司提供支持的全球移动用户 十大网络和企业供应商中的大多数 顶级系统集成商 顶级云提供商 换句话说，LFN有了业务和开发者社区的支持，它就要有所作为。希望 LFN 能带来更好的跨项目协同效应，更快的采用...阅读全文
播，Windows 和 Linux 的开放源码贡献者能够共享两个生态系统的精华。 2.兼容性 目前尚不清楚如果 Windows 用户空间从 NT 迁移到 Linux 内核，是否能够保持良好的兼容性，特别是那些拥有关键任务应用、付费获取的东西。 Windows 没有像 Linux 那样严格区分内核空间和用户空间。NT 内核大约有 400 个已记录的 syscalls 以及大约 1700 个已记录的 Win32 API 调用。对于重新部署从而确保 Windows 开发者和他们工作达到预期的兼容性这是非常庞大的工作量，这完全超过了 Wine 提供的修正贡献。 Linux 在 arm64 上只有 313 个 syscalls，而另一个原因是微软已经从 WSL 1 中的 syscall 翻译层...阅读全文
广泛使用一个全局 metrics registry 来注册要公开的 metrics。通过实现 metrics registry，metrics 可以以更透明的方式注册。而在这之前，Kubernetes metrics 被排除在任何稳定性需求之外Volume Extension：新版本有大量和 Volume 及 Volume 修改相关的增强。CSI 规范中对 Volume 调整的支持正在转向 Beta 版，它允许任何 CSI spec Volume plugin 都可以调整大小 其他值得注意的功能更新： 拓扑管理器是一个新的 Kubelet 组件，旨在协调资源分配决策，以提供优化的资源分配IPv4/IPv6 双栈允许将 IPv4 和 IPv6 地址分配给 Pods 和服务API Server...阅读全文
。 有通用触发器（例如定时器，webhooks）和集成触发器（例如，Sensu告警，JIRA问题更新）。 通过编写传感器插件可以定义新的触发器类型。动作（Actions）StackStorm出站集成。 有通用动作（ssh，REST调用），集成（OpenStack，Docker，Puppet）或自定义操作。 动作是Python插件或任何脚本，通过添加几行元数据将其消耗到StackStorm中。 动作可以由用户通过CLI或API直接调用，或者作为规则和工作流程的一部分使用和调用。 规则（Rules）将触发器映射到动作（或工作流），应用匹配条件并将触发器加载到动作输入中。 工作流（Workflows）将动作拼接成“超级动作”，定义顺序，转换条件以及传递数据。 大多数自动化不止一步，因此需要多个动作...阅读全文
（SSL）的进化版本，SSL是由Netscape公司在1990年代研发的。国际互联网工程任务组（IETF）做为一个标准化组织，负责定义该协议，该协议已经历了多次修订。最新版本 TLS1.2 在 2008 年被确立为标准，目前被大多数浏览器和启用 HTTPS 的 web 服务所支持。 在配置正常的情况下，TLS 1.2 会很安全，但如今它却显得有些过时了。在过去几年中，几次引人注目的攻击暴露出该协议的一些漏洞。在计算机安全领域，8年是一段很长的时间，因此 IETF 已经在着手开发该协议的新版本 TLS 1.3。TLS1.3 是一次全面升级，与此前版本相比，它有两个主要优势： 增强安全性 提升速度 增强安全性 过去几年来，大部分针对TLS的攻击都是以该协议90年代遗留下来的残余部分为目标的...阅读全文
eBPF 的程序。编写C代码，将LLVM编译成驻留在ELF文件中的eBPF字节码。将程序加载到内核中，并创建必要的 eBPF-maps。eBPF 具有用作 socket filter，kprobe 处理器，流量控制调度，流量控制操作，tracepoint 处理，eXpress Data Path(XDP)，性能监测，cgroup 限制，轻量级tunnel的程序类型。将加载的程序attach到系统中。根据不同的程序类型attach到不同的内核系统中。程序运行的时候，启动状态并且开始过滤，分析或者捕获信息。 2016年10月的NetDev 1.2大会上，Netronome的Jakub Kicinski和Nic Viljoen发表了标题为“eBPF / XDP硬件卸载到SmartNIC”。 Nic...阅读全文
书针对网站域名及所有权进行严格书面审查，通过审核之后，证书上标示企业资料，让访问用户可以直接了解企业身份并强化信任感，为后续其他基于互联网的服务内容提供妥善保护。安全级别较高。 EV（扩展型/增强型）SSL证书：扩展验证网站所属单位身份，适合高度信任的企业级用户使用。如金融行业、银行、电子商务平台等；EVSSL的最大特点便是激活网站在浏览器的标签栏使其变绿，利用鲜明的标示告诉用户：这个网站正受到最严密的信息安全防护，同时通过证书标示增强机构信赖及网站真实合法认定。安全级别最高。...阅读全文
2020 年 Debian 项目负责人（Debian Porject Leader，DPL）选举的结果已经公布，新一任负责人是 Jonathan Carter（也叫 highvoltage，Debian 帐号 jcc）。此前前任 Sam Hartman 宣布今年不参与 DPL 竞选。 此次共有 3 名候选人，分别是： Jonathan Carter [jcc@debian.org] [nomination mail] [platform]Sruthi Chandran [srud@debian.org] [nomination mail] [platform]Brian Gupta [bgupta@debian.org] [nomination mail] [platform] 在...阅读全文
的文本文件。如果一台服务器有16个 CPU，每秒抽样99次，持续30秒，就得到 47,520 个调用栈，长达几十万甚至上百万行。 为了便于阅读，perf record命令可以统计每个调用栈出现的百分比，然后从高到低排列。 $ sudo perf report -n --stdio 这个结果还是不易读，所以才有了火焰图。 二、火焰图的含义 火焰图是基于 perf 结果产生的 SVG 图片，用来展示 CPU 的调用栈。 y 轴表示调用栈，每一层都是一个函数。调用栈越深，火焰就越高，顶部就是正在执行的函数，下方都是它的父函数。 x 轴表示抽样数，如果一个函数在 x 轴占据的宽度越宽，就表示它被抽到的次数多，即执行的时间长。注意，x 轴不代表时间，而是所有的调用栈合并后，按字母顺序排列的。 火焰图就...阅读全文
认可的开源许可证 不要创建你自己的自定义许可证;这将为任何想要使用你代码的人增加法律障碍。确保你选择的许可证与你打算使用代码的方式兼容。此外，请确保许可证与你的项目代码所需的任何第三方内容(例如库)兼容。在所有源文件的标题中包含许可证的SPDX代码。 15、将项目移到开源基金会 前面已经提到过几次基金会。基金会首先可以帮助你保持项目供应商中立，这将有助于采用：开源软件的魅力大多是因为采用者可以避免被某个特定组织所关注。基金会可以坚持和保卫项目的商标，建立治理模式，帮助你管理品牌，提供知识产权管理服务，并为运营成功的开源项目提供常用的帮助和建议。成为开源基金会的一部分可以提供有价值的反馈循环。基金会可以为你的开源项目提供可信度，然后，开源项目反过来可以为基金会提供公信力。 运作开源项目包含很多...阅读全文
来自以色列的安全机构CTS-Labs突然曝出猛料，声称AMD Zen架构处理器存在四组12个高位安全漏洞，涉及Ryzen、EPYC全线产品。AMD第一时间对此发表了一份官方声明。 “我们刚刚收到一家名为CTS-Labs的公司的报告，声称我们的特定处理器产品可能存在安全漏洞。我们正在积极进行调查和分析。这家公司AMD从未听闻，而且不同寻常的是，这家安全机构直接将自己的发现公布给了媒体，却没有给AMD合理的时间调查和解决问题。安全是AMD的首要职责，我们持续努力确保我们客户的安全，应对新的安全威胁。如有后续进展我们会第一时间公告。” 可以看出，由于事发突然，特别是这些漏洞发现并没有按照行业惯例提前通知并给予90天的静默期，AMD被打了个措手不及，目前还无法完全证实这些漏洞的真伪。 即便是真的存...阅读全文
Monit是一个跨平台的用来监控Unix/linux系统（比如Linux、BSD、OSX、Solaris）的工具。Monit特别易于安装，而且非常轻量级（只有500KB大小），并且不依赖任何第三方程序、插件或者库。 Monit可以监控服务器进程状态、HTTP/TCP状态码、服务器资源变化、文件系统变动等等，根据这些变化，可以设定邮件报警、重启进程或服务。易于安装、轻量级的实现以及强大的功能，让Monit成为一个理想的后备监控工具。 官网：https://mmonit.com/monit文档：https://mmonit.com/monit/documentation/monit.html最新版本：https://mmonit.com/monit/dist/monit-5.20.0...阅读全文
，专门为具体产业调整基础模型？提示词工程（Prompt Engineering，修改向AI输入的任务描述，使AI的输出结果更符合用户的需求）将来会不会成为企业的内部职能？ Sam Altman：五年后我们将不再需要提示词工程，或者只需在这方面做少量工作。将来的AI系统不会因为增补了某个特定词就会产生截然不同的输出，而是可以较好地理解自然语言，用户只需以文本和语音形式输入指令，即可让计算机完成图像生成、资料研究、心理咨询等复杂任务。 总的来说，用户只须使用自然语言就可以与计算机交互，当然，如果艺术家能想出更有创造性的描述，也自然就可以生成更好的图像。 2 “AI+”时代：AI for Science、元宇宙 Reid Hoffman：在科学领域，AI模型可以发挥什么作用？ Sam Altman...阅读全文
观点，推动全球或区域频率统一性。 5G创新，设备厂商更是千帆竞速，百舸争流，与更多垂直行业合作，5G测试、技术研发、参与国际5G标准组织的相关工作、与相关组织联合规划5G频谱等，不断实现全方位布局5G能力。 2018年将重点研发5G产品，据悉，工信部还将加强统筹协调，组织移动通信领域各单位技术与产业合作;补齐发展短板，加大对5G高频器械、仪表等投入力度，保证5G高频全面实现技术突破，加快国际合作。 三大场景网络需求 当前，中国5G试验正在进入第三阶段，韩国也将试商用5G，国际上纷纷开建5G试验网。 业界普遍认为, 5G将主要满足三大场景网络需求: eMBB, mMTC 和 URLLC。eMBB对应的是3D/超高清视频等大流量移动宽带业务;mMTC对应的是大规模物联网业务;URLLC对应的是如...阅读全文
他们决定停止 FTP 方式的下载了。 最初，早在 1998 年的时候， Linux 内核组织就提供了以 FTP 服务为基础的内核代码获取方式，除了可以直接通过 FTP 进行下载以外，还可以通过 HTTP 协议封装来访问 FTP 资源，甚至，还允许通过 NFS 和 SMB/CIFS 来将他们的 FTP 资源挂载为本地分区。 不过，不久之后，他们发现提供一个公开的 NFS/CIFS 服务器看起来并不是一个好主意，不仅仅是因为这两种服务在慢速网络时表现很糟糕，而且它们本身也存在严重的安全隐患。因此于当年年底时停止了对 NFS 和 SMB/CIFS 的支持。 而现在，基于如下考虑： FTP 服务需要在防火墙和负载均衡设备上做额外的配置和调整 FTP 服务器不支持缓存和加速器，这严重影响了性能 大多数...阅读全文
System。后来他在说道 Debian 发行版的时候还曾提到， 「我开发这个版本时的灵感很大程度上来源于 SLS，因为我自己使用 SLS 时我曾对很多地方非常不满。我想着要去改善 SLS，但后来我意识到最好的方法就是从头开始。」 Murdock 在 1999 年那次访谈中曾告诉我： 「开发 SLS 的那个人败就败在他想一个人搞定所有事情。Linux 让我意识到的就是这样做出来的模型永远都不会是最佳的产品。我们真正要做的是找出 Linux 最超前的产品，然后围绕这个型号再打造新的系统。」 简单说，Murdock 的观点就是：Linux 的内核完全可以应用到整个操作系统乃至应用上。 如果你想打造一个完整的操作系统，你该如何给员工分工，给他们每一个人都布置相应的任务，最后再拼凑成一个完整的系统呢...阅读全文
1.新的问题influxdb目前支持内存型索引inmem及文件型索引tsi1。之前追踪篇将influxd索引修改为tsi1之后，经过一段时间的运行，从监控观察到，由于调用方采用异步队列+批处理的方案将数据写入influxdb，会在某些时刻调用方内部出现数据堆积，指标如图:横坐标: 时间轴，从12-29 00:00 到 12-30 00:00纵坐标: 队列中数据堆积长度，坐标最大值250k，即最大25w个数据堆积从上图可以看到，当天监控出现数次堆积，上午7:00-10:00尤为严重。在堆积时，登录influxdb服务器，查看机器状态如下:top - 09:40:58 up 120 days, 19:18, 1 user, load average: 32.29, 32.32, 29.82...阅读全文
Scrapy 是一个为了爬取网站数据，提取结构性数据而编写的应用框架。 可以应用在包括数据挖掘、信息处理或存储历史数据等一系列的程序中。本文着重介绍 Scrapy 架构及其组件之间的交互。 Scrapy 组件介绍 Scrapy Engine 引擎负责控制数据流在系统中所有组件中流动，并在相应动作发生时触发事件。 详细内容查看下面的数据流(Data Flow)部分。 调度器(Scheduler) 调度器从引擎接受request并将他们入队，以便之后引擎请求他们时提供给引擎。 下载器(Downloader) 下载器负责获取页面数据并提供给引擎，而后提供给spider。 Spiders Spider 是 Scrapy用户编写用于分析response并提取item(即获取到的item)或额外跟进的...阅读全文
据国外媒体报道，微软公司联合创始人比尔盖茨现在还是世界首富，目前个人财富高达900亿美元。 但比尔盖茨在2008年就退出了微软公司的日常管理，仅作为董事长继续保证公司的正常运营，而在2014年，也就是在他60岁的前一年，他又放弃了微软公司董事长一职。 在离开微软管理层之后，盖茨将大部分精力和财富都放到了慈善事业上，通过慈善活动，他也时常出现在公众的视野之中，但也有很多人好奇，曾经忙于微软公司事务的他，在退休之后的每一天又是怎么度过的？ 事实上在2008年退休之后，如果没有慈善等需要外出的活动，他的一天基本都是在他那历时7年、耗资6300万美元打造的豪宅 “仙乐都2.0” 中度过的，他的一天从豪宅中醒来之后就算开始了。 在早餐方面，盖茨喜欢的早餐是可可泡芙，不过他的妻子梅琳达?盖茨却透露，盖...阅读全文
项目认识到 systemd 服务单元是用于描述如何启动守护程序/服务的首选配置。但是，Debian 仍然是一个环境，开发者和用户可以在其中探索和开发替代的初始化（init）系统和 systemd 功能的替代方案。那些对探索此类替代方案感兴趣的人需要提供必要的开发和打包资源来完成这项工作。在运行依赖于某些 systemd 接口的软件时，有助于探索替代方案的诸如 elogind 之类的技术对于 Debian 仍然很重要。更重要的是，Debian 团队必须支持开发此类技术的开发者的工作，这些技术与 Debian 项目的其余部分之间存在重叠，例如，及时检查补丁并参与讨论。软件包应包括服务单元或启动脚本，以启动守护程序和服务。软件包可以由软件包维护者自行决定使用任何 systemd 工具，只要这与其他...阅读全文
里等待，直到售货员把衣服交给你后才算购物成功，这就相当于同步的过程。 不过，如果是在网上购物的话，我们只需下单并完成支付，对我们来说整个购物过程就算完成了。网上的商家接到订单会帮我们加紧安排送货，这段时间我们可以去做其他的事，比如去外面打个篮球之类的。等送货上门并签收商品就完事了，这个过程就相当于异步。 并发和并行并发和并行的功能很相似，两者都可以表示多个任务一起执行的情况，但本质上两者其实是有区别的。 严格意义上来说，并行的多任务是真实的同时执行，而并发更多的情况是任务之间交替执行，系统不停的在多个任务间切换执行，也就是 “串行” 执行。 最直接的例子的就是我们的计算机系统，在单核CPU时代，系统表面上能同时进行多任务处理，比如听歌的同时又浏览网页，但真实环境中这些任务不可能是真实并行的...阅读全文
在AMD发布的7nm锐龙3000处理器及Navi架构RX 5700显卡中，PCIe 4.0都是重要的技术升级，而且是消费级首发支持，这对AMD来说很重要，因为以往引领新平台技术升级的主要是Intel，这次不一样了，AMD要夺回“技术发展的C位。 对于PCIe 4.0技术的好处，AMD日前开始强调该技术的三大优势： 速度更快，x16 双向带宽达到了 32GB/s，是 PCIe 3.0 的两倍。向下兼容，PCIe 4.0 能兼容 PCIe 3.0 设备。更多连接，PCIe 4.0 带宽高，1条顶2条，可以连接更多设备而不需要担心性能下降。 面对AMD在PCIe 4.0上的宣传，Intel这边也坐不住了，日前在一场活动中开始怼PCIe 4.0，Intel表示绝大多数用户从PCIe 4.0技术都不...阅读全文
计、开发自己的技术和产品。1.0版本：最终正式版，公开发布。 事实上，0.5版本发布之后，厂商们已经可以开始设计测试芯片，为后续工作提前做好准备。 尽管升级速度加快，但是每一代PCIe规范的变化都相当大，尤其是带宽每次都翻一番，并兼容所有前代规范。 PCIe 6.0也不例外，向下兼容PCIe 5.0/4.0/3.0/2.0/1.0的同时，数据率或者说I/O带宽会再次加倍来到64GT/s，PCIe 6.0 x1单向实际带宽8GB/s，PCIe 6.0 x16单向带宽128GB/s、双向带宽256GB/s。 PCIe 6.0将延续PCIe 3.0时代引入的128b/130b编码方式，但加入全新的脉冲幅度调制PAM4，取代PCIe 5.0 NRZ，可以在单个通道、同样时间内封包更多数据，以及低延迟...阅读全文
，Debian 邮件列表出现了一封标题为“Leaderless Debian”的公开信，文章表示，这年的3月3日-10日是候选人提名阶段，然而，截至公开信发出，还没有一位符合资格的 Debian 开发者提交申请。 此前的 Debian 领导人 Chris Lamb 一直被寄予厚望，他已经连任了两年，但是今年他公开表示因为一些 Debian 相关的，以及一些私人的原因不参与竞选。由此，Debian 不得不根据章程延长提名时间，直至有人提交申请为止。 当然，最后还是有人跳了出来参加竞选。这里要指出的是，这一尴尬事件非常直观地反映出一个事实 —— DPL 并不吃香。 准确来说，在 Debian 章程的制约下，DPL 是一个没有绝对权利的虚席。 首先，DPL 并不接触具体业务，他可以任命某人执行专门的任务，而这...阅读全文
，CPU持续上升到99% 5分钟内，大量应用报警，并且拒绝服务，RDS的监控显示出现大量慢SQL，联系服务器数据库提供商进行协助 8分钟内，进行数据库主备切换（业务会受损，但是也没办法，没有定位到问题） 9分钟内，部分业务恢复，但是一些业务订单的回调消息堆积超过20w，备库的CPU使用率也持续上升 15分钟内，备库CPU使用率超过97%，业务再次中断，进行切回主库，并进行限流 20分钟内，关闭一些次要应用的流量入口 25分钟内，主库CPU使用率恢复正常 30分钟内，逐步开启关闭的限流应用 35分钟内，所有应用恢复正常 接下来就是与服务器数据库提供商成立应急小组紧急优化可能出现的慢SQL，虽然说可能解决了一些慢SQL，但此次并没有定位到具体的问题，也就为几天后再次发生宕机事件埋下了伏笔 事故影响 某...阅读全文
加了对日志驱动器插件的支持。 Service日志 docker service logs从实验版本改进到了稳定版，你可以轻松地获取Swarm上运行的一个服务的完整日志。同时也添加了服务中单个任务日志的端点。 网络 Service中节点本地的网络支持 Docker支持很多的网络选择。在Docker 17.06 CE中，可以将服务追加到节点本地的网络（node-local networks）。这包括如Host、Macvlan，IPVlan，Bridge和本地作用域的插件。例如对于一个Macvlan网络，可以在worker节点上创建一个节点特定的网络配置，然后在manager节点上创建一个加入了这些配置的网络： [Wrk-node1]$ docker network create —config...阅读全文
务就跟着学，一定要了解自己的需求，并知道为什么要采用微服务架构。 更多公司预计会选择企业版软件 很多公司仍处于是自己开发还是购买企业版软件的两难境地。我们建议你做自己最擅长的事情，并按照自己的要求购买相应的工具。这样不仅可以帮助你专注于你的目标，还可以完全依赖第三方平台来提高工作效率。很多公司现在都在通过企业版软件来构建自己的基础设施，并确保安全性尽可能得到最好的控制。 Kubernetes 将进一步演化 Kubernetes 因为易用性而成为增长最快的容器技术。Kubernetes 还建立了一个壮大的开源社区。在世界各地，很多 CIO 和技术专家已经在使用 Kubernetes，并预计在 2019 年会有重大的发展。 最近，云原生计算基金会（CNCF）进行了一项调查，分享了容器编排领域所发...阅读全文
输数据，在不使用的情况下默认不会传输任何 UDP 数据包，所以比常规VPN省电很多，可以像ShadowSocks一样一直挂着使用。 WireGuard协议的速度几乎秒杀其它VPN协议，测试结果如下图； WireGuard 受到 Linus 本人的推荐，将整合到最新版Linux Kernel中，安装部署更方便。WireGuard 总共几千行代码，只需十分钟就能搞定一台WireGuard服务器。 Wireguard安全性高。极佳的VPN漫游特性，设备支持广泛。内核级别的端对端隧道加密技术，拥有良好的加密特性。Wireguard配置文件由两部分组成：interface和peer。服务器端、客户端互为平等关系。支持预共享密钥preshared key加密，防止量子计算攻击。 国际著名项目，开源代码审...阅读全文
。 Workbench：改善导航页面和通知界面、支持垂直面板布局、实现多选及常见的操作、状态栏管理等。 Editor：提高性能和可扩展性、支持语义着色、列选改进、原生 model layer 等。 Terminal：支持多终端分离和查看。 Source Control Integration：支持直接在编辑器中查看更改。 Node、 JavaScript 和 TypeScript Development 计划包括： Language Server Protocol：继续完善和改进语言服务器协议。 Debug Adaptor Protocol：继续完善和改进调试适配器协议，为 DAP 功能提供更多 UI 。 TypeScript (and JavaScript)：功能改进。 Debug：支持非 JS 场景的热部署...阅读全文
定要配置重试要根据业务情况而定。也可以用同步发送的模式去发消息，当然acks不能设置为0，这样也能保证消息发送的有序。 kafka保证全链路消息顺序消费，需要从发送端开始，将所有有序消息发送到同一个分区，然后用一个消费者去消费，但是这种性能比较低，可以在消费者端接收到消息后将需要保证顺序消费的几条消费发到内存队列(可以搞多个)，一个内存队列开启一个线程顺序处理消息。 如果为了性能好，不允许所有消息只在同一个分区，同时又要保证顺序消费，那么可以给每条消息加一个下标，当消费者拿到消息后先不急着消费，而是先判断下标，然后根据下标以此进行消费； 2.1.4 消息积压 1）线上有时因为发送方发送消息速度过快，或者消费方处理消息过慢，可能会导致broker积压大量未消费消息。 此种情况如果积压了上百万未...阅读全文
。 BlueStore支持Ceph存储的所有的完整的数据和元数据校验。 BlueStore内嵌支持使用zlib，snappy或LZ4进行压缩。（Ceph还支持zstd进行RGW压缩，但由于性能原因，不为BlueStore推荐使用zstd）。 EC池现在完全支持覆盖，允许它们与RBD和CephFS一起使用。 ceph-mgr: ceph-mgr是一个新的后台进程，这是任何Ceph部署的必须部分。虽然当ceph-mgr停止时，IO可以继续， 但是度量不会刷新，并且某些与度量相关的请求（例如，ceph df）可能会被阻止。我们建议您多部署ceph-mgr的几个实例来实现可靠性。 ceph-mgr守护进程daemon包括基于REST的API管理。注：API仍然是实验性质的，目前有一些限制，但未来会成为API管理的基础...阅读全文
看着SSD气势汹汹，机械硬盘丝毫不敢懈怠，唯有不断推陈出新大容量产品，同时把容价比做到更低。据说淘宝上出现了一批全新/充新HGST 8T企业盘，由不景气的乐视云内部流出，居然只要千元出头。 就目前而言，西数、东芝均发布了14TB，前者使用SMR（叠瓦式磁记录），后者使用传统的PMR（垂直磁记录），9碟充氦。 而且，巨头均规划了16TB硬盘，预计明年推向市场。 近日，知名存储服务商Backblaze刊文报道，希捷CTO（首席技术官）Mark Re介绍称，HAMR（热辅助磁记录）存储技术硬盘已经越来越接近商用了。 今年10月的容量密度还是2Tbpsi（每平方英寸容量），Mark Re此次透露，目前已经达到5Tbpsi，是当下希捷最大的12TB硬盘（PMR）1.3Tbpsi的3.8倍，而HAMR...阅读全文
大多数使用开源的公司都了解其商业价值，但他们可能缺乏战略性地实施开源计划和获得全部回报的工具。根据 The New Stack 最近的一项调查，“开源计划的三大好处是 1）提高了对开源的认识，2）提高了开发周期的速度和灵活性，以及 3）更好的许可证合规性。” 开源指南 运作一个开源计划办公室涉及到创建策略来帮助你定义和实施你的方法，并衡量你的进度。由 Linux 基金会与 TODO Group 合作开发的 企业开源指南基于多年的经验和实践提供了专业开源知识。 最新的指南中， 设置开源战略详细介绍了制定战略和确保成功之路的基本步骤。根据该指南，“你的开源战略将管理、参与和创建开源软件的计划与计划所服务的业务目标联系起来。这可以开辟许多机会并促进创新。”该指南涵盖以下主题： 为什么制定战略？你...阅读全文
能够处理的范围。此种情况下，服务器可以关闭连接以免客户端继续发送此请求。 如果这个状况是临时的，服务器应当返回一个 Retry-After 的响应头，以告知客户端可以在多少时间以后重新尝试。 414 请求的URI 长度超过了服务器能够解释的长度，因此服务器拒绝对该请求提供服务。这比较少见，通常的情况包括： 本应使用POST方法的表单提交变成了GET方法，导致查询字符串（Query String）过长。 重定向URI “黑洞”，例如每次重定向把旧的 URI 作为新的 URI 的一部分，导致在若干次重定向后 URI 超长。 客户端正在尝试利用某些服务器中存在的安全漏洞攻击服务器。这类服务器使用固定长度的缓冲读取或操作请求的 URI，当 GET 后的参数超过某个数值后，可能会产生缓冲区溢出，导致任...阅读全文
制化的网络；二是目前的 TCP/IP 协议和框架对 ManyNets（包括 IoT 网络、卫星网络等） 互连有限制且具有复杂性。 当下，全息通信满足了人们对交互式的通信体验的需求，从而也需要更高的带宽、更低的延迟、更灵活的网络处理，而满足这些传感应用需求，需要更细度的网络服务能力。 由于现有 IP 不相兼容的寻址机制，IoT 网络、蜂窝网络、工业网络等网络之间的互连受到了限制。而后引进的多种映射机制不仅给系统带来了额外的复杂性，也带来了潜在的隐私和弹性问题。 由此，需要一个更好的解决方案来处理所有类型或虚拟对象的交付和通信，New IP 应运而生。 文章指出，New IP 主要有三个关键特征： 可变 IP 地址长度，无缝支持跨网络通信；用于标识物理和虚拟对象的 IP 地址的语义定义；用户定义...阅读全文
Linus Torvalds 在内核邮件列表上宣布释出 Linux 5.6。Torvalds 称，他没有看到内核开发受到新冠疫情影响的迹象，大部分人可能早就习惯了在家远程工作。 他估计 Linux 5.7 的发布不太会有变动，但有人错过合并窗口还是可能的，毕竟合并窗口没有你或你周围的人的健康更重要。 Linux 5.6 的特性包括： Arm EOPD 支持，时间命名空间，BPF 调度器和批映射操作，openat2() 系统调用，WireGuard VPN 实现，流队列 PIE 包调度器，2038 年问题接近解决，pidfd_getfd()系统调用，ZoneFS 文件系统，BPF TCP 拥堵控制算法实现，移除 /dev/random blocking pool 等等。 具体可阅读...阅读全文
