EnduroSLC闪存芯片，从名字上就可以看出强调超长寿命，P/E循环可选5万次、10万次、25万次三种规格(QLC才不过1000-1500次左右)，搭配无缓存主控支持增强型掉电保护，性能也是上一代的四倍，而且可耐受-40℃到85℃的极端温度。 该硬盘采用BGA整合封装的单芯片方案，集成主控和闪存，145-ball封装，尺寸仅14×24mm，容量不大2GB-128GB，系统通道是SATA 6Gbps，支持NCQ。 具体读写速度指标没有公布，但是对于这种产品来说，能跑多快反而是次要的。 Greenliant表示，NANDDrive EX系列已经开始向客户送样，计划今年第四季度量产，同时还会推出基于3D MLC闪存的NANDDrive MX系列，也是SATA 6Gbps，今年第四季度初出样，年底量产。...阅读全文
它基于Synopsys广受好评的DesignWare IP PCIe 5.0方案，完整支持PCIe 6.0标准特性，包括64GT/s PAM-4信号调制、FLIT模式、L0p低功耗模式等等，可满足HPC高性能计算、AI、存储SoC等应用领域对于延迟、带宽、能效的各种需求。为了实现吞吐量的最大化、延迟的最小化，Synopsys PCIe 6.0控制器采用了“MultiStream”(多流)架构，性能可达单流架构的最高2倍，并且还有1024-bit宽度架构，可以在关闭1GHz时序的同时，达到64GT/s x16的高带宽，还优化了多数据源、多虚拟通道环境。此外，新方案使用了独特的自适应DSP算法，支持早期SoC开发，优化模拟和数字均衡，无论何种通道下都能获得最佳能效，并且基于专利诊断功能，可确保...阅读全文
，可以视为是每秒的读写次数。与其他性能测试一様，IOPS 仅代表理想环境下的性能指标，不保证实际应用下也能达到同等情况。IOPS 的数值会随系统组态而有很大的不同，依测试者在测试时的控制变量而异，控制变量包括读取及写入的比例、线程数量以及资料区块的大小等。从 Jens Axboe 在社交媒体上分享的截图可以看到，他用最新的 Linux 内核补丁在一个物理 CPU 核心上实现了 1000 万 IOPS。此次测试的设备仍然与他此前实现 890 万 IOPS 时所使用的设备保持一致 —— 采用了一个 AMD Ryzen 9 5950X CPU 和英特尔 P5800X Gen2 傲腾 SSD。为了实现这些的性能提升，Jens Axboe 主要是在内核的 block / NVMe / IO_uring...阅读全文
随着企业的逐步成熟，他们会开发更多工具。在Google，我们持续创建新的外部和内部服务，以及支持这些服务的基础架构。 从2013年起，我们开始放弃之前用来更新和维护服务的简单的自动化工作流。每个服务都要求复杂的更新逻辑，并且还需要适应基础架构的变化，经常性的集群的启动关闭等等。配置多个，互相交互的服务的工作流变得难以维护。 我们需要一种全新的方案来适应业务的增长以及所涉及到的配置的复杂性。为此，我们开发了声明式的自动化系统，作为统一的控制层，并且取代了工作流。这个系统包括两个主要的工具：Podspec，描述服务基础架构的工具，和Annealing，更新生产环境来匹配Prodspec输出的工具。本文讨论我们解决过的问题，以及我们所选择的架构。 Prodspec和Annealing有一个根本共...阅读全文
Tmux 简单来说就是终端里的『窗口管理器』，如果我使用终端登录到远程主机并运行前台程序，那么这个窗口等于就被占用了，想要看一下 CPU 的使用率，就得再连接一次。但是如果在远程主机上运行 tmux，那么就可以开启多个控制台（类似于窗口），相当高效，比方说可以像下面这样： 需要注意的是，这里是在我本地使用 tmux，最好在远程主机也安装 tmux，这样就只需要连接一次。 Hello World 前面提到的窗口管理只是 tmux 功能的一小部分，另一个很有用的功能就是，连接到远程主机之后，一旦断开，那么当前账户登录的任务就被取消了，但是使用 tmux 可以在断开之后继续工作，下次登录可以查看。其他的功能还有： 窗口切换，每个窗口里还可以分割面板 配置方便，可以使用脚本 类似 vim 的双层操...阅读全文
Apollo（阿波罗）是携程框架部门研发的分布式配置中心，能够集中化管理应用不同环境、不同集群的配置，配置修改后能够实时推送到应用端，并且具备规范的权限、流程治理等特性，适用于微服务配置管理场景。 本文简单从功能特点做介绍，更详细的说明请参考Apollo配置中心介绍。本地快速部署可以参考这里。线上的演示环境从这里可以访问到： 106.54.227.205 （账号/密码: apollo/admin） Apollo 配置中心产生背景 大多情况下程序随着功能的复杂，程序的配置也会增多：包括各种功能开关、参数配置、服务地址信息配置等，同时开发人员对程序配置的期望值也越来越高：配置修改后实时生效，灰度发布，分环境、分集群的管理配置、权限控制、审核机制等。 在这样的大环境下，传统的通过配置文件、数据库...阅读全文
(初学者说明：RX 表示每秒接收数据，TX 表示每秒发送数据)： $ bmon bmon - Linux 带宽监视按 d 键可以查看更详细的带宽使用情况的图形化统计信息，参考下面的截图。 bmon - Detailed Bandwidth Statistics按 Shift + ? 可以查看快速指南。再次按 Shift + ? 可以退出(指南)界面。 bmon – 快速指南通过 Up 和 Down 箭头键可以查看特定网卡的统计信息。但是，要监视一个特定的网卡，你也可以像下面这样作为命令行参数指定。 选项 -p 指定了要显示的网卡，在下面的例子中，我们会监视网卡 enp1s0： $ bmon -p enp1s0 bmon – 监控以太网带宽要查看每秒位数而不是每秒字节数，可以像下面这样使用 -b...阅读全文
Authorizer）和准入控制（Admission Control）插件。它们是在1.7中以Beta版新添加的特性，用于限制kubelet访问那些控制Secret、Pod和其它基于节点对象的Kubernetes API操作；用于Secret的加密和其它存储在etcd的资源，当前以Alpha版提供可用；Kubelet TLS Bootstrapping，当前以Alpha版提供，支持客户和服务证书旋转（Rotation）；由API服务器存储的审计日志，现在更改为可定制的和可扩展。 聚焦于存储和有状态工作负载管理的特性包括：StatefulSet Updates。它是在1.7中以Beta版新提供的特性，允许使用一系列的更新策略对有状态应用进行自动更新，包括滚动更新（rolling-update），以及金丝雀...阅读全文
有一个网络接口，可以不带选项运行 iftop。iftop 需要 root 权限： $ sudo iftop 当你有多个接口时，指定要监控的接口： sudo iftop -i wlan0 就像 top 一样，你可以在运行时更改显示选项。 h 切换帮助屏幕。 n 切换名称解析。 s 切换源主机显示，d 切换目标主机。 s 切换端口号。 N 切换端口解析。要全看到端口号，请关闭解析。 t 切换文本界面。默认显示需要 ncurses。我认为文本显示更易于阅读和更好的组织（图1）。 p 暂停显示。 q 退出程序。 图 1：文本显示是可读的和可组织的。 当你切换显示选项时，iftop 会继续测量所有流量。你还可以选择要监控的单个主机。你需要主机的 IP 地址和网络掩码。我很好奇 Pandora 在我那可...阅读全文
Java 架构师是什么？是一个既需要掌控整体又需要洞悉局部瓶颈并依据具体的业务场景给出解决方案的团队领导型人物。一个架构师得需要足够的想像力,能把各种目标需求进行不同维度的扩展，为目标客户提供更为全面的需求清单。 所谓架构师，思考的是全局的东西，是如何组织你的系统，以达到业务要求，性能要求，具备可扩展性（scalability），可拓展性（extendability），前后兼容性等。可能涉及到的东西包括了从硬件到软件的方方面面。 架构师在软件开发的整个过程中起着很重要的作用。 架构师的主要任务不是从事具体的软件程序的编写，而是从事更高层次的开发构架工作。他必须对开发技术非常了解，并且需要有良好的组织管理能力。可以这样说，一个架构师工作的好坏决定了整个软件开发项目的成败。 在成为Java架构...阅读全文
的联合身份用户。如果使用不属于 aws-auth ConfigMap 的 IAM 用户或角色访问 Amazon EKS 控制台，则无法看到 Kubernetes 工作负载。也不会看到集群的概览详细信息。所以要向其他 AWS 用户或角色授予与集群交互的能力，您必须在 Kubernetes 中编辑 aws-auth ConfigMap。 因为部门有不通的角色，所以想基于不通的角色分配不同的权限，下面是记录添加一个对 EKS 只有只读权限的 AIM 用户。 {{< notice info "注意：" >}} 如果您在运行 AWS 命令行界面 (AWS CLI) 命令时遇到错误，请确保您使用的是最新版的 AWS CLI。 {{< /notice >}} 为 IAM 用户或角色配置权限 要查找具有主要...阅读全文
按Kubernetes每季推出新版本的周期，暨今年3月底发布1.6版后，应该即将有一波大公布。果不其然，作为Kubernetes 1.7开发团队成员之一的Mirantis，在近日宣布，Kubernetes 1.7版会如期在6月底发布。 在1.6版中，Kubernetes不仅新增了角色权限控管，还将集群规模扩大至5,000个节点，但对Kubernetes社区而言，1.6版只不过是求稳定，并无太多新功能。Mirantis表示：1.7版本则是全力锁定推新功能，预计会有超过50个新功能，例如丛集联邦、安全性以及容器网络。 而根据Kubernetes现今对外的文件，还可发现许多有趣的新功能，像是支持容器基础组件Containerd、加强容器Runtime接口等。在容器储存功能方面，则预计开始支持本地...阅读全文
Greg Kroah-Hartman 在内核邮件列表上 宣布 释出 Linux 4.19。Linux 作者 Linus Torvalds 最近在 休假反省 ，Linux 的开发现在由稳定版内核维护者 Kroah-Hartman 接手。 Kroah-Hartman 表示，4.19 将会是一个长期支持版本，他也会维持几年。 Linux 4.19 的主要新特性包括： 基于异步 I/O 的轮训接口 L1TF 漏洞补丁 块 I/O 延迟控制器 Common Applications Kept Enhanced (CAKE) 队列管理算法 Wi-Fi 6 (802.11ax) 初步支持 实验性文件系统 EROFS Intel Cache Pseudo-locking 基于时间的包传输 改进 RISC...阅读全文
TimescaleDB 1.0 正式发布了，开发团队表示，自 9 月分宣布第一个候选版本以来，Timescale 的工程师团队合并了 50 多个 PR，以加强数据库，提高稳定性和易用性。 今天，TimescaleDB 1.0 宣布正式推出，官方表示该版本已可用于生产环境，是首个支持完整 SQL 和扩展的企业级时序数据库。TimescaleDB 是基于 PostgreSQL 数据库开发的一款时序数据库，以插件化的形式打包提供，随着 PostgreSQL 的版本升级而升级，不会因为另立分支带来麻烦。 TimescaleDB 架构 数据自动按时间和空间分片 (chunk) 更新亮点： 更广泛的可用性改进 后台作业自动化和调度的基础 增强了数据库强化和测试 构建开源监控堆栈：对 Grafana 和...阅读全文
近日Raspberry Pi（树莓派）基金会宣布发布树莓派3代A+版（Raspberry Pi 3 MODEL A+）。尺寸是标准的树莓派A+尺寸，继承了3代的双频2.4GHz和5GHz无线网络、蓝牙4.2/BLE，以及经过改进的散热管理。拥有64位四核1.4 GHz处理器，并且价格低至25美元。 就像2014年树莓派A+系列首次面世时那样，通过在B+型基础上减半内存、移除USBHUB和以太网卡来寻求更低的成本控制。树莓派3代A+参数如下： 1.4GHz 64位四核ARM Cortex-A53 CPU 512MB LPDDR2 SDRAM 双频802.11ac无线局域网和蓝牙4.2/BLE 改进的USB大容量存储启动 改善的散热管理 树莓派3代B+与A+版的对比： 树莓派3代A+与1代A...阅读全文
随着热辅助磁记录（HAMR）技术的成熟，希捷也终于拿出了 16TB 的 3.5 英寸 Exos HAMR 硬盘驱动器。目前该产品已在全面测试阶段，且较西部数据（WD）的微波辅助磁记录（MAMR）技术有更大的优势。HAMR 可借助激光对下方盘片进行加热，使磁头更易于记录、从而实现更高的存储密度。 希捷表示，HAMR 磁头的可靠性，已经超越了“行业标准”。 目前希捷正在对 16-TB HAMR 驱动器进行一系列的基准和集成测试，例如检查它们是否能够对控制器的命令做出了适当的响应。该制造商指出，客户无需做出任何特殊的改动，即可直接像传统 3.5" 硬盘驱动器那样使用 HAMR 驱动器。 如果一切顺利，希捷有望在 2020 年提供容量高达 20 TB 的 HAMR 硬盘驱动器产品。...阅读全文
根据 GitLab CEO Sid Sijbrandij 在圣诞节来临之际，向开发者宣布，在 GitLab 11.8 发布时，将开源 ChatOps 功能。 GitLab ChatOps 的主要功能，就是开发者通过即使通讯平台发送命令，目前支持的平台包括 Slack 和 Mattermost 。Sid Sijbrandij 表示，GitLab 在未来也会加入 GitLab ChatOps 功能。 ChatOps 共有以下 5 大特点： 提供监测功能，配备相关的监工仪表盘，让运维人员更方便的进行鼓掌排除。支持 JQuery 指令操作，也支持输入简单的 SQL 指令。整合角色控制权限，为每个使用者配置不同的权限。不需要进行相关的设置工作，开发者开通后即可使用。ChatOps 作为平台中的功能...阅读全文
得益于传输距离更广（300 米）、功耗更低、速度更快（2Mbps）、可同时连接两个音频设备等特性，蓝牙 5.0（2016 年 6 月正式发布）正快速普及中。 本周，蓝牙 SIG 组织宣布， 蓝牙 5.1 已交付开发者，新变化中最值得一说的便是位置查找（ “direction finding” ）特性。蓝牙组织希望借助 5.1 标准，取代 Wi-Fi 的辅助定位角色，为需要 GPS 等位置服务的场景助力， 包括确定距离甚至精确位置 。 蓝牙 SIG 称，5.1 的定位精度可达厘米级（目前 1 到 10 米），在室内导航、快速找寻手环/遥控板等情景，将发挥重要作用。 其它特性还有优化的 GATT（通用属性配置文件），提高配对和通信速度；有助于避免数据包冲突的随机信道索引确保蓝牙广告抵达率等。...阅读全文
Linus Torvalds 在内核邮件列表上宣布释出 Linux 5.6。Torvalds 称，他没有看到内核开发受到新冠疫情影响的迹象，大部分人可能早就习惯了在家远程工作。 他估计 Linux 5.7 的发布不太会有变动，但有人错过合并窗口还是可能的，毕竟合并窗口没有你或你周围的人的健康更重要。 Linux 5.6 的特性包括： Arm EOPD 支持，时间命名空间，BPF 调度器和批映射操作，openat2() 系统调用，WireGuard VPN 实现，流队列 PIE 包调度器，2038 年问题接近解决，pidfd_getfd()系统调用，ZoneFS 文件系统，BPF TCP 拥堵控制算法实现，移除 /dev/random blocking pool 等等。 具体可阅读...阅读全文
-i "s/\(max-pods=\)\S*/\161\"/g" /etc/kubernetes/kubelet else sed -i '$aMAX_PODS="--max-pods=61"' /etc/kubernetes/kubelet sed -i 's/\(ExecStart=.*\)/\1 \${MAX_PODS}/' /usr/lib/systemd/system/kubelet.service fi systemctl daemon-reload systemctl restart kubelet ``` 这个Pod上限是 kubelet 控制的，和 master 节点没有关系。...阅读全文
块4TB的西数监控级紫盘（5400转）的价格是799元，如果是你，怎么选呢？...阅读全文
Grafana 6.3.3 发布了，Grafana 是一个功能丰富的指标标准仪表板和图形编辑器，用于分析和监控 Graphite、Elasticsearch、OpenTSDB、Prometheus 和 InfluxDB。 新版本更新主要是 Bug修复，具体如下： Annotations：修复取消时间序列查询时，失败的注释查询 #18532Auth：如果 cookie_samesite 为 none，请不要设置 SameSite cookie 属性 #18462DataLinks：正确地将范围变量应用于数据链接 #18454DataLinks：在图形上下文菜单中显示数据点的时间戳时，遵守时区 #18461DataLinks：插值变量时，正确使用数据点时间戳 #18459Explore：修复空...阅读全文
2020 年末推出，是树莓派系列中的第一台独立计算机，包含输入和输出设备。这款 Pi 400 不同于以往发布的裸开发板，其外壳集成了一块键盘，可以与鼠标、电源、电缆、显示器配套使用。 ▲ 自带键盘和输入输出接口的 Raspberry Pi 400此外，前段时间刚刚发布的 Raspberry Pi Pico 也是一种与以往的产品完全不同的树莓派类型，该款产品是一种微控制器板。3. 售价最低的树莓派▲ Raspberry Pi PicoRaspberry Pi Pico 于 2021 年 1 月发布，是树莓派系列的首款微控制器，同时也标志着其首款定制芯片 RP2040 CPU 的首次亮相。以往的每一款树莓派通常都可以安装 Linux 操作系统成为一台功能齐全的计算机，但售价仅 4 美元的 Pico...阅读全文
了答案。 从单机到分布式，是追求更快和更高的性能，但也带来了更多的不确定性。比如，不确定计算机何时异常，不确定磁盘何时损坏，不确定网络通信的延迟，也不确定消息是否被正常消费。这些不确定性构成了分布式应用的挑战，简而言之： 异构的机器与网络：稳定性问题普遍的节点故障：可靠性问题不可靠的网络：一致性问题 面对这些挑战，业界提出了诸多的分布式理论、协议，如CAP定理，BASE理论，一致性协议2PC/3PC/ZAB，来保证系统的正常运行。虽然问题貌似是有了解决方案，但是应用的复杂度升高了。应用除了需要实现业务需求，还要兼顾非业务需求，集成诸如服务发现、负载均衡、失效转移、动态扩容、数据分片、调用链路监控等分布式系统的核心功能，对应用有很强的侵入性，这就是以Spring Cloud为代表的微服务框架的...阅读全文
位置。 "none" 表示不保存任何日志(直接丢弃所有收集到的日志)， 但日志转发(见下文)不受影响。 默认值是 "auto" Compress= 默认值"yes"表示： 压缩存储大于特定阈值的对象。 Seal= 默认值"yes"表示：如果存在一个"sealing key"(由 journalctl(1) 的 --setup-keys 命令创建)， 那么就为所有持久保存的日志文件启用 FSS(Seekable Sequential Key Generators)保护， 以避免日志文件被恶意或无意的修改。 SplitMode= 设置是否按照每个用户分割日志文件，以实现对日志的访问控制(日志守护进程会确保每个用户都能读取自己的日志文件)。 可以使用的分割策略如下： "uid" 表示每个用户都有自...阅读全文
Debian 的许多 FTP 或 HTTP 的其中一个镜像。有关镜像的完整列表，请访问：https://www.debian.org/mirror/list 以下 packages 由于无法控制的情况已被移除： Package Reason dotclear Security issues sogo Security issues 参考链接： 发布主页和下载地址 完整更新日志...阅读全文
Interface (SAI) 来编写程序控制交换机的动作，开发者无需关心底层的硬件细节。而底层的硬件必须实现 SAI ，微软已经将 SAI 贡献给 OCP 组织。 这里有一篇博客详细的描述了 SONiC 系统。SONiC 系统基于 Debian Linux 构建，可通过微软的 Azure GitHub repo 获取到，该系统使用包括 GPL 和 Apache 在内的许可证。 via theregister...阅读全文
EE 8 会具备基本的微服务和云功能。Gaur 计划 Java EE 8 的扩展会包含增强的安全性（以 secret 管理的形式，并且要支持 OAuth 和/或 OpenID）、独立（self-contained）配置的 API 以及健康检查（可能会支持应用监控）。 前些日子，甲骨文表示将要 把 Java EE 移交给开源组织 。现在，Java EE 8 的最终规范已推出，不知道有可能将要移交给开源组织的 Java EE 会有怎样的发展。...阅读全文
据Android Police报道，谷歌的全新操作系统Fuchsia正在Pixelbook平台上进行测试。测试的项目是打开开发者模式和实现USB启动。Pixelbook发布于今年10月份，运行Chrome OS系统，采用12.3寸触控屏幕，QHD分辨率高清屏，像素密度高达235ppi，支持背光的软触键盘，可选酷睿i5/i7处理器、最高16GB内存+512GB 存储，10小时电池续航，拥有2× USB-C接口。 此前，Fuchsia还支持了宏碁的Switch Alpha 2和Intel NUC，看起来测试的范围相当广泛。 资料显示，Fuchsia最大的不同的是，拒绝使用Linux内核，而是启用了自己开发的微内核Magenta（或者说Zircon）。 Fuchsia使用了多种语言，包括C...阅读全文
Grafana v6.0.0 正式版发布了。Grafana 是一个功能丰富的指标标准仪表板和图形编辑器，用于分析和监控 Graphite、Elasticsearch、OpenTSDB、Prometheus 和 InfluxDB。 新版是 Bug 修复版本，更新内容如下： Stackdriver: fix for float64 bounds for distribution metrics #14509Stackdriver: no reducers available for distribution type #15179Dashboard: fixes click after scroll in series override menu #15621MySQL: fix mysql...阅读全文
Let’s Encrypt是一家得到Mozilla Firefox和Google Chrome支持的自动化证书颁发机构。今天该机构宣布了一项新措施，从而进一步保护用户免受网络攻击的侵害。这项新功能称之为多角度域验证（multi-perspective domain validation），可帮助证书颁发机构（CA）证明申请人对他们想要获得证书的域具有掌控权。 单角度域验证方式 多角度域验证方式 域验证并不是什么新问题，但在验证过程中还存在很多的漏洞，这意味着网络攻击者可以诱使CA机构错误的颁发证书。通过多角度域认证，网络攻击者需要同时破坏三个不同的网络路径，这不仅大大提高了安全系数，而且在互联网拓扑社区中也能更快发现网络攻击行为。 在新闻稿中，Let’s Encrypt特别感谢了普林斯顿大...阅读全文
DisplayPort和USB only、USB only等授权机制，以抵御连接到系统的潜在流氓设备。关于Linux上通过sysfs暴露的最新Thunderbolt/USB4安全控制的细节可以通过[最新的文档](https://git.kernel.org/pub/scm/linux/kernel/git/gregkh/usb.git/tree/Documentation/ABI/testing/sysfs-bus-thunderbolt?h=usb-next&id=3cd542e6e6afb6fa6c34d4094d498f42e22110f5)找到。 Linux 5.12 的 Thunderbolt 更新还包括对 ACPI 6.4 的 USB4 _OSC 的支持，对禁用 XDomain 协议的支持，以及其他...阅读全文
Keep是一款功能强大的开源告警管理和AIOps平台，它专注于帮助开发和运维团队更高效地处理告警问题。该平台提供了集中式的仪表板界面，支持与Prometheus、Grafana、Datadog、Slack等主流监控工具和通信平台的双向集成。 平台的一大特色是支持通过YAML文件声明式地定义工作流，用户可以轻松配置告警的触发条件、处理步骤和响应动作，实现告警处理的自动化。同时，Keep采用API优先的设计理念，开发者可以直接通过代码管理工作流，便于与现有系统无缝集成。 值得一提的是，Keep正在积极开发AI关联和AI摘要等智能化功能，未来将进一步提升告警处理的智能化水平，帮助团队更好地降低告警噪音，提升运维效率。这些特性使Keep成为一个极具前景的开源运维工具。...阅读全文
Jira Jira 是 Atlassian 开发的专用问题跟踪产品，提供了错误跟踪和敏捷项目管理功能。 JetBrains YouTrack YouTrack 是由 JetBrains 开发的，基于浏览器的专用商业软件，融合了错误跟踪器、问题跟踪系统以及项目管理软件。它的卖点是基于查询的问题搜索，拥有自动完成、分批处理问题、自定义问题属性集，以及创建自定义工作流的特性。 Zendesk Zendesk 可以轻松地从所有渠道跟踪每一个客户问题。目前 Uber 和 Airbnb 等许多公司都在使用 Zendesk Support 作为他们的问题跟踪软件。 源代码控制 源代码控制主要是为了控制资产，减少沟通障碍，赋能团队。目前业内比较常用的 SCM 工具包括 Git、GitHub、GitLab...阅读全文
Scrapy 是一个为了爬取网站数据，提取结构性数据而编写的应用框架。 可以应用在包括数据挖掘、信息处理或存储历史数据等一系列的程序中。本文着重介绍 Scrapy 架构及其组件之间的交互。 Scrapy 组件介绍 Scrapy Engine 引擎负责控制数据流在系统中所有组件中流动，并在相应动作发生时触发事件。 详细内容查看下面的数据流(Data Flow)部分。 调度器(Scheduler) 调度器从引擎接受request并将他们入队，以便之后引擎请求他们时提供给引擎。 下载器(Downloader) 下载器负责获取页面数据并提供给引擎，而后提供给spider。 Spiders Spider 是 Scrapy用户编写用于分析response并提取item(即获取到的item)或额外跟进的...阅读全文
Workspaces) 越来越多的科技公司开始采用单体仓库模式（mono-repository — 方便跨项目共享代码，同时避免依赖同步问题）来进行代码控制，这种模式也正逐渐被开源社区和一些小型公司所采纳。 因此，Yarn 增加了一个新特性 ——工作区。工作区可以自动从多个 package.json 中收集所有的依赖项，并一次性将它们安装完毕。项目根目录下会生成一个独立的 yarn.lock 来锁定这些文件。此外，如果多个工作区之间存在依赖，Yarn 会为它们创建链接，这样所有的项目就可以始终共享最新的代码。 自动合并 yarn.lock 文件 (Auto-merging of lockfiles) 多个开发者在开发同一个项目时，可能会需要更新包依赖，从而导致 yarn.lock 文件出现冲突。如果只有一两个...阅读全文
Windows 节点正式提供生产级别支持的 Kubernetes 版本。 UI 和 API 的性能提升 Rancher v2.2.2 中，UI 和 API 的性格都得到了大幅优化。项目相关的资源 API 调用（特别是 pod）所需的加载时间大幅减短，页面在极短的时间内即可用。 其他的修复或更新 修复了无法为 AWS 中国区域添加节点模板的问题。出于稳定性考虑，暂时移除了项目级别的监控，将在下一个版本中重新添加；集群级别的监控不受此影响。修复了发布目录模板可能因证书错误而失败的问题。修复了用于与独立 Rancher 服务器通信的自签名证书可能过期的情况。修复了 Rancher 配置集群状态在带有前缀补丁的集群中被错误提取的问题。 更新详情可查阅 RancherLabs 的 发布公告 下载地址：https...阅读全文
获取数据时的延迟。此功能在大规模的应用程序上十分重要，因为数据离应用程序越近，程序就能更快获取到数据。 antirez 受 Ben Malec 演讲的启发，他想到可以将大部分需要频繁存和取的数据直接放在服务器的内存中，以便让 Redis 为客户端完成部分工作，并使客户端缓存更简单、更有效。这个就是 Client side caching（客户端缓存）的概念。 不过这个思路有一个需要解决的问题是，如何控制数据的有效时间？在程序允许的情况下，虽然可以直接设置数据的有效时间，让数据在一段时间后失效。但 antirez 表示，大多数的应用程序无法接受提供过时的数据的风险，因此必须找到更理想的方案来控制数据的失效时间。 所以 antirez 决定开发新的协议 RESP3，在协议中加入新特性来支持客户端...阅读全文
谷歌于 1 月下旬曾向 USPTO（美国专利及商标局）递交了名为 “Pigweed” 的新商标申请。根据申请内容来看，Pigweed 商标涵盖“计算机操作软件”。当时，人们猜测这是一款新的操作系统商标，但并未有任何相关信息提供。 昨日，谷歌毫无征兆地公布并开源了 Pigweed。与之前的猜想不同，这是一个嵌入式库（或模块）的集合。使用 Pigweed 模块可以在 32 位微控制器（ 即嵌入单电路芯片中的小型计算机 ）上实现更快、更可靠的开发。 Pigweed 提供的模块可满足嵌入式开发人员的广泛需求。从整个生命周期来看，Pigweed 从设置，到开发，再到代码提交，都能够有效提高嵌入式开发的效率。谷歌以上述开发过程为轴，围绕这几个方面分别介绍了 Pigweed 的一些模块。 嵌入式空间...阅读全文
，而我们也开始考虑利用基于kubectl exec构建的工具为开发人员提供支持。此次新增的kubectl debug命令（目前为alpha版）允许开发人员在集群当中轻松调试自己的Pod，进而获得巨大的便利性增益。这项命令将创建一个即席容器，容器运行在待检查Pod旁边，同时附带有控制台以执行交互式故障排查。 SIG-CLI 调试程序的能力变得越来越必要，基于 kubectl exec，增加了 kubectl alpha debug 命令（目前为 alpha 阶段），使开发人员可以轻松地在集群中调试其 Pod。此命令允许创建一个临时容器，该容器在要检查的 Pod 旁边运行，并且还附加到控制台以进行交互式故障排除。 Windows CSI 支持 带来了用于 Windows 的 CSI 代理，目前处于...阅读全文
的大目标是制定800Gbase-R规范（base-R表示当前媒体上的当前标准系列，base-T和base-C表示前几代）。 与以前的以太网迭代一样，许多技术将被重用和开发。800Bbase-R规范（或800gbe）需要对媒体访问控制（MAC）和物理编码子层（pc）进行新的定义。这些将从 IEEE 802.3bs 标准中 400GbE 的现有规范中重新定义，重新定义为在8条 106gbps 信道上工作。为了兼容性，规范中的其他部分（如前向错误控制）保持不变。 RobStone等技术工作组主席说：“这项工作的目的是尽可能重新利用标准的400GbE逻辑，以创建一个800GbE的MAC和PC规范，从而为实施多速率以太网端口的用户提供最低的开销成本。”...阅读全文
#2342TiFlash添加上报 DeltaTree 引擎读写负载相关 metrics 信息支持 fromUnixTime 和 dateFormat 函数下推默认禁用粗粒度索引过滤器TiDB Ansible新增 TiFlash 监控 #1253 #1257优化 TiFlash 配置参数 #1262 #1265 #1271优化 TiDB 启动脚本 #1268 Bug 修复 TiDB修复 merge join 在某些场景下 panic 的问题 #15920修复在计算选择率时重复考虑某些表达式的问题 #16052修复极端情况下 load 统计信息可能出现的 panic 的问题 #15710修复 SQL query 中存在等价表达式在某些情况下无法识别导致报错的问题 #16015修复从一个数据库中查询另一个数据库的...阅读全文
Linux Kernel 5.10 有望在本周末发布，外媒 Phoronix 盘点了 10 个值得关注的改进和新功能。5.10 不仅是 2020 年最后一个内核版本，而且还是长期支持（LTS）版本。 Linux Kernel 5.10 合并窗口期在今年 10 月关闭，当时外媒 Phoronix 就发文概览了主要功能。而在 5.10 即将发布之际，外媒体再次盘点了 10 项比较有趣的功能： 1.AMD Zen 3 温度监控 AMD Zen 3 温度监控现在可以在支持 k10temp 驱动程序和其他持久 Zen 3 扩展的 Linux 上运行，这对操作至关重要。Ryzen 5000 系列在 Linux 5.8-5.9 上运行良好，并且具备所有核心功能。 2.英特尔图形 在英特尔图形方面...阅读全文
软件。RagnarLocker排名第二，泄漏了全球26家受害企业的数据。值得一提的是，美国司法部在2021年1月宣布协调国际执法行动，瓦解NetWalker勒索软件团伙。由NetWalker运营商管理的托管泄漏数据的暗网域名已经无法访问。图片来自于 派拓网络全球威胁情报团队 Unit 42最后报告提出三项建议，分别是初始进入、备份和恢复流程以及安全监控。在初始进入方面，建议企业使用者保持对电子邮件安全的认识和培训，并在恶意电子邮件进入邮箱后立即识别和补救。其次企业要进行适当的修补管理，并审查哪些服务可能暴露在互联网上。再者远端桌面服务要正确配置并确保安全，尽可能使用最低许可权，并制定策略对付勒索软件。在备份和恢复流程方面，企业需备份资料，并提前规划好适当的恢复流程。企业要确保所有备份都在离线...阅读全文
{namespace} 这个方法简单粗暴有效。因为 Kubernetes 是声明式 API，所以删掉了之后，Pod API 对象就与预期的不一致了，便会自动重新创建 Pod 保持与预期一致。但是如果ReplicaSet 管理的 Pod 对象很多的话，那么要一个个手动删除，会很麻烦，所以可以使用命令来删除 ReplicaSet， kubectl delete replicaset {rs_name} -n {namespace} 由于 Deployment 对象并不是直接操控的 Pod 对象，而是操控的 ReplicaSet 对象，而 ReplicaSet 对象就是由副本数目的定义和Pod 模板组成，所以我们也可以通过调整 ReplicaSet 的数量来实现重启，比如先 scale 到 0，然后再 scale...阅读全文
鹅，它表示着 PID 为 421 的进程，它正在查看文件柜中的文件，这代表系统中正有一个进程在访问文件系统。在右下角有一只小狗，它是看门狗，这代表对文件系统的监控。 一层（地面层） floor 看完了地基，接下来我们来看地基上面的一层，都有哪些东西。 Process Table 在这一层，最引人瞩目的莫过于中间的一块垫子，众多小企鹅在围着着桌子坐着。这个垫子的区域代表进程表。 左上角有一个小企鹅，站着，仿佛在说些什么这显然是一位家长式的人物，不过看起来周围坐的那些小企鹅不是很听话——你看有好多走神、自顾自聊天的——“喂喂，说你呢，哇塞娃（171），转过身来”。它代表着 Linux 内核中的初始化（init）进程，也就是我们常说的 PID 为 1 的进程。桌子上坐的小企鹅都在等待状态中，等待工...阅读全文
Kubernetes API在运行时一起提供服务。其他重点改进的地方包括可伸缩的准入控制器（admission controller），可插拔的云提供者，和容器运行时接口（CRI）。 新特性 安全： 网络策略 API（Network Policy API）提升至稳定状态。网络策略通过一个网络插件实现，允许用户对管理哪些 Pod 可以彼此通信的规则进行设置和强制。 节点授权器（Node authorizer）和准入控制插件（admission control plugin）是新增用来限制kubelet基于节点对Secret、Pod和其对象的访问。 Secret的加密和其他etcd中的资源，现在可用并处于alpha状态。 Kubelet TLS 启动现在支持客户端和服务端证书轮换。 由 API 服务器存储的审计日...阅读全文
来看，DevOps 的采用率从 2015 年到 2016 年增加了约 8％，预计这一数字将在 2019 年大幅增长。 根据 Statista 的报告，很多商业组织正在采用 DevOps，2018 年增长率高达 17％，而 2017 年则为 10％左右。 你可以在 RightScale 上查看完整的报告。Forrester 的报告中也明确提到了 2018 年将是 DevOps 年。我们看到了将影响来年 DevOps 发展的八个事实。 焦点从 CI 管道转到 DevOps 装配线 管道为应用程序提供了从源码控制到生产环境的一套完整的可视化视图。你可以在某个地方看到所有的内容。现在不仅要做 CI（持续集成），还要做 CD（持续交付）。企业正投入时间和精力，以便更多地了解如何自动化完整的软件开发过程...阅读全文
包已安装的情况下，合适的设备可以在使用 USB 端口连接到系统的同时自动设置使用无驱动后端。新的通用 open 命令新增加的 open 命令将作为 xdg-open（默认）或者 run-mailcap 的别名出现，具体实现则由 update-alternatives 系统管理。它旨在作为命令行交互工具，帮助用户使用默认的应用程序打开文件；所使用的程序按照具体情况可以是图形界面程序。控制组 v2在 bullseye 中，systemd 默认使用控制组 v2（cgroupv2），它提供了统一的资源控制层级架构。如果有需要，可以使用内核命令行参数重新启用旧有的 cgroups；持久化 systemd 日志在 bullseye 中的 systemd 默认启用了持久日志的功能，日志文件存放于 /var...阅读全文
显示在二者当中。 3. 桌面部件。桌面部件是指那些小型且功能专一的应用，我们可将它们随意添加到桌面当中。Cinnamon提供的选项包括CPU监控、磁盘监控、天气应用、便签、桌面相框、时间与日期等。 4. 速度。Cinnamon的运行速度极快，程序加载与显示速度也令人满意。虽然这只是根据我的主观感受而且未经任何定时测试，但可以肯定的是，它的速度表现绝不会拖累使用感受。 5. 配置。Cinnamon在可配置性方面不及KDE Plasma，但却已经足够使用甚至超出了我的预期。通过主窗口，我们可以启动特定功能配置窗口，并借此选定新的主题外观、容器边框、图标、控件、指针与桌面等。其他可选项还包括字体与背景等等。我发现其中相当一部分配置工具非常出色，且适度的限制意味着Cinnamon不会像KDE那样带来...阅读全文
