服务。如果cortex有许多的查询，则可以扩展Querier或Query Frontend微服务。高可用性– Cortex可以在实例之间复制数据replicate data。这样可以防止数据丢失，并避免度量标准数据出现间断，即使发生机器故障and/orpod被驱逐。多租户–多个不受信任的parties可以共享同一群集。Cortex在从ingester到querying的整个生命周期中提供数据隔离。这对于为多个单元或应用程序存储数据的大型组织或运行SaaS服务的人员非常有用。长期存储– Cortex将数据分块存储并为其生成索引。可以将Cortex配置为将其存储在自托管或云提供商支持的数据库或对象存储中。Cortex的需求Prometheus高可用性和数据去重Prometheus默认情况下不具有...阅读全文
慕尼黑决定放弃微软服务转向开源软件的时候，得到了很多人的支持。然而，上个月，慕尼黑表示在 Linux 客户端中心环境下，他们经常会遇到重大难题，运行 Linux 被证明最终难以维持，并决定再次投票是否迁回 Windows。 慕尼黑因为计划“戒掉”微软，并开始对 Linux 和 LibreOffice 的使用而受到了开源界关注。但其实慕尼黑并没有“戒”成功，其邮件服务器最终还是转移到了 Microsoft Exchange 上，并且，在今年 2 月份开始第一次投票，决定是否从 Linux 迁回 Windows。 上周，慕尼黑又举行了一次委员会投票，投票结果显示，社会民主党和保守党派都投票支持从 Linux 迁回到 Windows。Hubner 表示，用户对 Linux 的使用并不满意，公共部...阅读全文
Tmux 简单来说就是终端里的『窗口管理器』，如果我使用终端登录到远程主机并运行前台程序，那么这个窗口等于就被占用了，想要看一下 CPU 的使用率，就得再连接一次。但是如果在远程主机上运行 tmux，那么就可以开启多个控制台（类似于窗口），相当高效，比方说可以像下面这样： 需要注意的是，这里是在我本地使用 tmux，最好在远程主机也安装 tmux，这样就只需要连接一次。 Hello World 前面提到的窗口管理只是 tmux 功能的一小部分，另一个很有用的功能就是，连接到远程主机之后，一旦断开，那么当前账户登录的任务就被取消了，但是使用 tmux 可以在断开之后继续工作，下次登录可以查看。其他的功能还有： 窗口切换，每个窗口里还可以分割面板 配置方便，可以使用脚本 类似 vim 的双层操...阅读全文
Phoronix表示，该网站近期收到了许多用户的来信，称对 Debian GNU/Linux 放弃许多旧的硬件驱动程序的举措感到愤慨。本月初，Debian“X Strike Force”团队决定从 D... 04月23日 1,462 评论...阅读全文
，Django 软件基金会）的付费承包商 Django Fellows 合并，或者由少数活跃用户合并。Django 的所有版本现在都由 Fellows 发布。 也就是说核心 committer 团队在项目中几乎没有直接参与 Django 相关流程，并且关于 Django 开发中的几乎所有技术决策都不是在 committer 之间讨论和决定的，而是在任何人都可以参与的公共论坛上通过共识决定的。 这样的情况影响了社区中开发者的参与，也影响了 Django 项目的长期健康发展，所以社区内一直以来都在讨论改革。 Django 社区近日通过了 Django 项目新治理模型的提案 DEP 10，目前正在实施的一些变化如下： 之前的核心 committer 团队解散，相关成员的 commit 权限也将被删除。目前正在...阅读全文
| | [dovecot](https://packages.debian.org/src:dovecot) | 修复搜索包含畸形MIME邮件的邮箱时的崩溃问题 | | [dpdk](https://packages.debian.org/src:dpdk) | 新的上游稳定发布 | | [edk2](https://packages.debian.org/src:edk2) | CryptoPkg/BaseCryptLib：修复NULL析出[CVE-2019-14584] | | [emacs](https://packages.debian.org/src:emacs) | OpenPGP用户ID没有电子邮件地址时，不要崩溃 | | [fcitx](https://packages.debian.org...阅读全文
4月1日，腾讯公司发布了一段短片，跟大家开了个愚人节玩笑。腾讯宣布，筹备近两年的“AI生态鹅厂”已在贵州贵安新区完成项目主体建设，预计于年内投产运行。由于企鹅所需饲养条件较高，目前腾讯将先以贵州平坝灰鹅作为试点，未来或考虑引入天鹅和企鹅。据说还有鹅脸识别、鹅语翻译、觅影治鹅、鹅屎咖啡等技术。 今天腾讯宣布，养鹅是不存在的，但贵州贵安新区的那个山洞却是真正存在的。它叫腾讯贵安七星数据中心，是一个特高等级数据中心。 2017年10月，腾讯贵安七星数据中心工程正式进入项目建设施工阶段，项目主体为五横一竖共六个隧道。工程建成后,整个数据中心的工作、电力等设备将全部置于其中。 腾讯表示，它具有高度安全，高隐蔽、高防护的特点，将用来放置腾讯业务最核心的数据，代表着腾讯在数据产业的前瞻战略。 数据中心是...阅读全文
Harbor 1.9 发布了，此版本新功能众多，包括 tag 保留和配额、可与 CI/CD 工具集成的 Webhook 通知、数据复制、Syslog 集成以及 CVE 例外策略等安全功能。 Webhook 如果您是项目管理员，可以通过 Webhook 的通知机制，将 Harbor 的项目与您技术栈的其余部分连接在一起。简言之，如果您配置了 Webhook，Harbor 会就把该项目中发生的某些事件（包括推送、拉取、删除镜像和 Helm Charts、镜像扫描及 CVEanqu 漏洞发现）向 Webhook 端点发出通知。通过这些事件，您可以将 Harbor 与其他系统集成在一起，以简化持续集成和开发过程。理想情况下，获得 Webhook 的端点应具有一个操作侦听器，用于解释 JSON 格式...阅读全文
server 来解释, Go 服务每次都是启动一个新的 goroutine 来处理每一个请求，在这个请求的操作往往会启动新 goroutine 访问数据库或其他服务，如果此时客户端断开了连接，后续的消耗资源的操作就完全没必要了。所以我们需要一个在 goroutine 之间同步取消信号，截止时间的机制或者特定请求数据。而 Context 被设计出来就是帮我们实现这个目标。 1 2 3 |-----------| |-----------| |-----------| | goroutine |-------> | goroutine |-------> | goroutine | |-----------| |-----------| |-----------| 默认 Context context 包...阅读全文
多独特的安全功能。它还使用可读的配置语法，可以在不需要 HTTP 或 CGI 专业知识的情况下使用。 Hiawatha 的优势在于其体积小巧，安全性高，易于安装。它非常适合寻求轻量级替代 Apache 的用户，他们将安全可用性，速度和性能优先于高级功能。 Cherokee Cherokee 是我们这些服务器中第三个取自美洲原住民部落的名字。这个由 Akamai Technologies 工程总监 Alvaro Lopez Ortega 于 2001 年创建，他想将模块化和轻量化设计的速度和功能结合起来。 Cherokee 已经成为一个可扩展，高性能，用户友好的 Web 服务器，具有较低的内存占用空间和负载平衡设施。其中包括一个称为 cherokee-admin 的基于 Web 的管理界面...阅读全文
) 诡异的df算法 主要的原因就是每个分区有一个给管理员的预留空间，保证即使普通用户写满其空间，管理员还可以进行操作，普通用户的可使用空间是总空间减去预留空间，该文章并给出了具体的预留空间计算规则 reserved = fsu_blocksize * (fsu_bfree - fsu_bavail) 然后看了node_exporter的源码，核心的代码在github.com/prometheus/node_exporter/collector/filesystem_linux.go的101行 stats = append(stats, filesystemStats{ labels: labels, size: float64(buf.Blocks) * float64(buf.Bsize...阅读全文
常用开发环境、生产环境简写的含义及用途 DEV、SIT、UAT、PET、SIM、STG、PRD 缩写介绍 按开发、测试、上线的时间线排序： - DEV Development 研发环境 - SIT System Integrate Test 系统集成测试环境（内测） - UAT User Acceptance Test 用户验收测试环境 - PET Performance Evaluation Test 性能评估测试环境（压测） - STG Staging 更接近生产的功能验收、测试环境 - SIM Simulation 高仿真环境 - PRD Production 正式/生产环境...阅读全文
Falco 是云原生的容器运行时（Runtime）安全项目，主要有 Sysdig 为主开发，为 CNCF 项目，近日 Sysdig 宣布将底层的内核模块、eBPF 探针和库贡献给 CNCF。 Falco 可以轻松使用内核事件，并使用 Kubernetes 和其他云本机中的信息补充和丰富事件。Falco 具有一组专门为 Kubernetes，Linux 和云原生构建的安全规则。如果系统中违反了规则，Falco 将发送警报，通知到用户。...阅读全文
Chaos Mesh 是社区驱动的项目，项目的迭代和演进离不开社区。开源以来，Chaos Mesh 迅速成为了混沌工程领域最耀眼的开源项目之一，并且在短短的一年，在 Github 上积累了 3k+ star，吸引了 70+ 贡献者，以及吸引腾讯、小鹏汽车、Dailymotion、网易伏羲实验室、JuiceFS、APISIX、美团等在内的数十家知名用户。...阅读全文
今天我们发布了Docker CE 17.06，它包含了诸多新特性、优化和bug修复。我们在四月份的DockeCon上公布了Moby项目，Docker CE 17.06是第一个完全构建在它基础上的Docker版本。变更日志中能看到完整的更新列表，我们来看看它的一些新特性。 我们也为这篇文章制作了一个视频版本。 多阶段构建 17.06 CE最大的特性是它的多阶段构建（multi-stage builds），它最初在四月的DockerCon被公布，现在已经达到了稳定版本。多阶段构建能从一个Dockerfile中构建出更加简洁、体积更小的Docker镜像。 多阶段构建通过构建过渡镜像并产生输出。这样就能在一个过渡镜像中编译代码，在最终的镜像中只使用它的输出。例如，Java开发者通常使用Apache...阅读全文
HSTS 是一个被当前大多数 Web 浏览器所支持的 Web 安全策略，它可以帮助 Web 管理员保护他们的服务器和用户避免遭到 HTTPS 降级、中间人攻击和 Cookie 劫持等 HTTPS 攻击的危害。由于服务器管理员没能正确设置 HTTP Strict Transport Security （HSTS），现今大量的 HTTPS 流量都能被轻松劫持。 95% 的 HTTPS 连接处于风险中 据最近的 Netcraft study 报告数据显示，当前多达 95% 的服务器所运行的 HTTPS 没有正确地设置 HSTS 或其它配置，以至于将 HTTPS 连接暴露于上述攻击风险之中。 更值得注意的是，Netcraft 在三年前进行的同样扫描，不正确配置的 HSTS 比例仍同现在一样。这表明...阅读全文
我们登陆远程服务器后，常常需要下载、或者上传一些文件，我们常用的 lrzsz 对 tmux 支持不够友好，于是就有了 trzsz 这个新工具，它安装简单，使用方便，功能全面，小巧灵活，GitHub项目地址: https://github.com/trzsz/trzsz为什么需要 trzs 这个“轮子”?考虑 laptop -> hostA -> hostB -> docker -> tmux 这种场景，使用 scp 或 sftp 是不方便的。在这种场景下，使用 lrzsz ( rz / sz ) 是很方便的，但是很可惜它与 tmux 不兼容。 tmux 不愿意支持 rz / sz ( 906, 1439 )，而重新造一个工具比修改 tmux 简单很多。trzsz 安装指南在远程服务器上安装...阅读全文
一、0xcc开篇 2020年3月，得物技术团队在三个月的时间内完成了整个交易体系的重构，交付了五彩石项目，业务系统也进入了微服务时代。系统服务拆分之后，虽然每个服务都会有不同的团队各司其职，但服务之间的依赖也变得复杂，对服务治理等相关的基础建设要求也更高。 对服务进行监控是服务治理、稳定性建设中的一个重要的环节，它能帮助提早发现问题，预估系统水位，以及对故障进行分析等等。从 2019 年末到现在，得物的应用服务监控系统经历了三大演进阶段，如今，整个得物的应用微服务监控体系已经全面融入云原生可观测性技术 OpenTelemetry。 回顾过去十年间，应用服务监控行业的竞争也很激烈，相关产品如雨后春笋般涌现，如推特在 2012 年开源的 Zipkin，韩国最大的搜索引擎和门户网站 Naver...阅读全文
很重要，因为在 K8s 中没有为这些设置默认值。例如，如果一个 pod 需要 20 秒才能启动并且缺少就绪探测，那么在启动期间定向到该 pod 的任何流量都会导致失败。就绪探针应该是独立的，并且不考虑对其他服务的任何依赖，例如后端数据库或缓存服务。存活探针试应用程序是否正在运行以将其标记为健康。例如，可以测试 Web 应用程序的特定路径以确保其响应。如果不是，该 pod 将不会被标记为健康，并且探测失败将导致 kubelet 启动一个新的 pod，然后将再次对其进行测试。这种类型的探测用作恢复机制，以防进程无响应。译者：在 Kubernetes 1.18 引入了 StartUp（启动）探针。当容器启动时间较长（要花较长的时间完成初始化工作），此时应该使用启动探针。如果启动探针探测不成功，其他...阅读全文
（establishment）在欧盟境内，不论该数据处理的行为发生在境内或境外，该数据控制者或处理者及其欧盟境内的营业场所都将受到GDPR的约束——前提是该数据控制者或处理者与欧盟境内的营业场所之间存在“不可摆脱的联系”（inextricable link）。依据第29工作组（WP 29）的观点和欧盟法院判例，“财务上的联系、提供免费网络服务以换取用户会员费或用户订阅、利用用户数据盈利”，都可被认定存在‘不可摆脱的联系’。”[5] （3） 保护性管辖：无论数据控制者和处理者是否在欧盟境内有实体机构，也不论数据处理行为是否发生在欧盟境内，只要向欧盟数据主体提供产品或服务（无论该产品或服务是否需要支付对价）[6]或监控其行为[7]，或只要处理或持有居住在欧盟的数据主体的数据的所有企业，都受GDPR的管辖。 （4） 根据国...阅读全文
Apache 软件基金会宣布 Apache Superset 成为顶级项目 (Top-Level Project, TLP)。 Apache Superset 是一款现代化的开源数据工具，用于数据探索和数据可视化。它提供了简单易用的无代码可视化构建器和声称是最先进的 SQL 编辑器，用户可以使用这些工具快速地构建数据仪表盘。 Apache Superset 将 SQL IDE、数据浏览工具、拖拽式仪表板编辑器和插件组合使用，以构建自定义的可视化效果，支持从许多关系数据库和非关系数据库中创建仪表板，这些数据库包括 SQLite、MySQL，以及 ClickHouse、Google BigQuery、Snowflake、Oracle 数据库、IBM DB2 和其他各种兼容的数据源，并且可以连接...阅读全文
Google 开发的这个容器管理系统很快成为开源历史上最成功的案例之一。Kubernetes 是一个在过去几年中快速流行起来的开源容器管理平台。它被众多大企业用于关键任务，已成为开源方面最成功的案例之一。这是怎么发生的？该如何解释 Kubernetes 的广泛流行呢？ Kubernetes 的背景：起源于 Google 的 Borg 系统 随着计算世界变得更加分布式、更加基于网络、以及更多的云计算，我们看到了单个大型的应用慢慢地转化为多个敏捷微服务。这些微服务能让用户单独缩放应用程序的关键功能，以处理数百万客户。除此之外，我们还看到像 Docker 这样的容器等技术出现在企业中，为用户快速构建这些微服务创造了一致的、可移植的、便捷的方式。 随着 Docker 继续蓬勃发展，管理这些微服务器...阅读全文
消费消息需要紧急处理，可以修改消费端程序，让其将收到的消息快速转发到其他topic(可以设置很多分区)，然后再启动多个消费者同时消费新主题的不同分区。 2）由于消息数据格式变动或消费者程序有bug，导致消费者一直消费不成功，也可能导致broker积压大量未消费消息。 此种情况可以将这些消费不成功的消息转发到其它队列里去(类似死信队列，kafka没有死信队列，需要自己写)，后面再慢慢分析死信队列里的消息处理问题。 2.1.5 延时队列 kafka没有延时队列，需要自己实现；延时队列存储的对象是延时消息。所谓的“延时消息”是指消息被发送以后，并不想让消费者立刻获取，而是等待特定的时间后，消费者才能获取这个消息进行消费，延时队列的使用场景有很多， 比如 ： 1）在订单系统中， 一个用户下单之后通常...阅读全文
Prometheus 客户端公开了在暴露服务指标时能够运用的四种指标类型。查看 Prometheus 的文档 以获得关于各种指标类型的深入信息。 Counter（计数器 一种累加的 metric，典型的应用如：请求的个数，结束的任务数，出现的错误数等。随着客户端不断请求，数值越来越大。例如api_http_requests_total{method="POST", handler="/messages"} Gauge（计量器） 一种常规的 metric，典型的应用如：温度，运行的 goroutines 的个数。返回的数值会上下波动。 例如 go_goroutines{instance="172.17.0.2", job="Prometheus"} Histogram（分布图） 可以理解为柱状图，典型的应用如...阅读全文
Nginx 1.14.1 稳定版和 Nginx 1.15.6 主线版已发布，主要修复了 HTTP/2 （CVE-2018-16843，CVE-2018-16844）以及 MP4 模块（CVE-2018-16845）中的漏洞，具体如下： Nginx 1.14.1 Security: 在使用 HTTP/2 时可能导致客户端内存消耗过大 (CVE-2018-16843)，CPU 使用率过高 (CVE-2018-16844)； Security: 使用 ngx_http_mp4_module 处理特制的 mp4 文件可能导致工作进程内存泄露（CVE-2018-16845）； Bugfix: 使用 gRPC 后端可能会导致内存过度消耗。 Nginx 1.15.6 在 1.14.1 的基础上额外包含...阅读全文
PromQL 是 Prometheus 提供的一个函数式的表达式语言，可以使用户实时地查找和聚合时间序列数据。表达式计算结果可以在图表中展示，也可以在 Prometheus表达式浏览器中以表格形式展示，或者作为数据源，以 HTTP API 的方式提供给外部系统使用。PromQL 虽然以 QL 结尾，但是它不是类似 SQL 的语言，因为在时间序列上执行计算类型时，SQL 语言相对缺乏表达能力。而 PromQL 语言表达能力非常丰富，可以使用标签进行任意聚合，还可以使用标签将不同的标签连接到一起进行算术运算操作。内置了时间和数学等很多函数可以使用 选择序列选择指定指标名称的序列最新样本： my_metric_name选择指定指标名称序列5分钟的样本范围： my_metric_name[5m]筛...阅读全文
将会主动触发一次子任务的执行, 多个子任务用逗号分隔； 22、一致性：“ 调度中心” 通过 DB 锁保证集群分布式调度的一致性, 一次任务调度只会触发一次执行； 23、自定义任务参数：支持在线配置调度任务入参，即时生效； 24、调度线程池：调度系统多线程触发调度运行，确保调度精确执行，不被堵塞； 25、数据加密：调度中心和执行器之间的通讯进行数据加密，提升调度信息安全性； 26、邮件报警：任务失败时支持邮件报警，支持配置多邮件地址群发报警邮件； 27、推送 maven 中央仓库: 将会把最新稳定版推送到 maven 中央仓库, 方便用户接入和使用; 28、运行报表：支持实时查看运行数据，如任务数量、调度次数、执行器数量等；以及调度报表，如调度日期分布图，调度成功分布图...阅读全文
/winehq.key sudo apt-key add winehq.key 添加winehq源 然后在/etc/apt/sources.list添加源 deb https://dl.winehq.org/wine-builds/debian/ buster main 更新源 sudo apt update 正式安装wine sudo apt install --install-recommends winehq-stable 按上面先添加FAudio源再添加winehq源顺序，笔者在这步install中没有依赖问题一步安装成功。而实践中反过来则会有很多依赖问题，需要注意顺序不能反。 附注：卸载wine则用 sudo apt --purge autoremove --install-recommends...阅读全文
生态 微软 CEO Nadella 谈到了微软在过去几年中如何成为 GitHub 上最活跃的组织，提交了超过 200 万次的项目 commits 和 updates ，并表示微软正在全身心地投入开源。 至于 GitHub 将如何发展成为一家微软公司，Nadella 主要关注三大策略：在开发周期的各个阶段为开发者赋能，加速 GitHub 用于企业开发，并利用该平台让更多用户使用微软的开发工具和服务。 2、保持 GitHub 的开放性 GitHub 创始人 Chris Wanstrath 表示，无论使用的是哪种编程语言、平台、操作系统或编码设备，GitHub 都会是面向所有开发者的开放平台。像之前的 LinkedIn 和 Minecraft 一样，Nadella 时期的微软会让被收购的公司保持其...阅读全文
aws-sdk-cpp 源代码构建添加各种代码质量检查和实用程序 Bug Fixes 将 Windows MSI ErrorControl 设置为 normal 而不是 critical改进 CMake 中子模块的使用修复 MacOS 应用层防火墙表修复 BPF 事件表中的问题Linux 下 PCI 设备表的重构与改进在 Windows processes 表上实现 PID 索引改进 WHERE IN() 性能改进内部 HTTP 客户端 Table Changes 对 Darwin(Apple OS X) 添加了表 alf_services对 Microsoft Windows 添加表 connectivity、default_environment 及...阅读全文
), Buster (又名10) 和 sid (又名Unstable)；以及其他各种使用 Systemd 的 linux 发行版。 已推出安全修补程序来解决此问题, 因此强烈建议用户和系统管理员安装它们, 并尽快更新他们的 linux 发行。 本文由：vulners 发布，版权归属于原作者。如果转载，请注明出处及本文链接：http://toutiao.secjia.com/linux-systemd-rce-cve-2017-9445 如果此文章侵权，请留言，我们进行删除。...阅读全文
在使用了一段时间后，决定由 CentOS 转移到 Debian 上，以便在低配置的服务器上网站能更加的稳定，Shadowsocks 服务也有之前的 python 版本转移到了 shadowsocks-libev 版本，原因是 libev 的版本是用 C 语言写的，会更加的节省内存，更重要的是该 libev 一直在不断的维护着，更新也很频繁。 搭建环境 本人还是在 Vultr.com 的 VPS 上安装了 Debian 8.0 x86 minimal 系统，在 Debian 8(Jessie) 编译 libev 版本需要开启 debian-backports 来安装 dh-systemd 和 init-system-helpers. 首先要在 debian 的源列表中添加 backports...阅读全文
关。 18. 针对单点故障——实施冗余。 19. 为了容错性和持久性——实施数据复制。 20. 对于用户到用户的快速通信 — 使用 Websockets。 21. 分布式系统中的故障检测——实现心跳。 22. 数据完整性——使用校验和算法。 23. 高效的服务器扩展——一致性哈希。 24. 去中心化数据传输——考虑 Gossip 协议。 25. 基于位置的功能 — 使用四叉树、Geohash 等。 26. 避免特定的技术名称 — 使用通用术语。 27. 高可用性和一致性的权衡——最终一致性。 28. 对于IP解析和域名查询——DNS。 29. 处理网络请求中的大数据——实施分页。 30. 缓存删除策略 — 首选...阅读全文
（GitHub release）SwitchHosts! 下载地址2（百度网盘） brew方式安装 在 macOS 上，也可以使用 brew cask 安装，命令如下： brew cask install switchhosts scoop 方式安装 在 Windows 上，也可以使用 scoop 安装，命令如下： scoop install switchhosts SwitchHosts 配置文件 SwitchHosts! 的数据文件在 ~/.SwitchHosts 目录下（Windows 用户为个人主目录下的 .SwitchHosts 目录下），其中 ~/.SwitchHosts/data.json 是 hosts 数据文件，~/.SwitchHosts/prefereces.json 是配置信息。...阅读全文
谷歌宣布 .dev 顶级域名将于这周 —— 美国时间 2 月 19 日开始开放注册（早期访问阶段），想要的朋友不妨关注一下。具体价格如下图所示： .dev 域名的续费费用为每年 12美元，在2月28号开放给公众注册。在这之前注册域名需要支付额外的、一次性的预注费。与其他域名不同的时，所有的 dev 域名，默认都启用了HSTS，在HSTS的预加载列表中。 从所有权上说，.dev 以前是一个私人的，仅限谷歌使用的顶级域名。但谷歌于去年宣布从今年开始向公众开放 .dev 域名，并计划在 2019 年 1 月 16 日到 2 月 19 日期间，邀请商标持有者注册与其商标相关的域名。从 2 月 19 日到 28 日，进入早期访问阶段，允许普通用户注册。 早在 2015 年，Google 豪掷...阅读全文
Scrapy 是一个为了爬取网站数据，提取结构性数据而编写的应用框架。 可以应用在包括数据挖掘、信息处理或存储历史数据等一系列的程序中。本文着重介绍 Scrapy 架构及其组件之间的交互。 Scrapy 组件介绍 Scrapy Engine 引擎负责控制数据流在系统中所有组件中流动，并在相应动作发生时触发事件。 详细内容查看下面的数据流(Data Flow)部分。 调度器(Scheduler) 调度器从引擎接受request并将他们入队，以便之后引擎请求他们时提供给引擎。 下载器(Downloader) 下载器负责获取页面数据并提供给引擎，而后提供给spider。 Spiders Spider 是 Scrapy用户编写用于分析response并提取item(即获取到的item)或额外跟进的...阅读全文
的定制能力。ECharts 底层依托了开源渲染引擎 ZRender ，支持 Canvas 和 SVG 等多种方式的渲染，支持 PC 、移动端、数据大屏、服务端渲染等多种设备场景。 目前，在 2018 年初发布的新版本 ECharts (4) 中，一些常用图表已支持最高达千万级的数据可视化，并且提供了小程序、无障碍访问等支持。基于 WebGL 的 ECharts-GL 能支持各种 3D 图表渲染、以及海量数据的渲染加速。目前，各种基于 ECharts 的扩展库，以及相关的可视化服务系统已经形成了丰富的产品体系和活跃的社区环境。ECharts 目前在 GitHub 上拥有 25k+ 的关注和 2k+ 的相关项目。大量的社区的反馈和贡献使 ECharts 不断地迭代进化。 业内人士认为，进入...阅读全文
10 月 31 日消息，Intel 宣布，已经为广泛部署傲腾数据中心用、非易失性内存条（Optane DC persistent memory）做好了准备。 目前，Beta 项目已经启动，参与的 OEM（原始设备制造商，如华为、联想等）和 CSP 伙伴（云服务伙伴，如谷歌、阿里巴巴、亚马逊、微软等）可以更早地向客户接入由傲腾非易失性内存条驱动的系统， 从而为 2019 年上半年批量上线奠定基础。 傲腾非易失性内存基于 3D Xpoint 技术，和目前的傲腾 SSD 共享存储芯片，从而弥补了传统 DDR4 内存不具备的数据永固和大容量特性， 单条最大 512GB，可配合 Xeon Scalable 处理器使用。 特别的，Intel 此次为傲腾 DC 非易市内存提供应用模式和内存模式，前者可理...阅读全文
Sysdig 是 Sysdig Cloud 开发的主要基于Lua语言的一个开源系统分析工具。Sysdig 能从运行的系统中，获取系统状态和行为，做过滤分析，功能上超同类开源工具。Sysdig 可以看做是 strace + tcpdump + lsof + htop + iftop 以及其他系统分析工具的合集 。 此外 Sysdig 还能对容器（如docker、coreOS、LXC）进行监控。 Sysdig 也支持windows平台和mac平台。下面我们以 Linux系统为例，举例说明 Sysdig 的用法，你也可以参考官方原文。 网络 查看占用网络带宽最多的进程：sysdig -c topprocs_net显示主机192.168.0.1的网络传输数据 as binary：sysdig...阅读全文
可以在Windows，不同的Linux发行版和MacOS上运行。OSSEC通常与Wazuh进行比较；我们将介绍OSSEC与Wazuh之间的一些细分情况，这是HIDS或SIEM用户进行的比较。在此列表的后面，我们将介绍Wazuh。作为HIDS，此工具使您能够使用签名和异常检测方法来执行日志分析，文件完整性检查，策略监视，rootkit检测和活动响应。它提供了对系统操作的有价值的洞察力，以检测异常。OSSEC采用服务器代理模型-意味着专用服务器为每个主机提供聚合和分析。要安装和配置OSSEC，步骤非常简单 ，但OSSEC确实有一些缺点。例如，如果要升级到较新的版本，除非进行导出并在迁移后将其导入，否则由于覆盖操作，您将丢失定义的规则。但是，如果您聚合多个设备和不同的服务（Web服务器，数据库，防...阅读全文
。 此外，华为路由WS5200增强版采用全千兆网口和双频1167M Wi-Fi，满足100M及以上宽带用户接入需求。点击访问华为商城。...阅读全文
全，但还是有不少恶意软件存在，因为软件可以不通过官方渠道安装。他认为 Defender 能够帮助用户免受移动设备上恶意软件和网络钓鱼攻击的侵害。 目前关于 Microsoft Defender ATP 的 iOS 和 Android 版本还没有更多详细信息，微软将在下周的 RSA 大会上展示移动端的工作进展。...阅读全文
20日举行，届时不仅仅是开发人员，也欢迎Debian用户参加。...阅读全文
随着热辅助磁记录（HAMR）技术的成熟，希捷也终于拿出了 16TB 的 3.5 英寸 Exos HAMR 硬盘驱动器。目前该产品已在全面测试阶段，且较西部数据（WD）的微波辅助磁记录（MAMR）技术有更大的优势。HAMR 可借助激光对下方盘片进行加热，使磁头更易于记录、从而实现更高的存储密度。 希捷表示，HAMR 磁头的可靠性，已经超越了“行业标准”。 目前希捷正在对 16-TB HAMR 驱动器进行一系列的基准和集成测试，例如检查它们是否能够对控制器的命令做出了适当的响应。该制造商指出，客户无需做出任何特殊的改动，即可直接像传统 3.5" 硬盘驱动器那样使用 HAMR 驱动器。 如果一切顺利，希捷有望在 2020 年提供容量高达 20 TB 的 HAMR 硬盘驱动器产品。...阅读全文
Debian 团队宣布 Debian 9 Stretch 在发布时将不太可能会支持 Secure Boot。Debian 9 的代码在今年 2 月冻结，之后开发者的精力转向解决 bug 等问题上。 UEFI Secure Boot 是微软在 Designed for Windows 8 认证时要求 OEM 的产品必须支持，它的设计目的是防止恶意程序潜入到引导进程，用户如果想要在机器上安装替代操作系统，那么该操作系统需要获得微软的有效签名。Debian 团队称，shim 得到了微软签名，但 dak 没有。 开发者表示，虽然 Stretch 在发布时可能不会支持 Secure Boot，但在 Stretch 生命周期内引入 Secure Boot 支持仍然是可能的。...阅读全文
迷你机渐渐成为一些PC用户的心头好，尤其是对那些只考虑软路由、HTPC、办公、影音、轻度游戏等需求的消费者。日前我们发现一款来自国内厂商、正在阿里速卖通上销售的锐龙迷你机。这款产品来自大唐（Maxtang），尺寸仅为18x18.2x3.7cm，也就是1.2L，重量1kg，手掌就能托起。 配置方面，搭载的是AMD锐龙V1605B嵌入式处理器，4核8线程，加速3.6GHz，15瓦 TDP，CPU性能看齐i5-8205U，GPU性能更是远超UHD620。 其它方面，双通道DDR4内存，两个M.2扩展位，两个千兆网口，八个USB接口、4个DP接口（国内版是1DP+1HDMI、六USB）。 速卖通上，无内存/硬盘版本414美元，8+256GB版本495美元，国行4+128GB起步价2699元，不知道...阅读全文
即将到来的Debian 9发行版本近日选定由Juliette Belin设计创建的“softWaves”主题作为默认主题。今年10月上旬Debian团队从艺术家提交的作品中精心筛选出了12个主题，在经过3479名Debian贡献者单选投票之后在今天终于确认了这个主题。 对于选定的“softWave”主题，Laura Reina和Niels Thykier写道：“我们非常感谢所有设计师为Debian 9发行版本提供了卓越的壁纸和艺术品，也希望有更多感兴趣的人参与到这项活动中来并加入我们的设计团队。我们考虑将会预安装所有这些主题，以便于Debian用户能够更轻松的访问这些优秀作品。” 关于softWave的主题信息可以访问这里...阅读全文
变得完全可持续。即便明天他被汽车撞了，Ubuntu 项目也能继续发展下去。他还说到，这是不是有点神奇？这样一个世界级的企业平台，完全免费提供，但它却是可持续的。 此外，Mark Shuttleworth 表示 Canonical 公司将会集中在云以及物联网领域发展。 失去 Unity 可能是对桌面用户的一大打击，但它有助于平衡公司的其他部分。...阅读全文
Google 发布了一个名为 container-diff 的开源项目，这是一个分析和比较容器镜像的工具，可用来分析 Docker 镜像之间的差异。 container-diff 可通过几个不同的标准来检查镜像，包括： Docker 镜像历史 镜像文件系统 Apt 包管理器 pip 包管理器 npm 包管理器 上述分析可以在单个镜像上执行，也可以在两个镜像上执行以进行比较。 该工具可以帮助用户更好地了解他们的镜像内部发生了什么变化，并让他们更好地了解镜像包含什么内容。 单个分析： container-diff analyze [Run default analyzers] container-diff analyze
--type=history [History...阅读全文
Keep是一款功能强大的开源告警管理和AIOps平台，它专注于帮助开发和运维团队更高效地处理告警问题。该平台提供了集中式的仪表板界面，支持与Prometheus、Grafana、Datadog、Slack等主流监控工具和通信平台的双向集成。 平台的一大特色是支持通过YAML文件声明式地定义工作流，用户可以轻松配置告警的触发条件、处理步骤和响应动作，实现告警处理的自动化。同时，Keep采用API优先的设计理念，开发者可以直接通过代码管理工作流，便于与现有系统无缝集成。 值得一提的是，Keep正在积极开发AI关联和AI摘要等智能化功能，未来将进一步提升告警处理的智能化水平，帮助团队更好地降低告警噪音，提升运维效率。这些特性使Keep成为一个极具前景的开源运维工具。...阅读全文
