Scrapy 架构及数据流图简介
, asynchronous programming Scrapy 组件介绍 数据流(Data flow) 事件驱动网络(Event-driven networking) 目录...阅读全文
InfraPub 为您找到相关结果 633 个
MySQL 8 第一个正式版发布：更好的性能
（"hot spot"热点竞争问题）工作负载。 2. NoSQL：MySQL 从 5.7 版本开始提供 NoSQL 存储功能，目前在 8.0 版本中这部分功能也得到了更大的改进。该项功能消除了对独立的 NoSQL 文档数据库的需求，而 MySQL 文档存储也为 schema-less 模式的 JSON 文档提供了多文档事务支持和完整的 ACID 合规性。 3. 窗口函数(Window Functions)：从 MySQL 8.0 开始，新增了一个叫窗口函数的概念，它可以用来实现若干新的查询方式。窗口函数与 SUM()、COUNT() 这种集合函数类似，但它不会将多行查询结果合并为一行，而是将结果放回多行当中。即窗口函数不需要 GROUP BY。 4. 隐藏索引：在 MySQL 8.0 中，索引可以被...阅读全文
2021勒索软件报告：平均支付赎金增长171% 黑客最高要价3000万美元
知道他们可以通过勒索软件赚钱，并且在索要赎金方面变得越发大胆。常见的勒索软件攻击包括勒索软件运营商对数据进行加密，并强迫受害者支付赎金以解锁数据。在双重勒索中，勒索软件运营商会加密并窃取数据，进一步胁迫受害者支付赎金。如果不支付，勒索软件运营商就会将数据公布到泄漏网站或暗网，大部分数据泄漏网站都托管在暗网，而这些托管站点由勒索软件运营商创建和管理。在新冠疫情下，医疗行业成今年勒索软件最大目标。不法之徒得知医疗机构需要继续营运以治疗新冠患者，无法承担系统被锁定的后果，继而通过勒索软件进行攻击。勒索软件Ryuk在众多勒索软件中尤其猖獗。利用这种手段最多的勒索软件是NetWalker。从2020年1月到2021年1月，NetWalker泄漏了全球113家受害企业的数据（见下图），远远超过了其他勒索...阅读全文
IBM宣布以340亿美元收购RedHat 组建混合云提供商
多数公司租用计算能力来削减成本，它们的云计算之路仅走到 20％”，她解释：“接下来的 80％ 是关于释放实际业务价值和推动增长的，这才是云的未来。它需要将业务应用程序转移到混合云中，提取更多数据并优化从供应链到销售业务的每个部分。“ Red Hat 总裁兼首席执行官 Jim Whitehurst 表示：“开源是现代 IT 解决方案的默认选择，我对 Red Hat 在企业中实现这一目标所发挥的作用感到非常自豪。与 IBM 合作将为我们提供更高水平的规模、资源和能力，以加速开源作为数字化转型基础的影响，并将红帽带给更广泛的受众。同时保留我们独特的文化和坚定不移的开源创新承诺。“ 如果一切顺利，预计该交易将在明年下半年完成。...阅读全文
Debian下安装配置 Hadoop 3.1.3 集群
HTTP port is 9870.Resourcemanagerhttp://192.168.20.101:8088Default HTTP port is 8088.MapReduce JobHistory Serverhttp://192.168.20.101:19888Default HTTP port is 19888. 1. 静态网络的配置 目录...阅读全文
2017年的Linux内核防护依然脆弱
"Linux 内核 “社区” 对待安全的优先级并不高，虽然经历了 2000 年代的多次大规模漏洞利用事件但并没有让 Linus Torvalds 本人改变 "A bug is bug" 的哲学，由于 Linux 内核的安全问题逐渐影响到了 Android 和 IoT 设备，一次 华盛顿邮报的曝光促使了 KSPP（Linux 内核自防护项目）的成立。 KSPP 是由 Linux 基金会旗下的 CII（基础架构联盟）管理，其吸纳了来自诸多大厂商（Google, RedHat, Intel, ARM 等）的工程师进行联合工作，可惜的是两年的时间过去了，KSPP 大多时候只是在重复的抄袭 PaX/Grsecurity 的各种特性以获得各自雇主那里的 KPI 和 credit，各种混乱的代码合并到了...阅读全文
系统分析工具 Sysdig 详解
login shell with the given ID：sysdig -r trace.scap.gz -c spy_users proc.loginshellid=5459 容器 应用 硬盘 I/O 进程和CPU使用率 性能和错误 安全 目录...阅读全文
Postgres 10 开发者新特性
目前非常流行的RDBMS PostgresSQL已经在几周前发布了它的第10个版本。由于Postgres的可靠性、节约成本、成熟，当然还有它的开源，已经21岁的Postgres在开发者之中仍旧非常流行。 Postgres 10带来了一些新特性，其中一些特性另开发者感到十分兴奋。10Clouds在博客中详细介绍了其中的一些特性。通过消除主表（master table）中触发器（trigger）的需求，本地分区（native partitioning）现在变得更简单了。这意味着创建分区表将变得更简单，并且从开发者的角度来看，现在从分区数据表中进行查询和插入与在非分区的数据表进行这些操作是完全一致的。 多列统计（multicolumn statistics）是Postgres 10的另一项改进...阅读全文
ChaosMesh 的基本功能有哪些
混沌实验场景，以及方便地将已有的混沌实验场景复用到其他应用混沌实验中，大大降低了混沌实验的成本。目前混沌实验场景提供的功能有：编排串行混沌实验编排并行混沌实验支持状态检查步骤支持中途暂停混沌实验支持使用 YAML 文件定义和管理混沌实验场景支持通过 Web UI 定义和管理混沌实验场景具体的实验场景配置，参考具体创建 Chaos Mesh Workflow。可视化操作Chaos Mesh 为用户提供了单独的 Chaos Dashboard 组件，即可视化支持。Chaos Dashboard 极大地简化了混沌实验，用户可以直接通过可视化界面来管理和监控混沌实验，仅需点一点鼠标就能够定义混沌实验的范围、指定混沌注入的类型、定义调度规则，以及在界面上获取到混沌实验的结果等。安全保障Chaos...阅读全文
OpenSSL 3.0 正式发布，更改许可协议并弃用所有低级别 API
提供的所有算法实现都可以通过“高级” API 访问，无法使用 “低级 API” 访问它们。目前可用的一个标准 Providers 是 FIPS Providers。这使得 FIPS 验证的加密算法可用。FIPS Providers 默认处于禁用状态，需要在配置时使用enable-fips选项显式启用。如果启用，除了其他标准 Providers 之外，还会构建和安装 FIPS Providers，不需要单独的安装过程。低级别的 APIOpenSSL 历来提供两套用于调用加密算法的 API："高级" API（如 EVP API）和 "低级" API。高级别的 API 通常被设计成适用于所有算法类型。而 "低级" API 则是针对特定的算法实现的。长期以来，OpenSSL 开发团队一直不鼓励使用低...阅读全文
Debian 9更新到最新的Linux内核
@debian.cn:~$ wget http://mirrors.kernel.org/debian/pool/main/l/linux/linux-headers-5.0.0-trunk-all_-all_5.0.6-trunk-all__amd64.debname@debian.cn:~$ sudo dpkg -i linux-*.deb 注意文件名可能有差异，在下载时需要注意。最后一步安装后，重启一次，就可以用 dpkg -l | grep linux 看到新安装的 5.0.2 的内核了。 更新 Kernel.org 提供的内核 目录...阅读全文
在 Mac OS X 上安装 Nessus 10
/Nessus/run/var/nessus/plugin_feed_info.inc /Library/Nessus/run/lib/nessus/plugins/plugin_feed_info.inc （1）更新插件 sudo /Library/Nessus/run/sbin/nessuscli update all-2.0.tar.gz all-2.0.tar.gz 为默认名称，请根据插件离线包的实际路径和文件名修改 (sysin) （2）写入配置文件 编辑 plugin_feed_info.inc 文件（这两个文件可能源目录下没有，需要自己创建）： sudo vi /Library/Nessus/run/var/nessus/plugin_feed_info.inc sudo vi...阅读全文
Linux 上如何禁用 USB 存储设备
block_usb.conf (也可能叫其他名字) ， $ sudo vim /etc/modprobe.d/block_usb.conf 然后将下行内容添加进去： install usb-storage /bin/true 最后保存文件并退出。 方法 2：删除 USB 驱动 这种方法要求我们将 USB 存储的驱动程序（usb_storage.ko）删掉或者移走，从而达到无法再访问 USB 存储设备的目的。 执行下面命令可以将驱动从它默认的位置移走： $ sudo mv /lib/modules/$(uname -r)/kernel/drivers/usb/storage/usb-storage.ko /home/user 现在在默认的位置上无法再找到驱动程序了，因此当 USB 存储器连接到系统上时也就无法加载到驱动...阅读全文
Golang Context 探究
server 来解释, Go 服务每次都是启动一个新的 goroutine 来处理每一个请求，在这个请求的操作往往会启动新 goroutine 访问数据库或其他服务，如果此时客户端断开了连接，后续的消耗资源的操作就完全没必要了。所以我们需要一个在 goroutine 之间同步取消信号，截止时间的机制或者特定请求数据。而 Context 被设计出来就是帮我们实现这个目标。 1 2 3 |-----------| |-----------| |-----------| | goroutine |-------> | goroutine |-------> | goroutine | |-----------| |-----------| |-----------| 默认 Context context 包...阅读全文
基于thanos搭建分布式prometheus
sidecar和prometheus则走原生HTTP接口拿数据。 为了高可用，我们可以部署多个prometheus同时抓取。 为了打散采集/存储压力，我们可以部署多个prometheus各自抓取部分数据。 无论出于上述哪种目标或者混合目标，最终依靠Querier的正确配置都可以提供统一的Promql查询入口给Grafana，这一点是毋庸置疑的。 这里看到了图中有几个陌生的组件： Store Bucket Compactor Prometheus单机存储空间有限，SideCar和Prometheus在同POD内共享数据volume，然后sidecar可以自动将prometheus磁盘数据上传到Bucket里归档存储；后续Querier可以通过Store组件从Bucket拉取到历史数据，这样就实现了历史数据...阅读全文
Java Annotations详解
Java注释被用来为java代码提供元数据(meta data)。作为元数据，注释不会直接影响代码的执行结果，不过事实上有些注释就是为了影响代码的执行结果而定义的。 Java注释是从Java 5开始添加的。本文对于Java注释的讨论是基于java 6的，据我所知，到目前为止Java 7中关于注释的部分并没有发生改变，所以本文对java 7编程人员上来说应该也是可用的。 目录： · Java 注释的作用 · 注释的基础知识 · 注释的位置 · Java中预置的注释 · 创建你自己的注释 Java 注释的作用 预编译指令(Compiler instructions) 编译时指令(Build-time instructions) 运行时指令(Runtime instructions) Java有...阅读全文
Debian 9 使用kubeadm创建 k8s 集群（下）
; 我们告诉kubeadm使用相同的子网。第二个任务在/home/sammy创建一个.kube目录。 此目录将保存配置信息，例如连接到群集所需的管理密钥文件以及群集的API地址。第三个任务将从kubeadm init生成的/etc/kubernetes/admin.conf文件复制到非root用户的主目录。 这将允许您使用kubectl访问新创建的集群。最后一个任务运行kubectl apply安装Flannel 。 kubectl apply -f descriptor.[yml|json]是告诉kubectl创建描述descriptor.[yml|json]文件中descriptor.[yml|json]的对象的语法。 kube-flannel.yml文件包含在集群中设置Flannel所需的...阅读全文
在 Kubernetes 上扩展 TensorFlow 模型
。  默认情况下，KPA 基于每个 pod 的平均传入请求数对模型进行扩展。KFServing 将默认的并发的目标数量设置为 1，这意味着如果服务收到三个请求，KPA 将把它扩展到三个 pod 副本。你可以通过更改 **autoscaling.knative.dev/target** 注释来定制这个行为，就像上面的例子一样，你把它设置为 10。一旦启用此设置，只有当并发的请求数增加到 10 时，KPA 才会增加副本数。 通过 KFServing，你可以配置其他自动扩展目标。举例来说，你可以使用 **requests-per...阅读全文
Cortex: 高可用和水平扩展Prometheus监控系统
Prometheus已成为cloud-native世界中的默认监控应用程序和系统。对于真是使用案例，Prometheus应该是高可用的，这是有挑战的。一旦在高可用性模式下运行Prometheus，就会遇到很多问题，例如数据重复，为重复数据实现single pane等。为了解决此问题，Cortex诞生了。Cortex是一个CNCF sandbox project，旨在为使用Prometheus 收集的指标提供长期存储和全局指标视图。首先让我们看一下Cortex的主要目标，然后看一下它为Prometheus解决的一些问题。水平可伸缩性– Cortex可以分成多个微服务，每个微服务都可以独立地水平伸缩。例如，如果许多Prometheus实例正在向Cortex发送数据，则可以扩展Ingester微...阅读全文
粘合万种芯片的“万能胶” 是摩尔定律的续命丹吗？ - 硬件
展已经有一段时间了，但业内一直各自为政，由于没有统一的接口标准，"胶水"芯片生态难建，大公司止步不前，小公司也不敢迈出第一步。长期以来，摩尔定律的持续演进被视为芯片性能提升的主要途径。经历四十多年的发展，构成芯片的晶体管几乎要缩小到原子级别，不仅面临难以突破的物理极限问题，制程升级的投入产出比也大幅下降，业界开始寻找新的办法提升产品性能，例如，通过改变封装的方式提升晶体管密度。提出摩尔定律的戈登本人也意识到了封装的重要性，他在论文中写道："事实证明用较小的功能模块构建大型系统可能会更经济，这些功能模块将分别进行封装和互连。"简单来讲，也就是将原先生产好的芯片集成到一个封装中，达到减少产品开发时间和成本的目的，这些芯片模块可以是不同工艺节点，最终通过裸片对裸片的方式连接在一起，这一类似于用胶水...阅读全文
JDK 11 版本时间表公布
在 JDK 10 发布两天之后，Oracle Java 平台组首席架构师 Mark Reinhold 提出了 JDK 11 GA 发布的时间表： 6 月 28 日：第一阶段开发（从主分支 fork） 7 月 19 日：运行所有测试 7 月 26 日：第二阶段开发 8 月 16 日：初始候选版本 8 月 30 日：最终候选版本 9 月 25 日：正式版 到目前为止，包含在 JDK 11 中的 JEP 有： JEP-309：动态类文件常量 JEP-318：Epsilon：一款低开销的垃圾收集器 JEP-320：移除 Java EE 和 CORBA 模块 JEP-323：Lambda 参数的局部变量语法 JDK 11 的 早期体验版本 在 JDK 10 发布前的一个月就有了。Reinhold 之...阅读全文
Linux 系统 vim 编辑器使用简明教程
做文字输入，按ESC键可回到命令模式。 3) 底行模式（last line mode） 将文件保存或退出vi，也可以设置编辑环境，如寻找字符串、列出行号。 不过一般我们在使用时把vi简化成两个模式，就是将底行模式也算入命令模式。 一、打开文件、保存、关闭文件(vi命令模式下使用) vi filename //打开filename文件 :w //保存文件 :w debian.cn //保存为当前目录下的文件"debian.cn" :q //退出编辑器，如果文件已修改请使用下面的命令 :q! //退出编辑器，且不保存 :wq //退出编辑器，且保存文件 :x! //退出编辑器，且保存文件，忽略是否对文件具有写权限 二、插入文本或行(vi命令模式下使用，执行下面命令后将进入插入模式，按ESC键可退...阅读全文
如何校验 Debian 软件包的 MD5
生成MD5和。 all――指令debsums忽视磁盘上和，使用deb文件中存在的和，或者如果没有的话，就用它生成一个。 keep――指令debsums把提取/生成的和写入到/var/lib/dpkg/info/package.md5sums文件。 nocheck――意味着提取/生成的和没有对照已安装软件包来进行校验。 如果你看一下目录/var/lib/dpkg/info/的内容，就会看到各个文件的md5sum，如下图所示： $ cd /var/lib/dpkg/info $ ls *.md5sums 列出软件包的所有MD5和： a11y-profile-manager-indicator.md5sums account-plugin-facebook.md5sums account...阅读全文
十条关于 WordPress 安全性的小贴士
-config.php 包含了数据库访问凭据和其他一些对入侵系统有助的有用信息。大多数人都将其保留在主要的 WordPress 文件夹中，但可以将其移动到上层的文件夹。大多数情况下，该文件夹位于 Web 服务器根目录之外，而且无法通过 HTTP 请求进行访问。 或者，也可以通过配置 Web 服务器（如 Apache .htaccess 文件）来保护它： order allow,deny deny from all 6. 尽可能授予用户最低权限角色 用户是任何系统最弱的一点 — 特别是当他们可以选择使用自己的弱口令并将其传给任何问他们索要的人时。WordPress 提供了 一系列的角色和功能 。大多数情况下，用户应该是： 编辑： 可以发布和管理自己和其他人的帖子的人 作者： 可以发布和管理自己的帖子的人 贡献者...阅读全文
监控Kubernetes集群证书过期时间的三种方案 - OSCHINA
kubelet_server_expiration_renew_errors kubelet_certificate_manager_client_ttl_seconds kubelet_certificate_manager_server_ttl_seconds 监控效果 对应的 Prometheus 告警规则如下: 方案三: 使用 enix 的 x509-certificate-exporter 监控手段 该 Exporter 是通过监控集群所有node的指定目录或 path 下的证书文件以及 kubeconfig 文件来获取证书信息. 如果是使用 kubeadm 搭建的 Kubernetes 集群, 则可以监控如下包含证书的文件和 kubeconfig: watchFiles: - /var/lib/kubelet/pki/kubelet-client...阅读全文
为保护隐私而生 反取证操作系统：Kodachi
和使用 sudo 为默认 – >使用当前密码 – >OK ->使用当前密码 ->OK。 完成以上操作后，接着我们来重启系统，此时它将从你的硬盘驱动器启动。 注意： 我们不建议在任何电脑上永久安装 Kodachi Linux，因为它会将所有的设置保存在硬盘上，这就违背了该系统反取证的初衷！了解更多关于取证内容，请点击 这里 。 Kodachi 是一个基于 Debian 的实时 DVD / USB 操作系统，因此所有软件包，也都基于纯 Debian 存储库。 Kodachi 是 Apache License 2.0 下的开源项目，所有在系统上使用的代码都是纯文本 bash 脚本，并且包含在 ISO 包中，没有编译过的二进制代码， 也没有隐藏的 Kodachi 代码，这些代码都可在 GitHub...阅读全文
Debian 11 "bullseye" 发布，带来内核 exFAT 支持
Linux 内核的发行版本，且它默认使用该实现挂载 exFAT 文件系统。因此，用户不再需要使用 exfat-fuse 软件包所提供的用户空间文件系统实现。如果您要继续使用用户空间文件系统的实现，您需要在挂载 exFAT 文件系统时直接调用 mount.exfat-fuse 命令。创建和检查 exFAT 文件系统的工具位于 exfatprogs 软件包，它由 Linux 内核 exFAT 实现的作者编写。由已有的 exfat-utils 软件包提供的独立实现仍然可用，但它不能与新的实现共同安装在系统上。我们推荐您迁移到使用 exfatprogs 软件包，尽管您需要注意并处理两者可能不互相兼容的命令行选项。改进的 man page 翻译部分项目，例如 systemd、 util-linux...阅读全文
深入学习golang — channel
可以提供一个可选的整型参数，用于设置该channel的缓冲区大小。该值缺省为0，用来构建默认的“无缓冲channel”，也称为“同步channel”。 Channel作为goroutine间的一种通信机制，与操作系统的其它通信机制类似，一般有两个目的：同步，或者传递消息。 2. 同步 c := make(chan int) // Allocate a channel. // Start the sort in a goroutine; when it completes, signal on the channel. go func() { list.Sort() c <- 1 // Send a signal; value does not matter...阅读全文
RabbitMQ 高可用实现镜像队列
rabbitmqctl在离线节点上执行forget_cluster_node命令，迫使RabbitMQ在未启动的slave节点中选择一个作为master。当在A节点执行rabbitmqctl forget_cluster_node -offline B时，RabbitMQ会mock一个节点代表A，执行forget_cluster_node命令将B提出cluster，然后A就能正常启动了。最后将新的slave节点加入A即可重新恢复镜像队列 场景5：A先停，B后停，且A和B均无法恢复，但是能得到A或B的磁盘文件 这个场景更加难以处理。将A或B的数据库文件（$RabbitMQ_HOME/var/lib目录中）copy至新节点C的目录下，再将C的hostname改成A或者B的hostname。如果copy过来的是A节点...阅读全文
译：Kubernetes 最佳实践
本文翻译自 Jack Roper 的文章 Kubernetes Best Practice。译者：文章中作者从应用程序开发、治理和集群配置三个方面给出了一些 Kubernetes 的最佳实践，同时翻译过程中也加入了我过往的一些使用经验。有误的地方，也欢迎大家指正。在这篇文章中，我将介绍一些使用 Kubernetes (K8s) 时的最佳实践。作为最流行的容器编排系统，K8s 是现代云工程师掌握的事实标准。众所周知，不管使用还是维护 K8s 复杂的系统，因此很好地掌握它应该做什么和不应该做什么，并知道什么是可能的，将是一个好的开局。这些建议包含 3 大类中的常见问题，即应用程序开发、治理和集群配置。最佳实践目录使用命名空间使用就绪和存活探针（译者注：还有启动探针）使用自动缩放使用资源请求和约...阅读全文
三个技巧 大幅减少 Docker 镜像体积
压缩为单个提交。事实证明，在 Docker 中也可以使用多阶段构建达到类似的目的。在这个示例中，你将构建一个 Node.js 容器。让我们从 index.js 开始： const express = require('express') const app = express() app.get('/', (req, res) => res.send('Hello World!')) app.listen(3000, () => { console.log(`Example app listening on port 3000!`) }) 和 package.json： { "name": "hello-world", "version": "1.0.0", "main...阅读全文
Debian 相比 Ubuntu 有哪些不同之处
非常易于使用。如果你的工作习惯与这些概念不一致，可能会强烈反对Ubuntu易于使用这一观点。 然而，虽然Ubuntu源自Debian，但两者的区别还是很明显。从安装和桌面，到程序包管理及社区，大家认为自己对于Ubuntu和Debian了解的情况可能是错误的，或者至少需要作一些严格限制――这一切使选择哪个发行版适合贵公司的业务战略显得非常困难。 安装方面的区别 眼下，你可以使用哪个发行版取决于拥有的硬件。Debian目前面向大约13种硬件架构：从标准的32位和64位英特尔架构到ARM和PowerPC架构，还支持另外两种正在开发的架构。相比之下，Ubuntu支持32位和64位版本这两大不同的计算机桌面环境，现正在为移动设备开发Ubuntu ARM版本。 要考虑的另一个方面是面向每个发行版的安装程...阅读全文
一位五年工作经验架构师的感悟
写给五年陈的自己 写周报，写的兴起，编写周报，还边用虎跑泉，泡铁观音喝。自己写周报的**惯还是要改一改，自己是个性情中人，写个周报也透露了太多情感在周报里。有很多人肯定觉得不好，也许以后我也会改，改的越来越干练，掏心的话少说。 兴奋了，喝了茶，睡不着了。灵感闪动，本周是个值得纪念的日子，写个文章纪念下过去。 回想这一路路走来，还是很感恩收获的一切，我渐渐从一名菜鸟，成长为一位架构师，记得毕业的时候我给自己定的目标是：五年要成为一方面的专家。虽然，实际的成长比这个慢了两年，但是我还是庆幸自己当初果断的裸辞，然后进入支付宝。 每个架构师都是独立无二的，每个架构师都应该有自己的情怀，这些情怀是你的世界观。 我是如何成长为一个架构师的，我姑且给自己定的 title 就是架构师，不要认为有架构师的...阅读全文
最新评论
