InfraPub 为您找到相关结果 718

Kafka 3.3 使用 KRaft 共识协议替代 ZooKeeper

引入的新的仲裁确保元数据在整个仲裁中可以被准确复。活动将元数据存储在事件源日志主题中,仲裁中的其他对活动创建的事件做出响应。事件日志定期进行快照,确保日志不会无限增长。与基于 ZooKeeper 的不同,如果出现了问题,仲裁不需要从 ZooKeeper 加载状态,因为集群的内部状态已经分布在元数据主题中。这大大减少了不可用时间窗口,缩短了系统最坏情况恢复时间。下图显示了使用新的仲裁比使用 ZooKeeper 更快地关闭具有 200 万个分区的 Kafka 集群。​新的 KRaft 共识算法和仲裁使得 Kafka 集群可以扩展到数百万个分区,不仅提升了稳定性,让 Kafka 变得更容易监、管理和支持,而且让整个系统可以有一个单一的安全模型,使...阅读全文

译:Kubernetes 最佳实践

束使用 Deployment、DaemonSet、ReplicaSet 或者 StatefulSet 跨节点部署 Pod使用多节点使用基于角色的访问(RBAC)在外部托管Kubernetes集群(使用云服务)升级Kubernetes版本监集群资源和审计策略日志使用版本系统使用基于Git的工作流程(GitOps)缩小容的大小用标签整理对象(译者注:或理解为资源)使用网络策略使用防火墙使用命名空间K8s 中的命名空间对于组织对象、在集群中创建逻辑分区以及安全方面的考虑至关重要。 默认情况下,K8s 集群中有 3 个命名空间,default、kube-public 和 kube-system。RBAC 可用于对特定命名空间的访问,以限组的访问以可能发生的任何错误的爆炸半径,例...阅读全文

博文 2022-09-13 19:32:21 atbug.com

Kubernetes常用命令大全(持续更新)

分析错误)对和服务,node同样有效 kubectl describe pods xxxxpodsname --namespace=xxxnamespace 其他类似吧,就是kubectl get 具体名称 查看pod日志 kubectl logs $POD_NAME 查看pod变量 kubectl exec my-nginx-5j8ok -- printenv | grep SERVICE kubectl get cs #### 集群健康情况 kubectl cluster-info #### 集群核心组件运行情况 kubectl get namespaces #### 表空间名 kubectl version #### 版本 kubectl api...阅读全文

博文 2020-03-13 12:35:13 debian.cn

如何通过 AssumeRole 访问 AWS 的 Web 控制台

• Destination:台的目标页面,例如 https://console.aws.amazon.com/。• Issuer:可以自定义,指明是谁生成的这个 URL。4. 访问台:将生成的 URL 粘贴到浏览中即可登录 AWS 管理台。以下脚本自动完成从 AssumeRole 到生成台登录 URL 的流程:#!/bin/bash# 设置角色 ARN 和会话名称ROLE_ARN="arn:aws:iam::123456789012:role/RoleA"SESSION_NAME="MySession"# 获取临时凭证ASSUME_ROLE_OUTPUT=$(aws sts assume-role --role-arn "$ROLE_ARN" --role-session-name...阅读全文

博文 2025-01-15 15:36:30 joseph

Kubernetes v1.21 新特性预览

Kubernetes v1.21 下个月就要发布了(v1.21.0 将于 4 月 8 日发布),本文梳理该版本带来的新特性,以便你为下个月的升级做好准备。PodSecurityPolicy 弃用PodSecurityPolicy(PSP)是 Kubernetes 1.8 开始就支持的 Beta 特性,大量应用于容的安全策略。但由于其 API 不够灵活、认证模型不够完善且配置更新繁琐等缺陷,PodSecurityPolicy 将在 v1.21 正式弃用[1],并将在 v1.25 中从代码库中删除。已经使用 PodSecurityPolicy 的用户建议迁移到 Gatekeeper[2]。不可变 ConfigMap/Secret 进入稳定版当集群包含大量 ConfigMap 和...阅读全文

博文 2021-03-30 20:24:36 mp.weixin.qq.com

QEMU 5.0 稳定版发布

设备HPPA: 通过 HP Artist 图形设备支持图形台MIPS: 支持 GINVT (global TLB invalidation) 指令PowerPC: 当 ic-mode=dual 时,‘pseries’ 机不再需要重启来进行 XIVE/XICS 中断之间的中断PowerPC: ‘powernv’ 机现在可以模拟 KVM 硬件加速,并在 TCG 模式下运行 KVM guestsRISC-V: ‘virt’ 和 ‘sifive_u’ 板卡现在支持 Linux 中的通用 syscon 驱动,以启动和重启RISC-V: ‘virt’ 板卡支持 Goldfish RTCRISC-V: 实验性支持扩展草案的 v0.5 版本s390: 当在 KVM 模式中运行时,支持适...阅读全文

博文 2020-04-30 10:20:13 debian.cn

Kong发布新项目Kuma 通用的服务网格

的数据平面和先进的平面,极大地降低了各团队使用的难度。Kuma 可以在 Kubernetes、虚拟机、容、裸机和传统环境等任意平台上运行,以落实整个组织中的云原生体验。 得益于成熟的平面,Kuma 开箱即用地使得下层网络安全、可靠和可观测,而无需更改代码。Kuma 高效的数据平面和先进的平面,允许用户通过少量的 Kubernetes 原生 CRD 或者 RESTful API 请求来方便地设置权限,暴露监数据和设置路由规则。 Kuma 的主要功能包括: 软件定义安全(Software Defined Security):Kuma 支持所有第四层流量的双向 TLS(mutual TLS)。用户可以通过简单的权限设置来实现访问。强大的生产力功能 :Kuma 使得用户能快速实现...阅读全文

Debian上安装配置Docker容器管理平台Rancher

dd9b5fcfb019d233e8e269756c6cc790d8196c6e1711135a3a8fcb351e56cdd9 现在,打开您的网页浏览并输入URL http://server-ip:8080 ,您将被重定向到Rancher管理页面,如下所示: Rancher默认情况下不配置访问。 要配置访问,请转到ADMIN选项卡并单击访问。在这个页面,点击本地 ,提供你的管理员用户名和密码,然后点击启用本地验证按钮,你应该看到以下页面:...阅读全文

博文 2018-04-10 22:27:37 debian.cn

Google 宣布新拥堵控制算法 TCP BBR

Google 宣布了 新拥堵算法 TCP BBR。Google 官方博客称新算法将 google.com 和 YouTube 的全球网络吞吐量平均改进了 4%,在某些国家改进了 14%+。 Google 解释说,现有的 TCP 拥堵算法源自 1980 年代,是为低带宽数据传输设计的,解决拥堵主要考虑丢包,也就是在网络堵塞的时候路由将会丢弃新的数据包。BBR 代表 Bottleneck Bandwidth and Round-trip propagation time,它的拥堵采用了不同的方法,考虑了网络实际的数据交付率有多快。根据最近测量的网络交付率和往返时间构建显示模型,最大化近期可用带宽和最小化近期往返延迟。BBR 使用这些数据决定数据发送速率有多快。 Google 已经...阅读全文

博文 2017-07-22 19:42:30 debian.cn

Docker 核心原理

用,容之间相互隔离,并且能按需分配资源。大大提高了运维效率和资源利用率 架构 Docker使用了 C/S 体系架构,Docker 客户端与 Docker 守护进程通信,Docker 守护进程负责构建,运行和分发 Docker 容。Docker 客户端和守护进程可以在同一个系统上运行,也可以将Docker客户端连接到远程Docker守护进程。 我们日常在命令行的操作 docker build, docker push, docker pull, docke build 等等操作都是客户端通过 rest api 请求与 Docker 守护进程交互。 实现原理 下面我们就介绍一下 Docker 在实现隔离,资源,文件系统等关键部分所采用的的技术 Namespace Linux manaul...阅读全文

博文 2021-02-25 09:14:23 lxkaka

兼容 tmux 的文件上传/下载工具 trzsz ( trz / tsz ) 使用指南 支持进度条和目录传输

用户,按组合键 command + option + shift + r 可以停止 iTerm2 Coprocesses。如果 trz -b 二进上传失败,并且登录远程服务时使用了 telnet 或 docker exec:可以试试转义所有字符,例如 trz -eb。如果 trz -b 二进上传失败,并且远程服务使用 Python3 ( 版本小于 3.7 ):Python3 ( 版本小于 3.7 ) 支持 base64 模式,不使用 -b 选项即可,使用 trz 代替。如果想用 trz -b 二进上传,则需要升级 Python3 到 3.7 以上的版本,或者使用 Python2。如果 trz -b 或 tsz -b 二进传输失败,并且登录远程服务时使用了 expect:可以...阅读全文

百度运维工程师挖矿实录:四个月用155台服务器挖矿赚10万判3年

近日,百度两年前的一桩诉讼案终于有了答案。中国裁判文书网显示,百度运维员工“安某”从 2018 年1 月底到 5 月底,以技术手段在公司服务上部署“挖矿”程序,非法 150 余台服务以获取比特币、门罗币等虚拟货币,共获利人民币 10 万余元。 事发后,“安某”不仅被没收了所有获利金额,罚款 11000 元,还背上了三年牢饭,有点惨。 4 个月,占用 155 台服务,获利 10 万余元。 2017 年“安某”正式入职百度,彼时,比特币的价格飙升到了近 2 万美元,按照当时的汇率,一枚比特币人民币价格将近 13 万。虽然后续的币价有所降低,但挖到一枚,还可以挣几万块,这样的诱惑或许没有几个人会选择无视。 2018 年初,“安某”开始打起了挖矿的主意。 挖矿,是指利用服务CPU的运算...阅读全文

博文 2020-03-17 20:42:41 debian.cn

kubectl 创建 Pod 背后到底发生了什么?—探寻 Kubectl 创建 Pod 的原理

认证凭证与本地的状态匹配。 如果认证失败,则请求失败并返回相应的错误信息;如果验证成功,则将请求中的 Authorization 请求头删除,并将用户信息添加到其上下文中。这给后续的授权和准入提供了访问之前建立的用户身份的能力。 授权 OK,现在请求已经发送,并且 kube-apiserver 已经成功验证我们是谁,终于解脱了! 然而事情并没有结束,虽然我们已经证明了我们是合法的,但我们有权执行此操作吗?毕竟身份和权限不是一回事。为了进行后续的操作,kube-apiserver 还要对用户进行授权。 kube-apiserver 处理授权的方式与处理身份验证的方式相似:通过 kube-apiserver 的启动参数 --authorization_mode 参数设置。它将组合一系列授权...阅读全文

博文 2022-04-18 16:18:04 CSDN

Kubernetes 1.14 发布,31 项功能增强

Kubernetes 1.14 发布了,些版本主要关注可扩展性并支持更多工作负载,带来了 30多项功能增强,其中包括从 beta 到稳定的 10 项功能。亮点包括以下几部分。 持久化本地存储 持久性本地存储的主要用例是数据库和分布式文件系统。这是一个重要里程碑,显然,本地存储的性能优于远程磁盘,无论该存储是由云提供商提供的本地 SSD 还是连接到裸机系统的磁盘。 Windows 节点的生产级支持 绝大多数企业都拥有包含 Windows 工作负载的异构环境,现在不必寻找其它协调来管理这些 Windows 容。Kubernetes v1.14 改进支持了 pod、服务类型、工作负载和 metrics/quotas,使得与 Linux 功能相当。 PID 限 目前处在测试阶段...阅读全文

聊聊很重要的内核技术eBPF

eBPF 的程序。编写C代码,将LLVM编译成驻留在ELF文件中的eBPF字节码。将程序加载到内核中,并创建必要的 eBPF-maps。eBPF 具有用作 socket filter,kprobe 处理,流量调度,流量操作,tracepoint 处理,eXpress Data Path(XDP),性能监测,cgroup 限,轻量级tunnel的程序类型。将加载的程序attach到系统中。根据不同的程序类型attach到不同的内核系统中。程序运行的时候,启动状态并且开始过滤,分析或者捕获信息。 2016年10月的NetDev 1.2大会上,Netronome的Jakub Kicinski和Nic Viljoen发表了标题为“eBPF / XDP硬件卸载到SmartNIC”。 Nic...阅读全文

博文 2020-08-16 11:08:44 debian.cn

360开源企业级 Kubernetes 集群管理平台 Wayne

以同时管理多个 Kubernetes 集群,更方便地管理多个集群。 丰富的权限管理 :将资源抽象化为部门、项目级别,角色的权限可以更细化的,适用于多部门、多项目的统一集中管理。 多种登录模式 :支持企业级 LDAP 登录、支持 OAuth2 登录,支持数据库登录多种模式。 完备的审计 :所有操作都会有完整的审计功能,方便追踪操作历史。 开放平台 :支持 APIKey 开放平台,用户可自主申请相关 APIKey 并管理自己的项目。 多层次监 :提供多级别的监统计信息,实时关注集群的运行状态。 架构图 整体采用前后端分离的方案: 前端采用 Angular 框架进行数据交互和展示,使用 Ace 编辑进行 Kubernetes 资源模版编辑。 后端采用 Beego 框架做数据接口处理,使用...阅读全文

博文 2018-11-20 12:24:17 debian.cn

Uyuni 4.0.2 发布: 配置和基础架构管理工具

Uyuni 4.0.2, 发布了,新版本基于 openSUSE Leap 15.1 但同时支持 Leap 15.1, CentOS, Ubuntu 和其他客户端。Debian 的支持目前还在体验阶段。此外新版本使用 Salt 2019.2, Grafana 6.2.5, Cobbler 3.0 和 Python 3.6 。详细说明请看这里 。 Uyuni 是一种解决方案,适用于需要对其服务上的维护和软件包部署进行绝对的组织。 通过自动化软件管理,资产管理和系统配置,Uyuni 使您能够管理大型 Linux 系统并使其保持最新。 Uyuni 允许您在有效管理系统生命周期要求的同时保持高级别的安全性。 Uyuni 使用 Salt 来提供事件驱动的配置和管理。 Salt-master...阅读全文

博文 2019-08-05 07:35:34 debian.cn

GitLab 11.5 正式版发布 大量安全新功能

GitLab 11.5 正式版已发布 ,该版本带来了许多关于安全的新功能。如新的 Group Security Dashboard、Operations Dashboard,和对 GitLab Pages 的访问权限等。 Group Security Dashboard Group Security Dashboard 提供了项目组中所有项目 SAST 漏洞的摘要,以及可用于启动修复过程的可操作条目列表。例如,可以使用建议的解决方案开启 issue,或者如果需要将其归类为误报,则只需关闭该条目。将来会添加对其他测试(依赖扫描、容扫描和 DAST)的支持。 Operations Dashboard GitLab 11.5 引入了一个新的、以操作为中心的仪表板,提供了用户感兴趣的每个项目...阅读全文

博文 2018-11-23 10:08:31 debian.cn

通用服务网格 Kuma 被 CNCF 接纳为 Sandbox 项目

Kong 官方宣布,Kuma 作为 Sandbox 项目被捐赠给了 CNCF,并表示“这是有史以来第一个基于 Envoy 的服务网格被捐赠给基金会”。 Kuma 诞生于 2019 年 6 月,它是一个现代的通用服务网格平面,基于 Envoy 搭建(Envoy 是一个为云原生应用设计的代理软件)。Kuma 可以在包括 Kubernetes、虚拟机、容、裸机和传统环境在内的任意平台上运行,以落实整个组织中的云原生体验。 “服务网格越大,就越有价值”。因此,Kuma 始终提供 Kubernetes 和 Universal 两种模式,以对 Kubernetes 和 VM 工作负载提供支持。在最新发布的 0.6 版本中,Kuma 的原始 DNA 得到扩展,以支持混合通用工作负载,这不仅允许跨...阅读全文

博文 2020-07-05 23:55:52 debian.cn

希捷开测16TB Exos硬盘 采用热辅助磁记录技术

随着热辅助磁记录(HAMR)技术的成熟,希捷也终于拿出了 16TB 的 3.5 英寸 Exos HAMR 硬盘驱动。目前该产品已在全面测试阶段,且较西部数据(WD)的微波辅助磁记录(MAMR)技术有更大的优势。HAMR 可借助激光对下方盘片进行加热,使磁头更易于记录、从而实现更高的存储密度。 希捷表示,HAMR 磁头的可靠性,已经超越了“行业标准”。 目前希捷正在对 16-TB HAMR 驱动进行一系列的基准和集成测试,例如检查它们是否能够对的命令做出了适当的响应。该造商指出,客户无需做出任何特殊的改动,即可直接像传统 3.5" 硬盘驱动那样使用 HAMR 驱动。 如果一切顺利,希捷有望在 2020 年提供容量高达 20 TB 的 HAMR 硬盘驱动产品。...阅读全文

Vinux 5.1 发布 基于 Ubuntu 的 Linux 发行版

流行的 GNOME 2 fork — 被称为 MATE,虽然将主要支持 Unity。 还要记住开发团队建议用户定期执行更新。这将使 Vinux 团队能够更新软件包,并引入新功能。 发行说明中提到一个台语音回归的变化:“由于 Vinux 5.1 不再使用 ConsoleKit,我们不能引入 Vinux 4.0 台语音的更改,请参阅 wiki 了解更多信息。使用 Speechd-up 登录到桌面会话,并从 GNOME 终端运行 sudo speechd-up 或添加启动项以在登录时自动执行”。 参考发布公告获取更多的细节。 下载地址 Download: vinux-5.1-amd64.iso (1,318MB, MD5, pkglist)...阅读全文

博文 2021-01-28 17:50:20 debian.cn

Proxmox VE 6.1/6.2 U盘安装教程

本默认,要注意选择DD镜像模式,不然U盘启动后找不到安装文件; 二、安装PVE(1-8这里用的网上图片,6.1/6.2安装和5.2基本一致,就没有截图) 1、进入ISO启动,选择“Install Proxmox VE” 2、同意协议,点击“I agree” 3、选择硬盘,点击“Next” 4、设定国家、时区和键盘,Country输入China即可,点击“Next” 5、设置管理员root账号密码和邮箱 6、设定主机名,IP,网关,掩码和DNS 7、安装完提示重启(重启前请先移除ISO启动) 8、启动完成后的台,会提示台访问URL 9、PVE默认端口为8006,可以导入自己的SSL证书 10、PVE安装完毕,进入系统界面...阅读全文

博文 2021-02-15 08:36:49 星哥的博客

Icinga Web2 v2.7.0 发布 轻量级和可扩展的 web 接口

卡 Stay Focused —— 为更重要的事情留出更多的空间 有些人知道,有些检查往往会产生大量的文本或度量 (也) 许多接口。现在,插件输出和性能数据将崩溃,如果它们超过一定的高度。如果有必要,当然可以扩展它们,并在浏览重新启动时保持这种方式。 持久可折叠容可折叠插件输出侧边栏应保持塌陷状态 Markdown —— 表格、列表和强调文本的简单方法 由于现在有可能动态地折叠大型内容,所以允许您将整个 wiki 页面添加到主机和服务中。不过,如果您更喜欢使用真正的 wiki 来维护这些,现在链接到它比以往任何时候都容易。复 url、粘贴 url、提交评论、完成。 notes、 comments 和 announcements将注释中的任何 URL 转换为可单击链接支持插件输出中的相关...阅读全文

博文 2019-08-06 12:18:01 debian.cn

打破IP协议重塑互联网 华为能做到吗

效率;二是新 IP 的灵活性使地址分割简化了边界路由的设计,边界路由不需要维护地址映射指令。 目前,New IP 网络架构技术已在建设中,将于 2021 年开始测试。 New IP 是否会带来垄断? 正如一切新事物在诞生初期都往往会招致人们的质疑和误会一样,New IP 也正深处这样的困境当中。 对于华为提出的 New IP 提案,沙特阿拉伯、伊朗、俄罗斯等国家均表示了支持。不过,有部分学者对这一“新事物”怀有质疑,主要有两方面立场: 一是关于绝对权。哈佛大学的社会科学家 Shoshana Zuboff 认为,华为提出新 IP 是为了通过技术基础设施赋予他们政治上的绝对权; 二是关于安全和人权。网络安全公司牛津信息实验室认为,New IP 虽能对网络基础进行细粒度,但网络协议...阅读全文

博文 2020-03-31 06:40:15 debian.cn

基于树莓派并支持触屏的模块化 PC:Zero Terminal 3

硬件黑客 NODE 开发了一款运行在树莓派零(Raspberry Pi Zero)上的模块化手持式 Linux PC,名为 "Zero Terminal 3"。其配有 WaveShare 5.5 英寸全高清触 AMOLED 显示屏、全尺寸 USB 2.0 接口、micro SD 插座和 1200 mAh 的内置锂电池。 同时,Zero Terminal 3 还支持附加组件,包括键盘、游戏、无线电收发、网络接口、太阳能电池板或电视调谐等。事实上,这并不是 NODE 开发的第一款手持计算机,不过与旧版本相比,Zero Terminal 3 拥有更大的显示屏和更多的功能。 Zero Terminal 3 Linux PC 的规格具体如下: USB 2.0 A 型端口微型 USB 端口...阅读全文

博文 2020-08-10 11:31:07 debian.cn

谷歌公开了内部管理Infra层的两个工具的Paper

个简化的Web应用,由这些部分组成: 为了冗余而在两个集群上运行的二进文件,实现前段逻辑负载均衡,有集群前和全局的配置全局的Spanner数据库 生产或者服务基础架构提供服务所需的基础模块来服务用户的请求,比如,Borg集群管理系统[2],网络交换机的firmware等等。每个这些组件都是一个asset。 Shakespeare服务使用多个基础架构提供者:Borg来运行二进文件,GSLB[1]管理负载均衡,以及Google共享的Spanner基础架构。 平面是服务用于管理生产服务基础结构的平面——比如,添加一台VM或者搭建负载均衡平面可以包括人工(“我会把新的二进文件拷贝到服务上”)到复杂的自动化系统(“我使用机学习来变更”)。平面包括变更管理:平面里的逻辑...阅读全文

博文 2023-01-08 11:23:20 CSDN博客

Synopsys全球首发PCIe 6.0完整方案:用上5nm工艺

它基于Synopsys广受好评的DesignWare IP PCIe 5.0方案,完整支持PCIe 6.0标准特性,包括64GT/s PAM-4信号调、FLIT模式、L0p低功耗模式等等,可满足HPC高性能计算、AI、存储SoC等应用领域对于延迟、带宽、能效的各种需求。为了实现吞吐量的最大化、延迟的最小化,Synopsys PCIe 6.0采用了“MultiStream”(多流)架构,性能可达单流架构的最高2倍,并且还有1024-bit宽度架构,可以在关闭1GHz时序的同时,达到64GT/s x16的高带宽,还优化了多数据源、多虚拟通道环境。此外,新方案使用了独特的自适应DSP算法,支持早期SoC开发,优化模拟和数字均衡,无论何种通道下都能获得最佳能效,并且基于专利诊断功能,可确保...阅读全文

博文 2021-03-22 18:53:40 cnBeta.COM

Istio 1.2.0发布 包含重大改进

的 Sidecar 支持(不包含 iptables)添加了为 sidecar Envoys 配置 DNS 刷新速率 的功能,以减少 DNS 服务上的负载Graduated Sidecar API from Alpha to Alpha API and Beta runtime. 详细内容请查看发布公告。 源码下载地址:https://github.com/istio/istio/releases/tag/1.2.0 Istio 是一个由谷歌、IBM 与 Lyft 共同开发的开源项目,旨在提供一种统一化的微服务连接、安全保障、管理与监方式。 Istio 项目能够为微服务架构提供流量管理机,同时亦为其它增值功能(包括安全性、监、路由、连接管理与策略等)创造了基础。这款软件利用久经考验的...阅读全文

博文 2019-06-24 10:13:28 debian.cn

PHP 7 的 PHP

据 ZDNet 的报道,PHP 7.x 中最近修复的一个远程代码执行漏洞正被恶意利用,并会导致攻击者服务。编号为 CVE-2019-11043 的漏洞允许攻击者通过向目标服务发送特的 URL,即可在存在漏洞的服务上执行命令。漏洞利用的 PoC 代码也已在 GitHub 上发布。 一旦确定了易受攻击的目标,攻击者便可以通过在 URL 中附加 ‘?a=’ 以发送特请求到易受攻击的 Web 服务。 仅 NGINX 服务受影响 幸运的是,并非所有的 PHP Web 服务都受到影响。据介绍,仅启用了 PHP-FPM 的 NGINX 服务容易受到攻击。PHP-FPM 代表 FastCGI Process Manager,是具有某些附加功能的 PHP FastCGI 替代实现。它不...阅读全文

博文 2019-10-29 09:23:04 FPM 存在远程代码执行漏洞

Scrapy 架构及数据流图简介

Scrapy 是一个为了爬取网站数据,提取结构性数据而编写的应用框架。 可以应用在包括数据挖掘、信息处理或存储历史数据等一系列的程序中。本文着重介绍 Scrapy 架构及其组件之间的交互。 Scrapy 组件介绍 Scrapy Engine 引擎负责数据流在系统中所有组件中流动,并在相应动作发生时触发事件。 详细内容查看下面的数据流(Data Flow)部分。 调度(Scheduler) 调度从引擎接受request并将他们入队,以便之后引擎请求他们时提供给引擎。 下载(Downloader) 下载负责获取页面数据并提供给引擎,而后提供给spider。 Spiders Spider 是 Scrapy用户编写用于分析response并提取item(即获取到的item)或额外跟进的...阅读全文

博文 2017-07-23 22:56:26 debian.cn

如何更改 Linux 的 I/O 调度器

Linux 的 I/O 调度是一个以块式 I/O 访问存储卷的进程,有时也叫磁盘调度。Linux I/O 调度的工作机块设备的请求队列:确定队列中哪些 I/O 的优先级更高以及何时下发 I/O 到块设备,以此来减少磁盘寻道时间,从而提高系统的吞吐量。 目前 Linux 上有如下几种 I/O 调度算法: noop - 通常用于内存存储的设备。 cfq - 完全公平调度。进程平均使用IO带宽。 Deadline - 针对延迟的调度,每一个 I/O,都有一个最晚执行时间。 Anticipatory - 启发式调度,类似 Deadline 算法,但是引入预测机提高性能。 查看设备当前的 I/O 调度: # cat /sys/block//queue/scheduler 假设磁...阅读全文

博文 2021-01-28 17:50:25 debian.cn

树莓派 9 周年:你不知道的树莓派冷知识

2020 年末推出,是树莓派系列中的第一台独立计算机,包含输入和输出设备。这款 Pi 400 不同于以往发布的裸开发板,其外壳集成了一块键盘,可以与鼠标、电源、电缆、显示配套使用。 ​▲ 自带键盘和输入输出接口的 Raspberry Pi 400此外,前段时间刚刚发布的 Raspberry Pi Pico 也是一种与以往的产品完全不同的树莓派类型,该款产品是一种微板。3. 售价最低的树莓派​▲ Raspberry Pi PicoRaspberry Pi Pico 于 2021 年 1 月发布,是树莓派系列的首款微,同时也标志着其首款定芯片 RP2040 CPU 的首次亮相。以往的每一款树莓派通常都可以安装 Linux 操作系统成为一台功能齐全的计算机,但售价仅 4 美元的 Pico...阅读全文

博文 2021-03-11 17:03:55 diablo4

得物云原生全链路追踪Trace2.0-采集篇 - OSCHINA

的调用链路通常复杂多变,站在流量角度上看,需要完整地知道它的来源,上下游链路,异步调用等等,这对于 CAT 来说可能略显超纲。 缺少图表定化能力: CAT 虽供多维度报表分析,但定化能力非常有限,在当时,业内的图表组件定化解决方案逐步向 Grafana + Prometheus 靠拢,但若使用 CAT,则无法享受强大的图表绘能力。与此同时,随着云原生社区可观测性项目 OpenTracing 的崛起,大约不到半年时间我们逐步下线了 CAT,向 OpenTracing 生态演进。 三、 0x02 第二阶段 持续创造 基于OpenTracing全链路采样监 OpenTracing 为全链路追踪 Trace 定了完整的一套协议标准,本身并不提供实现细节。在 OpenTracing 协议中...阅读全文

博文 2022-12-10 06:50:41 中文开源技术交流社区

红帽 2017 峰会 第三天回顾:自动化的未来

交付给OpenShift 将接口暴露给Ansible 将数据接口暴露给Insights Paul Cormier在主题演讲上对目前红帽各个产品线所处的位置和相互关系进行了梳理,可参考文末附录部分的演讲截图。 其他:跨领域开源 从两年前开始,红帽成立了一个名为Open Source Stories的片项目,平均每半年作一个讲述跨领域开源案例的记录短片,至今已经发布了五个短片,分别涉及教育、义肢作、脑肿瘤治疗、城市庆典活动组织、以及一套关于AI发展的系列。在本次峰会,红帽也邀请了新加坡GovTech创新实验室、开源硬件组织OSHWA.org、以及MIT开放农业实验室(Media Lab下的OpenAg项目)等不同领域的负责人到现场分享。 与传统企业数字转型的目标类似,跨领域开源的目标...阅读全文

博文 2021-01-28 17:50:29 debian.cn

Kubernetes 1.7 发布,安全强化、StatefulSet 更新及可扩展特性

Authorizer)和准入(Admission Control)插件。它们是在1.7中以Beta版新添加的特性,用于限kubelet访问那些Secret、Pod和其它基于节点对象的Kubernetes API操作;用于Secret的加密和其它存储在etcd的资源,当前以Alpha版提供可用;Kubelet TLS Bootstrapping,当前以Alpha版提供,支持客户和服务证书旋转(Rotation);由API服务存储的审计日志,现在更改为可定的和可扩展。 聚焦于存储和有状态工作负载管理的特性包括:StatefulSet Updates。它是在1.7中以Beta版新提供的特性,允许使用一系列的更新策略对有状态应用进行自动更新,包括滚动更新(rolling-update),以及金丝雀...阅读全文

博文 2017-07-19 12:23:15 debian.cn

Kubernetes 1.7:安全加固、有状态应用更新等

Kubernetes API在运行时一起提供服务。其他重点改进的地方包括可伸缩的准入(admission controller),可插拔的云提供者,和容运行时接口(CRI)。 新特性 安全: 网络策略 API(Network Policy API)提升至稳定状态。网络策略通过一个网络插件实现,允许用户对管理哪些 Pod 可以彼此通信的规则进行设置和强。 节点授权(Node authorizer)和准入插件(admission control plugin)是新增用来限kubelet基于节点对Secret、Pod和其对象的访问。 Secret的加密和其他etcd中的资源,现在可用并处于alpha状态。 Kubelet TLS 启动现在支持客户端和服务端证书轮换。 由 API 服务存储的审计日...阅读全文

博文 2021-01-28 17:50:35 debian.cn

Facebook 开源的一组 Linux 内核组件与工具

题。 Cgroup2:https://facebookmicrosites.github.io/cgroup2/ Cgroup2 是下一代 Linux 内核机,用于分组和构造工作负载,以及分配给每个组的系统资源量。它具有内存、I/O、中央处理单元等,它还允许隔离工作负载,并为每个工作负载确定资源分配的优先级和配置。 PSI:https://facebookmicrosites.github.io/psi/ PSI(Pressure Stall Information,压力失速信息)首次提供了一种规范,通过内存、CPU 和 I/O 这三种主要资源的新压力指标来量化资源短缺。这些压力指标与此次开源的其它内核和用户空间工具相结合,可以在智能开发和响应时检测资源短缺。PSI 统计数据为即...阅读全文

博文 2018-11-24 09:27:14 debian.cn

Monit:开源服务器监控工具

!= 0 then alert 台访问验证 访问Monit Web界面主要通过ALLOW选项进行,ALLOW选项用于指定身份验证并仅授权特定客户端进行连接。 如果正在使用Monit命令行界面,至少需要一个明文密码(见下文),否则Monit命令行界面将无法连接到Monit Web界面。 尝试连接到Monit,但提交错误的用户名和/或密码的客户端将使用其IP地址记录。 主机和网络允许列表 Monit维护允许连接的主机和网络的访问列表。您可以添加任意数量的主机,但只允许具有有效域名或其IP地址的主机。 Monit将查询名称服务以检查任何尝试连接的主机。如果主机(客户端)正在尝试连接,但无法在访问列表中找到或无法解决,Monit将立即关闭与客户端的连接。 配置文件示例: set httpd...阅读全文

博文 2023-04-12 15:21:43 阿里云开发者社区

SpringCloud 之外的选择:国产JBoot v1.7.1 发布

JBoot 是一个基于 JFinal 和 Undertow 开发的微服务框架。提供了 AOP、RPC、分布式缓存、限流、降级、熔断、统一配置中心、Opentracing 数据追踪、metrics 数据监、分布式 session、代码生成、shiro 和 jwt 安全、swagger api 自动生成等功能。 Jboot v1.7.1 主要更新如下: 新增:redis 添加自定义序列化配置的功能 新增:Jboot.java 添加方法 service(Class clazz, JbootrpcServiceConfig config) 方便获取 rpc service 新增:JbootController 添加 getRawObject() 方便获取 api 传过来的 json 数据...阅读全文

博文 2018-10-24 13:19:05 debian.cn

Polar Signals 开源 Parca 以优化代码并减少云账单 - OSCHINA

稳定分支。 我们将讨论 NGINX 版本方案,回顾 NGINX 1.17 开发周期内进行的更新,并探索 NGINX 1.19 的特性。 NGINX 版本介绍 NGINX 在 NGINX Open Source 代码存储... 1 4 为 Linux 5.16 准备的新版 Zstd 已就绪,最高带来 35% 的性能提升 正如我们上周的报道(点击查看),Linux 内核即将用上最新的 Zstd 实现。如今时隔一周时间,为 Linux 5.16 内核所准备的新版 Zstd 已提交至 linux-next 的合并中,以便在接下来的几周内进行更广泛的测试,如无意外我们将在下个月的 Linux 5.16 合并窗口中看到 Zstd 的更新代码。 来自 Facebook 的 Zstd 维护者...阅读全文

博文 2021-10-09 12:23:58 中文开源技术交流社区

Cincoze 推出 DX

、三个 mSATA 连接、一个可选的 M.2-2230 CNVi Wi-Fi 适配、以及一个 SIM 卡托架。 坚固耐用的 DX-1100 可耐受极端的工作条件,比如 -40°C 到 70°C 的温度、宽直流输入电压(9~48 V)、以及强振动和冲击(5/50 Grms)。这样的特性,让 DX-1100 能够轻松应付工业、车载、移动等类似环境。 扩展性方面,DX-1100 支持 Cincoze 专有的 CMI(组合多 I/O)和 CFM(功能模块),允许造商定外部 I/O,以充分满足客户的需求。 默认情况下,Diamond Extreme 系列 DX-1100 机型配备了 8×USB 3.0 / 3.1 端口(6 + 2),DVI-I 输出(支持适配转接 D-Sub...阅读全文

博文 2019-03-09 20:44:50 1100 超紧凑型工作站 至强E系芯片

Rancher 2.3 发布:支持Windows容器 集成Istio

Istio的集成,极大简化了Istio的安装和配置,Rancher中现已内置支持: 用于流量和遥测可视化的Kiali仪表板用于追踪的Jaeger用于监和可观察性的Prometheus和Grafana Rancher 2.3还正式支持了Kubernetes v1.15.x和Docker 19.03。 增强Kubernetes安全性 Rancher 2.3引入了“集群模板”功能,它可以让企业在整个基础架构中实施一致的集群配置,进而帮助企业降低安全风险。具体而言,通过使用集群模板: 运维人员可以在其所有集群部署中创建、保存并放心使用经过良好测试的Kubernetes配置。管理员可以启用配置强实施,从而抑配置漂移或不当的配置错误。如果创建更多的集群,这些配置不当可能会带来安全风险。...阅读全文

博文 2019-10-10 11:44:14 debian.cn

Linux Kernel 4.19 正式版本发布 将是长期支持版

Greg Kroah-Hartman 在内核邮件列表上 宣布 释出 Linux 4.19。Linux 作者 Linus Torvalds 最近在 休假反省 ,Linux 的开发现在由稳定版内核维护者 Kroah-Hartman 接手。 Kroah-Hartman 表示,4.19 将会是一个长期支持版本,他也会维持几年。 Linux 4.19 的主要新特性包括: 基于异步 I/O 的轮训接口 L1TF 漏洞补丁 块 I/O 延迟 Common Applications Kept Enhanced (CAKE) 队列管理算法 Wi-Fi 6 (802.11ax) 初步支持 实验性文件系统 EROFS Intel Cache Pseudo-locking 基于时间的包传输 改进 RISC...阅读全文

博文 2018-10-24 13:37:11 debian.cn

Linux kernel 5.6 正式版发布

Linus Torvalds 在内核邮件列表上宣布释出 Linux 5.6。Torvalds 称,他没有看到内核开发受到新冠疫情影响的迹象,大部分人可能早就习惯了在家远程工作。 他估计 Linux 5.7 的发布不太会有变动,但有人错过合并窗口还是可能的,毕竟合并窗口没有你或你周围的人的健康更重要。 Linux 5.6 的特性包括: Arm EOPD 支持,时间命名空间,BPF 调度和批映射操作,openat2() 系统调用,WireGuard VPN 实现,流队列 PIE 包调度,2038 年问题接近解决,pidfd_getfd()系统调用,ZoneFS 文件系统,BPF TCP 拥堵算法实现,移除 /dev/random blocking pool 等等。 具体可阅读...阅读全文

博文 2020-03-30 23:40:37 debian.cn

Saltstack极高危漏洞: 可获取master权限

这两天开源配置管理工具 saltstack 爆出了CVSS得分为10分的漏洞。如果你对CVSS的评分没有概念,那么前几年震惊互联网的 openssl心脏滴血漏洞,CVSS base评分是5.0,由此可知这次爆出来的 saltsatck 漏洞是多么严重。 漏洞信息: 该漏洞是 F-secure 研究人员在3月份发现的,目前该漏洞已经在最新版本中修复。本次极高危漏洞,是由两个不同的漏洞引起的,一个是身份验证绕过漏洞 CVE-2020-11651,一个是目录遍历漏洞没有过滤掉不受信任的输入 CVE-2020-11652,从而导致攻击者可以不受限的访问 salt-master 的整个文件系统。 攻击者获取salt-master的权限后,便可以整个被salt-master管理的数据中心的各主机...阅读全文

博文 2020-05-05 18:32:44 debian.cn

一位资深Java架构师的晋级心得

计原理,Spring事务处理机,SpringMVC,Spring源码分析Mybatis:Mybatis体系结构,Mybatis核心应用与配置,Mybatis关联查询,与Spring集成,Mybatis源码分析 2. 工程化工具 Maven项目工具:Maven命令使用,Maven的pom配置体系,插件机及插件开发,Nexus使用,上传,配置Git分布式版本:Git安装和理解仓库,工作常用命令,分支和Tag管理,代码冲突解决方案,Github开源社区,Git企业应用,与IDE集成Sonar代码检测:Sonar环境搭建和使用,使用Sonar进行代码质量管理,与IDE集成使用Jenkins:搭建Jenkins自动化部署环境,集成git/maven/sonar工具,插件机 3. 微服务架构...阅读全文

博文 2019-01-13 22:49:22 debian.cn

最全的 DevOps 工具集合

Jira Jira 是 Atlassian 开发的专用问题跟踪产品,提供了错误跟踪和敏捷项目管理功能。 JetBrains YouTrack YouTrack 是由 JetBrains 开发的,基于浏览的专用商业软件,融合了错误跟踪、问题跟踪系统以及项目管理软件。它的卖点是基于查询的问题搜索,拥有自动完成、分批处理问题、自定义问题属性集,以及创建自定义工作流的特性。 Zendesk Zendesk 可以轻松地从所有渠道跟踪每一个客户问题。目前 Uber 和 Airbnb 等许多公司都在使用 Zendesk Support 作为他们的问题跟踪软件。 源代码 源代码主要是为了资产,减少沟通障碍,赋能团队。目前业内比较常用的 SCM 工具包括 Git、GitHub、GitLab...阅读全文

博文 2021-05-26 14:35:21 博客园

Kubernetes 1.18 发布

,而我们也开始考虑利用基于kubectl exec构建的工具为开发人员提供支持。此次新增的kubectl debug命令(目前为alpha版)允许开发人员在集群当中轻松调试自己的Pod,进而获得巨大的便利性增益。这项命令将创建一个即席容,容运行在待检查Pod旁边,同时附带有台以执行交互式故障排查。 SIG-CLI 调试程序的能力变得越来越必要,基于 kubectl exec,增加了 kubectl alpha debug 命令(目前为 alpha 阶段),使开发人员可以轻松地在集群中调试其 Pod。此命令允许创建一个临时容,该容在要检查的 Pod 旁边运行,并且还附加到台以进行交互式故障排除。 Windows CSI 支持 带来了用于 Windows 的 CSI 代理,目前处于...阅读全文

博文 2020-03-27 18:28:34 debian.cn

谷歌开源 Pigweed:用于提升嵌入式开发效率

谷歌于 1 月下旬曾向 USPTO(美国专利及商标局)递交了名为 “Pigweed” 的新商标申请。根据申请内容来看,Pigweed 商标涵盖“计算机操作软件”。当时,人们猜测这是一款新的操作系统商标,但并未有任何相关信息提供。 昨日,谷歌毫无征兆地公布并开源了 Pigweed。与之前的猜想不同,这是一个嵌入式库(或模块)的集合。使用 Pigweed 模块可​​以在 32 位微( 即嵌入单电路芯片中的小型计算机 )上实现更快、更可靠的开发。 Pigweed 提供的模块可满足嵌入式开发人员的广泛需求。从整个生命周期来看,Pigweed 从设置,到开发,再到代码提交,都能够有效提高嵌入式开发的效率。谷歌以上述开发过程为轴,围绕这几个方面分别介绍了 Pigweed 的一些模块。 嵌入式空间...阅读全文

博文 2020-03-22 08:35:14 debian.cn