InfraPub 为您找到相关结果 683

Apache Flink 1.14 新特性预览 - OSCHINA

依靠 Checkpoint 机,进行二阶段提交,从而保证数据的 Exactly-once 一致性。 具体可以这样说:在 Checkpoint 过程中,每个子只会进行准备提交的操作。比如数据会提交到外部的临时存储目录下,所有任务都完成这次 Checkpoint 后会收到一个信号,之后才会执行正式的 commit,把所有分布式的临时文件一次性以事务的方式提交到外部系统。 这种在当前有限流的情况下,作业结束后并不能保证有 Checkpoint,那么最后一部分数据如何提交? 在 1.14 中,这个问题得到了解决。Task 处理完所有数据之后,必须等待 Checkpoint 完成后才可以正式的退出,这是流批一体方面针对有限流任务结束的一些改进。 三、checkpoint 机 1. 现有...阅读全文

博文 2021-09-05 07:26:58 中文开源技术交流社区

kubelet 中垃圾回收机制的设计与实现

退出的时间进行排序优先删除退出时间最久的,MaxPerPodContainer 在上文已经提过,表示一个 pod 最多可以保存多少个已经停止的容器,默认为1,可以使用 --maximum-dead-containers-per-container 在启动时指定;4、若 kubelet 启动时指定了 --maximum-dead-containers(默认为 -1 即不限),即需要为 node 保留退出的容器数,若 node 上保留已经停止的容器数超过 --maximum-dead-containers,首先计需要为每个 pod 保留多少个已退出的容器保证其总数不超过 --maximum-dead-containers 的值,若计结果小于 1 则取 1,即至少保留一个,然后删除每个...阅读全文

博文 2021-02-05 17:48:22 知乎

Kubernetes v1.21 新特性预览

Kubernetes v1.21 下个月就要发布了(v1.21.0 将于 4 月 8 日发布),本文梳理该版本带来的新特性,以便你为下个月的升级做好准备。PodSecurityPolicy 弃用PodSecurityPolicy(PSP)是 Kubernetes 1.8 开始就支持的 Beta 特性,大量应用于容器的安全策略。但由于其 API 不够灵活、认证模型不够完善且配置更新繁琐等缺陷,PodSecurityPolicy 将在 v1.21 正式弃用[1],并将在 v1.25 中从代码库中删除。已经使用 PodSecurityPolicy 的用户建议迁移到 Gatekeeper[2]。不可变 ConfigMap/Secret 进入稳定版当集群包含大量 ConfigMap 和...阅读全文

博文 2021-03-30 20:24:36 mp.weixin.qq.com

PHP 7 的 PHP

据 ZDNet 的报道,PHP 7.x 中最近修复的一个远程代码执行漏洞正被恶意利用,并会导致攻击者服务器。编号为 CVE-2019-11043 的漏洞允许攻击者通过向目标服务器发送特的 URL,即可在存在漏洞的服务器上执行命令。漏洞利用的 PoC 代码也已在 GitHub 上发布。 一旦确定了易受攻击的目标,攻击者便可以通过在 URL 中附加 ‘?a=’ 以发送特请求到易受攻击的 Web 服务器。 仅 NGINX 服务器受影响 幸运的是,并非所有的 PHP Web 服务器都受到影响。据介绍,仅启用了 PHP-FPM 的 NGINX 服务器容易受到攻击。PHP-FPM 代表 FastCGI Process Manager,是具有某些附加功能的 PHP FastCGI 替代实现。它不...阅读全文

博文 2019-10-29 09:23:04 FPM 存在远程代码执行漏洞

思科前员工离职后删库 直接损失达240万美元

会议、视频消息、文件共享和其他协作工具等。 Ramesh 认罪时表示自己 “部署代码时行为鲁莽,并有意无视了可能对思科造成伤害的巨大风险。” 由于 Ramesh 的行为,超过 16,000 个 WebEx Teams 帐户被关闭长达两周,导致思科花费约 1,400,000 美元的员工时间来恢复应用程序,并向受影响的客户退款超过 1,000,000 美元。 目前,此次事件没有造成客户数据泄露。Ramesh 被违反《美国典》第 18 篇第 1030(a)(5)(B) 和 (c)(4)(A)(i)(I) 条,“故意未经授权访问受保护的计机并轻率地造成损害”。这项罪名的最高定刑罚是 5 年监禁和 25 万美元的罚款。 被告 Ramesh 本人正在保释中,保释金为 50,000 美元。量刑听证...阅读全文

博文 2020-08-29 10:27:23 debian.cn

如何对一个deb包解压、修改、重新打包 全过程

extract目录下dpkg -X ../openssh-xxx.deb extract/#解压出包的信息extract/DEBIAN/下:dp... deb解压软件 01-04 用于解压deb文件,后续可以用其它软件将解压后的文件转ipa 获取deb包并进行解压方 狂客队长 05-26 1万+ 获取deb包: apt-get download 包名 解压deb包: 在这里保证你已经下载好了deb包,并且自己已经在deb包所在的目录了,然后解压缩deb包 ar -x pakname.deb 解压deb完毕后会发现多出几个文件,这里主要用到data.tar.gz等包,这个是放着二进文件的包,用tar解压这个包 tar -zxf data.tar.gz Ubuntu中deb包详解及打包教程 张懿的博...阅读全文

博文 2021-02-16 11:44:48 CSDN

Linux系统诊断-内存基础

: 表示禁止使用swap 60: 默认 100: 疯狂使用swap 2. 操作方 # sysctl vm.swappiness=VALUE # sysctl vm.swappiness=20 或者 # echo VALUE > /proc/sys/vm/swappiness # echo 30 > /proc/sys/vm/swappiness通过在线增加swap分区大小,临时内存泄露,内存不够用等异常。1. 需要root用户 2. 创建存储文件 # dd if=/dev/zero of=/home/swap2G bs=1024 count=2M 3. 安全设置 # chown root:root /home/swap2G # chmod 0600 /home/swap2G 4. 创建...阅读全文

博文 2021-02-11 14:22:42 SegmentFault 思否

Icinga Web2 v2.7.0 发布 轻量级和可扩展的 web 接口

卡 Stay Focused —— 为更重要的事情留出更多的空间 有些人知道,有些检查往往会产生大量的文本或度量 (也) 许多接口。现在,插件输出和性能数据将崩溃,如果它们超过一定的高度。如果有必要,当然可以扩展它们,并在浏览器重新启动时保持这种方式。 持久可折叠容器可折叠插件输出侧边栏应保持塌陷状态 Markdown —— 表格、列表和强调文本的简单方 由于现在有可能动态地折叠大型内容,所以允许您将整个 wiki 页面添加到主机和服务中。不过,如果您更喜欢使用真正的 wiki 来维护这些,现在链接到它比以往任何时候都容易。复 url、粘贴 url、提交评论、完成。 notes、 comments 和 announcements将注释中的任何 URL 转换为可单击链接支持插件输出中的相关...阅读全文

博文 2019-08-06 12:18:01 debian.cn

打破IP协议重塑互联网 华为能做到吗

效率;二是新 IP 的灵活性使地址分割简化了边界路由器的设计,边界路由器不需要维护地址映射指令。 目前,New IP 网络架构技术已在建设中,将于 2021 年开始测试。 New IP 是否会带来垄断? 正如一切新事物在诞生初期都往往会招致人们的质疑和误会一样,New IP 也正深处这样的困境当中。 对于华为提出的 New IP 提案,沙特阿拉伯、伊朗、俄罗斯等国家均表示了支持。不过,有部分学者对这一“新事物”怀有质疑,主要有两方面立场: 一是关于绝对权。哈佛大学的社会科学家 Shoshana Zuboff 认为,华为提出新 IP 是为了通过技术基础设施赋予他们政治上的绝对权; 二是关于安全和人权。网络安全公司牛津信息实验室认为,New IP 虽能对网络基础进行细粒度,但网络协议...阅读全文

博文 2020-03-31 06:40:15 debian.cn

欧洲核子研究组织(CERN)是如何使用 Linux 和开源的 - 云+社区

解决方案的可扩展性时,我们也从中受益,也可以扩大规模。“解决现实问题2012 年左右,CERN 正在研究如何为大型强子对撞机扩展计能力,但难点是人员而不是技术。CERN 雇用的员工人数是固定的。“我们必须找到一种方来扩展计能力,而不需要大量额外的人来管理。”Bell 说,“OpenStack 为我们提供了一个自动的 API 驱动和软件定义的基础架构。”OpenStack 还帮助 CERN 检查与服务交付相关的问题,然后使其自动化,而无需增加员工。“我们目前在日内瓦和布达佩斯的两个数据中心运行大约 280000 个处理器核心和 7000 台服务器。我们正在使用软件定义的基础架构使一切自动化,这使我们能够在保持员工数量不变的同时继续添加更多的服务器。“Bell 说。随着时间的推移,CERN...阅读全文

博文 2021-11-29 13:20:55 腾讯云

Kubernetes源码探疑:Pod IP泄露排查及解决方法

的Kubernetes API, 以UCloud 公有云资源为基础, 通过自研的插件整合打通了ULB、UDisk、EIP等公有云网络和存储产品,为用户提供一站式云上Kubernetes服务。 其中VPC既保障网络隔离,又提供灵活的IP地址定义等,是用户对网络的必备需求之一。UK8S研发团队经过考察后认为,UCloud基础网络平台具有原生、强大的底层网络能力,令我们能抛开Overlay方案,把VPC的能力上移到容器这一层,通过VPC的能力去实现和转发。 UK8S每创建一个Pod都为其申请一个VPC IP并通过VethPair配置到Pod上,再配置策略路由。 原理如下图所示。 此方案具有以下优势: 无Overlay,网络性能高。50台Node下的测试数据表明,容器与容器之间的网络性能,相...阅读全文

OpenSSH 8.2发布 禁用ssh

OpenSSH 8.2 发布了。OpenSSH 是 100% 完整的 SSH 协议 2.0 版本的实现,并且包括 sftp 客户端和服务器支持。此版本变化不少,其中有两个地方值得特别关注。一个是新特性,此版本增加了对 FIDO/U2F 硬件身份验证器的支持。 FIDO/U2F 是廉价硬件双因认证的开放标准,广泛应用于网站的身份验证。此版本通过新的公共密钥类型“ecdsa-sk”和“ed25519-sk”,以及相应的证书类型支持 FIDO 设备。 ssh-keygen(1) 可用于生成 FIDO 令牌支持的密钥,之后它们的使用方式与 OpenSSH 支持的任何其它密钥类型非常相似,只要在使用密钥时附加硬件令牌。 另一方面关于 SHA-1 哈希,此前该被发现构造前缀碰撞攻击成本已降至低...阅读全文

博文 2020-02-18 08:57:00 rsa算法

Debian 安装包的简单制作

Priority: optional # 优先集 一般就用 optional Description: this is a test package # 简介 不超过60个字符 this is a test # 详细介绍 作deb包 计MD5 find ./usr -type f | xargs -I{} md5sum {} > DEBIAN/md5sums 打包 dpkg-deb -b example-package 命令执行完成之后会在当前目录生成 example-package.deb文件,一个deb安装包就OK了。 小结 此方可以方便的作安装包,可以方便的分发自己的软件。但是亦有其缺陷,没有相应的更改记录。这种打包方生成的包不能发布到软件源,但一般软件分发没有问题,如需更详细的打包方参...阅读全文

博文 2021-01-28 17:50:14 debian.cn

Golang后端面试题目

,merge跟rebase 技术二面 项目相关 通过腾讯会议,腾讯的两个大佬一起面试。 项目实现爬虫的流程爬虫如何做的鉴权吗怎么实现的分布式爬虫电商系统图片多会造成带宽过高,如何解决micro服务发现mysql底层有哪几种实现方式channel底层实现java nio和 go 区别读写锁底层是怎么实现的go-micro 微服务架构怎么实现水平部署的,代码怎么实现micro怎么用怎么做服务发现的mysql索引为什么要用B+树?mysql语句性能评测?服务发现有哪些机raft是那种一致性raft有什么特点当go服务部署到线上了,发现有内存泄露,该怎么处理还有一些非常底层的问题 总结 腾讯对于基础部分是相当重视的,总体回答的还可以项目部分腾讯也是非常重视,从电话里面听出来有一个架构在面试我...阅读全文

博文 2020-04-13 13:13:00 2020腾讯社招

如何通过 AssumeRole 访问 AWS 的 Web 控制台

AWS 的临时权限可以通过 AssumeRole 访问台,但需要经过一些配置和操作。以下是如何使用 AssumeRole 通过 SessionToken 访问 AWS 的管理台。 以下步骤,包括了生成临时凭证 SessionToken,并通过这个凭证生成可访问 AWS Web台的登录 URL。完整的流程如下。一. 创建并配置 IAM 角色• 创建目标角色(RoleA):• 创建一个 IAM 角色,为其分配所需的权限策略(如 AdministratorAccess 或自定义策略)。• 配置信任关系,使特定用户或角色可以 Assume 该角色。例如:{ "Version": "2012-10-17", "Statement": [ { "Effect": "Allow...阅读全文

博文 2025-01-15 15:36:30 joseph

高性能缓存服务器 Nuster

README Naster 使用方 在global中添加cache on, 然后在backend或listen中添加 cache filter 和 cache rule Naster 指令 cache syntax: cache on|off [data-size size] default: none context: global 是否开启缓存。 可以设置data-size来缓存数据的内存使用量。可以使用m, M, g 和 G. 默认是 1MB,同时也是最小使用量。只有 http 内容计在内,并不包括使用缓存带来的内存开销。 filter cache syntax: filter cache [on|off] default: on context: backend, listen 定...阅读全文

博文 2017-12-15 22:17:31 debian.cn

HAProxy用法详解 最详细中文文档

要将一个连接重新派发至另一个服务器时。支持的有: 3.11 roundrobin:基于权重进行轮叫,在服务器的处理时间保持均匀分布时,这是最平衡、最公平的。此是动态的,这表示其权重可以在运行时进行调整,不过,在设计上,每个后端服务器仅能最多接受4128个连接;并支持慢启动。 3.12 static-rr:基于权重进行轮叫,与roundrobin类似,但是为静态方,在运行时调整其服务器权重不会生效;不过,其在后端服务器连接数上没有限;不支持慢启动,在高负荷的情况下,服务器重新上线时会立即被分配大量连接。 3.13 leastconn(WLC):适用于长连接的会话,新的连接请求被派发至具有最少连接数目的后端服务器;在有着较长时间会话的场景中推荐使用此,如LDAP、SQL等,其...阅读全文

博文 2014-05-10 17:14:46 debian.cn

Golang 操作 Kafka 样例

v1.20之后的版本加入了zstd压缩,需要用到cgo,在Windows平台编译时会提示类似如下错误: github.com/DataDog/zstd exec: "gcc":executable file not found in %PATH% 所以在Windows平台请使用v1.19版本的sarama。(如果不会版本请查看博客里面的go module章节) 3.1.3. 连接kafka发送消息 package main import ( "fmt" "github.com/Shopify/sarama" ) // 基于sarama第三方库开发的kafka client func main() { config := sarama.NewConfig...阅读全文

博文 2023-01-10 13:46:09 掘金

聊聊很重要的内核技术eBPF

(DFS),以确保程序完成并且代码不包含危险路径。这意味着它将遍历图的每个分支,一直到分支的底部,以确保没有递归循环。 这些是验证器在第一次检查期间可能拒绝您的代码的情形,要求有以下几个方面: 该程序不包含循环。为确保程序不会陷入无限循环,验证程序会拒绝任何类型的循环。已经提出了在BPF程序中允许循环的建议,但是截至撰写本文时,没有一个被采用。该程序不会尝试执行超过内核允许的最大指令数的指令。此时,可执行的最大指令数为4,096。此限是为了防止BPF永远运行。在第3章,我们讨论如何嵌套不同的BPF程序,以安全的方式解决此限。该程序不包含任何无访问的指令,例如从未执行过的条件或功能。这样可以防止在VM中加载无效代码,这也会延迟BPF程序的终止。该程序不会尝试越界。 验证者执行的第二项检...阅读全文

博文 2020-08-16 11:08:44 debian.cn

2017 Linux 内核开发报告 Linux统治着计算机世界

现在是 2017 年,Linux 在统治着计机世界。不相信?Linux 基金会报告说,Linux 运行着 90% 的公共云工作量,世界上 82% 的智能手机,62% 的嵌入式市场,以及几乎占领了 99% 的超级计机市场。所有的这些都基于 Linux 内核。在 Linux 基金会 2017 的 Linux Kernel 开发报告中 ,Linux 内核开发者和 LWN.net 的编辑 Jonathan Corbet 以及稳定的 Linux 内核维护者 Greg Kroah-Hartman 报告了 Linux 最新的发展。 报告显示,自 2005 年以来,Linux Kernel 采用 Git 版本系统,来自 1,400 多家公司的 15,637 名开发者为 Linux 内核做出了贡献...阅读全文

博文 2017-10-26 10:57:34 debian.cn

Rust 1.39.0 发布,async/.await 稳定了

: &[u8]) -> usize { slice.len() } 现在可以以更简洁的方式: fn len( #[cfg(windows)] slice: &[u16], // This parameter is used on Windows. #[cfg(not(windows))] slice: &[u8], // Elsewhere, this one is used. ) -> usize { slice.len() } 这里可以使用的属性包括: 条件编译:cfg 和 cfg_attr lint:allow、warn、deny 与 forbid应用于项目的过程宏属性使用的帮助程序属性 这在整个语言生态中提供了一个更具可读性的基于宏的 DSL。 标准库中增加的 const fn 此版本中...阅读全文

博文 2019-11-11 09:44:43 debian.cn

Redis 6 将采用全新协议RESP3 提供客户端缓存功能

获取数据时的延迟。此功能在大规模的应用程序上十分重要,因为数据离应用程序越近,程序就能更快获取到数据。 antirez 受 Ben Malec 演讲的启发,他想到可以将大部分需要频繁存和取的数据直接放在服务器的内存中,以便让 Redis 为客户端完成部分工作,并使客户端缓存更简单、更有效。这个就是 Client side caching(客户端缓存)的概念。 不过这个思路有一个需要解决的问题是,如何数据的有效时间?在程序允许的情况下,虽然可以直接设置数据的有效时间,让数据在一段时间后失效。但 antirez 表示,大多数的应用程序无接受提供过时的数据的风险,因此必须找到更理想的方案来数据的失效时间。 所以 antirez 决定开发新的协议 RESP3,在协议中加入新特性来支持客户端...阅读全文

Debian 10 Buster 将确保自动安装安全升级

对snapshot.debian.org构建操作系统来帮助调试回归,Debian Installer Buster现在可以处理systemd init系统的串行台配置。 update-initramfs调用已经使用临时填充进行了优化。 Syslinux现在支持EXT4 64位功能 在硬件支持方面,Debian Installer Buster Alpha 2版本支持新型单板计机,包括A20-OLinuXino-LIME2-eMMC,FriendlyArm NanoPi M1 Plus,Marvell Armada 8040 DB,Marvell 8040 MACHIATOBin,Olimex,SolidRun HummingBoard和Solo / DualLite。 它还将udebs...阅读全文

博文 2017-12-10 07:04:21 debian.cn

Redis 6.0.0 GA已正式发布

我的首选功能是重新实现ACL GENPASS。现在,它使用基于SHA256的HMAC,并接受一个可选参数来告诉服务器要生成多少位不可猜测的伪随机字符串。Redis在启动时从/ dev / urandom获得内部密钥,然后在计数器模式下使用HMAC来生成其他随机数:这样,您可以滥用API,并在每次需要时调用它,因为它将非常快。是否想为您的应用程序生成无猜测的会话ID?只需致电ACL GENPASS。依此类推。 4. 现在,对PSYNC2(复协议)进行了改进。Redis现在将能够修整协议中的最终PING,从而能够更频繁地进行部分重新同步,从而使副本和母版更有可能找到共同的偏移。 5. 带有超时的Redis命令现在要好得多:不仅BLPOP和其他以前接受秒的命令现在都能接受十进数字,而且实际分...阅读全文

博文 2020-05-01 09:15:09 debian.cn

Twitter确认接受440亿美元收购提议 埃隆·马斯克将完全控制该公司

他首次披露他在Twitter的9.2%股份时,他就创建一个"编辑"按钮向Twitter用户进行了调查,而实际上Twitter已经在开发这个按钮。他后来还建议取消Twitter Blue的广告并降低其订阅价格,并增加狗狗币作为支付选项。 马斯克一直直言不讳地批评Twitter的内容管,称自己是一个"言论自由的绝对主义者",并对该平台在他的下如何节表示担忧。"马斯克在TED 2022期间接受克里斯-安德森的采访时说:"人们有一个现实和认知,即他们能够在律的范围内自由发言,这一点非常重要。我认为从广义上讲,我们越是能增加对Twitter这个公共平台的信任,文明受损的风险就越小。" 马斯克最初在4月13日提出以每股54.20美元的价格收购Twitter。该提议是在马斯克披露收购...阅读全文

Docker 核心原理

page 很好的介绍了 namespace 的作用。 namespace提供了一种内核级别隔离系统资源的方,通过将系统的全局资源放在不同的 namespace 中,来实现资源隔离的目的。不同 namespace 的进程拥有相互隔离的系统资源。 这里指的资源隔离包含以下这些: Mount: 隔离文件系统挂载点 UTS: 隔离主机名和域名信息 IPC: 隔离进程间通信 PID: 隔离进程的 ID Network: 隔离网络资源 User: 隔离用户和用户组 通过下面的 clone 系统调用可以创建新的进程,参数 flags 创建的进程所属的 namespace, 多个 flags 可以同时创建多个 namespace。 1 int clone(int (*child_func)(void...阅读全文

博文 2021-02-25 09:14:23 lxkaka

分布式 NewSQL 数据库 TiDB

#2342TiFlash添加上报 DeltaTree 引擎读写负载相关 metrics 信息支持 fromUnixTime 和 dateFormat 函数下推默认禁用粗粒度索引过滤器TiDB Ansible新增 TiFlash 监 #1253 #1257优化 TiFlash 配置参数 #1262 #1265 #1271优化 TiDB 启动脚本 #1268 Bug 修复 TiDB修复 merge join 在某些场景下 panic 的问题 #15920修复在计选择率时重复考虑某些表达式的问题 #16052修复极端情况下 load 统计信息可能出现的 panic 的问题 #15710修复 SQL query 中存在等价表达式在某些情况下无识别导致报错的问题 #16015修复从一个数据库中查询另一个数据库的...阅读全文

博文 2020-04-18 22:05:02 3.1.0 发布

本田 40GB 数据险遭泄漏 因云端数据库未设密

InfoQ 此前的粗略统计,仅 2019 年 2 月份,就发生了六起数据泄漏事件,而原因均是:Elasticsearch 服务器没有密码保护。即便是使用云端服务,企业也不可将数据安全的责任全部押到云厂商身上,云厂商只可以在有限的权限范围内提供安全防护,企业还是需要具备安全意识。 Elasticsearch 中文社区深圳分会杨振涛此前在接受 InfoQ 采访时表示:“不少开发人员及其团队在认知上更多地把 Elasticsearch 看成是与 MySQL 同等的存储系统,所以在部署以后并没有太多地关心其访问策略和数据安全。而且 Elastisearch 开箱即用的特点也让开发和运维人员放松了对安全的重视。” 对于避免 Elasticsearch 在使用时发生数据泄露,杨振涛给出了几个最基本的低成本措...阅读全文

成功运作一个开源项目的15个要点

少。 2、透明 这一点很容易理解:我们要使得社区可以观察和了解你正在做的事情:使用易于查找的可公开访问的源代码存储库,使用面向公众的问题跟踪软件,在社区可以找到的地方公布发布计划,以及在公共论坛捕获会议记录(例如归档邮件列表)。 3、开放 对于很多开源项目来说,“透明度”和“开放性”意味着同一件事,但其实这两个术语的含义截然不同。开放不仅仅指的是“一目了然”(这与透明本质上是一样的)。对于许多人来说,开源的“开放”意味着开放新思想,或开放参与。参与开源项目的规则对于每个人应该是一样的(“公平的竞争环境”):仅仅接受几个补丁是不够的,你必须对新的思路点子开放。总之,你必须允许别人参与你的项目,放弃对项目的绝对。 4、保持“公平的竞争环境” 这并不一定意味着你必须让任何人加入项目,而是要确保...阅读全文

博文 2017-11-08 09:58:28 debian.cn

以太网技术联盟宣布800千兆以太网规格

的大目标是定800Gbase-R规范(base-R表示当前媒体上的当前标准系列,base-T和base-C表示前几代)。 与以前的以太网迭代一样,许多技术将被重用和开发。800Bbase-R规范(或800gbe)需要对媒体访问(MAC)和物理编码子层(pc)进行新的定义。这些将从 IEEE 802.3bs 标准中 400GbE 的现有规范中重新定义,重新定义为在8条 106gbps 信道上工作。为了兼容性,规范中的其他部分(如前向错误)保持不变。 RobStone等技术工作组主席说:“这项工作的目的是尽可能重新利用标准的400GbE逻辑,以创建一个800GbE的MAC和PC规范,从而为实施多速率以太网端口的用户提供最低的开销成本。”...阅读全文

博文 2020-04-12 15:10:55 debian.cn

监控Kubernetes集群证书过期时间的三种方案 - OSCHINA

-certificate-exporter监集群所有node的 /etc/kubernetes/pki 和 /var/lib/kubelet 下的证书以及 kubeconfig 文件 优势: 可以监所有 node, 所有 kubeconfig 文件, 以及 所有 tls 格式的 secret 证书, 如果要监 Kubernetes 集群以外的证书, 也可以如; 范围广而全; 需要额外安装: x509-certificate-exporter, 对应有 1 个 Deployment 和 多个 DaemonSet, 对 Kubernetes 集群的资源消耗不少. 可以根据您的实际情况灵活进行选择. 🎉🎉🎉 📚️参考文档 如何使用 Blackbox Exporter 监 URL? - 东风微鸣技术...阅读全文

博文 2022-12-10 06:49:43 中文开源技术交流社区

Apache Kafka发布 3.0 正式版

费者和管理客户端KIP-630:Kafka Raft 快照我们在 3.0 中引入的一个主要功能是 KRaft 器和 KRaft 代理能够为名为 __cluster_metadata 的元数据主题分区生成、复和加载快照。Kafka 集群使用此主题来存储和复有关集群的元数据信息,如代理配置、主题分区分配、领导等。随着此状态的增长,Kafka Raft Snapshot 提供了一种有效的方式来存储、加载和复此信息.KIP-746:修改 KRaft 元数据记录自第一版 Kafka Raft 器以来的经验和持续开发表明,需要修改一些元数据记录类型,当 Kafka 被配置为在没有 ZooKeeper (ZK) 的情况下运行时使用这些记录类型。KIP-730:KRaft 模式下的生产者 ID...阅读全文

博文 2021-09-26 14:13:03 joseph

都是颗粒 为什么SSD有寿命、内存却没有?

随着技术的发展,我们使用的存储器也各种各样,虽然都基于芯片颗粒,但表现截然不同,比如说读写次数限,或者叫寿命,SSD固态硬盘就有限,DRAM内存却没有。 按照分布位置的不同,DRAM内存属于内部存储器,紧挨着CPU处理器,用来临时存放后者需要的运数据,并与外部存储器进行交换,起到桥梁的作用。 DRAM内存的特点是读写速度快、延迟低,但属于易失性存储,也就是一旦断电,数据就会全部丢失。 DRAM内存颗粒利用晶体管加电容来保存数据,而且只是临时存储数据,并没有实质性的写入,不涉及对物理单元结构、属性的改变,所以可以无限次读写。 当然,这并不意味着DRAM内存就可以永久使用,毕竟其中的晶体管、电容等物理结构也会慢慢老化,所有电子设备都是如此,只是这个过程非常非常缓慢,正常使用根本感觉不到...阅读全文

2021勒索软件报告:平均支付赎金增长171% 黑客最高要价3000万美元

软件。RagnarLocker排名第二,泄漏了全球26家受害企业的数据。值得一提的是,美国司部在2021年1月宣布协调国际执行动,瓦解NetWalker勒索软件团伙。由NetWalker运营商管理的托管泄漏数据的暗网域名已经无访问。图片来自于 派拓网络全球威胁情报团队 Unit 42最后报告提出三项建议,分别是初始进入、备份和恢复流程以及安全监。在初始进入方面,建议企业使用者保持对电子邮件安全的认识和培训,并在恶意电子邮件进入邮箱后立即识别和补救。其次企业要进行适当的修补管理,并审查哪些服务可能暴露在互联网上。再者远端桌面服务要正确配置并确保安全,尽可能使用最低许可权,并定策略对付勒索软件。在备份和恢复流程方面,企业需备份资料,并提前规划好适当的恢复流程。企业要确保所有备份都在离线...阅读全文

DevOps 越来越流行,2019 年这八大趋势值得关注

务就跟着学,一定要了解自己的需求,并知道为什么要采用微服务架构。 更多公司预计会选择企业版软件 很多公司仍处于是自己开发还是购买企业版软件的两难境地。我们建议你做自己最擅长的事情,并按照自己的要求购买相应的工具。这样不仅可以帮助你专注于你的目标,还可以完全依赖第三方平台来提高工作效率。很多公司现在都在通过企业版软件来构建自己的基础设施,并确保安全性尽可能得到最好的。 Kubernetes 将进一步演化 Kubernetes 因为易用性而成为增长最快的容器技术。Kubernetes 还建立了一个壮大的开源社区。在世界各地,很多 CIO 和技术专家已经在使用 Kubernetes,并预计在 2019 年会有重大的发展。 最近,云原生计基金会(CNCF)进行了一项调查,分享了容器编排领域所发...阅读全文

博文 2018-12-10 22:49:57 debian.cn

Kubernetes调度算法浅析

etcd数据库中。kube-scheduler通过api-server查看有哪些可用的pod。kube-scheduler通过一组过滤掉一部分不可用的pod或者node节点。kube-scheduler再通过更加严格的打分机对所有的可用pod进行打分。通过打分选出分数最高的pod,并将pod进行绑定之后存储在etcd中。node节点的kubelet接收到api-server指令进行pod创建。 kube-scheduler的预选(过滤)规则 kube-scheduler首先通过以下规则对所有node节点或者pod进行初步的过滤。 kube-scheduler的优选(打分)规则 在经过重重过滤之后,剩下的都是K8S集群可用的pod和node节点。之后kube-scheduler会根据另一套规则...阅读全文

博文 2020-12-20 11:01:10 debian.cn

红帽 2017 峰会 第三天回顾:自动化的未来

能够统一面向多个接入口进行自动化操作的定义与管理。 在本次峰会之前,红帽的 Linux发行版RHEL OpenStack发行版RDO OpenShift(Kubernetes) 存储产品Cepht与Gluster 已经与Ansible集成。本次峰会上,红帽又发布了Red Hat Insights(红帽的监预警产品)和CloudForms与Ansible的集成。 为什么是Ansible? 其中一个很重要的原因在于,Ansible连不懂技术的业务人员也可以拿来用。甚至可以这么说:任何一个能够阅读英文的人都能看懂Ansible Playbook的用。红帽认为Ansible代表了自动化的未来,在此投入了大量研发力量与资源。 2、Red Hat Insights作为统一的数据分析层 Red Hat...阅读全文

博文 2021-01-28 17:50:29 debian.cn

Debian 相比 Ubuntu 有哪些不同之处

Debian 和 Ubuntu 是有史以来最具有影响力的两大 Linux 发行版。在大约285个活跃发行版当中,有132个源自Debian (也包括Ubuntu本身),另有67个直接源自Ubuntu。不过在Ubuntu和Debian之间作一个选择并非易事。说到底,选择Ubuntu还是选择Debian用来定业务战略,取决于你在平台支持、用户级别、易用性及另外一些关键问题方面的使用偏好。 如果要求你解释一下 Debian和Ubuntu 之间的区别,大多数会这样回答:Ubuntu是面向新手的发行版,而Debian是面向专家的发行版。这样的描述部分正确,但同时夸大其辞。Debian的声誉建立在10多年前的状态;如今,允许每个用户可以选择众多的实际特性。 同样,从设计概念来看,Ubuntu...阅读全文

博文 2017-12-22 23:41:07 debian.cn

WSL2 将普遍可用,Linux 内核提供方式改变

微软博客宣布,WSL2 将在 Windows 10 2004 版中正式进入普遍可用(GA,Generally Available)状态。 WSL 2 是去年微软在 Build 2019 上宣布推出的,相比第一代,新的 WSL 重新设计了架构,使用真正的 Linux 内核,可以在 Windows 上运行 ELF64 Linux 二进文件。 Linux 二进文件使用系统调用来执行许多功能,例如访问文件、请求内存与创建进程等。WSL 1 创建了一个转换层,对这些系统调用进行翻译,以允许它们在 Windows NT 内核上工作。但是,实现所有这些系统调用很有挑战性,导致某些应用程序无在 WSL 1 中运行。现在 WSL 2 包含自己的 Linux 内核,它具有完整的系统调用兼容性,这引入了一...阅读全文

博文 2020-03-15 10:53:59 debian.cn

Facebook 是如何进行大规模代码部署的

过多,以至于无持续。 这个 CD 系统的关键组件是一种,即谁将接收变更,以及用于部署和测量的自动化工具。在第一步中,经过一系列自动化测试后,变更就从内部推送到 Facebook 员工。在这一阶段发现的任何回归,都会被认为这一进程受阻或者停止。下一步涉及到“ canary deployment ”(金丝雀部署),只推送至生产环境的 2% 。依靠连续的监测来检测问题。如果一切顺利,这些变更将 100% 部署到生产环境中。名为 Flytrap 的工具收集用户报告,并发送任何异常情况的告警。 Facebook 中的 Web 和移动产品遵循两条不同的路径,原生移动变更的部署频率低于 Web 。这两个都由名为 Gatekeeper 的系统。除此之外,Gatekeeper 还分离出了部署和发...阅读全文

博文 2017-10-31 14:05:20 debian.cn

Ceph 基金会正式成立 接受 Linux 基金会的管理

2018年11月12日,北京时间16:00,Linux基金会在德国柏林“Ceph Day”上正式宣布成立“Ceph基金会”来支持Ceph开源项目。Ceph基金会接受Linux基金会的管理,它的成立将为Ceph社区的合作和成长提供一个中立的机构。高级会员和一般会员每年缴纳会员费,准会员是教育机构或政府组织,并被邀请免费加入。 理事会由所有高级成员,普通成员代表,准成员代表和Ceph领导团队(技术治理机构)代表组成。董事会负责: 建立并批准用于支持Ceph项目的年度预 建立特设委员会以满足项目的当前需求 协调外展或营销 定期开会讨论基金会活动,Ceph项目的现状以及整体项目战略 在董事会面前对任何决定或事项进行投票 Ceph基金会董事会不对Ceph的技术治理负责,也没有任何直接权。开发和...阅读全文

RabbitMQ 高可用实现镜像队列

如果 RabbitMQ 集群只有一个 broker 节点,那么该节点的失效将导致整个服务临时性的不可用,并且可能会导致 message 的丢失(尤其是在非持久化 message 存储于非持久化 queue 中的时候)。可以将所有 message 都设置为持久化,并且使用持久化的 queue,但是这样仍然无避免由于缓存导致的问题:因为 message 在发送之后和被写入磁盘并执行 fsync 之间存在一个虽然短暂但是会产生问题的时间窗。通过 publisher 的 confirm 机能够确保客户端知道哪些 message 已经存入磁盘,尽管如此,一般不希望遇到因单点故障导致服务不可用。 如果 RabbitMQ 集群是由多个 broker 节点构成的,那么从服务的整体可用性上来讲,该集群对...阅读全文

博文 2018-12-30 19:21:59 debian.cn

服务监控系统 Prometheus 2.0 发布

% – 50% 没有太多查询,平均负载的 磁盘 I / O<1% 它也能够适应未来几年现代计环境日益增长的动态特性。 过时处理 另外,Prometheus 也发生了一些大大小小的变化,使其更加一致和直观。最值得注意的是 过时处理 ,这是最古老的路线图项目之一。随着新的改进,从这些目标中消失的监目标或系列现在被明确地跟踪,这减少了人为因素的查询和提高警报响应。 其他改进 Prometheus 2.0 还内置支持 整个数据库的快照备份 。 完整更新内容请查看 发布主页 。 下载地址:https://prometheus.io/download/#prometheus...阅读全文

博文 2017-11-09 10:44:45 debian.cn

Saltstack极高危漏洞: 可获取master权限

这两天开源配置管理工具 saltstack 爆出了CVSS得分为10分的漏洞。如果你对CVSS的评分没有概念,那么前几年震惊互联网的 openssl心脏滴血漏洞,CVSS base评分是5.0,由此可知这次爆出来的 saltsatck 漏洞是多么严重。 漏洞信息: 该漏洞是 F-secure 研究人员在3月份发现的,目前该漏洞已经在最新版本中修复。本次极高危漏洞,是由两个不同的漏洞引起的,一个是身份验证绕过漏洞 CVE-2020-11651,一个是目录遍历漏洞没有过滤掉不受信任的输入 CVE-2020-11652,从而导致攻击者可以不受限的访问 salt-master 的整个文件系统。 攻击者获取salt-master的权限后,便可以整个被salt-master管理的数据中心的各主机...阅读全文

博文 2020-05-05 18:32:44 debian.cn

LXD 3.8 发布,下一代容器管理器

LXD 3.8 发布了,LXD 是下一代容器管理程序,它提供类似于虚拟机的用户体验,但使用的是 Linux 容器。LXD 的核心是一个特权守护程序,它通过本地 unix 套接字以及网络暴露 REST API。随后客户端通过该 REST API 执行所有操作,这意味着无论是与本地主机还是远程服务器通信,都以相同的方式运行。LXD 附带提供命令行客户端。 此版本改进了许多功能,还带来一些新功能,包括: 自动化容器快照 引入了三个配置键来自动快照并配置它们的命名方式。 支持项目之间的复/移动 lxc copy 和 lxc move 都添加了一个新的 –target-project 选项,可以在项目之间复或移动容器。 cluster.https_address 服务器选项 以往,集群...阅读全文

博文 2018-12-14 10:29:14 debian.cn

Intel 为啥要给 ARM 代工

日前,Intel 公开表示将为 ARM 阵营 IC 设计厂商代工生产芯片。且还公开叫板“友商”,称 Intel 的 10nm 工艺比三星、台积电的 10nm 工艺更具优势。ARM 方面表示很期待与英特尔合作。此外,不知道是否因为台积电和三星造工艺注水的问题,Intel 的专家 Mark Bohr 还发布了一个更合理的衡量半导体工艺水平的公式。那么,Intel 缘何开始为 ARM 阵营 IC 设计公司代工芯片,Intel 提出的新计公式能得到台积电、三星、格罗方德等代工大厂的认同么? Intel 罕有为第三方提供代工业务 一直以来,虽然台积电在芯片代工领域的市场份额独占鳌头,但在芯片造工艺上,Intel 始终掌握着最先进的技术。举例来说,虽然同样是 14nm 造工艺,三星的 14nm...阅读全文

博文 2021-01-28 17:50:26 debian.cn

OpenSSL 3.0 正式发布,更改许可协议并弃用所有低级别 API

,OpenSSL 是在 OpenSSL 和 SSLeay 下获得许可的。从 OpenSSL 3.0 开始,已经过渡到了 Apache License 2.0。旧的 OpenSSL 和 SSLeay 许可证仍然适用于旧版本(1.1.1 和更早的版本)。Providers 和 FIPS 支持OpenSSL 1.1.1 的主要变化之一是引入了 Providers(提供者) 概念。Providers 聚集在一起并提供可用的实现。使用 OpenSSL 3.0,可以以编程方式或通过配置文件指定你希望用于任何给定应用程序的 Providers。OpenSSL 3.0 标配 5 个不同的 Providers。随着时间的推移,第三方可能会分发可以接入 OpenSSL 的其他 Providers。通过 Providers...阅读全文

Python的闭包和装饰器

定一个参数,传入的就是@dobi下面修饰的函数,也就是 qinfeng() 3.dobi() 函数执行,调用 qinfeng(),qinfeng() 打印“dobi” 什么是闭包? 首先还得从基本概念说起,什么是闭包呢?来看下维基上的解释: 在计机科学中,闭包(Closure)是词闭包(Lexical Closure)的简称,是引用了自由变量的函数。这个被引用的自由变量将和这个函数一同存在,即使已经离开了创造它的环境也不例外。所以,有另一种说认为闭包是由函数和与其相关的引用环境组合而成的实体。闭包在运行时可以有多个实例,不同的引用环境和相同的函数组合可以产生不同的实例。 .... 上面提到了两个关键的地方: 自由变量 和 函数, 这两个关键稍后再说。还是得在赘述下“闭包”的意思,望文知...阅读全文

博文 2014-07-23 17:06:38 debian.cn

Linux Systemd被爆远程漏洞 CVE-2017

"dns_packet_new" 函数中, 它是一个 dns 响应处理程序组件, 它为本地应用程序提供网络名称解析。 根据星期二发布的一个公告, 当系统试图在攻击者的 dns 服务上查找主机名时, 经过精心构造的恶意 dns 响应,可以远程崩溃 " systemd-resolved " 程序。 最终, 大量 dns 响应会溢出目标计机的缓冲区, 从而使攻击者改写其内存,引发远程代码执行。这意味着攻击者可以通过其恶意的 dns 服务,在目标系统或服务器上,远程执行任何恶意软件。 ubuntu 开发者Chris Coulson在开发规范中这样描述, “直到 233版本的 systemd , certain sizes passed to dns_packet_new in systemd-resolved can...阅读全文

博文 2017-07-02 09:39:36 9445 影响多种Linux系统