InfraPub 为您找到相关结果 882

Linux内存buffer和cache的区别

在Linux的内存分配机制中,优先使物理内存,当物理内存还有空闲时(还够),不会释放其内存,就算内存的程序已经被关闭了,该程序所的内存来做缓存使,对于开启过的程序、或是读取刚存取过得数据会比较快。 一. 内存使说明 Free 命令相对于top 提供了更简洁的查看系统内存使情况: [root@debian ~]$ free total used free shared buffers cached Mem: 1035108 1008984 26124 0 124212 413000 -/+ buffers/cache: 471772 563336 Swap: 2096472 842320 1254152 这里显示的单位是KB。 在Linux的内存分配机制中,优先使物...阅读全文

influxdb内存消耗分析及性能优化【探索篇】

0.269t 0.053t 0.025t D 14.6 86.2 1081:18 influxd在出现堆积时,wa很高,说明问题再次出现在磁盘io上,而且influxd的SHR空间了25g,又是为什么?面对新出现的问题,当前的主要手段仍然是从influxdb配置文件入手,但是该如何优化?2.tsi原理工欲善其事,必先利其器。查阅了相关资料之后,整理了influxdb使tsi索引时原理图:说明:写入influxdb时,会同时写wal文件及cache内存, wal于宕机恢复cachecache在达到配置中的阈值时,会进行snapshot快照,进行落盘influxdb的series及index索引会在内存中全量保存,于快速检索wal文件大小在达到配置中阈值时,会进行压缩转换到index索引...阅读全文

博文 2021-10-27 16:06:30 知乎

k8s 中发现很多为状态为 Evicted 的 Pod

")) | "kubectl delete pods \(.metadata.name) -n \(.metadata.namespace)"' | xargs -n 1 bash -c 将Evicted状态的pod删除后,清理一波磁盘,具体操作可以查看如何清理Linux服务器磁盘空间 df -h //查看服务器空间 du -h --max-depth=1 //查看当前目录,哪个文件最大 du -sh * //查看当前目录下各文件及文件夹大小 cp /dev/null a.log //将a.log文件清除为空 最后k8s上的服务显示正常了。...阅读全文

博文 2021-03-05 08:34:20 diablo4

IDC:亚马逊2018年IT支出超136亿美元全球居首 谷歌第二

(Jeremy King)上周日在纽约参加美国全国零售联合会大会时表示,公司一直在大力投资技术以改善供应链、电商以及物流服务。沃尔玛还将在今年增大投入,扩大机器人在仓库和门店的使等。 他表示,沃尔玛在2018年扩大了技术团队,增加了大约1700名技术人员,并预计还会在今年增加2000名技术人员。 拉特斯曼表示,亚马逊不断扩大的云服务需要越来越多的计算机服务器。亚马逊在公云服务市场据领先,谷歌和微软公司正在努力追赶。“他们投入巨资在全世界建立计算平台,”他表示。 银行也是大型IT支出机构,其中包括摩根大通、美国银行以及富国银行。拉斯特曼认为,网络安全和数字银行工具是银行最明显的投资领域。...阅读全文

博文 2019-01-18 09:58:17 debian.cn

Linux系统诊断-内存基础

谈及linux内存,很多时候,我们会关注free,top等基础命令。当系统遇到异常情况时,内存问题的根因追溯,现场诊断时,缺乏深层次的debug能力。本篇幅不做深层讨论,能把当前系统的问题描述清楚,是每个SRE应该具备的最基础能力。free========2.1 free命令原理free是通过查看 /proc/meminfo 来获取内存的使情况。但是 /proc/meminfo 这个文件又是怎么来的?我们先了解下 /proc 目录:/proc 是一个虚拟文件系统,该目录下的所有文件都是伪文件,该类文件只存在于内存中,并不空间——使 du -sh 即可验证,该模具路下的磁盘都是0。/proc 下的所有文件都是内核调proc_create() 接口来创建的虚拟条目。/proc 中...阅读全文

博文 2021-02-11 14:22:42 SegmentFault 思否

U盘启动的 UEFI 版和装机版有什么区别

为普遍的方式,需要通过BIOS设置U盘启动来进入PE,适合2012以前的老机器。 特点: 1.启动稳定进入菜单 2.的空间小。 3.功能强大可靠,支持的主板比较多! 假如不要求太高就是做个u盘保驾护航建议装机版。要是专业的维护人员,建议双版合一的。也就是说有些U盘启动盘制作工具是装机版+uefi二合一的版本,当然的U盘空间也会大一些,适合比较专业的经常装电脑的朋友使。...阅读全文

博文 2014-04-25 10:08:57 debian.cn

Linux 中 journal 占用大量磁盘空间,如何清理 journal 日志?

使df -h检查磁盘文件,看到 journal 日志了数G空间, ~:/var/log/journal/4211ff3f594041f3966d836585a11a05# journalctl --disk-usage Archived and active journals take up 6.4G in the file system. 清理方法可以采按照日期清理,或者按照允许保留的容量清理 ``` journalctl --vacuum-time=2d journalctl --vacuum-size=500M ``` 参考阅读: https://debian.cn/articles/746...阅读全文

Kafka 常用命令行工具

个主题 kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 2 --partitions 3 --topic infras_cn # 启动一个生产者 kafka-console-producer.sh --broker-list localhost:9092 --topic infras_cn # 启动一个消费者组(3个成员),会三个终端 kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic infras_cn --group infras_cn-group kafka-console...阅读全文

三个简单而优秀的 Linux 网络监视器

你可以通过 iftop、Nethogs 和 vnstat 这三个 Linux 网络命令,了解有关你网络连接的大量信息。iftop 通过进程号跟踪网络连接,Nethogs 可以快速显示哪个在你的带宽,而 vnstat 作为一个很好的轻量级守护进程运行,可以随时随地记录你的使情况。 iftop iftop 监听你指定的网络接口,并以 top 的形式展示连接。 这是一个很好的小工具,于快速识别、测量速度,并保持网络流量的总体运行。看到我们使了多少带宽是非常令人惊讶的,特别是对于我们这些还记得使电话线、调制解调器、让人尖叫的 Kbit 速度和真实的实时波特率的老年人来说。我们很久以前就放弃了波特率,转而使比特率。波特率测量信号变化,有时与比特率相同,但大多数情况下不是。 如果你只...阅读全文

博文 2017-11-07 00:07:38 debian.cn

如何读懂火焰图?+ 实例讲解程序性能优化 - xuxh120

的文本文件。如果一台服务器有16个 CPU,每秒抽样99次,持续30秒,就得到 47,520 个调栈,长达几十万甚至上百万行。 为了便于阅读,perf record命令可以统计每个调栈出现的百分比,然后从高到低排列。 $ sudo perf report -n --stdio 这个结果还是不易读,所以才有了火焰图。 二、火焰图的含义 火焰图是基于 perf 结果产生的 SVG 图片,来展示 CPU 的调栈。 y 轴表示调栈,每一层都是一个函数。调栈越深,火焰就越高,顶部就是正在执行的函数,下方都是它的父函数。 x 轴表示抽样数,如果一个函数在 x 轴据的宽度越宽,就表示它被抽到的次数多,即执行的时间长。注意,x 轴不代表时间,而是所有的调栈合并后,按字母顺序排列的。 火焰图就...阅读全文

博文 2022-03-11 10:05:09 博客园

80% 的 Oracle JDK 用户正在考虑替代方案

在 2019 年,Oracle 决定更改许可模式,从提供免费的 Java 更新转变为要求付费订阅,这一重大变化无疑在市场上掀起了一片波澜。之后,尽管有一些使 Java 的公司扔坚持使 Oracle 并承担了增加的支持成本,但许多公司也在步步为营,谋求新的选择。 据 Azul Systems 的一项新调查显示,目前有 80% 的 Oracle JDK 户正在考虑其他选择。Snyk 和 Oracle 联合进行的 2018 年调查层表明,Oracle JDK 户以前 Java 户的很大比例。该调查发现 70% 的受访者使 Oracle JDK,21% 的受访者使 OpenJDK,9% 的受访者使其他 JDK 实现,例如 Eclipse OpenJ9/IBM J9、Android...阅读全文

博文 2020-05-27 08:13:46 debian.cn

中国加快基于 IPv6 的互联网发展,2025 年实现全覆盖

中共中央办公厅、国务院办公厅印发了《推进互联网协议第六版(IPv6)规模部署行动计划》,计划全面推进部署 IPv6,协同推进网络实名制。 通知称, 5 到 10 年时间,建成全球最大规模的 IPv6 商业应网络。具体计划包括: 1.到 2018 年末,IPv6 活跃户数达到 2 亿,在互联网户中的比不低于 20%,并在以下领域全面支持 IPv6:国内户量排名前 50 位的商业网站及应,省部级以上政府和中央企业外网网站系统,中央和省级新闻及广播电视媒体网站系统,工业互联网等新兴领域的网络与应;域名托管服务企业、顶级域运营机构、域名注册服务机构的域名服务器,超大型互联网数据中心(IDC),排名前 5 位的内容分发网络(CDN),排名前 10 位云服务平台的 50% 云产品;互联...阅读全文

Golang后端面试题目

技术一面 基础面试 一面是通过电话直接沟通。 go的调度go struct能不能比较go defer(for defer)select可以于什么context包的途client如何实现长连接主协程如何等其余协程完再操作slice,len,cap,共享,扩容map如何顺序读取实现set实现消息队列(多生产者,多消费者)大文件排序基本排序,哪些是稳定的http get跟headhttp 401,403http keep-alivehttp能不能一次连接多次请求,不等后端返回tcp与udp区别,udp优点,适场景time-wait的作数据库如何建索引孤儿进程,僵尸进程死锁条件,如何避免linux命令,查看端口,cpu负载,内存,如何发送信号给一个进程git文件版本,使顺序...阅读全文

博文 2020-04-13 13:13:00 2020腾讯社招

理解 Linux 的虚拟内存

都是你的,随便,管够。可事实上呢,操作系统只是给它们画了个大饼,这些内存说是都给了 P1 和 P2,实际上只给了它们一个序号而已。只有当 P1 和 P2 真正开始使这些内存时,系统才开始使辗转挪移,拼凑出各个块给进程,P2 以为自己在 A 内存,实际上已经被系统悄悄重定向到真正的 B 去了,甚至,当 P1 和 P2 共了 C 内存,他们也不知道。 操作系统的这种欺骗进程的手段,就是虚拟内存。对 P1 和 P2 等进程来说,它们都以为自己了整个内存,而自己使的物理内存的哪段地址,它们并不知道也无需关心。 分页和页表 虚拟内存是操作系统里的概念,对操作系统来说,虚拟内存就是一张张的对照表,P1 获取 A 内存里的数据时应该去物理内存的 A 地址找,而找 B 内存里的数据应该去物...阅读全文

博文 2018-11-25 11:03:49 debian.cn

解决 Debian 开机中 networking 大量耗时的问题

首先查看哪些服务了开机时间: `systemd-analyze blame` 本文示例中发现 networking.service 的时间长达 5 分钟。查看该服务状态可发现如下错误: ``` systemd[1]: networking.service: Start operation timed out. Terminating. systemd[1]: networking.service: Main process exited, code=killed, status=15/TERM systemd[1]: networking.service: Failed with result 'timeout'. systemd[1]: Failed to...阅读全文

2017 Linux 内核开发报告 Linux统治着计算机世界

现在是 2017 年,Linux 在统治着计算机世界。不相信?Linux 基金会报告说,Linux 运行着 90% 的公共云工作量,世界上 82% 的智能手机,62% 的嵌入式市场,以及几乎领了 99% 的超级计算机市场。所有的这些都基于 Linux 内核。在 Linux 基金会 2017 的 Linux Kernel 开发报告中 ,Linux 内核开发者和 LWN.net 的编辑 Jonathan Corbet 以及稳定的 Linux 内核维护者 Greg Kroah-Hartman 报告了 Linux 最新的发展。 报告显示,自 2005 年以来,Linux Kernel 采 Git 版本控制系统,来自 1,400 多家公司的 15,637 名开发者为 Linux 内核做出了贡献...阅读全文

博文 2017-10-26 10:57:34 debian.cn

全民HTTPS时代:盘点免费SSL证书那些事儿

根据 Let’s Encrypt CA 的统计,截至 2017 年 11 月,Firefox 加载的网页中启 HTTPS 的比例 67%,比去年底的 45% 有巨大提升。浏览器开发商如 Mozilla, Google 准备采取下一步措施:将所有 HTTP 网站标记为不安全。 随着 HTTPS 的普及,给网站加个 SSL 证书已经是大势所趋而且很有必要了。目前已经存在不少免费好的 SSL 证书,因此,本文就来盘点一下关于免费 SSL 证书的那些事儿。 一、Let’s Encrypt 官方网站:https://letsencrypt.org/ 点评:毫无疑问,Let’s Encrypt 是目前使范围最为广泛的免费 SSL 证书,而且官方博客宣布,自 2018 年开始提供通配符 SSL...阅读全文

英特尔发布P4500数据中心SSD新品:外形12英寸 容量32TB

英特尔刚刚发布了迄今为止最为密集的 SSD 产品,它就是面向数据中心应的 P4500 。为了将 32TB 的容量纳入单块 SSD,尽管其身材依然纤薄(宽高 1.5×0.3 英寸 / 3.8×0.8 厘米),但长度已经达到了丧心病狂的 12 英寸(30.5 厘米)。存储颗粒方面,其选了 64 层堆叠的 3D NAND 架构。不过英特尔表示,它只需一半的气流,即可满足运行时的散热需求。 Intel P4500 是当前最密集的 SSD,将 32TB 容量纳入 12 英寸“标尺”外形。32 组 P4500 SSD 可纳入一个标准服务器插槽,总容量达到 1PB(1024TB)。 这些 3D NAND SSD 的功耗只有 1PB SATA 机械硬盘的 10%,空间更是只有 5% 。对于 IBM...阅读全文

博文 2018-08-09 13:24:47 debian.cn

什么是线程安全,以及并发需要知道的几个概念

,因为一个CPU一次只能执行一条指令,这种情况就是并发,系统看似能处理多任务是因为不停的切换任务,但因为时间非常短,所以在我们的感官来说就是同时进行的。而计算机系统真实的并行是随着多核CPU的出现才有的。 临界区临界区表示公共资源或是共享数据,可以被多个线程使。但是每次只能有一个线程使它,一旦临界区的资源被,其他线程就必须等到资源释放后才能继续使该资源。在Java程序开发中,对于这样的资源一般都需要做同步的操作,例如下面的这段代码,的就是synchronized关键字来对临界区资源进行同步。 public class SyncTest implements Runnable { //临界区资源 public static SyncTest instance = new...阅读全文

博文 2018-12-31 20:44:06 debian.cn

Git 2.26 发布:传输协议 V2 成默认协议

Git 2.26 现已发布,项目贡献者 Taylor Blau 介绍了此版本带来的一些特性上的亮点,包括将传输协议 V2(第二版) 作为默认协议 、一些新的配置技巧以及更新到 git sparse-checkout。 该版本具体更新内容如下: Changes 传输协议V2(第二版)已成为默认协议。继续准备最终对象名称将使 SHA-256 哈希的工作。继续致力于改进不同子命令的 Bash / CLI 自动完成功能。改进的 fsmonitor-watchman hook 可避免以前版本中的 race 情况。对于 CLI 着色,七种颜色现在具有更亮的颜色选项。解除了 Git 先前使线程 grep 的限制。Git rebase 现在默认使合并后端。较低的内存量和更好的性能 git...阅读全文

博文 2020-03-24 10:35:05 debian.cn

MX Linux 17 Beta 1 发布,基于 Debian 的发行版

MX Linux 是基于 Debian 稳定分支的面向桌面的 Linux 发行,它是 antiX 及早先的 MEPIS Linux 社区合作的产物。它采 Xfce 作为缺省桌面,是一份中量级操作系统,并被设计为优雅而高效的桌面与如下特性的结合:配置简单、高度稳定、性能可靠、空间不大也不小。 MX-17 Beta 1 镜像现在可供下载和测试。 Beta 1 具有以下功能: antiX 项目的最新实时系统更改和修复; Debian(Stretch)的最新更新; 4.9.0-4 内核(alphas 特性 4.9.0-3); 32 位 ISO 有 PAE 内核,而非 PAE; 更新软件包,包括 LibreOffice 5.4.1 的更新和 mx-apps; mx-tweak 替换了 mx...阅读全文

博文 2017-11-07 10:19:49 debian.cn

2016 年 Go 语言使用习惯调查

Go 语言官方博客公布了 2016 年 Go 语言使调查。在 3,595 名被调查者中,89% 称他们在工作中或工作之外 Go 编程;63% 称他们的工作是 Web 开发,但只有 9% 的人只从事 Web 开发,一半以上被调查者的工作涉及三个以上领域;63% 的人 Go 开发命令行程序,60% 写 API 或 RPC 服务,52% 写 Web 服务。 被调查者对 Go 的满意度非常高(这显然与被调查者这一群体高度相关),他们主要在 Linux 上进行开发,其次是 MacOS,第三是 Windows;最爱的编辑器是 Vim,其次是 VSCode、Atom、IntelliJ、Sublime Text 和 Emacs;大部分人主要通过 Stack Overflow 寻找 Go 相关问题的答...阅读全文

博文 2021-01-28 17:50:23 debian.cn

ChaosMesh 的基本功能有哪些

Chaos Mesh 的基本功能,包括故障注入、混沌实验场景、可视化操作、安全保障。故障注入​故障注入是混沌实验的核心。Chaos Mesh 充分考虑分布式系统可能出现的故障,提供全面、细粒度的故障类型,分为基础资源类型故障、平台类型故障和应层故障三大类。基础资源类型故障:PodChaos:模拟 Pod 故障,例如 Pod 节点重启、Pod 持续不可,以及特定 Pod 中的某些容器故障。NetworkChaos:模拟网络故障,例如网络延迟、网络丢包、包乱序、各类网络分区。DNSChaos:模拟 DNS 故障,例如 DNS 域名解析失败、返回错误 IP 地址。HTTPChaos:模拟 HTTP 通信故障,例如 HTTP 通信延迟。StressChaos:模拟 CPU 抢或内存抢场景...阅读全文

高性能日志采集工具 logpipe 简单介绍

在集群化环境里,日志采集是重要基础设施。本文结合最新的 1.0.9 版,对 logpipe 做一个简单的介绍。开源主流解决方案是基于 flume-ng,但在实际使中发现 flume-ng 存在诸多问题。 比如 flume-ng 的 spoolDir 采集器只能对文件名转档后的大小不能变化的最终日志文件进行采集,不能满足采集时效性要求,如果要采集正在被不断追加的日志文件,只能 exec 采集器搭配 tail -F 命令,但 tail -F 命令又不能通配目标目录中将来新增的未知文件名。其它解决方案如 logstash 由于是 JAVA 开发,内存和性能都不能达到最优。 作为一个日志采集的本地代理,内存应该小而受控,性能应该高效,耗费 CPU 低对应影响尽可能小,要能异步实时追踪...阅读全文

系统分析工具 Sysdig 详解

Sysdig 是 Sysdig Cloud 开发的主要基于Lua语言的一个开源系统分析工具。Sysdig 能从运行的系统中,获取系统状态和行为,做过滤分析,功能上超同类开源工具。Sysdig 可以看做是 strace + tcpdump + lsof + htop + iftop 以及其他系统分析工具的合集 。 此外 Sysdig 还能对容器(如docker、coreOS、LXC)进行监控。 Sysdig 也支持windows平台和mac平台。下面我们以 Linux系统为例,举例说明 Sysdig 的法,你也可以参考官方原文。 网络 查看网络带宽最多的进程:sysdig -c topprocs_net显示主机192.168.0.1的网络传输数据 as binary:sysdig...阅读全文

博文 2020-08-09 14:09:05 debian.cn

AMD发32核Naples处理器 靠性价比杀回服务器市场

据外媒(PCWorld)报道,之前在戴尔担任服务器业务总经理,以直言不讳性格著称的AMD的现任服务器业务主管Forrest Norrod表示:面向企业级市场的Naples(那不勒斯)高性能服务器处理器正式亮相后,将重振芯片大厂AMD在服务器领域的辉煌,该处理器采最新Zen架构,拥有32个核心。这是AMD回归服务器市场的第一个大动作。 Naples芯片将在今年第二季度正式上市,直接瞄准被英特尔牢牢据的服务器市场。AMD高级副总裁兼企业、嵌入式和半定制(EESC)事业群总经理Norrod毫不掩饰同英特尔一争高下的战略意图。 如今英特尔据着超过90%的服务器芯片市场份额。而AMD的目标是逐步地吸引客户。价格因素或将成为AMD的秘密武器。英特尔的芯片因高昂的价格著称,其中最贵的芯片售价...阅读全文

Gartner公布Q3全球服务器报告:出货量318.3万台

Gartner公司公布2018年第三季度全球服务器市场调查报告,根据报告显示,全球服务器出货量为318.3万台,销售额193.9亿美元,同比分别增长12.5%和31.5%。本季度全球出货量与销售额位居前三位是戴尔EMC、HPE和浪潮。 2018Q3全球X86服务器出货量排名 2018Q3全球X86服务器销售额排名 从区域增长来看,全球除去拉丁美洲和东欧地区,其他区域市场均有增长,增速普遍达到两位数。大中华区和北美拉动了全球增长,两个地区的销售额分别同比增长44.6%和39.6%,所市场份额提升分别为26.7%和41.7%。 从具体产品形态看,多节点、机架类服务器销售额分别同比增长75.2%和31.1%。刀片和塔式服务器继续小幅萎缩,销售额分别同比下降3.7%和4.8%。多节点服务器的增长...阅读全文

Google Chrome 在浏览器市场表现优异 继续拉开对手

Google Chrome是桌面上最常的浏览器并不是秘密,但NetMarketShare在9月份发布的新数据显示,该产品与其竞争对手之间的差距几乎每个月都在增加。Google Chrome的市率从8月的65.21%上升到上个月的66.28%,再一次表明户并不真正关心浏览器市场中的其他应程序。 尽管其他厂商努力推动他们的应,但这种差异正在变得越来越大。例如,微软经常被指责各种“新奇手法”试图说服Windows 10户坚持使Edge。他们的策略涉及桌面上显示的广告,微软甚至考虑让邮件应程序中默认Edge打开链接,而不管户的配置如何。 然而,这些工作毫无意外地全都失败了,并且似乎已经适得其反。微软Edge上个月的市场从4.30%的下降到4.08%。Mozilla...阅读全文

Debian 向社区发出邀请 请求测试 Debian 10 Buster 安装镜像

Debian项目团队已经向社区户发出邀请,请求帮助测试即将推出的Debian GNU/Linux 10 “Buster”。该发行版本计划于2019年7月6日周六正式发布,整个开发阶段已经持续数年时间,相比Debian 9引入了诸多改进和新功能,努力将其打造成为非常优秀的新版本。 不过在本周晚些时候正式上线之前,Debian 项目寻求社区的力量,以反馈发现Debian GNU / Linux 10 Buster 在下载、安装和使环节所遇到的问题,从而确保最终正式版没有错误。 Andy Simpkins在邮件列表中写道:“如果能够你的一些时间来帮助我们测试这些镜像,我们将非常感激你的帮助。请在开始测试之前检查 irc *以减少重复测试。” Debian GNU / Linux 10...阅读全文

博文 2019-07-03 16:39:51 debian.cn

nginx 1.18.0 稳定版发布

导致访问受限而引起的时序攻击(Timing Attack)。 其他一些变更: 安全方面的改进,主要是修复针对 HTTP/2 客户端可能导致过多内存消耗和 CPU 使率升高的问题修复 nginx 在某些情况下可能过多 CPU 的问题,以及许多其他错误修复需要使 OpenSSL 0.9.8 或更高版本 nginx 1.18.0 下载地址:http://nginx.org/en/download.html 根据 nginx 发布新版的策略,“稳定”指的是功能和更新频率,它与软件质量无关。稳定分支在其生命周期中从不接收新功能,并且通常仅接收一个或两个更新,于修复严重的错误。另外,稳定版本通常 fork 自最新的 mainline 版本。 因此,nginx 1.18.0 fork 自最新的...阅读全文

博文 2020-04-23 09:18:27 debian.cn

SK海力士宣布HBM2E内存:带宽最高460GB/s

。 而且不同于传统DRAM必须单独封装、主板面积,HBM系列可以与GPU芯片、逻辑芯片等整合封装在一起,彼此距离可以做到仅仅几个微米,大大节省整体面积,也能保证更快的数据传输。 SK海力士是第一个搞定HBM的,时间是2013年。SK海力士未透露HBM2E何时量产出货,看样子还要等一段时间。 GPU芯片左右两侧四颗芯片就是HBM...阅读全文

如何使用 ipset 将单个国家的所有IP加入黑名单

ipset 是 iptables 的扩展,它允许你创建匹配整个地址集合的规则,而不像普通的 iptables 链只能单IP或单网段匹配。 ipset 规则中的IP地址集合存储在带索引的数据结构中,这种结构即时集合比较大也可以进行高效的查找,从而减少系统资源或网络拥塞。IPset 也具备一些新防火墙设计方法,并简化了配置。ipset 的官网:http://ipset.netfilter.org 下面我们以一个实际场景为样例,介绍如何在Debian系统中,使 ipset 将单个国家的左右 IP段 加入黑名单。 #### 准备工作:安装 ipset、或者网段列表 sudo apt-get -y install ipset wget -P . http://www.ipdeny.com...阅读全文

博文 2021-02-06 16:43:47 joseph

Harbor 1.9 发布:新增多项企业级功能

的数据并对其所含信息采取相应的操作。例如,您可以将 Harbor 配置为在成功推送镜像后向 Webhook 侦听器发送一个 POST 请求,从而触发 Kubernetes 应程序的部署,以执行您的测试套件,或者仅仅更新您的 CMDB。 配额(Project Quotas) 配额有助于项目管理员对资源的使加以控制。具体而言,您可以限制项目所含 tag 的数目,以及项目可的存储容量。您可以设置适于所有项目的全局默认配额,也可以为个别项目设置配额以覆盖系统设置。镜像容量会根据其实际大小进行计算,并会在同时推送多个镜像时考虑所有相关镜像之间的层共享情况。配额可以与其他机制无缝协调工作,例如重新 tag、在线垃圾数据回收和保留策略,从而可始终合理管理各个工件,并且不会浪费空间。 Tag 保留...阅读全文

博文 2019-10-09 12:12:04 debian.cn

gRPC 1.23.0 发布,Google高性能 RPC 框架

gRPC 1.23.0 发布了。gRPC 是 Google 开源的高性能、通 RPC 框架,面向移动和 HTTP/2 设计,是由谷歌发布的首款基于 Protocol Buffers 的 RPC 框架。gRPC 基于 HTTP/2 标准设计,带来诸如双向流、流控、头部压缩、单 TCP 连接上的多复请求等特性。这些特性使得其在移动设备上表现更好,更省电且节省空间。 主要更新内容如下: Core 反向移植 #19924 到 v1.23.x. (#19935)为自定义 iomgr 添加缺少的 APP 回调上下文 (#19687)将 DNS 重新解析期间的下限提高到 30 秒 (#19661)确保在 H2 的框架中至少有一个标题 (#19657)在使 gevent 时分叉时修复段错误...阅读全文

博文 2019-08-18 18:31:20 debian.cn

即将发布的 JDK 10 有 109 项新特性,你喜欢哪些

按计划,JDK 10 将于 3 月 20 日正式发布。据前 Oracle 员工 Simon Ritter 的统计,JDK 10 总共包含 109 项新特性。当然,在最终发布前,可能还会发生变化。 新特性中最重要的,是我们之前曾报道过的 12 个 JEP : JEP 286: 局部变量的类型推断。该特性在社区讨论了很久并做了调查,可查看 JEP 286 调查结果。 JEP 296: 将 JDK 的多个代码仓库合并到一个储存库中。 JEP 304: 垃圾收集器接口。通过引入一个干净的垃圾收集器(GC)接口,改善不同垃圾收集器的源码隔离性。 JEP 307: 向 G1 引入并行 Full GC。 JEP 310: 应类数据共享。为改善启动和空间,在现有的类数据共享(“CDS”)功能上再次拓...阅读全文

博文 2018-03-08 12:56:20 debian.cn

Java 10 正式发布:包含 109 项新特性

个干净的垃圾收集器(GC)接口,改善不同垃圾收集器的源码隔离性。 JEP 307: 向 G1 引入并行 Full GC JEP 310: 应类数据共享。为改善启动和空间,在现有的类数据共享(“CDS”)功能上再次拓展,以允许应类放置在共享存档中 JEP 312: 线程局部管控。允许停止单个线程,而不是只能启或停止所有线程 JEP 313: 移除 Native-Header Generation Tool (javah) JEP 314: 额外的 Unicode 语言标签扩展。包括:cu (货币类型)、fw (每周第一天为星期几)、rg (区域覆盖)、tz (时区) 等 JEP 316: 在备内存设备上分配堆内存。允许 HotSpot 虚拟机在备内存设备上分配 Java 对象堆...阅读全文

博文 2018-03-21 08:35:10 debian.cn

Icinga Web2 v2.7.0 发布 轻量级和可扩展的 web 接口

链接 Authorization——了解和控制正在发生的事情 此位符允许在限制中使户名,像 _service_Responsible_Person=$user:local_name$,审计日志现在接收失败的登录尝试,因为 hook 现在可以运行匿名户。 允许角色为当前登录的户筛选添加禁 hook 权限检查的可能性发送失败的登录-尝试(login-attempts)审计日志 详细内容见 发布说明。...阅读全文

博文 2019-08-06 12:18:01 debian.cn

ISTIO 1.1 正式版今日发布

global.outboundTrafficPolicy.mode 参数,于定制 Egress 通信的缺省行为,目前的缺省值为 ALLOW_ANY,即允许全部 Egress 通信。 新增 Sidecar 资源 目前版本中,Sidecar 会包含整个网格内的服务信息,在 1.1 中,新建了 Sidecar 资源,通过对这一 CRD 的配置,不但能够限制 Sidecar 的相关服务的数量,从而降低资源,提高传播效率;还能方便的对 Sidecar 的代理行为做出更多的精细控制——例如对 Ingress 场景中的被代理端点的配置能力。 ExportTo 多个路由管理对象加入了这一字段,于指定该资源的生效范围。 路由的区域感知能力 新增了对 AZ/Region 等的区域感知能力,降低跨区请求造成的性能损耗。 对 TCP 服务提供鉴权支持 在既有的 HTTP...阅读全文

博文 2019-03-20 12:55:59 debian.cn

Kubernetes 1.14 发布,31 项功能增强

Kubernetes 1.14 发布了,些版本主要关注可扩展性并支持更多工作负载,带来了 30多项功能增强,其中包括从 beta 到稳定的 10 项功能。亮点包括以下几部分。 持久化本地存储 持久性本地存储的主要例是数据库和分布式文件系统。这是一个重要里程碑,显然,本地存储的性能优于远程磁盘,无论该存储是由云提供商提供的本地 SSD 还是连接到裸机系统的磁盘。 Windows 节点的生产级支持 绝大多数企业都拥有包含 Windows 工作负载的异构环境,现在不必寻找其它协调器来管理这些 Windows 容器。Kubernetes v1.14 改进支持了 pod、服务类型、工作负载控制器和 metrics/quotas,使得与 Linux 功能相当。 PID 限制 目前处在测试阶段...阅读全文

Firefox 59 将启用对分布式网络架构协议的支持

为了帮助实现更加开放、让每个人都能轻松访问到的分布式互联网技术,Mozilla 于去年与美国国家科学基金会携手提供了 200 万美元的奖金。现在,这个项目似乎已经取得了积极的成果。 Mozilla 刚刚宣布,自 Firefox 59 开始,户将能够通过扩展来启“分布式互联网协议”。Firefox 59 的正式版定于 2018 年 3 月份推出,其中包含了对一些新批准的协议的支持,比如 Dat Project、IPFS、以及 Secure Scuttlebutt 。 此举意味着 Mozilla 在积极为当前主导地位的“客户端-服务器”模型(CS Model)寻找替代方案。需要指出的是,协议实施的重担并没有落在 Mozilla 身上,只是 Firefox 浏览器会将其认定为合法的而已。此...阅读全文

博文 2018-01-31 10:35:07 debian.cn

Linux下多线程程序为什么消耗大量虚拟内存

最近游戏已上线运营,进行服务器内存优化,发现一个非常奇妙的问题,我们的认证服务器(AuthServer)负责跟第三方渠道SDK打交道(登陆和充值),由于采了curl阻塞的方式,所以这里开了128个线程,奇怪的是每次刚启动的时候的虚拟内存在2.3G,然后每次处理消息就增加64M,增加到4.4G就不再增加了,由于我们采预分配的方式,在线程内部根本没有大块分内存,那么这些内存到底是从哪来的呢?让人百思不得其解。 探索 一开始首先排除掉内存泄露,不可能每次都泄露64M内存这么巧合,为了证明我的观点,首先,我使了valgrind。 valgrind --leak-check=full --track-fds=yes --log-file=./AuthServer.vlog & 然后启动测试...阅读全文

博文 2015-01-28 10:35:39 debian.cn

Debian 11 "bullseye" 发布,带来内核 exFAT 支持

:更新了 42821 个软件包( buster 软件包总数的 72%)。而且,由于各种原因,有相当数量的软件包(9519 个, buster 软件包总数的 16%)从这次发行中被删除了。您将不会看到这些包有任何更新,而且在包管理软件中它们会被标记为“过时的”;桌面程序和软件包如往常一样,Debian 也提供了多个桌面程序和环境。提供的桌面环境包括 GNOME 3.38,KDE Plasma 5.20,LXDE 11,LXQt 0.16,MATE 1.24,以及 Xfce 4.16。生产力应也得到了升级,包括办公套件:LibreOffice 已升级到 7.0 版;Calligra 已升级到 3.2 版;GNUcash 已升级到 4.4 版;这次发行包含了许多软件的更新,其中包括:​无驱动扫...阅读全文

Python的闭包和装饰器

回绑定变量后的函数(也即闭包),此时即便生成闭包的环境(父函数)已经释放,闭包仍然存在,这个过程很像类(父函数)生成实例(闭包),不同的是父函数只在调时执行,执行完毕后其环境就会释放,而类则在文件执行时创建,一般程序执行完毕后作域才释放,因此对一些需要重的功能且不足以定义为类的行为,使闭包会比使更少的资源,且更轻巧灵活,现举一例:假设我们仅仅想打印出各类动物的叫声,分别以类和闭包来实现: 可以看到输出结果是完全一样的,但显然类的实现相对繁琐,且这里只是想输出一下动物的叫声,定义一个 Animal 类未免小题大做,而且 voice 函数在执行完毕后,其作域就已经释放,但 Animal 类及其实例 dog 的相应属性却一直贮存在内存中: 而这种对于实现该功能后,则是没有必要...阅读全文

博文 2014-07-23 17:06:38 debian.cn

案例:Redis命令不当 引起数据库雪崩 造成数百万损失

CPU,由于它是单线程作业所以很容易跑满一个逻辑CPU,可以使redis代理或者是分布式方案来提升redis的CPU使率。 3.存储的Key一定要设置超时时间 如果应将Redis定位为缓存Cache使,对于存放的Key一定要设置超时时间!因为若不设置,这些Key会一直内存不释放,造成极大的浪费,而且随着时间的推移会导致内存越来越大,直到达到服务器内存上限!另外Key的超时长短要根据业务综合评估,而不是越长越好! 4.对于必须要存储的大文本数据一定要压缩后存储 对于大文本【+超过500字节】写入到Redis时,一定要压缩后存储!大文本数据存入Redis,除了带来极大的内存外,在访问量高时,很容易就会将网卡流量满,进而造成整个服务器上的所有服务不可,并引发雪崩效应,造成各个系...阅读全文

博文 2018-10-27 10:18:18 debian.cn

journalctl 清理journal日志 - 九重霄

在CentOS 7开始使的systemd使了journal日志,这个日志的管理方式和以往使syslog的方式不同,可以通过管理工具维护。 使df -h检查磁盘文件,可以看到/run目录下有日志目录/run/log/journal,了数G空间 Filesystem Size Used Avail Use% Mounted on /dev/mapper/centos-root 8.5G 4.2G 4.4G 49% / tmpfs 16G 1.6G 15G 11% /run 在日志目录下有很多历史累积的日志。 检查当前journal使磁盘量 journalctl --disk-usage 清理方法可以采按照日期清理,或者按照允许保留的容量清理 journalctl...阅读全文

博文 2021-02-05 15:43:28 博客园

处理器架构消亡史

过去数十载的发展中建立了强大的生态系统。因此,在没有把握新应的到来,以及在英特尔抢绝大多数市场的压力下,也有很多处理器架构退出了历史的舞台。在互联网兴起的同时,不仅推动了移动市场的发展,也推动了服务器的需求,因此,Sun Microsystems也顺理成章地开始拓展前景看起来更大的服务器市场。但也是在这个市场中,SPARC落了下风——根据Gartner的数据,从2002年开始,Sun Microsystems的营收份额每况愈下,到了2007年正式被IBM反超。而RISC+UNIX的服务器市场也逐渐被Intel的X86+Linux/Windows拉下。SPARC因在服务器市场的失利,开始落寞。2010年,Oracle以74亿美元价格收购了SUN,连带着SPARC也归属了Oracle...阅读全文

通过Prometheus查询K8S集群Pod 的CPU、内存、网络指标

with the `H' inter-active command. Also for multi-processor environments, if Irix mode is Off, top will operate in Solaris mode where a task's cpu usage will be divided by the total number of CPUs. You toggle Irix/Solaris modes with the `I' interactive command. 即在过去的一段时间里进程的CPU时间与CPU总时间的比率,如果有多个CPU或者多核,需要将每个CPU的时间相加。kubelet中的cadvisor采集的指标与含义,见...阅读全文

博文 2020-08-13 20:41:03 debian.cn

轻量级发行版 Alpine Linux 介绍

Docker 镜像,Alpine 只有仅仅 5 MB 大小,并且拥有很友好的包管理机制。 Docker 官方推荐使 Alpine 替代 Ubuntu 做为容器的基础镜像。这样会带来众多好处,镜像下载速度更快,镜像安全性提升,主机之间的切换更方便,更少磁盘空间等。 下表是官方容器镜像的大小对比: REPOSITORY TAG IMAGE ID VIRTUAL SIZE alpine latest 4e38e38c8ce0 4.799 MB debian latest 4d6ce913b130 84.98 MB ubuntu latest b39b81afc8ca 188.3 MB centos latest 8efe422e6104 210 MB 获取并使官方镜像 由于镜像很小,下载时间往往很短...阅读全文

博文 2018-06-16 13:48:00 debian.cn

Golang 之禅: 如何写优质代码

。 明确处理错误 健壮的程序其实是由处理故障案例的片段组成的,并且需要在故障出现之前处理好。冗余的if err != nil { return err }比出了故障再一个个去处理更有价值。panic 和 recover 也一样。 尽早 return,不要深陷 每次缩进时都会在程序员的堆栈中添加另一个先决条件,这会他们短期内存中的 7±2 个片段。避免需要深层缩进的控制流。与其深入嵌套,不如使守卫子句将成功路径保持在左侧。 并发权留给调者 让调者选择是否要异步运行你的库或函数,不要强制他们使异步。 在启动 goroutine 之前,要知道它什么时候会停止 goroutines 拥有资源、锁、变量与内存等,释放这些资源的可靠方法是停止 goroutine。 避免包级别的状态 要完成明确和...阅读全文

博文 2020-02-25 20:48:33 debian.cn