InfraPub 为您找到相关结果 790

Terraform 学习总结 — Terraform 简介

Infrastructure as Code", 基础架构即代码。Terraform 几乎可以支持所有市面上能见到的云服务。具体的说就是可以用代码来管理维护 IT 资源,把之前需要手动操作的一部分任务通过程序来自动化的完成,这样的做的结果非常明显:高效、不易错。 Terraform 提供了对资源和提供者的灵活抽象。该模型允许表示从物理硬件、虚拟机和容器到电子邮件和 DNS 提供者的所有内容。由于这种灵活性,Terraform 可以用来解决许多不同的问题。这意味着有许多有的工具与Terraform 的功能重叠。但是需要注意的是,Terraform 与其他系统并不相互排斥。它可以用于管理小到单个应用程序或达到整个数据中心的不同对象。 Terraform 使用配置文件描述管理的组件(小到单个应用程序,达到整个数据中心...阅读全文

Debian 公布关于支持非 systemd 初始化系统的投票结果

本月初,Debian 开发团队发起投票以决定是否要支持非 systemd 初始化系统。在投票已结束,最终投票结果为“选择 systemd 但同时探索替代方案”。 当时的投票总共包括 8 个选项: 继续专注于 systemd选择 systemd 但同时探索替代方案支持多个初始化系统很重要支持非 systemd 初始化系统,但避免影响进度支持可移植性,避免影响进度支持多个初始化系统是必要的支持可移植性和多个初始化系统需要进一步讨论 根据 Debian 公布的结果,最终获胜的投票选项为: “Systemd but we support exploring alternatives.”(选择 systemd 但同时探索替代方案) 对于这个选项,发起此提案的开发者也讲述了他的想法: Debian...阅读全文

博文 2019-12-29 13:53:51 debian.cn

Linux 进程 PID 编号最大为多少

整理本文,起源是看到知乎上的一个问题,为什么Linux的进程pid编号极限最大值( process pid max)是131070? 问题中提到,通过提问者的测试(Ubuntu18.04操作系统下),Python脚本实的分配进行pid脚本,渠道系统自动分配给进程的最大pid值是131070,这是一个并不特殊的值。(通常可以想到的上限会是与二进制数字相关,例如1024,65536等等)。 很高兴,看到还是有很多人在坚持知乎的本来精神,先问是不是,再问为什么。 Linux 内核的进程 PID 最大值并非 131070,而是 32768 (32 位系统)和 2 的 22 次方(64 位系统)。这是Linux手册中明确给的说明: /proc/sys/kernel/pid_max (since...阅读全文

博文 2021-01-12 11:47:15 debian.cn

Raspbian 国内软件源列表

://mirrors.sysu.edu.cn/raspbian/raspbian/ wheezy main contrib non-free deb-src http://mirrors.sysu.edu.cn/raspbian/raspbian/ wheezy main contrib non-free Ctrl+o 保存,之后回车确认,然后 Ctrl+x 退。 编辑系统源配置 1、编辑 /etc/apt/sources.list.d/raspi.list 文件(系统更新源),参考如下命令: sudo nano /etc/apt/sources.list.d/raspi.list 2、同样修改首行网址,修改后文件如下: deb http://mirrors.tuna.tsinghua.edu.cn/raspberrypi...阅读全文

Greg Kroah

Ubuntu根本就是个祸害开源社区发行版。资本家是“无利不起早”的。“新人用Ubuntu系列是最不明智的选择,因为很难利用到别人的经验。Ubuntu修改了太多东西造就了和其它发行版的不兼容。 “Ubuntu通过大量散发免费光盘圈走很大一部分初级用户,这部分用户自行解决问题能力相对较差,当遇到问题而又因为系统和别人不兼容而无法获得别人帮助时,最终将屈服于Ubuntu而购买Ubuntu的服务。 “这种称作糖衣炮弹的诈骗手段古往今来屡试不爽。实际上微软也这样,只不过微软是通过放纵盗版来圈客户,并且微软的Windows好歹还有很大一部分是它自己编的;Ubuntu则明着圈初学者,并且利用的工具也基本上不是它自己的,而是GNU/Linux。”(按:在以上大字报贴一年后,Ubuntu果然提供了比买...阅读全文

博文 2021-01-28 17:50:09 Hartman批评Ubuntu发行版

树莓派4上如何安装 Raspbian Buster

Win32DiskImager 中打开、浏览该文件。单击 “Write”,就可以开始往SD卡中录入系统镜像了。这一步会花费些时间,一般两分钟左右。写入完成后,我们会看到如下所示的 “写入成功” 的提示。 在您就可以在系统中,安全地弹 microSD卡 并继续下一步了。 启动树莓派4 将闪存SD卡插入 树莓派4 底部的SD卡插槽中,接入 USB-C 的电源线,然后连接显示器和键盘。我们就可以看到炫丽的树莓派启动画面了。在Pi的第一次启动时,屏幕右上方会显示几个 Raspberry Pi 徽标。 Raspbian的启动速度明显快于 NOOBS,因为 NOOBS 功能更多,更强大,为我们提供更多的选择和安装替代操作系统的窗口。 树莓派启动后,我们就会看到漂亮的壁纸和初始的 Raspberry Pi 设置向导。只需按照屏幕...阅读全文

博文 2020-02-04 19:33:29 debian.cn

DNS SRV:使用DNS服务器做服务发现

DNS SRV 是 DNS 记录中一种,用来查询指定服务的地址。与常见的A记录、CNAME 不同的是,SRV中除了记录服务器的地址,还记录了服务的端口,并且可以设置每个服务地址的优先级和权重。RFC-2782 给DNS SRV的建议标准,它是在2000年的时候提来的。 访问服务的时候,本地的服务从 DNS 服务器查询到一个地址列表,根据优先级和权重,从中选取一个地址作为本次请求的目标地址。 一个支持SRV的 LDAP client 通过查询域名,可以得知 LDAP 服务的 IP 地址和服务端口: _ldap._tcp.example.com 这个域名的格式是 rfc-2782 中推荐的格式,_ldap表示LDAP服务,_tcp表示通过TCP协议访问LDAP服务。 SRV 的 DNS 类...阅读全文

博文 2019-03-05 09:35:34 debian.cn

在 Mac OS X 上安装 Nessus 10

/plugin_feed_info.inc 上述 PLUGIN_SET 后的数字(日期)并没有严格要求,根据日期来写以便识别版本(安装插件时会显示版本号)。 五、重启服务编译插件 (1)停止服务 sudo launchctl unload -w /Library/LaunchDaemons/com.tenablesecurity.nessusd.plist (2)启动服务 sudo launchctl load -w /Library/LaunchDaemons/com.tenablesecurity.nessusd.plist (3)返回浏览器查看状态 此时 Web 页面提示:Establishing connection, please wait… 刷新一下浏览器,可以看到正在:Compiling plugins… (4)...阅读全文

如何使用 journalctl 清理 journal 日志

#TTYPath=/dev/console MaxLevelStore=warning MaxLevelSyslog=warning MaxLevelKMsg=warning MaxLevelConsole=info #MaxLevelWall=emerg #LineMax=48K 配置目录及其优先级 默认设置是在编译期间确定的, 所以仅在确实需要修改默认设置的情况下, 才需要使用配置文件。位于 /etc/systemd/ 目录中的初始配置文件, 仅包含了示选项默认值的注释, 目的在于方便系统管理员查看和直接修改。 如果软件包想要自定义某些默认设置, 那么必须将自定义的配置文件安装到 /usr/lib/systemd/*.conf.d/ 目录中。 /etc/ 目录仅供系统管理员使用。 系统管理员可以利用...阅读全文

博文 2021-02-05 15:43:28 博客园

Debian中如何设置静态IP地址 网关 DNS

新安装的Debian系统,默认一般使用DHCP获取IP地址,除非在安装过程中,使用了指定的IP地址。本文将介绍如何在Debian系统中,配置使用静态IP地址,配置网关,以及设置DNS服务器。 这些配置通过修改配置文件,很容易实。在 Redhat 系列的 Linux 环境中,我们一般修改网卡的网络配置文件,对应的文件名为 /etc/sysconfig/network-scripts/ifcfg-eXX,其中eXX即为网络设备名。网络设备的列表可以他通过 ifconfig 命令获取。同样的,在 Debian 环境下,我们只需要修改网络的配置文件便可以了。相比之下,配置过程要比 Redhat 更为方便,只需要修改 /etc/network/interfaces 文件。 Debian 系统设置静...阅读全文

SK Hynix量产首个4D NAND闪存:96层堆栈 速度提升30%

NAND,4D NAND闪存有很强的商业营销味道。 SK Hynix的4D NAND闪存首先会量产TLC类型的,核心容量分别是512Gbt、1Tb,都是96层堆栈,IO接口速度1.2Gbps,不过两者的BGA封装面积是不一样的,1Tb版显然更大一些。 至于QLC类型的,这个未来会是SK Hynix量产的重点,核心容量1Tb,但量产时间会在明年下半年,还需要一些时间。韩联社报道称,SK Hynix公司4日宣布正式宣布96层堆栈的4D NAND闪存,TLC类型,核心容量512Gb,与有的72层堆栈3D NAND闪存相比,4D NAND闪存的核心面积减少了30%,单片晶圆的生产输增加了50%,而且性能也更强——读取速度提升30%,写入速度提升25%。 根据官方所说,4D NAND闪存今年内会量产,而...阅读全文

博文 2018-11-05 23:47:54 debian.cn

Debian GNU/Linux Stretch 9.6 发布

Debian项目宣布第六版发布到最新稳定的Debian GNU/Linux 9.6 "Stretch"操作系统系列。Debian GNU/Linux 9.6 "Stretch"在9.5点发布后大约四个月释,为用户提供最新的安装。此版本包含270多个更新的包。 “这个版本的发布主要增加了对安全问题的修正,以及对严重问题的一些调整,” Laura Arjona Reina在邮件列表公告中写道。 “请注意,小版本的发行不是全新的 Debian 9版本,只会更新一些已有的软件包。不需要丢弃旧 Debian9 Stretch 的安装媒介。” Debian GNU/Linux 9.6 "Stretch"在可供下载 随着Debian GNU/Linux 9.6 "Stretch"版本的发布...阅读全文

博文 2018-11-12 15:19:22 debian.cn

25岁的Flash正式被弃用

几周前,Adobe公司放弃了对Flash Player的支持,并强烈建议所有用户于安全原因立即卸载浏览器插件。从今天开始,Adobe更是完全放弃了Flash。 目前,当用户尝试在浏览器(例如Chrome)中加载Flash游戏或内容时,该内容在无法加载,而是显示一条小横幅,该横幅指向Adobe网站上的Flash报废页面。 虽然这一天早有预兆——许多年前,许多浏览器默认禁用Flash,但Flash的25年历史今天算是正式的(官方的)结束了。 “由于2020年12月31日之后Adobe将不再支持Flash Player,并且Adobe将自(美国时间)2021年1月12日开始禁止Flash内容在Flash Player中运行,因此Adobe强烈建议所有用户立即卸载Flash Player以保护...阅读全文

博文 2021-01-13 08:49:17 debian.cn

AMD Ryzen 7 2700X/5 2600跑分曝光 性能提升明显

AMD即将推第二代Ryzen 2000系列处理器,各方面全面提升,从最近泄露的规格和性能看十分值得期待。Ryzen二代基于12nm新工艺和Zen+新架构,频率平均提升400MHz,并支持更高级的动态加速技术,超频空间也更大,同时改进了缓存、内存性能。 权威评测软件SiSoftware不小心泄露了一份Ryzen 7 2700X、Ryzen 5 2600的评测报告,虽然很快被撤下还是有网友保留了下来。这份评测都是考察SiSoftware的理论性能项目,没有实际应用和游戏测试,但是Ryzen二代的架构提升已经十分明显。 首先来看一下这两款新品的主要规格和 SiSoftware 的评价: 内存频率: 2400MHz提高到2933MHz,可以大大改进内存性能,就是在高频内存太贵了。 核心线程...阅读全文

博文 2018-03-21 08:47:43 debian.cn

如何在Debian和Ubuntu下重新打包Deb文件

回来。这样我可以其它电脑上安装,或者将修正的包文件发给我的朋友。我要怎么做呢? 在网络上搜索问题的答案,我发一个名叫ailoo.net的小型博客,它给类似这样解释: mkdir -p extract/DEBIAN dpkg-deb -x package.deb extract/ dpkg-deb -e package.deb extract/DEBIAN [...do something, e.g. edit the control file...] mkdir build dpkg-deb -b extract/ build/ 这五条命令将奇迹般地完成工作。让我为你解释一下: 第一条命令创建了一个名为“extract”文件夹和一个名为“DEBIAN”的子文件夹; 第二条命令会从你的...阅读全文

博文 2021-01-28 17:50:21 debian.cn

什么是网站访问的跳出率 Bounce Rate?

率 Bounce Rate 是指在只访问了入口页面就离开的访问量与所产生总访问量的百分比。跳率计算公式: ``` 跳率 = 访问一个页面后离开网站的次数/总访问次数 ``` 入口页面一般是用户通过搜索关键词,找到你的网站,并访问的页面。 通过观察关键词的跳率,就可以得知用户对网站内容的认可度,或者说网站是否对用户有吸引力。而网站的内容能够对用户有所帮助,留住用户也可以直接在跳率中看来,所以跳率是衡量网站内容质量的重要标准。...阅读全文

Irssi: 命令行下的 IRC 客户端

/list # 频道列表 /names [#聊天室] # 列当前服务器或指定聊天室下的所有人员名称(无法列隐藏人员) /who # 查看频道的所有人 /whois [name] # 查看某人的基本资料 /ison … # 查询指定别名是否在线 /info # 查询服务器信息 /admin # 查询当前服务器上的Admin /lusers # 查询当前服务器上的统计信息 /motd # 查询当前服务器今日的统计信息 /links # 查询当前的服务器,解析当前的有几个服务器 聊天 /msg # 向某人发私消息(会打开新窗口) /query # 向某人发私消息(新开窗口且转换到这个窗口) /say 阅读全文

博文 2021-01-28 17:50:33 debian.cn

通过 Hostapd 进行 WIFI 热点共享上网

操作系统:Debian Gnu/Linux Jessie 内核: linux-image-4.3.0-0.bpo.1-amd64 网卡:腾达(Tenda) W311M 150M Mini无线USB网卡 最近发自己的Debian之前可以使用GNOME3下的networkmanager进行WIFI共享上网功能因为内核升级导致无法使用。无奈只好再次通过Hostapd来进行WIFI热点设置,同时为了更块的DNS解析,本次顺便也在本地安装了dnsmasq软件实了本地化的DNS查询服务,成功恢复了我的小本本作为热点的能力。总结方法如下: 1、准备环境: 1.1执行vi /etc/apt/sources.list,并添加如下源地址: deb http://ftp.cn.debian.org...阅读全文

博文 2021-01-28 17:50:31 debian.cn

不与版本帝争,16 年后 SciPy 1.0 版终发布

SciPy 是一个开源的 Python 算法库和数学工具包。SciPy 包含的模块有最优化、线性代数、积分、插值、特殊函数、快速傅里叶变换、信号处理和图像处理、常微分方程求解和其他科学与工程中常用的计算。 10月25日,SciPy 团队成员 Ralf Gommers 在 Python 官方邮件组发文宣布 SciPy 1.0 终于发布了。 Ralf 称,很高兴宣布 SciPy 1.0 的发布,自从 0.1 版面世 16 年后,1.0 版姗姗来迟。这是一次漫长而富有成效的旅程,期待在未来有更多令人激动的特性。 为什么在才发布 1.0 版呢? Ralf 认为版本号应当体项目的成熟程度,SciPy 是一个成熟且稳定的库,已经在生产环境长期大量使用很久了。从这个角度来说,1.0 版来晚了。 最...阅读全文

博文 2017-10-26 13:54:33 debian.cn

谷歌开源 Pigweed:用于提升嵌入式开发效率

编辑——编译——刷新——测试(edit-compile-flash-test)周期。 这些测试都是自动完成的,用户无需离开自己的代码编辑器。此外,还可以使用 pw_target_runner 模块在多个设备上并行运行测试,从而节省更多时间。 团队开发代码需要强调一致性,然而,设置 lint、配置代码格式以及添加自动的提交前检查等通常会使这项工作无限期延迟。这时,Pigweed 的 pw_presubmit 模块可派上用场。它会基于用户可能已经使用的工具提供成的 Lint 集成套件,并预先配置好,可以立即供微控制器开发人员使用。 至于该项目为什么取名为 “Pigweed”,谷歌给了解释:“Pigweed,又称 amaranth ,是一种营养丰富的谷物和绿叶沙拉菜,也是一种快速生长的杂草...阅读全文

博文 2020-03-22 08:35:14 debian.cn

ChaosMesh 的基本功能有哪些

Chaos Mesh 的基本功能,包括故障注入、混沌实验场景、可视化操作、安全保障。故障注入​故障注入是混沌实验的核心。Chaos Mesh 充分考虑分布式系统可能的故障,提供全面、细粒度的故障类型,分为基础资源类型故障、平台类型故障和应用层故障三大类。基础资源类型故障:PodChaos:模拟 Pod 故障,例如 Pod 节点重启、Pod 持续不可用,以及特定 Pod 中的某些容器故障。NetworkChaos:模拟网络故障,例如网络延迟、网络丢包、包乱序、各类网络分区。DNSChaos:模拟 DNS 故障,例如 DNS 域名解析失败、返回错误 IP 地址。HTTPChaos:模拟 HTTP 通信故障,例如 HTTP 通信延迟。StressChaos:模拟 CPU 抢占或内存抢占场景...阅读全文

GitHub 发布10月21日系统故障分析报告

GitHub 刚刚通过官方博客发布了 21 日“挂掉”的事件分析。GitHub 指此次事件发生的原因是在 10 月 21 日 22:52 UTC 进行日常维护——更换发生故障的 100G 光学设备时导致美国东海岸网络中心与美国东海岸数据中心之间的连接断开。 更具体地,GitHub 分析,虽然两地的连接在 43 秒内恢复,但这次短暂的中断引发了一系列事件,这才导致了长达 24 小时 11 分钟的服务降级。 为了大规模提高性能,GitHub 的应用程序将直接写入每个群集的相关主数据库,但在绝大多数情况下将读取请求委派给副本服务器的子集。GitHub 使用 Orchestrator 来管理 MySQL 集群拓扑并处理自动故障转移,Orchestrator 在此过程中考虑了许多变量,并在...阅读全文

为保护隐私而生 反取证操作系统:Kodachi

用。 学校机房(从 U盘 和 DVD 启动)使用 任何可以(从 U盘 和 DVD )启动使用的计算机上。 安装向导: 如何在你的硬盘驱动器上安装 Kodachi Linux: 从你的 USB 或 ISO 映像引导。 在桌面菜单上进入 – >系统 – > Refracta 安装程序 – >使用 su – >输入密码 r@@t00 – >简单安装 – >运行 GParted – >设备 – >创建分区表 – >应用 – >分区 – >新建 – >添加 – >应用所有操作 – >关闭 – >关闭 GParted 窗口 – >选择分区 – >确定 – >继续安装 – >关闭窗口 – > y – >配置主机及用户名!不要在这里更改用户名,否则 Kodachi 脚本会错误 – >勾选前 2 个框允许...阅读全文

博文 2021-01-28 17:50:19 debian.cn

什么是线程安全,以及并发需要知道的几个概念

,因为一个CPU一次只能执行一条指令,这种情况就是并发,系统看似能处理多任务是因为不停的切换任务,但因为时间非常短,所以在我们的感官来说就是同时进行的。而计算机系统真实的并行是随着多核CPU的才有的。 临界区临界区表示公共资源或是共享数据,可以被多个线程使用。但是每次只能有一个线程使用它,一旦临界区的资源被占用,其他线程就必须等到资源释放后才能继续使用该资源。在Java程序开发中,对于这样的资源一般都需要做同步的操作,例如下面的这段代码,用的就是synchronized关键字来对临界区资源进行同步。 public class SyncTest implements Runnable { //临界区资源 public static SyncTest instance = new...阅读全文

博文 2018-12-31 20:44:06 debian.cn

使用 setfacl 管理文件的访问控制列表ACL

absolute path names # file: opt/test # owner: root # group: root user::rwx user:code:r-- //可以看到code单独的权限为r-- group::rwx mask::rwx other::rwx 注意:code 的权限并不是只根据ACL配置来决定的,它是由code用户基本权限与配置的ACL权限的“与”运算决定的,即other:rwx 与 code:r-- = code:r-- 可以使用code用户,测试是否可写。在写文件时,会-- INSERT -- W10: Warning: Changing a readonly file提示。 除了对单个用户进行设置外,还可以对用户组、有效权限(mask)进行设置。 如对用户组...阅读全文

IDC:亚马逊2018年IT支出超136亿美元全球居首 谷歌第二

知名市场研究公司IDC周四发布报告称,2018年,亚马逊公司在技术上的投入超过136亿美元,成为全球IT支最高的公司。IDC追踪了4800家公司,他们在去年的总IT支预计达到1.1万亿美元,前十大公司占据了总支的7%。谷歌母公司Alphabet、沃尔玛公司分别排在第二、第三位,他们去年在软件、硬件、服务、电信设备以及员工上的支分别接近120亿美元。 IDC客户洞察和分析研究经理大卫·拉特斯曼(David Lantsman)表示,亚马逊和谷歌向寻求降低自主IT预算的其他公司销售云服务、服务器和其他数据中心基础设施占据了他们的大部分支。 2018年前十大IT支公司 沃尔玛是前十大IT支公司中的唯一一家零售商,去年的IT支预计为117亿美元。沃尔玛执行副总裁兼首席技术官杰里米·金...阅读全文

博文 2019-01-18 09:58:17 debian.cn

Linux 容器 vs 虚拟机 — 谁更胜一筹

合适的工具 无论虚拟机或容器类型如何,选择适合您需求的关键都在于研究每个选项的能力。在容器领域,Docker 提供了强大的企业解决方案。这就吸引了那些关注 Docker 容器的公司,因为公司知道如果任何问题,他们可以得到他们所需要的支持。Docker 是企业用户友好的选择,特别是在 Docker Swarms 中 。而将 Docker Swarms 与 Kubernetes 相比,Kubernetes 在高级环境中的设置要复杂得多。 回到虚拟机方面,我一直发 Virtualbox 可以提供更好的面向桌面的虚拟机环境。而 VMware 在服务器方面做了各种各样的产品,VMware 拥有从存储到云服务器解决方案的各种虚拟机解决方案,还有其他选择(各种管理程序等)。但我认为...阅读全文

博文 2017-11-25 10:23:56 debian.cn

几种常用的方法论、思维方式

方法论,就是关于人们认识世界、改造世界方法的经验性的理论,它是一种以解决问题为目标的体系或系统,通常涉及对问题阶段、任务、工具、方法技巧的论述。方法论会对一系列具体的方法进行分析研究、总结并最终提较为一般性的原则。 这里汇总介绍几种方法论。 吉德林法则 美国通用汽车公司管理顾问查尔斯·吉德林提:把难题清清楚楚地写来,便已经解决了一半。只有先认清问题,才能很好地解决问题。这种观点在管理学上被称为吉德林法则。 墨菲定律(Murphy's Law) 主要内容有四个方面:一、任何事都没有表面看起来那么简单;二、所有的事都会比你预计的时间长;三、会错的事总会错;四、如果你担心某种情况发生,那么它就更有可能发生。 彼德原理 每个人在层级组织里都会得到晋升,直到不能胜任为止。换句话说,一个人...阅读全文

下一代时间同步服务 Chrony 详解

。该参数的含义是在头四次 NTP 请求以 2s 或者更短的间隔,而不是以 minpoll x 指定的最小间隔,这样的设置可以让 chronyd 启动时快速进行一次同步。 其他的参数有 minpoll x 默认值是 6,代表 64s。maxpoll x 默认值是 9,代表 512s。 driftfile file Chrony 会根据实际时间计算修正值,并将补偿参数记录在该指令指定的文件里,默认为 driftfile /var/lib/chrony/drift。 与 ntpd 或者 ntpdate 最大的区别就是,Chrony 的修正是连续的,通过减慢时钟或者加快时钟的方式连续的修正。而 ntpd 或者 ntpdate 搭配 Crontab 的校时工具是直接调整时间,会间断,并且相同时间可能...阅读全文

博文 2021-01-04 08:41:14 debian.cn

Hadoop 核心 - HDFS 分布式文件系统详解

离,然后进行排序,排序两个规则:网络拓扑结构中距离 Client 近的排靠前;心跳机制中超时汇报的 DN 状态为 STALE,这样的排靠后; Client 选取排序靠前的 DataNode 来读取 block,如果客户端本身就是DataNode,那么将从本地直接获取数据(短路读取特性); 底层上本质是建立 Socket Stream(FSDataInputStream),重复的调用父类 DataInputStream 的 read 方法,直到这个块上的数据读取完毕; 当读完列表的 block 后,若文件读取还没有结束,客户端会继续向NameNode 获取下一批的 block 列表; 读取完一个 block 都会进行 checksum 验证,如果读取 DataNode 时错误,客户端会通知...阅读全文

Kafka生产问题总结以及性能优化

消息发送端: 发送消息如果配置了重试机制,比如网络抖动时间过长导致发送端发送超时,实际broker可能已经接收到消息,但发送方会重新发送消息 消息消费端: 如果消费这边配置的是自动提交,刚拉取了一批数据处理了一部分,但还没来得及提交,服务挂了,下次重启又会拉取相同的一批数据重复处理 一般消费端都是要做消费幂等处理的,比如每条消息使用redis的setnx分布式锁,把消息放redis里,这样两次消息一样的话,第二次的消息是放不进去的。 2.1.3 消息乱序 如果发送端配置了重试机制,kafka不会等之前那条消息完全发送成功才去发送下一条消息,这样可能会,发送了1,2,3条消息,第一条超时了,后面两条发送成功,再重试发送第1条消息,这时消息在broker端的顺序就是2,3,1了 所以,是否一...阅读全文

博文 2023-01-05 23:16:48 CSDN博客

Debian 9 使用kubeadm创建 k8s 集群(上)

本教程使用的是 Kubernetes 1.14版,这是本文发布时的官方支持版本。 有关最新版本的最新信息,请参阅官方Kubernetes文档中的当前发行说明 。 Kubeadm自动安装和配置Kubernetes组件,例如API服务器,Controller Manager和Kube DNS。 但是,它不会创建用户或处理操作系统级依赖关系及其配置的安装。 对于这些初步任务,可以使用Ansible或SaltStack等配置管理工具。使用这些工具可以更加简单地创建其他集群或重新创建有集群,并且不易错。 在本指南中,您将使用Ansible和Kubeadm从头开始设置Kubernetes集群,然后将容器化的Nginx应用程序部署到它。 目标 您的群集将包含以下物理资源: 一个主节点 主节点...阅读全文

博文 2019-05-13 22:47:39 debian.cn

Golang 应用集成 Prometheus 统计数据支持

Prometheus 客户端公开了在暴露服务指标时能够运用的四种指标类型。查看 Prometheus 的文档 以获得关于各种指标类型的深入信息。 Counter(计数器 一种累加的 metric,典型的应用如:请求的个数,结束的任务数,的错误数等。随着客户端不断请求,数值越来越大。例如api_http_requests_total{method="POST", handler="/messages"} Gauge(计量器) 一种常规的 metric,典型的应用如:温度,运行的 goroutines 的个数。返回的数值会上下波动。 例如 go_goroutines{instance="172.17.0.2", job="Prometheus"} Histogram(分布图) 可以理解为柱状图,典型的应用如...阅读全文

博文 2022-11-24 10:33:09 CSDN博客

兼容 tmux 的文件上传/下载工具 trzsz ( trz / tsz ) 使用指南 支持进度条和目录传输

择合适的缓冲区大小,但不会超过此上限。-t 超时时间trz -t 30 或 tsz -t 30 xxx 等,设置超时秒数 ( 默认 20 秒 )。在超时时间内,如果无法传完一个缓冲区大小的数据则会报错并退。设置为 0 或负数,则永不超时。异常处理方法如果 tmux 不是运行在远程服务器上,而是运行在本地电脑上,或者运行在中间的跳板机上。方案1:使用 tmux -CC 与 iTerm2 集成,请参考 iTerm2 与 tmux -CC 集成。方案2:在本地电脑上安装 trzsz-go,设置 alias ssh="trzsz ssh" 可以方便使用。如果了错误,且 trzsz 挂住不能动了:按组合键 control + c 可以停止服务器上的 trz 或 tsz 进程。对于 iTerm2...阅读全文

3个 Linux 命令让你看起来很忙:摸鱼的技巧

如果你看过谍战片、动作片或犯罪电影,你就会在脑海中勾勒黑客坐在电脑屏幕前的样子:一行行快速移动的代码,大量的矩阵中的十六进制数字代码像雨水一样飞过。也许有一张世界地图,上面有一些发光点和一些快速更新的图表,也许还会有三维几何图形。如果可能的话,这一切还可以显示在多个显示器上面。 当然,我们这些技术人员很快意识到这完全是胡说八道。虽然我们中的许多人都有双显示器(或更多),但闪烁的数据通常与专注于工作这一目的背道而驰。编写代码、管理项目和管理系统与股票交易不同。我们遇到的大多数情况都需要我们对试图解决的问题进行大量思考,与利益相关者进行良好的沟通,进行一些研究以及组织信息,然后还有占工作量很少的快速打字。 但这并不意味着我们不想和电影中的黑客一样。有时,我们只是想让自己看起来“有效率”。 旁...阅读全文

博文 2019-09-28 15:48:43 debian.cn

最全 MongoDB 基础教程

: } ) query: update的查询条件,类似sql update查询内where后面的 update: update的对象和一些更新的操作符(如$,$inc...)等,也可以理解为sql update查询内set后面的 upsert: 可选,这个参数的意思是,如果不存在update的记录,是否插入objNew,true为插入,默认是false,不插入 multi: 可选,mongodb 默认是false,只更新找到的第一条记录,如果这个参数为true,就把按条件查来多条记录全部更新 writeConcern: 可选,抛异常的级别 案例 db.ruochen.insert({ title: 'mongodb', description: 'Nosql 数据库', by...阅读全文

博文 2021-02-22 07:45:45 OSChina

prometheus通过node_exporter抓取的数据准确计算磁盘使用率

公司使用的openstack的备份服务组件karbor,要查询所使用的备份nas磁盘使用率的需求,根据以前的查询语句,很快写如下的prom sql 100-topk(1,node_filesystem_free{device=~":/.*"}*100/node_filesystem_size{device=~":/.*"}) 不久后,同事过来说给的使用率不严谨,和在系统上通过df -h的命令不一样,分别是prom:10%,df结果是11%。嘴上说着差异不大不用管,身体却很实诚,马上去主机上通过df -h查看了使用率 :/var/lib/docker/nfs 147G 15G 125G 11% /var/lib/docker/volumes/volume-nfs/_data 通过prom...阅读全文

博文 2021-01-30 20:26:49 中文开源技术社区

Debian 9.3上安装和配置 Observium 监控平台

命令退MySQL shell: MariaDB [(none)]>\q 下载并安装Observium Observium有两个版本:开源版本和订阅版本,开放源代码版本可以免费下载,功能较少,安全修复程度较低,而订阅版本则附带额外的功能和硬件支持。 您可以使用以下命令从官方网站下载Observium的开源版本: wget http://www.observium.org/observium-community-latest.tar.gz 下载后,使用以下命令提取下载的存档: tar -xvzf observium-community-latest.tar.gz 接下来,将提取的目录复制到Apache Web根目录: cp -ar observium /var/www/html/ 接下来,重命...阅读全文

博文 2017-12-30 11:35:21 debian.cn

Kubernetes 部署 Nacos 1.4 集群 · 小豆丁

!版权声明:本博客内容均均为原创,每篇博文作为知识积累,写博不易,转载请注明处。 目录[-] 参考地址: Nacos 官方文档 系统环境: Nacos 版本:1.4.1 Mysql 版本:8.0.19 Kubernetes 版本:1.20.1 项目示例地址: Kubernetes 中部署 Nacos 的部署文件 Kubernetes 中部署 Mysql 数据库部署文件 如果该文章对你有帮助,别忘了 Github 帮忙点颗星哦~ 一、什么是 Nacos Nacos 是阿里开源的服务注册中心与配置中心组件,能够帮助开发人员快速实动态服务发、服务配置、服务元数据及流量管理。同时能够与 SpringCloud、Kubernetes、Dubbo 等开源生态无缝集成。 Nacos 支持如下核心特...阅读全文

博文 2021-02-24 10:10:29 www.mydlq.club

全民HTTPS时代:盘点免费SSL证书那些事儿

的问题在于被发允许对证书的签发日期进行倒填,从而达到规避 SHA1 证书在 2016 年 1 月 1 日之后被浏览器警告的目的。最终于 2017 年 11 月 16 日,StartCom 宣布终止业务,自 2018 年 1 月 1 日起停止颁发新证书,并于 2020 年停止 OCSP 和 CRL 服务。 沃通(Wosign)也属于类似情况,被 Mozilla 认为 WoSign 最严重的问题是伪造(或者说人为设置)了证书签发日期,相继被 Mozilla 和 Chrome 不信任,最终导致局。 最后,随着 https 的广泛被适用,我们也乐于看到越来越多的 CA 开始提供免费的 DV SSL 证书。 【本文转载自秋水逸冰】...阅读全文

Tor 项目联合创始人称 暗网并不真正存在

在拉斯维加斯举行的 DEF CON 会议上,Tor 项目联合创始人 Roger Dingledine 试图纠正有关匿名网络的错误观念。他指,只有 3% 的 Tor 用户访问 Tor 隐藏服务,绝大部分用户是于完全合法的目的通过 Tor 访问公共网站。这些网民只是想隐藏身份,他们不是什么黑社会恶棍。 他告诉席 DEF CON 会议的与会者,暗网并不真正存在,它们只是少许网页罢了。Tor 用户访问最多的网站是 Facebook,有超过一百万人通过 Tor 登录 Facebook。一百万,这只是 Facebook 十亿用户群中的一小部分,但对于像 Tor 这样的项目来说却非常重要。 他还解释了 Tor 浏览器继续使用 Firefox 的原因,称 Chrome 的代理绕过仍然引起担忧...阅读全文

博文 2017-08-04 07:38:59 debian.cn

Debian GNU/Linux 删除旧驱动程序,激怒老式硬件用户

Phoronix表示,该网站近期收到了许多用户的来信,称对 Debian GNU/Linux 放弃许多旧的硬件驱动程序的举措感到愤慨。本月初,Debian“X Strike Force”团队决定从 Debian 中删除一些过时的输入和视频驱动程序。其指,作该决定的依据是“它们在上游没有维护,或没有任何价值。” 受影响的驱动程序包括有 Mach 64、ATI Rage R128、Savage、Silicon Motion、SiS、Trident 和 NeoMagic 图形硬件。其中,像 ATI Rage 128 之类已有 20 多年的应用历史,并且这些驱动程序还支持许多其他种类硬件。 最初,Geode display driver 也被设置为删除,不过最终被保留了下来。此外,Elo...阅读全文

博文 2020-04-23 09:29:31 debian.cn

Gartner公布Q3全球服务器报告:出货量318.3万台

Gartner公司公布2018年第三季度全球服务器市场调查报告,根据报告显示,全球服务器货量为318.3万台,销售额193.9亿美元,同比分别增长12.5%和31.5%。本季度全球货量与销售额位居前三位是戴尔EMC、HPE和浪潮。 2018Q3全球X86服务器货量排名 2018Q3全球X86服务器销售额排名 从区域增长来看,全球除去拉丁美洲和东欧地区,其他区域市场均有增长,增速普遍达到两位数。大中华区和北美拉动了全球增长,两个地区的销售额分别同比增长44.6%和39.6%,所占市场份额提升分别为26.7%和41.7%。 从具体产品形态看,多节点、机架类服务器销售额分别同比增长75.2%和31.1%。刀片和塔式服务器继续小幅萎缩,销售额分别同比下降3.7%和4.8%。多节点服务器的增长...阅读全文

GIMP 2.10.22发布 首次支持AVIF图像

虽然GIMP 3.0的开发工作拖拖拉拉,但GIMP 2.10.x稳定系列继续迎来新的功能。今天新炉GIMP 2.10.22支持基于AV1的AVIF图像格式的导入和导。AVIF是一种非常有前途的图像格式,基于免版税的AV1技术,已经被Firefox和Google Chrome等网络浏览器支持,同时继续在其他照片/图像软件中得到采用。 相比较 WebP 和 JPEG 等格式,AVIF 的压缩能力明显更好。AVIF 支持全分辨率下的 10 位和 12 位色彩,以及高动态范围(HDR)。AV1 还使用了一种新的压缩技术:从色度到亮度。大多数图像格式将亮度与色相分开存储。AVIF 使用亮度通道来猜测颜色通道的样子,它们通常是相关的,所以AVIF可以提供更小的文件大小和更清晰的边缘。 不仅如此...阅读全文

博文 2020-10-08 11:00:05 debian.cn

如何熬出又香又白的猪油

主要有三个步骤; * 猪油要先焯水,去浮沫后再煮2-3分钟 * 重新下锅熬油时,多加清水( 1/3 的肉量)。开始油时,加姜片、小葱段去腥增香。 * 熬好的油用砂锅存放,锅底先放黄豆、红花椒、一勺盐。熬好的猪油,自然冷却后放冰箱保鲜层保存。 这样熬来的猪油,不腥不苦,雪白细腻,炒菜和面都非常的香。...阅读全文

Debian 相比 Ubuntu 有哪些不同之处

Stable和Update。然而,用户需要把注意力主要放在三大类软件库上。 Debian系统具有的优点之一是,你可以在下面这两个极端之间作一选择:极其稳定,但缺点是版本较老;或者非常先进,但缺点是软件不大稳定,技术的重大变化可能让不知情用户的系统崩溃。这里的选择取决于你是升级核心组件(比如Linux内核),还是升级灾难发生时不影响其他东西的自带代码库的独立式实用工具。 恰恰相反,Ubuntu的程序包来自Debian测试版或不稳定版。Ubuntu的软件库按照其他标准来加以组织,而不是由测试状态来加以组织。Main含有Canonical支持的软件,以及Ubuntu社区支持的Universe软件。Restricted含有专有驱动程序,其中Multiverse存放有版权或其他法律限制的软件。 另一个主要的...阅读全文

博文 2017-12-22 23:41:07 debian.cn

IA64架构终结!Linux内核完全移除对Intel安腾处理器支持

还有人记得Intel的安腾处理器(Itanium)吗? 日前,Linux之父Linus Torvalds在一篇代码评论中透露,计划进行一次补丁合并,结果就是移除对Intel安腾处理器的支持。 他说,惠普企业已经不再接受安腾硬件订单,Intel一年前也停止接单,尽管最终的货日期定在今年7月29日,但显然不会有这样的订单存在。安腾,已经死透了。 资料显示,安腾诞生于2001年,是Intel与惠普合作开发,当时提了划时代的IA64纯64位架构。然而,生不逢时,“过去超前”,不像AMD x64那样兼容x86 32位,需要专门的操作系统,合作伙伴们因为维护量大、客户群体小众而纷纷放弃(甲骨文、微软Windows Server 2008 R2后已经停止维护支持安腾的OS)。 目前最新的安腾是...阅读全文

博文 2021-02-03 23:03:12 科技改变未来

使用 cURL 对Web请求进行性能测试

在做 Web 开发的时候,经常需要对 Web Page 或者 REST-ful API 做简单的 Benchmark。本文将介绍如何使用 cURL 进行简单快速的性能评测。本文内容分为以下两部分: 使用 curl 查看加载时间 使用 curl -w 查看更多的网络情况 使用 curl 查看加载时间 curl -s -w "%{time_total}\n" -o /dev/null http://www.github.com/ 1.492 可以看到请求时间为 1.492 秒。此时: -s, --silent: 让 curl 保持静默模式,不会输进度条 -w "%{time_total\n}":输使用时间 -o /dev/null: 这个参数用来隐藏 response 的内容 如果使用...阅读全文

博文 2018-11-28 18:40:47 debian.cn

Linux kernel 5.5正式版发布

稳定的Linux 内核版本 5.5 版已正式发布。此前Linus Torvalds曾在Linux 5.5-rc7发布的声明中指,他可能在下周最终发布5.5稳定版。目前5.5稳定版如约而至。 Torvalds在发布公告中指,尽管本周的补丁程序有所增加,并且由于圣诞节和新年假期前后的停机时间,人们担心Linux 5.5周期可能会延长,但其还是选择了按时发布5.5 kernel,而不是选择额外的发布候选版本。 Linux 5.5带来了许多变化,其中包括有:对Raspberry Pi 4的支持,AMD Navi GPU超频,对新的和即将推的英特尔平台的支持,默认情况下启用5级分页,比当前用户空间实用程序方便且更好的NVMe驱动器温度驱动器,支持Chromebook语音唤醒,用于内核内单元测试...阅读全文

博文 2020-01-28 13:11:22 debian.cn