InfraPub 为您找到相关结果 645

Debian下安装配置 Hadoop 3.1.3 集群

-nameservers 192.168.20.2 dns-nameservers 114.114.114.114 2. 修改/etc/hosts文件,添加如下内容 # Hadoop 192.168.20.101 master 192.168.20.102 slave1 192.168.20.103 slave2 192.168.20.104 slave3 3. openssh-server安装和vim的安装 sudo apt-get install openssh-server vim 4. 生ssh密钥 # 分别在不同的主机上执行`ssh-keygen`命令 # master ssh-keygen -t rsa -C "master" # slave1 ssh-keygen -t rsa -C...阅读全文

博文 2019-11-27 23:04:39 debian.cn

Debian 9更新到最新的Linux内核

喜欢折腾的同学,会豪气如何升级 Debian Stretch 的内核到新版。遗憾的是现在能搜到的升级 Debian Linux 内核的文章多数是使用Ubuntu的deb安装包,其实这样装上去是有问题,常见的问题是,总会提示需要 apt --fix-broken install 。 这里简单记一下,如何使用Debian官方源更新到最新的内核;以及如何是用 Kernel.org 的deb源,更新内核到最新的 5.x 版本。 修改更新源 name@debian.cn:~$ echo -e "deb http://http.debian.net/debian stretch-backports main\ndeb-src http://http.debian.net/debian stretch...阅读全文

博文 2019-03-25 22:33:22 debian.cn

Facebook 正式发布 JavaScript 包管理器 Yarn 1.0

Workspaces) 越来越多的科技公司开始采用单体仓库模式(mono-repository — 方便跨项目共享代码,同时避免依赖同步问题)来进行代码控制,这种模式也正逐渐被开源社区和一些小型公司所采纳。 因此,Yarn 增加了一个新特性 ——工作区。工作区可以自动从多个 package.json 中收集所有的依赖项,并一次性将它们安装完毕。项目根目下会生一个独立的 yarn.lock 来锁定这些文件。此外,如果多个工作区之间存在依赖,Yarn 会为它们创建链接,这样所有的项目就可以始终共享最新的代码。 自动合并 yarn.lock 文件 (Auto-merging of lockfiles) 多个开发者在开发同一个项目时,可能会需要更新包依赖,从而导致 yarn.lock 文件出现冲突。如果只有一两个...阅读全文

博文 2017-09-19 14:43:15 debian.cn

如何在 Debian 中安装 DHCP 服务器

服务器从客户端收到DHCPREQUEST报文后,发送DHCPACK报文,表示现在允许客户端使用分配给它的 IP 地址。 在本文中,我们将介绍如何在 Debian Linux 中设置 DHCP 服务器,我们将使用 sudo 命令来运行所有命令,以获得 root 用户权限。 测试环境设置 在这步中我们会使用如下的测试环境。 DHCP Server - Debian 8.7 DHCP Clients - CentOS 7 and Fedora 25 步骤 1:在 Debian 中安装 DHCP 服务器 1、 运行下面的命令来安装 DHCP 服务器包,也就是dhcp3-server。 $ sudo apt install isc-dhcp-server 2、 安装完后,编辑 /etc...阅读全文

博文 2021-01-28 17:50:25 debian.cn

如何读懂火焰图?+ 实例讲解程序性能优化 - xuxh120

。 $ perf record -F 99 -p `pgrep -n node` -g -- sleep 30 详细的操作可以看这篇文章。 七、浏览器的火焰图 Chrome 浏览器可以生页面脚本的火焰图,用来进行 CPU 分析。 打开开发者工具,切换到 Performance 面板。然后,点击"制"按钮,开始记数据。这时,可以在页面进行各种操作,然后停止"制"。 这时,开发者工具会显示一个时间轴。它的下方就是火焰图。 浏览器的火焰图与标准火焰图有两点差异:它是倒置的(即调用栈最顶端的函数在最下方);x 轴是时间轴,而不是抽样次数。 八、Async-profiler介绍 Async-profiler是一个对系统性能影响很少的Java采样分析器,它的实现是基于HotSpot特有的API,通过这些特有的...阅读全文

博文 2022-03-11 10:05:09 博客园

粘合万种芯片的“万能胶” 是摩尔定律的续命丹吗? - 硬件

上的延伸。"之前的PCIe解决了电脑系统与周边设备的数据传输问题,UCIe解决的是小芯片和小芯片,封装片上独立模块与模块之间的数据传输问题,如果没有统一的电气信号标准,就不会形多家企业共同完系统集的生态合作,如果没有合作,入局Chiplet的单个企业就很难完行业发展所需的生态建设。"刘宏钧说到。王宏波也表达了同样的观点,"PC时代,英特尔主导建立的x86体系就有一系列标准,例如:PCIe标准,可以让其他家的产品能够同英特尔的CPU分工协作,x86体系的一系列标准,构建了整个PC时代的硬件体系,到了Chiplet时代,其实是将PC时代建立生态体系的逻辑缩小复到芯片中,Chiplet作为一个芯片组合,也需要靠UCIe标准将不同公司的芯片设计方便的组合在一个芯片中,通过这种方式建立生态并...阅读全文

博文 2022-04-08 07:35:46 cnBeta.COM

Ceph 12.2.0 正式版本发布, 代号 Luminous

。 BlueStore支持Ceph存储的所有的完整的数据和元数据校验。 BlueStore内嵌支持使用zlib,snappy或LZ4进行压缩。(Ceph还支持zstd进行RGW压缩,但由于性能原因,不为BlueStore推荐使用zstd)。 EC池现在完全支持覆盖,允许它们与RBD和CephFS一起使用。 ceph-mgr: ceph-mgr是一个新的后台进程,这是任何Ceph部署的必须部分。虽然当ceph-mgr停止时,IO可以继续, 但是度量不会刷新,并且某些与度量相关的请求(例如,ceph df)可能会被阻止。我们建议您多部署ceph-mgr的几个实例来实现可靠性。 ceph-mgr守护进程daemon包括基于REST的API管理。注:API仍然是实验性质的,目前有一些限制,但未来会为API管理的基础...阅读全文

博文 2017-08-31 13:36:49 debian.cn

Ubuntu 17.10 将用 GDM 取代 LightDM 登录管理器

在最近的一份报告中,Canonical的Will Cooke透露,Ubuntu Desktop团队正在考虑在即将推出的Ubuntu 17.10版本中以GDM(GNOME显示管理器)取代LightDM登管理器。本周早些时候已经有传闻表示Ubuntu 17.10将采用GNOME GDM显示管理器。 特别是现在,在默认情况下,日常构建的ISO映像默认都采用了GNOME桌面环境而不是Unity。现在,Canonical官方证实说,他们没有时间让LightDM与GNOME一起工作。 Canonical官方表示:“我们决定转而使用GNOME显示管理器(GDM)而不是LightDM,我们计划尝试使用LightDM,根据我们的调查显示,我们需要投入大量时间进行更改让所有的东西都能正常工作,但是我们没用那...阅读全文

博文 2021-01-28 17:50:33 debian.cn

Linux Mint 19 “Tara”于5月上线:承诺不涉及隐私数据

Linux Mint 19 “Tara”系统后续会有三个维护更新,分别为 Linux Mint 19.1/19.2/19.3 ,而 Cinnamon, MATE 和 Xfce 桌面环境版本同样会有三个更新。 其他方面,LMDE 3 只搭载 Cinnamon 3.8 桌面环境上线,支持 32/64 位系统。除了一些基础功能之外,团队正在为 Linux Mint 19 “Tara”主目进行加密,但是 LMDE 3 不支持全盘或者主目加密。 另个有趣的地方在于, Linux Mint 19 “Tara”明确表示不会收集/发送你的隐私或者系统数据,并且确认不会搭载 Canonical 部署在 Ubuntu 18.04 LTS 中的“ubuntu-report”,该服务可允许选择发送的数据类型。...阅读全文

博文 2018-05-02 09:31:53 debian.cn

Debian 11壁纸评选结果出炉:包豪斯风格的Homeworld胜出

适用于 Debian 11 “Bullseye”的壁纸评选工作已经于11月9日结束,在通过投票统计之后 Debian 团队宣布“Homeworld”这款壁纸胜出,将会作为 Debian 11 的默认壁纸和全球用户见面。 Debian 11 登界面 Debian 11 安装界面 在关于该壁纸的说明中写道:“Homeworld 是一款受包豪斯运动启发的一款主题。包豪斯运动是 19 世纪诞生于德国的一种艺术风格,特征是独特的结构和设计方法。由于结构和设计是软件建设的核心,我希望在这种艺术风格和 Debian 之间建立某种联系”。 在用户安装和使用 Debian 11 中,用户会在多个地方看到“Homeworld”主题。首先是在 Debian 的安装程序中,在横幅上会显示 Homeworld 的...阅读全文

博文 2020-11-13 10:01:07 debian.cn

Debian 环境下简单配置 Bind9 服务

192.168.10.2 www IN CNAME @ ftp IN CNAME @ proxy IN CNAME @ blog IN CNAME @ mysql IN CNAME @ * IN A 192.168.10.2 这里指定了域 debian.cn 的授权 DNS服务器为 ns.debian.cn. 即为本机,因为随后的正向解析记(即A记),将 ns 指向到了本地的IP地址 192.168.10.2。 同时我们也添加了几个 CNAME 别名记,都指向 debian.cn。 最后添加泛解析支持,所有对 *.debian.cn 的請求都会被解析到192.168.10.2 。 1.2 反向解析:db.192.168内容如下: $TTL 604800 @ IN SOA debian.cn...阅读全文

博文 2016-12-18 22:26:30 debian.cn

使用apt

-mirror 发布镜像服务 使用nginx发布源镜像 将 apt-mirror 的镜像目链接到/var/www/mirror # ln -sf /var/spool/apt-mirror/mirror/ftp.cn.debian.org/ mirror 然后将nginx默认主机default(或者单独虚拟主机)的根目设置为/var/www/mirror,并开启目列表 root /var/www/mirror location / { autoindex on; } 其他机器就可以正常使用新建的源镜像了。...阅读全文

博文 2021-01-28 17:50:18 mirror搭建debian镜像源

英特尔放出Linux微代码以修复Meltdown和Spectre漏洞

。 如果你无法通过Package管理器来安装更新文件的话,你还可以手动安装。在现代Linux发行版系统中,我们还可以直接将下载下来的intel-ucode文件夹拷贝到/lib/firmware目中,然后运行下列命令完更新: echo 1 > /sys/devices/system/cpu/microcode/reload 下面给出的是Ubuntu平台中实现手动更新的方法,以及截图: Intel所发布的原版微代码更新完整教程如下: --Microcode update instructions -- Thispackage contains Intel microcode files in two formats: *microcode.dat *intel-ucode directory...阅读全文

博文 2018-01-17 23:26:58 debian.cn

不可变基础设施 (immutable infrastructure) - 云原生定义解析

Your Code: Immutable Infrastructure and Disposable Components”, Chad Fowler, 2013“Phoenix Server”, Martin Fowler, 2012不可变基础设施里的“不可变”非常类似于程序设计中的“不可变”概念。程序设计中不可变变量(Immutable Variable)就是在完赋值后就不能发生更改,只能创建新的来整体替换旧的。由于具有这样的特性这种变量可以在并发环境下安全的使用。对于基础设施的不可变性,最基本的就是指运行服务的服务器在完部署后,就不在进行更改。在过去依赖传统的高可靠性基础设施的时代,服务的可靠性依赖于高可靠性的服务器。然而,这些基础设施具有很高的拥有本,并且初始化,配置的本也非常高...阅读全文

网易云音乐Linux版v1.1发布 支持 Debian Stretch

时隔近一年半的时间,网易云音乐 Linux 版本终于迎来了更新,本次更新除了迁移到QCEF框架,对GNOME、KDE桌面环境支持更好,支持最新 Debian 9、Ubuntu 17.10版本(仅64位),还优化和修复各个社区用户反馈的问题。 具体的细节优化如下: 迁移全新的QCEF框架; 使用了全新的播放器后端; 支持打开更多格式的本地文件; 优化播放时内存占用资源问题; 优化扫描本地音乐目,支持读取下载任务的状态; 优化第三方字体的支持; 优化淡入淡出效果和在线播放; 优化更好的支持Wayland环境; 移除了沙盒机制; 修复部分本地音乐播放存在卡顿的问题; 修复Tooltip位置偏移的问题; 修复在Qt 5.9中界面乱码的问题; 修复GPU加速选项无效的问题; 修复无法捕获本地目变...阅读全文

博文 2017-12-02 18:34:00 debian.cn

为何说微软不会基于Linux内核重构Windows

数周前,开源软件爱好者 Eric S Raymond 提出的观点引发热议,他认为微软应该在 Linux 内核基础上重构 Windows。他认为目前个人电脑业务持续下滑,Windows 早已不再是微软的支柱业务,通过重构能够实现利润最大化。不过,曾参与 Windows Subsystem for Linux 的 Ubuntu 移植开发的 Hayden Barnes 对此持反对观点,认为微软不会基于 Linux 重构 Windows。 Hayden Barnes 是游走在微软和 Linux 社区之间的知名开发者,曾帮助 Windows Subsystem for Linux(WSL)上推进 Ubuntu 开发工作。因此他能够和很多 Linux 开发人员、开源项目人员、社区员和微软员工进行交流...阅读全文

博文 2020-10-15 14:59:58 debian.cn

成功运作一个开源项目的15个要点

所需工具的期望,与项目团队联系的渠道以及针对潜在贡献者的其他重要信息。抓取所有这些信息,使其尽可能容易被发现。在项目源代码存储库的根目中包含一个贡献指南是一个很好的做法(通过DVCS,潜在的贡献者将找到存储库副本的副本;存储库中的贡献指南可以让潜在的贡献者轻松找对致力于项目的途径)。 7、确保项目代码始终可构建 项目代码包含构建脚本和说明。使其尽可能容易地构建功和测试项目代码。 8、与用户社区联系 用户社区是使用开源项目产品的一群人。用户社区很少直接向项目代码贡献任何东西,但却往往会提出很多问题。确保这些问题得到回答。健康的用户社区可以为采用者社区提供信息。 9、与采用者社区联系 开源项目取得功的一个明显迹象是,其他组织开始在他们自己的产品中使用或构建扩展你的开源项目。此社区更有意愿反...阅读全文

博文 2017-11-08 09:58:28 debian.cn

Netty+Nacos+Disruptor自研企业级API网关

。 TypeScript:TypeScript是JavaScript的超集,它可以增加类型检查、接口声明等特性,减少错误和提高可读性。 NestJS:NestJS是一种流行的Node.js框架,它采用面向对象的编程方式,提供了路由、中间件、模块化等丰富的功能。 GraphQL:GraphQL是一款优秀的数据查询和操作语言,它可以帮助我们快速构建API,并减少网络传输的数据量。 功能设计 我们将开发一个电商平台,包含以下主要功能: 用户管理:用户可以注册、登、修改个人信息等,管理员可以查看用户列表并进行管理。 商品管理:管理员可以添加、修改、删除商品信息,包括商品名称、价格、库存、图片等。 购物车:用户可以将商品加入购物车,并在结算时进行支付。 订单管理:管理员可以查看订单列表、订单详情、订单状态等。 开发流程 下面是全栈开发的开发流...阅读全文

博文 2023-05-27 12:49:20 bianchengyuan123

Vinux 5.1 发布 基于 Ubuntu 的 Linux 发行版

流行的 GNOME 2 fork — 被称为 MATE,虽然将主要支持 Unity。 还要记住开发团队建议用户定期执行更新。这将使 Vinux 团队能够更新软件包,并引入新功能。 发行说明中提到一个控制台语音回归的变化:“由于 Vinux 5.1 不再使用 ConsoleKit,我们不能引入 Vinux 4.0 控制台语音的更改,请参阅 wiki 了解更多信息。使用 Speechd-up 登到桌面会话,并从 GNOME 终端运行 sudo speechd-up 或添加启动项以在登时自动执行”。 参考发布公告获取更多的细节。 下载地址 Download: vinux-5.1-amd64.iso (1,318MB, MD5, pkglist)...阅读全文

博文 2021-01-28 17:50:20 debian.cn

在 Debian Stretch 上安装 FFmpeg

FFmpeg 是一款流行的多媒体框架,可以用来记、转换数字音频、视频,并能将其转化为流的开源计算机程序。采用LGPL或GPL许可证。它提供了制、转换以及流化音视频的完整解决方案。它包含了非常先进的音频/视频编解码库libavcodec,为了保证高可移植性和编解码质量,libavcodec 里很多 codec 都是从头开发的。 还值得一提的是,ffmpeg 转换多媒体文件提供了 FFmpeg 工具,ffserver 流工具,基于 SDL 和 FFmpeg 库和 ffprobe 多媒体码流分析仪 ffplay 媒体播放器。 最新的版本是ffmpeg 3.3.4 "Hilbert", 软件库的版本如下, libavutil 55. 58.100 libavcodec 57. 89.100...阅读全文

博文 2017-10-26 13:41:36 debian.cn

Prometheus 2.13.0 发布

服务监控系统 Prometheus 2.13.0-rc.0 发布了,Prometheus 是一个 Go 语言开发的开源的服务监控系统和时间序列数据库。该版本引入了一些新特性,比如记其他组件、增强功能和修复 bug,这些都是为了提高可用性。 更新内容如下: [SECURITY/BUGFIX] UI:修复了一个 Stored DOM XSS 漏洞 CVE-2019-10215. #6098[CHANGE] Metrics:将 prometheus_sd_configs_failed_total 重命名为 prometheus_sd_failed_configs,并更改为仪表 #5254[ENHANCEMENT] 在构建中包含 tsdb 工具 #6089[ENHANCEMENT...阅读全文

Debian 安装后要做哪些修复?

简单记一下, ``` # 修复vim中鼠标右键无法复制 参考 https://debian.cn/articles/307 perl -pi -e 's/mouse=/mouse-=/g' /usr/share/vim/vim8?/defaults.vim 2>/dev/null # 关闭 IPv6,绝大部分环境不需要IPv6 perl -pi -e 's/^GRUB_CMDLINE_LINUX_DEFAULT=.*/GRUB_CMDLINE_LINUX_DEFAULT="ipv6.disable=1 quiet"/g' /etc/default/grub update-grub ```...阅读全文

Debian 主机如何配置静态 IP 地址?

做个记,主要是几个关键字的写法,仅供参考。 `cat /etc/network/interfaces` 内容如下: ``` # This file describes the network interfaces available on your system # and how to activate them. For more information, see interfaces(5). source /etc/network/interfaces.d/* # The loopback network interface auto lo iface lo inet loopback # The primary network...阅读全文

如何快速导出 route53 中指定域名的DNS记录为Bind格式?

这三行脚本不错,方便快捷。 可以直接导出 Route53 中指定域名的解析记,为 bind 格式, ``` #!/bin/bash zonename=$1 hostedzoneid=$(aws route53 list-hosted-zones --output json | jq -r ".HostedZones[] | select(.Name == \"$zonename.\") | .Id" | cut -d'/' -f3) aws route53 list-resource-record-sets --hosted-zone-id $hostedzoneid --output json | jq -jr '.ResourceRecordSets...阅读全文

Cortex: 高可用和水平扩展Prometheus监控系统

Prometheus已为cloud-native世界中的默认监控应用程序和系统。对于真是使用案例,Prometheus应该是高可用的,这是有挑战的。一旦在高可用性模式下运行Prometheus,就会遇到很多问题,例如数据重复,为重复数据实现single pane等。为了解决此问题,Cortex诞生了。Cortex是一个CNCF sandbox project,旨在为使用Prometheus 收集的指标提供长期存储和全局指标视图。首先让我们看一下Cortex的主要目标,然后看一下它为Prometheus解决的一些问题。水平可伸缩性– Cortex可以分多个微服务,每个微服务都可以独立地水平伸缩。例如,如果许多Prometheus实例正在向Cortex发送数据,则可以扩展Ingester微...阅读全文

博文 2021-10-09 17:00:22 知乎

Debian 系统如何配置 iptables

iptables在Linux发行版本如Centos、Debian、Ubuntu、Redhat等的配置内容基本一致,但是配置方式有所不同。由于工作日常用的是Centos 6.x,它的配置较简单。下面对Debian上配置iptables做一个说明。 配置步骤 使用用户名/密码登系统 root@localhost:~# 安装iptables root@localhost:~# apt-get install iptables 安装功后查看iptables端口开放情况 root@localhost:~# iptables -L Chain INPUT (policy ACCEPT) target prot opt source destination Chain FORWARD (policy...阅读全文

博文 2018-08-08 16:35:38 debian.cn

Systemd 曝出三个漏洞 大部分 Linux 发行版易受攻击

Linux 系统与服务管理工具 Systemd 被曝存在 3 大漏洞,影响几乎所有 Linux 发行版。Systemd 是 Linux 系统的基本构建块,它提供了对系统和服务的管理功能,以 PID 1 运行并启动系统的其它部分。目前大部分 Linux 发行版都以 Systemd 取代了原有的 System V。 安全公司 Qualys 近日发布报告称其发现 Systemd 中存在 3 个安全漏洞,并且这些漏洞已经存在 3 到 5 年时间。 3 个漏洞已经收到 CVE,分别是内存损坏漏洞 CVE-2018-16864 与 CVE-2018-16865、信息泄露漏洞 CVE-2018-16866。其中,CVE-2018-16864 于 2013 年 4 月引入(systemd v203),并...阅读全文

博文 2019-01-15 10:56:33 debian.cn

Golang后端面试题目

,merge跟rebase 技术二面 项目相关 通过腾讯会议,腾讯的两个大佬一起面试。 项目实现爬虫的流程爬虫如何做的鉴权吗怎么实现的分布式爬虫电商系统图片多会造带宽过高,如何解决micro服务发现mysql底层有哪几种实现方式channel底层实现java nio和 go 区别读写锁底层是怎么实现的go-micro 微服务架构怎么实现水平部署的,代码怎么实现micro怎么用怎么做服务发现的mysql索引为什么要用B+树?mysql语句性能评测?服务发现有哪些机制raft算法是那种一致性算法raft有什么特点当go服务部署到线上了,发现有内存泄露,该怎么处理还有一些非常底层的问题 总结 腾讯对于基础部分是相当重视的,总体回答的还算可以项目部分腾讯也是非常重视,从电话里面听出来有一个架构在面试我...阅读全文

博文 2020-04-13 13:13:00 2020腾讯社招

案例:Redis命令不当 引起数据库雪崩 造成数百万损失

统瘫痪! 5.线上Redis禁止使用Keys正则匹配操作 Redis是单线程处理,在线上KEY数量较多时,操作效率极低【时间复杂度为O(N)】,该命令一旦执行会严重阻塞线上其它命令的正常请求,而且在高QPS情况下会直接造Redis服务崩溃!如果有类似需求,请使用scan命令代替! 6.可靠的消息队列服务 Redis List经常被用于消息队列服务。假设消费者程序在从队列中取出消息后立崩溃,但由于该消息已经被取出且没有被正常处理,那么可以认为该消息已经丢失,由此可能会导致业务数据丢失,或业务状态不一致等现象发生。 为了避免这种情况,Redis提供了RPOPLPUSH命令,消费者程序会原子性的从主消息队列中取出消息并将其插入到备份队列中,直到消费者程序完正常的处理逻辑后再将该消息从备份队列...阅读全文

博文 2018-10-27 10:18:18 debian.cn

Rancher 2.2.2 发布:优化 Kubernetes 集群运维

Server 的管理员访问权限。 此问题会影响以下版本的 Rancher:v2.0.0-v2.0.13,v2.1.0-v2.1.8 和 v2.2.0-2.2.1。 现在,Rancher v2.2.2 中提供了 CVE-2019-11202 的修复程序。Rancher v2.2.2 中,Rancher 在重新启动时将不会再重新创建一个管理员帐户。针对版本 v2.1.x 和 v2.0.x 的修复程序将在不久后发布。不过不用担心的是,对于所有的 Rancher 版本,只要通过禁用默认管理员帐户而不是完全删除它,就可以不受此漏洞影响。 通过 UI 轮换集群证书 在 Rancher 2.2.2 中,用户通过 UI 操作即可完集群证书轮换了!在 Rancher 2.0 和 2.1 中,Rancher 配置集群的...阅读全文

博文 2019-04-22 13:49:38 debian.cn

Linux 中使用 Fio 测评硬盘性能

apt-get install git 现在,我们切换到 /opt 目,并从 Github 上克隆仓库: cd /opt git clone https://github.com/axboe/fio 现在,我们通过在 /opt 目下切换到 Fio 的源代码目,执行编译和安装操作了,命令如下: # cd /opt/fio # ./configure # make # make install 使用 Fio 进行磁盘性能测试 现在 Fio 已经安装到了你的系统中,我们一起看看如何使用 Fio 做磁盘的随机写、读和读写测试。 随机写测试 执行下面的命令来开始。这个命令将要同一时间执行两个进程,写入共计 4GB( 4 个任务 x 512MB = 2GB) 文件: sudo fio --name...阅读全文

博文 2018-08-15 19:18:24 debian.cn

Kafka生产问题总结以及性能优化

消费消息需要紧急处理,可以修改消费端程序,让其将收到的消息快速转发到其他topic(可以设置很多分区),然后再启动多个消费者同时消费新主题的不同分区。 2)由于消息数据格式变动或消费者程序有bug,导致消费者一直消费不功,也可能导致broker积压大量未消费消息。 此种情况可以将这些消费不功的消息转发到其它队列里去(类似死信队列,kafka没有死信队列,需要自己写),后面再慢慢分析死信队列里的消息处理问题。 2.1.5 延时队列 kafka没有延时队列,需要自己实现;延时队列存储的对象是延时消息。所谓的“延时消息”是指消息被发送以后,并不想让消费者立获取,而是等待特定的时间后,消费者才能获取这个消息进行消费,延时队列的使用场景有很多, 比如 : 1)在订单系统中, 一个用户下单之后通常...阅读全文

博文 2023-01-05 23:16:48 CSDN博客

架构师详解 Nginx 架构

引言:众所周知,Nginx 服务器是一个高性能的 Web 和反向代理服务器。Nginx 在激烈的 Web 服务器竞争中依旧保持良好的发展势头,一度为 Web 服务器市场的后期之秀,这一切跟 Nginx 的架构设计是分不开的。 一. Nginx 模块化设计 高度模块化的设计是 Nginx 的架构基础。Nginx 服务器被分解为多个模块,每个模块就是一个功能模块,只负责自身的功能,模块之间严格遵循“高内聚,低耦合”的原则。 核心模块 核心模块是 Nginx 服务器正常运行必不可少的模块,提供错误日志记、配置文件解析、事件驱动机制、进程管理等核心功能。 标准 HTTP 模块 标准 HTTP 模块提供 HTTP 协议解析相关的功能,如:端口配置、网页编码设置、HTTP 响应头设置等。 可选...阅读全文

博文 2018-05-01 23:10:47 debian.cn

理解 Linux 的虚拟内存

前不久组内又有一次我比较期待的分享:“Linux 的虚拟内存”。是某天晚上加班时,我们讨论虚拟内存的概念时,leader 发现几位同事对虚拟内存认识不清后,特意给这位同学挑选的主题。 我之前了解一些操作系统的概念,主要是毕业后对自己大学四年的荒废比较懊恼,觉得自己有些对不起计算机专业出身,于是在工作之余抽出时间看了哈工大在网易云课堂的操作系统公开课,自己也读了一本讲操作系统比较浅的书 《Linux内核设计与实现》,而且去年自己用 C 写简单的服务器时,也追根究底了解了更多的系统底层知识。多亏了这些知识,让我对应用层的知识更有掌控感,也在上次排查问题时(从应用到内核查接口超时)助了我一臂之力。 前几天另一位同事来问另一个虚拟内存相关的问题,我才发现对于虚拟内存,我的理解还不够深,一些概念还...阅读全文

博文 2018-11-25 11:03:49 debian.cn

Debian 9 使用kubeadm创建 k8s 集群(下)

; 我们告诉kubeadm使用相同的子网。第二个任务在/home/sammy创建一个.kube目。 此目将保存配置信息,例如连接到群集所需的管理密钥文件以及群集的API地址。第三个任务将从kubeadm init生的/etc/kubernetes/admin.conf文件复制到非root用户的主目。 这将允许您使用kubectl访问新创建的集群。最后一个任务运行kubectl apply安装Flannel 。 kubectl apply -f descriptor.[yml|json]是告诉kubectl创建描述descriptor.[yml|json]文件中descriptor.[yml|json]的对象的语法。 kube-flannel.yml文件包含在集群中设置Flannel所需的...阅读全文

博文 2019-05-13 22:57:41 debian.cn

Greg Kroah

脚本开头使用了#!/bin/sh而不是#!/bin/dash,从而自掘坟墓,损人害己。由此可见Ubuntu本身就不是一个严肃的产品,不适合作为操作系统使用。 只有让用户经常遇到麻烦,为Ubuntu提供服务的公司才能最大限度地赚钱。要多赚钱,不但要让每个用户多使用服务,还要扩大用户群。这就要从Windows世界不择手段地拉拢用户。 Ubuntu为了讨好Windows用户不惜东施效颦。作出了一些破坏*nix惯例的修改,例如学习Windows的Program Files目,将不同软件装到各自的目而不是分散在统一目结构中,导致类似tkConfig失效等Ubuntu特有问题。 综上所述,Ubuntu完全就是一个用砸钱的办法耧取商业利益同时祸害自由软件社区的发行版。一般人无论是从自身利益还是从社会...阅读全文

博文 2021-01-28 17:50:09 Hartman批评Ubuntu发行版

如何在docker pull时,配置使用代理服务?

实测有效的一个方案,通过给docker 配置 http_proxy 的方式,配置代理,配置方式如下: 建立空目: `mkdir /etc/systemd/system/docker.service.d` 创建文件,内容如下:`vi /etc/systemd/system/docker.service.d/http-proxy.conf` ``` Environment="HTTP_PROXY=http://proxy.example.com:80/" Environment="HTTPS_PROXY=http://proxy.example.com:80/" Environment="NO_PROXY=localhost,127.0.0.0/8,docker...阅读全文

深度解密基于 eBPF 的 Kubernetes 问题排查全景图

地实现了进程监测这样的需求。所以,eBPF 可编程的执行引擎非常适合用来将增强可观测性,将丰富的内核数据采集上来,通过关联业务应用,方便问题排查。​三、从监测系统到可观测性随着云原生浪潮,可观测性概念正深入人心。但仍离不开日志、指标、链路这三类可观测领域的数据基石。做过运维或 SRE 的同学经常遇到这样的问题:半夜被拉到应急群里,披头盖地地被质问为什么数据库不工作了,在没有上下文的情况下,无法立抓住问题核心。我们认为好的可观测性平台应该帮助用户很好地反馈上下文,就像 Datadog 的 CEO 说的那样:监测工具不是功能越多功能越好,而是要思考怎样在不同团队和员之间架起桥梁,尽可能把信息放在同一个页面中(to bridge the gap between the teams and...阅读全文

博文 2022-03-21 09:11:51 joseph

监控Kubernetes集群证书过期时间的三种方案 - OSCHINA

前言 Kubernetes 中大量用到了证书, 比如 ca证书、以及 kubelet、apiserver、proxy、etcd等组件,还有 kubeconfig 文件。 如果证书过期,轻则无法登 Kubernetes 集群,重则整个集群异常。 为了解决证书过期的问题,一般有以下几种方式: 大幅延长证书有效期,短则 10年,长则 100 年; 证书快过期是自动轮换,如 Rancher 的 K3s,RKE2 就采用这种方式; 增加证书过期的监控,便于提早发现证书过期问题并人工介入 本次主要介绍关于 Kubernetes 集群证书过期的监控,这里提供 3 种监控方案: 使用 Blackbox Exporter 通过 Probe 监控 Kubernetes apiserver 证书过期时间; 使...阅读全文

博文 2022-12-10 06:49:43 中文开源技术交流社区

Debian 8 使用 Apache 部署 Ruby on Rails

令配置Passenger在example.com站点上指定的三个位置运行三个Rails应用程序。 2.将应用程序的public/目链接到public_html/的子目: ln -s /var/www/html/example.com/app1/public/ /var/www/html/example.com/public_html/app1/ ln -s /var/www/html/example.com/app1/app2/ /var/www/html/example.com/public_html/app2/ ln -s /var/www/html/example.com/app1/app3/ /var/www/html/example.com/public_html/app3/...阅读全文

博文 2021-01-28 17:50:33 debian.cn

六个开源软件开发的潜规则

正如体育界不文的规定一样,这些规则基本上不会出现在官方文档和正式记上。比如说,在棒球运动中,从比分领先时不要盗垒,到跑垒员跑了第一时也不要放弃四坏球保送。对于圈外人来讲,这些东西很难懂,甚至觉得没什么意义。但是对于那些想为 MVP 的队员来说,这些都是理所当然的。 软件开发,特别是开源软件开发中,也有一套不文的规定。和其它的团队运动一样,这些规定很大程度上决定了开源社区如何看待一名开发者,特别是新加入社区的开发者。 按部就班,循序渐进 在参与社区之前,比如开放源代码或者其它什么的,你需要做一些基本工作。对于有眼界的开源贡献者,这意味这你需要理解社区的目标,并学习应该从哪里起步。人人都想贡献源代码,但是只有少量的人做过准备,并且乐意、同时也有能力完这项艰苦卓绝的工作:测试补丁、复审...阅读全文

博文 2017-05-20 10:27:11 debian.cn

Ruby 2.5.0 稳定版发布

#14045] 互斥锁的复写变得更轻量和快速。[功能 #13517] ERB 现在模板生代码的速度相较于 Ruby 2.4 提升 2 倍。 提升了多个内置方法例如 Array#concat, Enumerable#sort_by, String#concat, String#index, Time#+ 等。 IO.copy_stream 使用 copy_file_range(2) 来拷贝负载。[功能 #13867] 与 2.4 相比的重要变化 SecureRandom 倾向使用操作系统方法而非 OpenSSL。[漏洞 #9569] 将 cmath, csv, date, dbm, etc, fcntl, fiddle, fileutils, gdbm, ipaddr, scanf, sdbm...阅读全文

博文 2017-12-25 21:59:41 debian.cn

Focalboard :一款开源、本地存储、免费的类 Notion 应用

从 Notion 到 Focalboard近两年来,Notion 作为一款在线笔记应用,以其强大的功能和优雅的颜值获得了大量用户的关注和喜爱。大量的用户通过 Notion 的 Block 、Database等功能,挖掘了适合教育、营销、市场管理、开发等多个场景的使用模版。然而,Notion 在国内使用也有不少槽点:加载速度慢、迟迟没有提供汉化版、不能离线使用、本地存储等。当然,这些槽点也有一些解决方案。比如,针对网络问题,可以使用 Notion Fast等插件进行加速;针对语言问题,现在已经有了非官方的汉化方案。离线使用和本地存储的话,不知道 Notion 是否有相关规划。Notion对于一些用户而言,由于工作环境存在数据加密等需求,离线使用和本地存储为刚需。对此,Anytype 这款开...阅读全文

博文 2021-09-16 19:50:29 少数派

Debian 环境下安装配置 Gitlab

/repositories/gitlab/gitlab-ee/script.deb.sh | sudo bash 安装的过程中会有个蓝色的窗口提示你输入名称,这个是gitlab的访问域名,因为默认通过nginx进行解析的时候,指向的是你配置的这个域名,并且通过80端口。安装完后可以看nginx的conf文件。 sudo apt-get install gitlab-ce 3. 启动GitLab 这个会加载所有的配置,启动相应的服务。所以说,和网络上其他的安装教程来比,新版本安装起来实在是太爽了。 sudo gitlab-ctl reconfigure 配置 更换域名 如上图,域名被替换为域名了,但是之前是字符串git@debian...,因为在安装的时候,蓝色窗口弹出的时候直接按了回车使用了默认值。修改方法如下...阅读全文

博文 2017-12-22 19:42:42 debian.cn

7大维度看国外企业为啥选择gRPC打造高性能微服务

我们正处于gRPC采用的开始阶段,期待社区提供更多的工具和技术。很高兴能够加入这个充满活力的社区,并对未来的项目有一些想法,我们希望看到这些项目是开放源代码或我们自己写的。 gRPC工具的当前状态 gRPC比较新,缺乏可用的开发工具,特别是与经验丰富的REST over HTTP / 1.1协议相比。搜索教程和示例时,这一点尤其明显,因为只有少数有用的信息。二进制格式也使消息不透明,需要努力解码。虽然有一些选择,例如JSON代码转换器可以帮助,但预计需要做一些基础工作,以便为gRPC提供顺畅的开发体验。 我们喜欢用Apiary 来记外部API。使用服务协议缓冲区(protobuf)文件自动生交互式文档的等价物,将是理想的有效的内部通信gRPCAPI。protobuf文件的静态分析在运行时...阅读全文

博文 2018-03-19 17:51:32 debian.cn

百度运维工程师挖矿实录:四个月用155台服务器挖矿赚10万判3年

和对生产系统的访问控制就变了一个现实可控的问题。明略科技曾经在接受采访时表示: 对于运维人员的审核,最好对每个运维线上的操作都能“操作前有审批”、“操作中有记”、“操作后有核对”,在数据备份方面要做到权责分离。 当然,这不失为一个好办法,但对于运维员工自身来说,保持基本的职业操守或许更为重要。...阅读全文

博文 2020-03-17 20:42:41 debian.cn

Redis 命令、特性介绍与性能调优

该数据的主体而仅仅是同步过来的备份,那么可以关闭Redis的数据持久化机制。 但通常来说,仍然建议至少开启RDB方式的数据持久化,因为: RDB方式的持久化几乎不损耗Redis本身的性能,在进行RDB持久化时,Redis主进程唯一需要做的事情就是fork出一个子进程,所有持久化工作都由子进程完 Redis无论因为什么原因crash掉之后,重启时能够自动恢复到上一次RDB快照中记的数据。这省去了手工从其他数据源(如DB)同步数据的过程,而且要比其他任何的数据恢复方式都要快 现在硬盘那么大,真的不缺那一点地方 RDB 采用RDB持久方式,Redis会定期保存数据快照至一个rbd文件中,并在启动时自动加载rdb文件,恢复之前保存的数据。可以在配置文件中配置Redis进行快照保存的时机...阅读全文

博文 2018-10-27 10:37:55 debian.cn

RabbitMQ 高可用实现镜像队列

rabbitmqctl在离线节点上执行forget_cluster_node命令,迫使RabbitMQ在未启动的slave节点中选择一个作为master。当在A节点执行rabbitmqctl forget_cluster_node -offline B时,RabbitMQ会mock一个节点代表A,执行forget_cluster_node命令将B提出cluster,然后A就能正常启动了。最后将新的slave节点加入A即可重新恢复镜像队列 场景5:A先停,B后停,且A和B均无法恢复,但是能得到A或B的磁盘文件 这个场景更加难以处理。将A或B的数据库文件($RabbitMQ_HOME/var/lib目中)copy至新节点C的目下,再将C的hostname改A或者B的hostname。如果copy过来的是A节点...阅读全文

博文 2018-12-30 19:21:59 debian.cn

译:Kubernetes 最佳实践

。控制平面是 K8s 的核心,这些组件保持系统运行,因此对于正确 K8s 操作至关重要。 Kubernetes API、kubelet、etcd、controller-manager、kube-proxy 和 kube-dns 组了控制平面。控制平面组件可以以最常见的 K8s 监控工具 Prometheus 兼容的格式输出指标。应该使用自动监控工具而不是手动管理告警。可以在启动 kube-apiserver 时打开 K8s 中的审计日志记,以便使用选择的工具进行更深入的调查。audit.log 将详细记向 K8s API 发出的所有请求,并应定期检查集群上可能存在的任何问题。Kubernetes 集群默认策略在 audit-policy.yaml 文件中定义,可以根据需要进行修改...阅读全文

博文 2022-09-13 19:32:21 atbug.com