InfraPub 为您找到相关结果 732

Golang 操作 Kafka 样例

有更好的吞吐量,内置的分区,冗余及容错性,这让Kafka成为了一个很好的大规模消息处理应用的解决方案。消息系统 一般吞吐量相对较低,但是需要更小的端到端延时,并尝尝依赖于Kafka提供的强大的持久性保障。在这个领域,Kafka足以媲美传统消息系统,如ActiveMR或RabbitMQ 站点的用户活动追踪: 为了更好地理解用户行为,改善用户体验,将用户查看了哪个页面、点击了哪些内容等信息发送到每个数据中心的Kafka集群上,并通过Hadoop进行分析、生成日常报告。 流处理:保存收集流数据,以提供之后对接的Storm或其他流式计算框架进行处理。很多用户会将那些从原始topic来的数据进行 阶段性处理,汇总,扩充或者以其他的方式转换到新的topic再继续后面的处理。例如一个文章推荐的处理流程...阅读全文

博文 2023-01-10 13:46:09 掘金

21款必不可少的Ubuntu桌面应用程序

无论你是刚接触Ubuntu,还是最近从微软Windows改用Ubuntu,都会在文中找到适合你的一款软件。并非所有的应用程序对每个人都有用,欢迎分享你认为最出色的Linux应用程序。 有读者常常问我们必不可少的Ubuntu应用程序有哪些,本文我将逐一介绍21款对Ubuntu来说必不可少的应用程序,而不是仅仅在留言区回复。 无论你是刚接触Ubuntu,还是最近从微软Windows改用Ubuntu,都会在文中找到适合你的一款软件。并非所有的应用程序对每个人都有用,欢迎分享你认为最出色的Linux应用程序。 我们不会介绍默认情况随Ubuntu交付的任何软件,比如火狐、LibreOffice、Thunderbird和Transmission等,可能的话,重点介绍不需要为它添加PPA的软件...阅读全文

博文 2021-01-28 17:50:19 debian.cn

Ryzen发布两周:AMD 称表现达到预期 四月发布更新

在被英特尔碾压多年之后,AMD 终于“平地一声惊雷”般地推出了可之平起平坐的首批 Ryzen 系列高端处理器。尽管不少人对 Ryzen 的超线程(SMT)、互联、Windows 调度、以及较小的动态频率等方面的表现存有疑虑,但 AMD 证实 Ryzen 已经达到了预期。在发布两周之后,AMD 表示 Ryzen 在大多数情况的表现良好,且无需 Windows 等方面进行太大的调整以充分发挥其性能。 显然,AMD 留意到了有些人在对比测试 Ryzen 在 Windows 7 / 10 系统中的表现。该公司表示其已意识到这件事,所以会与开发者携手给软件带来“针对性的优化”,以更好地发挥新处理器的潜力。 此外,在许多情况,可以通过微小改动来提升 Ryzen 在特定应用程序中的性能。调查发现,只...阅读全文

博文 2021-01-28 17:50:24 debian.cn

Everspin宣布千兆级芯片ST

据外媒报道,磁性随机存取内存(MRAM)将在今年达到一个新的里程碑。Everspin宣布开始尝试打造1Gb (128MB)的ST-MRAM芯片,另外他们已经将这款高寿命、非易失性的内存芯片生产提上议程。 Everspin的ST-MRAM能够提供持久的记忆能力,相较于普通的NAND闪存技术,它可以减少写入放大倍数并拥有更好的耐用性。 这款新芯片采用的则是一个兼容DDR4的接口。这家公司表示,供应商可以利用持久的记忆技术设计企业级SSD或对现有的储存产品展开进一步的改善。 据了解,ST-MARAM的密度要比公司旗现有的任何256MB(32MB)芯片大得多。Everspin指出,从Global Foundries的40nm工艺到foundry 28nm工艺的转变是开发这种千兆级芯片的关键,另外...阅读全文

N 次跳票后,Fedora 27 正式版终于发布了

Fedora 项目宣布 Fedora 27 Workstation 和 Fedora 27 Atomic 版本正式发布。Fedora 27 整合了来自 Fedora 社区和各种上游软件项目的数千项改进。 你可以从 getfedora.org 载 Fedora 27 Workstation 和 Fedora 27 Atomic Host。 已经运行 Fedora 的用户,可以直接升级到 Fedora 27 。Fedora 27 Beta Modular Server 也可点此载。 Fedora Workstation Fedora 27 Workstation 采用的是 GNOME 3.26。在新版本中,“显示”和“网络”配置面板都已更新,且随着“设置”面板外观的改进。系统搜索会立即显示...阅读全文

博文 2017-11-16 08:35:44 debian.cn

Debian GNU/Linux 9.3 Stretch 和8.10 Jessie正式发布

8.10 “Jessie”发布包括大量的安全更新和其他bug修复,但像往常一样,今天的公告意味着现有的Debian GNU/Linux 9 “Stretch”和Debian GNU/Linux 8 “Jessie”用户不需要载新的ISO映像来更新他们的安装。 相反,他们所要做的就是打开终端并运行“sudo apt-get update && sudo apt-get dist-upgrade”命令。这样,他们确保安装了所有更新和安全补丁。 Debian GNU/Linux 9.3 “Stretch”和Debian GNU/Linux 8.10 “Jessie”的新ISO映像也即将推出,用于新部署和那些想要重新安装的人员。 如果Debian GNU/Linux 9.3 “Stretch”的Live...阅读全文

博文 2017-12-10 07:06:28 debian.cn

Debian 下轻松实现 PHP 多版本共存

php7.2-curl php7.2-gd php7.2-mbstring php7.2-xml php7.2-xmlrpc php7.2-zip php7.2-opcache #接着安装 PHP5.6 apt install -y php5.6-fpm php5.6-mysql php5.6-curl php5.6-gd php5.6-mbstring php5.6-mcrypt php5.6-xml php5.6-xmlrpc php5.6-zip php5.6-opcache 二、设置虚拟主机使用的PHP版本 在需要使用 PHP7.2 的虚拟主机使用(注意fastcgi_pass这里的不同): ##PHP location ~ \.php$ { fastcgi_pass unix:/run...阅读全文

博文 2017-12-16 14:47:37 debian.cn

Debian Jessie 将于2018年6月17日终止安全支持

Debian 项目组宣布计划从个月开始终止对 Debian GNU/Linux 8 “Jessie” 系列操作系统提供定期安全更新支持,仅有数量有限的软件包仍将受支持。 根据开发者 Moritz Muehlenhoff 在 Debian-security-announce 邮件列表上发布的 安全通告 ,截至 2018 年 6 月 17 日,Debian GNU/Linux 8 “Jessie” 系列操作系统将不会再接收到定期的安全更新。但是,数量有限的部分软件包仍将会更新一段时间。Moritz Muehlenhoff 表示这是一个预先通知,与以前的版本一样,6 月 17 日后,只会为更少的架构和软件包提供额外的 LTS 支持。 LTS 支持将提供至 2020 年 6 月 6 日 2018...阅读全文

博文 2018-05-25 09:31:46 debian.cn

Linux Kernel 5.0 正式面向公众

big.LITTLE CPU 架构的设备的电源管理。以及支持 fscrypt 中用于低功耗设备的 Adiantum 加密文件系统和 Btrfs 交换文件系统。 其它值得留意变化包括:支持用户数据报协议(UDP)中的通用接收卸载(GRO)功能,cgroupv2 中的cpuset 资源控制器,以及支持能够运行多个 Android 实例的 binderfs 文件系统。 当然,Linux Kernel 5.0 还更新了添加了许多驱动程序,以及无数的 bug 和安全修复。预计接来几天内,各大 GNU / Linux 发行版都将迎来更新。 Linux Kernel 5.0 载地址: https://cdn.kernel.org/pub/linux/kernel/v5.x/linux-5.0.tar.xz...阅读全文

博文 2019-03-04 19:06:03 debian.cn

Prometheus 2.13.0 发布

服务监控系统 Prometheus 2.13.0-rc.0 发布了,Prometheus 是一个 Go 语言开发的开源的服务监控系统和时间序列数据库。该版本引入了一些新特性,比如记录其他组件、增强功能和修复 bug,这些都是为了提高可用性。 更新内容如: [SECURITY/BUGFIX] UI:修复了一个 Stored DOM XSS 漏洞 CVE-2019-10215. #6098[CHANGE] Metrics:将 prometheus_sd_configs_failed_total 重命名为 prometheus_sd_failed_configs,并更改为仪表 #5254[ENHANCEMENT] 在构建中包含 tsdb 工具 #6089[ENHANCEMENT...阅读全文

BlackArch Linux 2020.01.01版发布:新增120多款工具

2020.01.01版本还修复了许多用户报告的烦人的“无法通过菜单打开工具...”错误,修复了所有软件包(runtime exec)问题,并修复了存在于此前版本上的错误。 当然在新的ISO镜像中,所有内置的BlackArch工具和安装包都已经获得更新,包括Awesome、FluXbox和Openbox等支持的窗口管理器菜单以及配置文件等等。BlackArch Linux 2020.01.01现在可以从官方网站载,提供Live、NetInstall ISO镜像和OVA镜像。现有用户不需要重新载ISO镜像只需要执行更新就可以了。访问官方网站。...阅读全文

博文 2019-12-30 09:49:58 debian.cn

Debian 将支持从 F2FS 根文件系统进行系统引导

不少用户希望通过将 Flash-Friendly File-System (F2FS) 作为根文件系统来启动和运行 Debian,现在这个目标将有望达成了。尽管 F2FS 早已问世,并且得到了越来越多的采用,尤其是在 Android 移动设备上,但默认情况,大多数 Linux 发行版都不允许默认从 F2FS 文件系统进行引导。 不过事情现在迎来了转机,GRUB 2.04 在其 2019 年中期发布的版本中提供了 F2FS 支持。 更新后的 GRUB 能够支持读取 F2FS 根文件系统,而且这种支持也一直在向 Linux 发行版中扩散,当然还需要启用相关模块(F2FS 模块)才能使用。对于 Debian 而言,他们本周最终将 F2FS 模块添加到了已签名的 UEFI 映像中。 从 F2FS...阅读全文

博文 2020-01-13 13:36:55 debian.cn

Linux kernel 5.5正式版发布

稳定的Linux 内核版本 5.5 版已正式发布。此前Linus Torvalds曾在Linux 5.5-rc7发布的声明中指出,他可能在周最终发布5.5稳定版。目前5.5稳定版如约而至。 Torvalds在发布公告中指出,尽管本周的补丁程序有所增加,并且由于圣诞节和新年假期前后的停机时间,人们担心Linux 5.5周期可能会延长,但其还是选择了按时发布5.5 kernel,而不是选择额外的发布候选版本。 Linux 5.5带来了许多变化,其中包括有:对Raspberry Pi 4的支持,AMD Navi GPU超频,对新的和即将推出的英特尔平台的支持,默认情况启用5级分页,比当前用户空间实用程序方便且更好的NVMe驱动器温度驱动器,支持Chromebook语音唤醒,用于内核内单元测试...阅读全文

博文 2020-01-28 13:11:22 debian.cn

Raspberry Pi 即将迎来 Vulkan 的支持

Raspberry Pi 基金会表示,他们正在致力于为 Raspberry Pi 提供开源 Vulkan 驱动程序的支持。 Vulkan 是“新一代图形和计算 API,可提供对现代 GPU 的高效、跨平台访问”。它是 OpenGL 的一代版本,和 DirectX 12 一样都是基于 AMD 私有的 Mantle API,不同的是 Vulkan 是开源的图形 API,它承诺通过给予开发者访问硬件底层的能力而大幅提升 3D 应用的性能。 对 Vulkan 的支持现在在 Android 智能手机中很常见。三星就长期支持 Vulkan,以改善 Galaxy 设备上的图形和游戏性能。Vulkan 也有得到 SteamOS 上类似 Valve 等的重量级游戏支持。 不过,Vulkan 才刚刚进入...阅读全文

Eric Raymond:Windows 10将成为Linux内核上的仿真层

微软的财务状况做为证据,比如Linux系统已经是Windows的子系统(Windows Subsystem for Linux - WSL),以及即将发布 Ubuntu Linux系统基于Chromium内核的Edge浏览器正式版。后者很容易理解,微软花了很少时间就把浏览器市场抢到了领先位置。 “微软开发者将Linux内核引入Windows功能,这表明让人超级感兴趣的技术方向。”Raymond如是说。WSL让Linux二进制文件无需仿真就可以在Windows 10系统运行。 另外的因素是Proton,可以在Linux上运行Windows二制流游戏,Raymond认为,Windows可以像在Linux内核的Proton一样成为仿真层,老的游戏程序和旧版软件都将位于该仿真层。 Windows...阅读全文

博文 2020-09-30 11:07:43 debian.cn

DebianLive 11.1.0 及 11.0.0 (32及64位元)英语版本 Xfce 桌面系统中文包

配的中文包,都可以将适用系统的大部分桌面,菜单,副菜单,图标标题及弹出提示变成简体中文 (zhcn) 或繁体中文(zhhk)。请注意:所有中文包都侬赖系统巳经安装好一个合适的半中文包(详情请见甲栏),去提供中文字型和中文输入法。 载及用法: 更多有关这些半中文包及中文包的资料及使用方法,可以参考“icake DebianLive 中文包使用手册”。这本使用手册、半中文包及中文包,已上传到我的公开分享目录中,网址请看本欗第一个帖,它们亦可从这个网址载: https://sourceforge.net/projects/icake-debianlive-chinese-debs/ 我希望这些中文包,会对 Debian 爱好者有用。更希望试用过中文包的用者,能将须要改善的地方告诉我。谢谢。...阅读全文

Linux 新提议,JFS 文件系统面临弃用和删除

年,IBM 为 AIX 3.1 开发了 JFS 文件系统(在系统崩溃或断电的情况,这种文件系统可以更快地恢复),第二代则实现在开源后被移植到了 Linux。因此 JFS 在过去的二十多年时间里,一直存在于 Linux 中。就如开发者 Christoph Hellwig 所说,JFS 并没有被广泛使用,也没有被任何著名的 Linux 发行版用于默认根文件系统,而且相比之 EXT4 / XFS / Btrfs / F2FS 这样的文件系统也更具有性能优势。JFS 未来的命运可能会跟 ReiserFS 一样,先被弃用,再最终从内核中删除。...阅读全文

博文 2023-01-17 06:14:05 joseph

GitLab的Python依赖扫描Docker镜像将换用Debian

GitLab 12.9 将弃用用于 Python 依赖扫描的 Alpine Linux 镜像,改用 Debian 作为基础镜像。 GitLab 官方表示,在评估了改变基础镜像 Alpine 以更好地支持 Python 的 issue #13694 之后,决定切换到 Debian,这样可以使扫描工具支持更多的 Python 项目。 具体来说,从今年 3 月 22 日发布的 GitLab 12.9 开始,开发者将不再可获得用于 Python 依赖扫描的基于 Alpine 的镜像,届时即使运行的是旧版本,也会受到影响。 由于弃用 Alpine,如果使用 Alpine 特定的命令,如 apk add xyz,则可能需要在以情况进行修改: 在扫描之前(仅当禁用 docker-in-docker 时...阅读全文

博文 2020-02-15 11:54:28 debian.cn

https:// 和 www 将在 Chrome 83 中重返地址栏

去年 8 月,谷歌开始在 Chrome 76 版本中的 URL 栏内隐藏 “www” 子域和 “https://” 标识符,目前为止,它们都仍是默认隐藏状态,即便这一做法招致广大用户的不满,包括了本站的维护者。 除了单击地址栏外,另一种查看网页完整 URL 的方法是,安装谷歌的 Suspicious Site Reporter(可疑站点报告)扩展。曾经有一段时间,Chromium 团队通过临时的 “Omnibox UI Hide Steay-State URL Scheme and Trivial Subdomains” 标识允许用户重新显示 “https://” 和 “www”,不过后来该设置已不可用。 现在,谷歌又在 Chrome 83 Canary 版本的 Omnibox 上文菜单...阅读全文

博文 2020-03-22 09:21:25 debian.cn

Debian 10.9发布 修正安全性并带来流行软件包的更新

Debian 项目宣布推出 Debian 10.9。新上线的 ISO 映像文件可以用来全新安装 Debian,它包含了所有最新的软件包更新。如果您的电脑上已经安装了 Debian 9,就不需要载 Debian 10.9,只需将所有可用的更新应用到您的系统上,就可以使用最新的版本。 ![Debian 10.9发布 修正安全性并带来流行软件包的更新](https://wpfile.debian.cn/uploads/2019/04/debian-10-buster.png) 对于Debian 10.9,开发组对此描述: "Debian项目很高兴地宣布其稳定发行版Debian 10(代号为buster)的第九次更新。这个版本主要增加了对安全问题的修正,以及一些严重问题的调整…请注意,该点发布并...阅读全文

博文 2021-03-30 15:11:42 joseph

Tails 4.4 发布,能你隐身的发行版

Tails 4.4 稳定版已发布,更新内容包括升级应用程序和修复安全漏洞。此版本中修复了在 Tails 4.3 中发现的许多安全问题,例如影响 OS 组件,以及 Tor Browser 和 Mozilla Thunderbird 等预装应用程序的漏洞。 该版本已将内核升级至 Linux Kernel 5.4.19,改进对显卡、无线网卡等较新硬件的支持。另外还修复了一些 Realtek RTL8822BE 和 RTL8822CE 芯片组的 Wi-Fi 接口造成的问题,团队还表示如果从 Tails 4.1 起使用 WiFi 时出现问题,请告知他们问题是否已解决。 最后,Tails 4.5 计划于4月7日发布。 载地址:tails-amd64-4.4.iso (1,098MB...阅读全文

Linux 内核将停止支持旧CPU架构 可减50万行代码

4.17 内核将删除 blackfin,cris,frv,m32r,metag,mn10300,score 和 tile(包括关联的设备驱动程序)的整个架构代码。我一直与每个维护人员一起工作,以确保我的解释是正确的,许多人都对在各支持这些 CPU 架构开展的工作留了美好的回忆,但也认为在没有任何用户的情况保持这些 CPU 架构活力毫无意义。” 在即将发布的版本中放弃对旧 CPU 架构的支持,会减小内核的大小,并且如果存在任何潜在的错误,它还可以减少内核中的攻击媒介的数量。...阅读全文

博文 2018-04-10 10:29:09 debian.cn

使用 imagemagick 的 convert 命令处理图片

-composite newimage.png 这是将图片覆盖到底图的右角。 7,更改图片的alpha通道 分两步: $convert image.png -define png:format=png32 image32.png $convert image32.png -channel alpha -fx "0.5" imagealpha.png 这个命令首先将image.png的格式改为png32(确保有alpha通道),然后更改alpha通道置为0.5,也就是半透明,值的范围为0到1.0 可以使用将一张透明图片覆盖到原图上的方式做水印图片: $convert image.png -gravity center -compose over overlay.png -composite...阅读全文

rkt v1.30.0 发布: CoreOS 的容器引擎

rkt v1.30.0 发布了。Rocket(也叫 rkt)是 CoreOS 推出的一款容器引擎,和 Docker 类似,帮助开发者打包应用和依赖包到可移植容器中,简化搭环境等部署工作。Rocket 和 Docker 不同的地方在于,Rocket 没有 Docker 那些为企业用户提供的“友好功能”,比如云服务加速工具、集群系统等。反过来说,Rocket 想做的,是一个更纯粹的业界标准。 相信的更新内容如。 新特性 status: added read from uuid-file (#3860). stage0/run: relax ‘–hosts-entry’ parser (#3833). iottymux: store logs for kubelet in the...阅读全文

博文 2018-04-19 08:08:25 debian.cn

树莓派4B修复USB

Macbook 12" 2015,Anker PowerPort Speed,Apple USB-C charger cable,LG 32ul950 屏幕都可以给新版正常供电了。 新版4B版本的检测方法如:在终端输入 cat /proc/cpuinfo 将会显示硬件版本,倒数第二行里有Revision。如果是如的字符串,说明你买到的是已经修复的新版本,Revision: c03112。 值得注意的是,目前只有4G版本才有1.2版出货。 另外 Raspbian 的内核其实已经有64位的了,但是官方目前并没有公布,仅仅是在论坛里面的技术人员提到了这件事情。首先执行命令,更新系统:sudo rpi-update然后在config.txt中加一行:arm_64bit=1然后再更新并重启就可以生效了。虽然...阅读全文

博文 2020-01-28 11:17:21 C供电问题的新版已出货

Debian 向社区发出邀请 请求测试 Debian 10 Buster 安装镜像

Debian项目团队已经向社区用户发出邀请,请求帮助测试即将推出的Debian GNU/Linux 10 “Buster”。该发行版本计划于2019年7月6日周六正式发布,整个开发阶段已经持续数年时间,相比Debian 9引入了诸多改进和新功能,努力将其打造成为非常优秀的新版本。 不过在本周晚些时候正式上线之前,Debian 项目寻求社区的力量,以反馈发现Debian GNU / Linux 10 Buster 在载、安装和使用环节所遇到的问题,从而确保最终正式版没有错误。 Andy Simpkins在邮件列表中写道:“如果能够占用你的一些时间来帮助我们测试这些镜像,我们将非常感激你的帮助。请在开始测试之前检查 irc *以减少重复测试。” Debian GNU / Linux 10...阅读全文

博文 2019-07-03 16:39:51 debian.cn

开源图数据库 Dgraph 完成 300 万融资

据 Dgraph Labs 创始人 Manish Rai Jain 在其宣布 1.0.0 版本正式发布 的 文章 中透漏,他们已完成了由贝恩资本投资公司的 Salil Deshpande 领头的 300 万融资。凭借早期在基础设施软件和开源软件方面的经验,Salil 将加入 Dgraph 董事会。Jain 表示,这一轮融资正好是我们扩大云服务的时机,并继续建立世界上最先进的图数据库。 Dgraph 是一个可扩展的,分布式的,低延迟的图数据库,于 2015 年开源,最初是出于希望消除传统关系型数据库的典型弱点而创建的。为了解决组织在数据库增长超过单个服务器时面临的一些问题,Dgraph 以更有效的方式分割数据,这使查询可以在没有通用视图的情况执行。它还减少了网络调用和磁盘查询需要执行查询的...阅读全文

如何实现 SSH、HTTP 和 HTTPS 复用端口 自动分流?

参考 Python 脚本如, ``` # -*- coding: utf-8 -*- # 2023/2/7 # create by: snower import sevent PORT = 80 SSH_ADDRES = ("127.0.0.1", 2222) HTTP_ADDRES = ("127.0.0.1", 8080) HTTPS_ADDRES = ("127.0.0.1", 4443) async def do_tcp_port_forward(conn): buffer = await conn.recv() data = buffer.join() forward_address = HTTP_ADDRES...阅读全文

Debian 安装后要做哪些修复?

简单记录一, ``` # 修复vim中鼠标右键无法复制 参考 https://debian.cn/articles/307 perl -pi -e 's/mouse=/mouse-=/g' /usr/share/vim/vim8?/defaults.vim 2>/dev/null # 关闭 IPv6,绝大部分环境不需要IPv6 perl -pi -e 's/^GRUB_CMDLINE_LINUX_DEFAULT=.*/GRUB_CMDLINE_LINUX_DEFAULT="ipv6.disable=1 quiet"/g' /etc/default/grub update-grub ```...阅读全文

Debian 主机如何配置静态 IP 地址?

做个记录,主要是几个关键字的写法,仅供参考。 `cat /etc/network/interfaces` 内容如: ``` # This file describes the network interfaces available on your system # and how to activate them. For more information, see interfaces(5). source /etc/network/interfaces.d/* # The loopback network interface auto lo iface lo inet loopback # The primary network...阅读全文

提问的智慧 – 全文

reflects all my updates to it. 译文 如果你想复制、镜像、翻译或引用本文,请参阅我的 复制协议[2]。 【本章注释】 [2]这份复制协议类似于版权声明,这份声明主要说明了以四点:(1)你们可以复制此文,可以添加本站链接;(2)但是转载需注明出处,原版本经常更新(已更新11次),转载版本不会更新;(3)不可以部分引用,或拼接此文;(4)翻译要注明出处,并且注明翻译时间和翻译版本。 免责声明 许多的项目单位都在在他们的网站附加了帮助的链接,这正是我们想要的。但按照现实情况,如果你是该网站项目负责人,请在链接附近显著位置注明:我们不提供该项目的服务支持! 我们已经领教了没有此说明带来的痛苦,我们将不停地被一些白痴们纠缠,他们认为既然我们发布了帮助链接,那么我们就有责任解决世上所有...阅读全文

博文 2009-10-01 13:18:00 debian.cn

Kafka 3.0新特性全面曝光,真香!

导语 | kafka3.0的版本已经试推行去zk的kafka架构了,如果去掉了zk,那么在kafka新的版本当中使用什么技术来代替了zk的位置呢,接来我们一起来一探究竟,了解kafka的内置共识机制和raft算法。一、Kafka简介Kafka是一款开源的消息引擎系统。一个典型的Kafka体系架构包括若干Producer、若干Broker、若干Consumer,以及一个ZooKeeper集群,如上图所示。其中ZooKeeper是Kafka用来负责集群元数据的管理、控制器的选举等操作的。Producer将消息发送到Broker,Broker负责将收到的消息存储到磁盘中,而Consumer负责从Broker订阅并消费消息。(一)Kafka核心组件producer:消息生产者,就是向broker...阅读全文

博文 2022-04-28 16:02:11 mp.weixin.qq.com

Docker 核心原理

对 Docker 的使用大部分都比较熟悉,但是说到 docker 的实现原理很多人还是一知半解。我把在团队内部做的一次 Docker 核心原理分享总结到文章里,以供参考。 Docker 的优势 Build once, Run anywhere 上面这句话很精辟的总结了 docker 的优点。我从面几点具体描述 docker 带给开发者的能力 应用标准化 无论什么语言开发的应用,我们都能用 dockerfile 和构建脚本方便的进行应用构建打包,代码库 + 构建 + registry 统一了 CI/CD 流程,也提升了效率。 环境一致 由于应用和依赖全部构建成镜像,做到了一次构建多次交付,无论是开发,测试还是上线环境都是一致的。大大提高了开发效率 应用隔离 由于通过 docker 部署的应...阅读全文

博文 2021-02-25 09:14:23 lxkaka

在 Kubernetes 上扩展 TensorFlow 模型

Kubernetes 的机器学习框架,最初由谷歌开发。它建立在 Kubernetes 资源和编排服务之上,实现复杂的自动化机器学习管道,用于[训练和服务机器学习模型](https://iamondemand.com/blog/the-never-ending-story-of-model-training-a-new-chapter-for-machine-learning/)。 可以结合使用 Kubernetes 和 Kubeflow 来有效地扩展 TensorFlow 模型。为使 TensorFlow 模型具有可扩展性,主要的资源和特性如: - 使用 kubectl[手动扩展 Kubernetes 部署和 StatefulSets](https://kubernetes.io/docs/concepts...阅读全文

OpenAI掌门人Sam Altman:AI的下一个发展阶段_OneFlow

来源|Greylock OneFlow社区编译 翻译|胡燕君、贾川 预告了一整年的GPT-4迟迟没来,人们猜想OpenAI是不是要跳票了,更何况他们之前的得意之作DALL-E也被开源Stable Diffusion打了个措手不及,再不来点深水炸弹业界地位危矣。 不过,就在大家以为今年OpenAI将以沉寂收场时,聊天机器人模型ChatGPT横空出世,让人们看到了AI的更大创造力,聚光灯也再度打到了OpenAI的身上。 今年9月,LinkedIn联合创始人Reid Hoffman与OpenAI首席执行官Sam Altman进行了一场对话,而肩负着宏伟使命且极富远见的Altman就曾预言:AI即将迎来一个发展阶段。如今,大型语言模型越来越先进,也出现了可以实现文本-图像相互转换的多模态模型,一...阅读全文

博文 2023-02-04 15:55:11 CSDN博客

kubenetes 如何给资源打标签?如何删除标签?

给名为foo的Pod添加label unhealthy=true, `kubectl label pods foo unhealthy=true` 给名为foo的Pod修改label 为 'status',值为 'unhealthy',且覆盖现有的value。 `kubectl label --overwrite pods foo status=unhealthy` 给默认的 namespace 的所有 pod 添加 label, `kubectl label pods --all status=unhealthy` 仅当resource-version=1时才更新名为foo的Pod上的label, `kubectl label pods foo...阅读全文

批量ssh时,如何自动 kill 超时的ssh链接?

除了 ConnectTimeout 参数外,我们还可以在外部包装一层, 当 ssh 执行超时时,自动 kill 掉超时的 ssh 链接,样例如: $ cat /tmp/ip`; do echo -n ++++++++++++++ $i\ ; timeout -s 9 3s ssh -o ConnectTimeout=2s -o ConnectionAttempts=1 $i md5sum /etc/resolv.conf ; done 这里 timeout 的含义是,如果3s没有返回,就发送signal 9,结束进程。...阅读全文

OpenSSL 如何创建自签名证书?

使用一个 openssl 命令,即可完成创建, `openssl req -newkey rsa:2048 -nodes -keyout /etc/ssl/private/myblog.key -x509 -days 365 -out /etc/ssl/private/myblog.pem` 创建过程中会要求输入一些信息,样例如: ``` ----- Country Name (2 letter code) [AU]:DE State or Province Name (full name) [Some-State]:Berlin Locality Name (eg, city) []:Berln Organization Name (eg, company...阅读全文

mysqldump 执行时,需要的最小权限有哪些?

根据不同的使用场景,mysqldump 所需要的权限也不同,一般需要这些权限, * 对于table 来说, mysqldump 最少要有select 权限,和 lock tables 权限, * 对于 view 来说,mysqldump 要有 show view 权限。 * 对于 trigger 来说,mysqldump 要有trigger 权限。 对应的赋权如, ``` mysql> grant select, trigger, show view, lock tables on destdb.* to sqldump@‘%‘; ``` ...阅读全文

红帽 2017 峰会 第三天回顾:自动化的未来

Insights这次在Paul Cormier的主题演讲里小小的露了一脸,不过场的很多场合都有不同红帽项目的负责人提及该项目。Insights可以视为一个基础设施监控平台,它自动采集并分析服务运行数据,以提供问题预测(而不仅仅是报警)的能力。由于该产品中使用了机器学习技术,因此也有人形容Insights是红帽的AI服务(虽然官方说明中并未提及)。 Red Hat Insights产品发布于2016年,目前已经与红帽Linux发行版RHEL、OpenStack发行版RDO、虚拟化产品RHEV、OpenShift、安全监控与打补丁产品Satellite、跨云管理平台CloudForms、以及上述自动化平台Ansible进行了集成。 就笔者看来,也许未来每个红帽产品都会被要求实现述三个方面的集成: 可用容...阅读全文

博文 2021-01-28 17:50:29 debian.cn

使用 tmate 分享你的终端会话

add-apt-repository ppa:tmate.io/archive $ sudo apt-get update $ sudo apt-get install tmate 你也可以从官方仓库中安装 tmate。 $ sudo apt-get install tmate 对于 Fedora,使用 DNF 命令来安装。 $ sudo dnf install tmate 如何使用 tmate 成功安装后,打开终端然后输入面命令,就会打开一个新的会话,在屏幕底部,你能看到 SSH 会话的 ID,显示效果就像运行 tmux 一样。 $ tmate 要注意的是,SSH 会话 ID 会在几秒后消失,不过不要紧,你可以通过面命令获取到这些详细信息。 $ tmate show-messages...阅读全文

博文 2017-12-06 10:33:33 debian.cn

Node.js Vs. PHP:你应该选择哪一个

现在,Web开发公司和开发人员可以选择多种技术栈来构建Web应用程序。早期网络发展,不同的技术被用于前端和后端开发。但是,随着Node.js的发布,布局发生了变化,因为它允许开发人员使用 JavaScript 编写后端代码。这最终催生了MEAN(MongoDB + Express +AngularJS + NodeJS )堆栈 web 开发框架,从前端到后端甚至是数据库(MongoDB -JSON)都使用 JavaScript。在 Node.js 之前,Web 开发通常是在 PHP 的帮助完成的,因为它很容易与 HTML 集成,帮助开发人员立即构建动态网站。在这篇文章中,我们将比较 Node.js 和 PHP,看哪一个最适合当前的行业需求。 PHP 和 Node.js 的基本区别在于...阅读全文

博文 2017-12-23 23:15:39 debian.cn

AWS省钱攻略:预留实例怎么玩

AWS的预留实例(Reserved Instance)是一种计费方式,并不是一种计算实例,简单讲是一个“包年包月”的优惠方式。购买RI后,可以获得30%以上,至最高 75% 的优惠。你可能会说:“这些我都知道,并且RI我已经在用了。” 你真的熟悉 RI 吗? 我们知道预留实例(RI)分为两种: 标准RI与可转换RI(CRI),可转换RI的价格往往较高而不容易被接受,而我们又经常遇到需要调整RI,那么我们购买的标准RI能不能进行适当的转换呢?答案是没问题的,AWS为满足客户的需求,提供了很灵活性的设定。 今天主要介绍一RI的三个灵活属性:大小灵活性匹配,合并拆分,可转换(CRI),我们暂且这么称呼,三者适用于不同的场景,是互相补充的关系。 大小灵活性匹配 场景:区域范围RI 、相同实例类型...阅读全文

博文 2019-08-18 18:26:19 debian.cn

你和 Linux 高手只差了一个 LFS

为“从零开始构建的 Linux”。好吧!看起来很高大上 OTZ,可它到底是什么东西呢?感觉上它好像经常和 RedHat,Debain 这类发行版混在一起,那它应该也是个发行版吧! 这样理解其实也没有什么不对,但比起发行版来,它其实更像一本书。书本只提供知识,它只教你做,不会帮你做。这才是 LFS 和别的发行版的本质区别。这本书可以教你如何亦步亦趋的从零开始搭建一个具体而微的 Linux 系统,没错,就是从零开始,是不是有一种上帝视角的感觉呢? 那么在哪儿可以找到这本“书”呢?你可以在网上找到电子版,当然,乐意的话,你可以打印出来——不过,我认为这没必要。你只需要按照这本书的指导,一个字母都不要敲错,你就能在它手把手地指导,打磨出你自己的 Linux 系统啦! LFS 是本好书吗? 是的...阅读全文

博文 2017-07-17 17:45:59 debian.cn

AWS EKS 添加IAM用户角色 - SRE运维博客

的联合身份用户。如果使用不属于 aws-auth ConfigMap 的 IAM 用户或角色访问 Amazon EKS 控制台,则无法看到 Kubernetes 工作负载。也不会看到集群的概览详细信息。所以要向其他 AWS 用户或角色授予与集群交互的能力,您必须在 Kubernetes 中编辑 aws-auth ConfigMap。 因为部门有不通的角色,所以想基于不通的角色分配不同的权限,面是记录添加一个对 EKS 只有只读权限的 AIM 用户。 {{< notice info "注意:" >}} 如果您在运行 AWS 命令行界面 (AWS CLI) 命令时遇到错误,请确保您使用的是最新版的 AWS CLI。 {{< /notice >}} 为 IAM 用户或角色配置权限 要查找具有主要...阅读全文

博文 2022-12-19 21:15:27 博客园

Go1.16 新特性:一文快速上手 Go embed

" //go:embed hello.txt var s string func main() { print(s) } 我们首先在对应的目录创建了 hello.txt 文件,并且写入文本内容 “吃煎鱼”。 在代码中编写了最为核心的 //go:embed hello.txt 注解。注解的格式很简单,就是 go:embed 指令声明,外加读取的内容的地址,可支持相对和绝对路径。 输出结果: 吃煎鱼 读取到静态文件中的内容后自动赋值给了变量 s,并且在主函数中成功输出。 而针对其他的基础类型,Go embed 也是支持的: //go:embed hello.txt var s string //go:embed hello.txt var b []byte //go:embed hello.txt var f...阅读全文

博文 2021-02-17 08:44:12 CSDN

Debian 社区陷入尴尬 或群龙无首

没有人在做任何竞选活动。” 为什么大家都不愿担任领导人呢? Debian 领导人的主要职能有两项:一方面是代表 Debian 到世界各地,在会议上进行分享,同时处理项目与其它团队和公司的关系;另一方面是行政上的,领导人要管理项目资金,任命开发者在项目中担任不同角色,并负责项目中的一些细节。 但是公开信中也指出,实际上,因为 Debian 项目把各种各样的权限都放到社区成员中,导致领导人的实权实际上并没有多少。比如,个别开发者几乎可以完全控制他们维护的软件包;开发人员之间的技术分歧很大的时候,将由项目技术委员会处理;发布管理者与 FTP 主人有权最终决定项目实际发布的内容,以及何时发布;项目秘书负责确保遵循必要的程序;政策团队处理项目的大部分总体设计。 另一方面,Debian 领导人这个职位...阅读全文

博文 2019-03-14 11:05:23 debian.cn