InfraPub 为您找到相关结果 498

深度解密基于 eBPF 的 Kubernetes 问题排查全景图

取。用户态进程取这些数据后,进一步关联 Kubernetes 元数据后推送到存储端。这是整体处理过程。eBPF 的超能力体现在能订阅各种内核事件,如文件写、网络流量等,运行在 Kubernetes 中的容器或者 Pod 里的一切行为都是通过内核系统调用来实现的,内核知道机器上所有进程中发生的所有事情,所以内核几乎是可观测性的最佳观测点,这也是我们为什么选择 eBPF 的原因。另一个在内核上做监测的好处是应用不需要变更,也不需要重新编译内核,做到了真正意义上的无侵入。当集群里有几十上百个应用的时候,无侵入的决方案会帮上大忙。但作为新技术,人们对 eBPF 也存在些许担忧,比如安全性与探针性能。为了充分保证内核运行时的安全性,eBPF 代码进行了诸多限制,如最大堆栈空间当前为 512、最...阅读全文

博文 2022-03-21 09:11:51 joseph

五款流行开源的 HIDS 系统简单介绍

让我们先探讨什么是基于主机的入侵检测系统。如前所述,入侵检测系统是一种硬件或软件应用程序,可在检测到恶意活动时检测并警告管理员。HIDS主要专注于监视和分析日志文件,以便 基于预定义的策略和一组规则来检测异常和未经授权的更改。换句话说,HIDS与您添加的预先建立的规则一样有效。对于大量存储的日志,提取有意义的信息对于检测异常至关重要。提取的信息应准确。因此,确保这些日志的安全性对于防御日志操纵至关重要。1. OSSECOSSEC是开源安全事件关联器的缩写。这个建立良好且信誉良好的决方案是OSSEC基金会开发和维护的免费和开放源代码的基于主机的入侵检测系统,这要归功于众多的贡献者。它后来归趋势科技所有。这是一个不断发展的项目,每月下载约5000次,并且具有可扩展性和多平台方面的特点,因为它...阅读全文

博文 2023-01-26 11:07:43 joseph

Linux Lite 宣布使用基于 Linux Kernel 4.14 的内核

系统菜单中的 Lite Tweaksv 工具,选择“Kernel Installer”功能来安装更新,同样在安装完成之后需要重启你的电脑。 Linux Kernel 4.14 LTS 的主要功能就是为 x86 硬件部署了更大的存储限制,虚拟地址空间提升至 128PiB,物理硬件空间提升至 4PiB。此外还引入了全新的 ORC unwinder 来改进内核追踪和内核尺寸。 Linux Kernel 4.14 LTS 同时为 Btrfs 和 SquashFS 文件系统引入了 zstd 压缩,能够从用户存储到 sockets 实现 zero-copy 数据,改进 SMP 的 cpufreq 协调,同步 non-blocking buffered 取,以及对 PCID 指令更快的 TBL 刷新。...阅读全文

基于树莓派并支持触屏的模块化 PC:Zero Terminal 3

(用于充电)microSD 卡器(用于操作系统)3.5 毫米耳机插孔视频输出相机接口2 个电源指示灯3 个可编程按键(连接到 Raspberry Pi Zero 的 GPIO pins)电源开关 NODE 还发布了一个视频,展示了 Zero Terminal 3 的详细组装过程。目前,Zero Terminal 3 并未上市销售,不过 NODE 表示,他计划提供更多细节和说明,以帮助大家来构建自己的 Zero Terminal 设备和模块化附件。 更多详细介绍可查看:https://n-o-d-e.net/zeroterminal3.html...阅读全文

博文 2020-08-10 11:31:07 debian.cn

Proxmox VE 5.0 Beta1 发布,基于 Debian 9 Stretch

Proxmox 5.0 Beta 1 “Virtual Environment” 发布了,新版基于 Debian 9 “Stretch”,采用了 Linux 4.10 内核,并且表现十分出色。例如,4.10 内核允许运行 Windows 2016 Hyper-V 作为客机操作系统(嵌套虚拟化)。 这个 beta 版本提供了 Ceph Luminous v12.0.0.0 (dev) 的软件包,这也将是下一个长期 Ceph 版本的基础。在接下来的几个星期内,将会一步一步把新功能集成到 beta 版中,并将修复所有关键的错误。 阅更多信息, 请参阅发布公告 。 下载镜像:proxmox-ve_5.0-c155b5bc-1.iso (549MB, MD5, pkglist). Proxmox...阅读全文

博文 2021-01-28 17:50:25 debian.cn

隐私声明

我们重视保护用户的隐私权,请您在浏览本网站以及使用本网站的特定服务前,仔细阅本隐私权声明。使用本网站,即视为您同意本隐私权声明并同意本网站根据本隐私权声明收集、使用、披露您的部分信息。 本隐私权声明主要包括如下内容:当您浏览本网站时,我们向您收集哪些信息;我们如何使用这些信息;我们会在何种情况下披露这些信息;以及您的选择。 本隐私权声明适用于本网站收集的关于您的个人信息。请注意本网站可能包含连接到其他网站的链接,我们对这些其他网站的隐私权做法不承担任何责任。我们建议您仔细阅您所浏览的其他网站的隐私权声明。 1. 信息的收集 您向我们提供的信息。 如果您仅仅浏览本网站的一般性内容,我们并不要求您提供任何个人信息。在您需要使用或浏览我们提供的特定服务或信息时(比如参...阅读全文

技术部门的 SEO 规范

为客户提供SEO顾问服务的时候,经常遇到一些作为外部顾问不方便全程参与的情况。比如有的公司要新建网站,或者现有网站推到重来,问我能否从一开始就参与,提供SEO建议。 网站规划设计阶段就考虑SEO当然是好事,但作为一个远在异国的顾问,参与到这种需要大量深度讨论、沟通、协调的过程中,实在是不好操作,内部SEO人员更适合这种工作。 有的客户公司规模比较大,技术开发、内容、SEO等各部门是分开的,SEO部门的很多需求是要提交给技术、运营等部门实施的。反过来,其它部门的需求也由技术部门实施,但可就不一定经过SEO部门同意了。这个过程中就可能产生对SEO的不良影响。 也有的公司人员流动频繁,即使原先的开发人员都经过SEO培训,也还是会有完全不了SEO的新人加入团队。 这些情况都需要有一个技术部门必须...阅读全文

博文 2019-03-28 13:58:51 debian.cn

使用 Go 语言的三个原因

定不是提供这些安全保障的第一个主流语言,Java(1995)可能是该冠军的竞争者。关键是,世界对不安全的编程语言没有胃口,所以人们默认认为,Go 是内存安全的。 开发人员生产力 从 20 世纪 70 年代末,开发人员的时间变得比硬件所耗费的时间更昂贵了。开发人员的生产力是一个不断扩展的话题,但它归结为这一点:你花了多少时间做有用的工作,又有多少时间等待编译器或者失望地迷失在外部代码库中。 有个笑话说 Go 是在等待 C ++ 程序编译 时开发的。快速编译是 Go 的一个重要功能,也是吸引新开发人员的关键工具。虽然编译速度仍然是一个 永久的战场 ,但公平地说,在其他语言中需要几分钟的编译,在 Go 中只需要几秒钟。 Go 程序员意识到生产力的更根本的问题是代码是 为了而写的 ,所以将 代码的...阅读全文

博文 2021-01-28 17:50:28 debian.cn

Elastic search 6.0.0 正式发布 大量新特性

Elasticsearch 群集搜索 和以前一样,Elasticsearch 6.0 能够取在 5.x 中创建的 Indices ,但不能取在 2.x 中创建的 Indices 。不同的是,现在不必重新索引所有的旧 Indices ,你可以选择将其保留在 5.x 群集中,并使用跨群集搜索同时在 6.x 和 5.x 群集上进行搜索。 迁移助手 Kibana X-Pack 插件提供了一个简单的用户界面,可帮助重新索引旧 Indices ,以及将 Kibana、Security 和 Watcher 索引升级到 6.0 。 群集检查助手 在现有群集上运行一系列检查,以帮助在升级之前更正任何问题。 你还应该查阅弃用日志,以确保您没有使用 6.0 版中已删除的功能。 使用序列号更快地重启和还原 6.0 版本中最大的一个新特...阅读全文

博文 2017-11-15 18:11:10 debian.cn

网易云音乐Linux版v1.1发布 支持 Debian Stretch

时隔近一年半的时间,网易云音乐 Linux 版本终于迎来了更新,本次更新除了迁移到QCEF框架,对GNOME、KDE桌面环境支持更好,支持最新 Debian 9、Ubuntu 17.10版本(仅64位),还优化和修复各个社区用户反馈的问题。 具体的细节优化如下: 迁移全新的QCEF框架; 使用了全新的播放器后端; 支持打开更多格式的本地文件; 优化播放时内存占用资源问题; 优化扫描本地音乐目录,支持取下载任务的状态; 优化第三方字体的支持; 优化淡入淡出效果和在线播放; 优化更好的支持Wayland环境; 移除了沙盒机制; 修复部分本地音乐播放存在卡顿的问题; 修复Tooltip位置偏移的问题; 修复在Qt 5.9中界面乱码的问题; 修复GPU加速选项无效的问题; 修复无法捕获本地目录变...阅读全文

博文 2017-12-02 18:34:00 debian.cn

分布式 NewSQL 数据库 TiDB

#2342TiFlash添加上报 DeltaTree 引擎写负载相关 metrics 信息支持 fromUnixTime 和 dateFormat 函数下推默认禁用粗粒度索引过滤器TiDB Ansible新增 TiFlash 监控 #1253 #1257优化 TiFlash 配置参数 #1262 #1265 #1271优化 TiDB 启动脚本 #1268 Bug 修复 TiDB修复 merge join 在某些场景下 panic 的问题 #15920修复在计算选择率时重复考虑某些表达式的问题 #16052修复极端情况下 load 统计信息可能出现的 panic 的问题 #15710修复 SQL query 中存在等价表达式在某些情况下无法识别导致报错的问题 #16015修复从一个数据库中查询另一个数据库的...阅读全文

博文 2020-04-18 22:05:02 3.1.0 发布

Netty+Nacos+Disruptor自研企业级API网关

。 TypeScript:TypeScript是JavaScript的超集,它可以增加类型检查、接口声明等特性,减少错误和提高可性。 NestJS:NestJS是一种流行的Node.js框架,它采用面向对象的编程方式,提供了路由、中间件、模块化等丰富的功能。 GraphQL:GraphQL是一款优秀的数据查询和操作语言,它可以帮助我们快速构建API,并减少网络传输的数据量。 功能设计 我们将开发一个电商平台,包含以下主要功能: 用户管理:用户可以注册、登录、修改个人信息等,管理员可以查看用户列表并进行管理。 商品管理:管理员可以添加、修改、删除商品信息,包括商品名称、价格、库存、图片等。 购物车:用户可以将商品加入购物车,并在结算时进行支付。 订单管理:管理员可以查看订单列表、订单详情、订单状态等。 开发流程 下面是全栈开发的开发流...阅读全文

博文 2023-05-27 12:49:20 bianchengyuan123

系统分析工具 Sysdig 详解

=80 and evt.buffer contains GET查看机器所有的SQL select查询:sudo sysdig -s 2000 -A -c echo_fds evt.buffer contains SELECT查看本地Apache对外部MySQL的实时查询:sysdig -s 2000 -A -c echo_fds fd.sip=192.168.30.5 and proc.name=apache2 and evt.buffer contains SELECT 硬盘 I/O 查看使用硬盘带宽最多的进程:sysdig -c topprocs_file列出使用大量文件描述符的进程:sysdig -c fdcount_by proc.name "fd.type=file"查看写字节数最频...阅读全文

博文 2020-08-09 14:09:05 debian.cn

Debian 将支持从 F2FS 根文件系统进行系统引导

不少用户希望通过将 Flash-Friendly File-System (F2FS) 作为根文件系统来启动和运行 Debian,现在这个目标将有望达成了。尽管 F2FS 早已问世,并且得到了越来越多的采用,尤其是在 Android 移动设备上,但默认情况下,大多数 Linux 发行版都不允许默认从 F2FS 文件系统进行引导。 不过事情现在迎来了转机,GRUB 2.04 在其 2019 年中期发布的版本中提供了 F2FS 支持。 更新后的 GRUB 能够支持取 F2FS 根文件系统,而且这种支持也一直在向 Linux 发行版中扩散,当然还需要启用相关模块(F2FS 模块)才能使用。对于 Debian 而言,他们本周最终将 F2FS 模块添加到了已签名的 UEFI 映像中。 从 F2FS...阅读全文

博文 2020-01-13 13:36:55 debian.cn

关于本站

#### 关于本站 InfraPub 关注企业基础设施、服务架构、DevOPS工具链、研发效能等相关的话题,是一个专注于相关生态的学习和分享的站点,目标受众是 Linux 系统爱好者、云原生、基础架构、平台工具相关的从业人员。 [InfraPub](https://infras.cn/) 努力为者提供准确、清晰、及时的资料。 本站内容主要可分为三部分: - 来自网络上的优秀资料,这部分以复制+粘贴为主,小部分文章在粘贴时会修正部分错误。 - 站点维护人员整理的原创文章。 - 软件、硬件、操作系统相关的新闻。 如果发现有侵权类的资料需要处理,请与我联系。我的常用邮箱为 joseph # Debian.cn 。 #### 友情链接 [InfraPub...阅读全文

OpenSSL 1.1.1 LTS 版本发布,支持 TLS v1.3

free operation 支持各种新的加密算法,包括: SHA3 SHA512/224 and SHA512/256 EdDSA (including Ed25519 and Ed448) X448 (adding to the existing X25519 support in 1.1.0) Multi-prime RSA SM2 SM3 SM4 SipHash ARIA (including TLS support) 旁路攻击安全性改进 Maximum Fragment Length TLS 扩展支持 新增 STORE 模块,它实现了一个规格一致的基于 URI 的存储取器,可包含密钥、证书、CRL 和许多其他对象。 更多细节可查阅发行说明: https...阅读全文

Github iOS 和 Android 客户端正式发布

Github 在去年的 Universe 大会上推出了尚处于 Beta 阶段的移动版客户端。经过数月的开发,适用于移动设备的 Github iOS 和 Android 客户端现已发布稳定版,可从 Google Play 或 App Store 进行获取。 Github 移动版客户端提供了以下功能: 浏览最新通知对 issue 和 PR 进行阅以及回复审查和合并 PR使用 labels, assignees 以及 projects 等配置项来管理 issue浏览文件和代码 Github 移动版客户端采用原生开发,界面方面没有照搬 PC 端网站的设计,而是针对移动端提供了专为触摸屏设计的新界面,还提供了通知功能,当用户被直接 @ 的时候,就能够收到悬浮通知,方便开发者随时随地查看代码、合并更...阅读全文

博文 2020-03-18 07:30:49 debian.cn

使用 imagemagick 的 convert 命令处理图片

$convert image.png -define png:format=png32 newimage.png 10,文字注释 $convert image.png -draw "text 0,20 'some text'" newimage.png 从文件text.txt中取文字,指定颜色,字体,大小,位置: $convert source.jpg -font xxx.ttf -fill red -pointsize 48 -annotate +50+50 @text.txt result.jpg 11,去掉边框 $convert image.png -trim -fuzz 10% newimage.png...阅读全文

Go 1.16 发布,支持 macOS ARM64

/mips64)上支持 MIPS64 体系架构,但尚不支持 cgo - 放弃了对 x87 模式编译(GO386=387)的支持。现在可以使用软浮点模式(GO386=softfloat)来支持非 SSE2 处理器 - linux/riscv64 现在支持 cgo 和 -buildmode=pie - GO111MODULE 环境变量现在默认为 on。可通过将 GO111MODULE 设置为 auto 切换回旧行为 - go 命令现在支持使用新的 //go:embed 指令来将静态文件和文件树作为最终可执行文件的一部分包含在内 - 新的 runtime/metrics 包引入了一个稳定的接口,用于从 Go 运行时中取实现定义的指标 - 现在将 GODEBUG 环境变量设置为 inittrace=1 会导致...阅读全文

博文 2021-02-17 08:58:12 joseph

Debian 向社区发出邀请 请求测试 Debian 10 Buster 安装镜像

“Buster”发布图像可用于 AMD64,i386,arm64,s390x,mips,mipsel,mips64el 和 ppc64el 架构。 Debian 项目还要求社区使用 BIOS 和 UEFI 测试真实 PC 上的实时图像,而不是虚拟机,因为Debian GNU / Linux 10 “Buster”将支持UEFI安全启动。 如前所述,Debian GNU / Linux 10“Buster” 操作系统计划于2019年7月6日发布。根据Debian项目,安装程序映像可在13:00 UTC左右下载,Live镜像应该是当天之后2小时内发布【阅邮件原文】。...阅读全文

博文 2019-07-03 16:39:51 debian.cn

比UFS 2.1性能翻番 UFS 3.0正式发布:2.9GB/s

1月31日上午消息,固态技术协会(JEDEC)发布了Universal Flash Storage (UFS&UFSHCI,通用闪存存储) v3.0标准(JESD220D、JESD223D),和UFS存储卡v1.1标准(JESD220-2A)。简单来说,UFS 3.0引入了HS-G4规范,单通道带宽提升到11.6Gbps,是HS-G3(UFS 2.1)性能的2倍。 由于UFS的最大优势就是双通道双向写,所以接口带宽最高23.2Gbps,也就是2.9GB/s。 互联层设计方面,严格遵守 MIPI(移动产业处理器接口)的规范协议,其中物理层依据 MIPI M-PHY v4.1,传输层依据MIPI UniProSM v1.8。 其它方面,UFS 3.0支持的分区增多(UFS 2.1是8个),纠...阅读全文

博文 2018-01-31 12:00:48 debian.cn

最全 MongoDB 基础教程

: } ) query: update的查询条件,类似sql update查询内where后面的 update: update的对象和一些更新的操作符(如$,$inc...)等,也可以理为sql update查询内set后面的 upsert: 可选,这个参数的意思是,如果不存在update的记录,是否插入objNew,true为插入,默认是false,不插入 multi: 可选,mongodb 默认是false,只更新找到的第一条记录,如果这个参数为true,就把按条件查出来多条记录全部更新 writeConcern: 可选,抛出异常的级别 案例 db.ruochen.insert({ title: 'mongodb', description: 'Nosql 数据库', by...阅读全文

博文 2021-02-22 07:45:45 OSChina

Linux:为什么那么多人讨厌 Systemd

Systemd在Linux社区引起了无限争议。一些Linux用户对systemd的反对绝不屈从,还有一些Linux用户对systemd喜爱有加,还有很多人满不在乎。近日,关于systemd的话题又出现在社区中,很多人分享了自己的想法。一时兴起,笔者梳理了几个比较经典的回答。 为什么不喜欢systemd? 不断地听到很多人抱怨systemd有多么不好,但它还是被极大地普及了,并且我在网上所到的很多文章都在介绍systemd的好处,比如更快的启动时间和更完善的日志记录,据说过去在fedora-13上开机速度测试,upstart是27秒,而systemd仅用了24秒。 有人认为unix是做一件事,就把它做好,而systemd则是把pid 1扩张到最大化。这可能是很多人讨厌systemd的重大原...阅读全文

红帽 2017 峰会 第三天回顾:自动化的未来

能够统一面向多个接入口进行自动化操作的定义与管理。 在本次峰会之前,红帽的 Linux发行版RHEL OpenStack发行版RDO OpenShift(Kubernetes) 存储产品Cepht与Gluster 已经与Ansible集成。本次峰会上,红帽又发布了Red Hat Insights(红帽的监控预警产品)和CloudForms与Ansible的集成。 为什么是Ansible? 其中一个很重要的原因在于,Ansible连不懂技术的业务人员也可以拿来用。甚至可以这么说:任何一个能够阅英文的人都能看懂Ansible Playbook的用法。红帽认为Ansible代表了自动化的未来,在此投入了大量研发力量与资源。 2、Red Hat Insights作为统一的数据分析层 Red Hat...阅读全文

博文 2021-01-28 17:50:29 debian.cn

Systemd 及 Service 文件含义解析

# graceful stop. Normally, Systemd sendsSIGTERM signal right after the # ExecStop, which would kill httpd. We aresending useless SIGCONT here to give # httpd time to finish. KillSignal=SIGCONT PrivateTmp=true [Install] WantedBy=multi-user.target ``` 这个文件由三个部分组成:Unit、Service、Install。 [Unit] 主要是为了决依赖关系。常见的添加 Requires、After,如果这个依赖是可选的,那么是 Wants、After。依赖关系通常被用...阅读全文

博文 2021-02-17 10:02:50 joseph

Debian、Ubuntu安装源配置文件说明

三字段,指示包的「版本类型」,姑且称为「仓库」。 打开某源,进入「dists」子目录可见该源中有哪些仓库,即其下诸子目录。 命名形式为「系统发行版名-仓库名」,如 Debian 的「jessie-backports」「stretch-updates」,Ubuntu 的「vivid-updates」「wily-proposed」。无仓库名的即为主仓库。 Debian 的 stable、testing 为链接,指向具体系统发行版,会随时间而变。比如,当前 stable 为 jessie,所以 stable-backports 与 jessie-backports 等效。但本人不建义使用 stable、testing,因为下一个 stable 发布后,你的源便自动指向了一个新版本,然而你并未阅新...阅读全文

博文 2021-01-28 17:50:10 debian.cn

Debian 10 Buster 正式版即将发布

经被细分成为组件。要安装整个软件栈,可以安装 mailman3-full 来获取所有组件。 已有的 Postgresql 数据库都需要重新索引 由于 glibc 本地数据的更新,放入文本索引中的信息排序的方式将会改变,因为重新索引是有益的,这样在将来就不会有数据破坏发生。 默认 Bash 5.0 你可能已经了了 Bash 5.0 的新特点 ,在 Debian 中已经是该版本了。 实现了 /usr/merge 我们已经分享过一个优秀的 freedesktop 物 ,介绍了 /usr/merge 带来了什么。有一些事项需要注意。当 Debian 想要整个过渡时,可能由于未预见的情况,一些二进制文件可能并没有做这些改变。需要指出的一点是,/var 和 /etc 不会被触及,因此使用容器或者云技...阅读全文

博文 2019-04-29 11:04:15 debian.cn

Kubernetes 1.7:安全加固、有状态应用更新等

,每一个节点上创建一个 Pod 已经有了一个更新特性,在1.7中添加了更加机智的回滚和历史回溯能力。 一个新的 StorageOS 卷插件能从本地的和连接的节点存储中提供高可用的、集群范围的持久性卷。 可扩展性: 运行时的 API 聚合是这次发布中最强大的特性,可以让高级用户向集群中添加预先构建的、第三方的或者用户自制的具有Kubernetes风格的API。 容器运行时接口(CRI)通过新的从运行时获取容器指标的 RPC 调用得到增强。CRI 的验证测试已经发布,和containerd 1.0的整合处于 alpha 状态,现在支持基本的 Pod 生命周期和镜像管理。可以阅我们之前深入介绍 CRI 的文章。 其他特性: 引入了对于外部的准入控制器的支持,现在处于 alpha 状态,提供了两种选...阅读全文

博文 2021-01-28 17:50:35 debian.cn

使用 tmate 分享你的终端会话

2017 [tmate] ssh session read only: ssh ro-Jck9ufuVN89c7DPK2FFkGQMxV@sg2.tmate.io Wed Dec 6 10:27:59 2017 [tmate] web session: https://tmate.io/t/3zSi6McGj5rkeoWIKMgumWrGr Wed Dec 6 10:27:59 2017 [tmate] ssh session: ssh 3zSi6McGj5rkeoWIKMgumWrGr@sg2.tmate.io 现在,分享你的 SSH 会话 ID 给你的朋友或同事从而允许他们观看终端会话。除了 SSH 会话 ID 以外,你也可以分享 web URL。 另外你还可以选择分享的是只会话还是可写会...阅读全文

博文 2017-12-06 10:33:33 debian.cn

AWS EKS 添加IAM用户角色 - SRE运维博客

的联合身份用户。如果使用不属于 aws-auth ConfigMap 的 IAM 用户或角色访问 Amazon EKS 控制台,则无法看到 Kubernetes 工作负载。也不会看到集群的概览详细信息。所以要向其他 AWS 用户或角色授予与集群交互的能力,您必须在 Kubernetes 中编辑 aws-auth ConfigMap。 因为部门有不通的角色,所以想基于不通的角色分配不同的权限,下面是记录添加一个对 EKS 只有只权限的 AIM 用户。 {{< notice info "注意:" >}} 如果您在运行 AWS 命令行界面 (AWS CLI) 命令时遇到错误,请确保您使用的是最新版的 AWS CLI。 {{< /notice >}} 为 IAM 用户或角色配置权限 要查找具有主要...阅读全文

博文 2022-12-19 21:15:27 博客园

Spinnaker 介绍 – Netflix 的持续交付平台

Spinnaker 是 Netflix 在2015年开源的一款持续交付平台,它继承了 Netflix 上一代集群和部署管理工具 Asgard:Web-based Cloud Management and Deployment的优点,同时根据公司业务以及技术的的发展抛弃了一些过时的设计:提高了持续交付系统的可复用性,提供了稳定可靠的API,提供了对基础设施和程序全局性的视图,配置、管理、运维都更简单,而且还完全兼容 Asgard,总之对于 Netflix 来说 Spinnaker 是更牛逼的持续交付平台。 在深入了 Spinnaker 之前,先扯一扯 Netflix 的技术文化:这是一家全面拥抱云的公司,据报道数据中心完全部署在 AWS 上,是 AWS 的超级大客户。在上云后他们发现故障仍...阅读全文

博文 2018-12-21 19:30:47 debian.cn

Kafka 3.0新特性全面曝光,真香!

,消费消息也是一个道理,一次拉取一批次的消息进行消费。并且Producer、Broker、Consumer都使用了优化后的压缩算法,发送和消息消息使用压缩节省了网络传输的开销,Broker存储使用压缩则降低了磁盘存储的空间。参考资料:1.《深入理Kafka:核心设计实践原理》2.状态机程序设计套路3.raft算法源码4.https://www.bbsmax.com/A/QW5Y3kaBzm/ 作者简介屈志平腾讯数据研发工程师腾讯数据研发工程师,目前负责QQ浏览器、搜狗小说、搜狗浏览器、bingo等多款产品的数据建设。有丰富的数据治理、数仓建设、数据平台平台相关的经验。参考阅:BIGO RTC如何低成本实现高画质一文懂 Web3:互联网发展的新时代还是骗局?析分布式系统的缓存设计日志中台...阅读全文

博文 2022-04-28 16:02:11 mp.weixin.qq.com

Apache Flink 1.14 新特性预览 - OSCHINA

把 barrier 传到算子的 OutPut Buffer 的最前面,相当于它会立刻被下游的算子所取到。通过这种方式可以使得 barrier 不受到数据阻塞,决反压时候无法进行 Checkpoint 的问题。 当我们把 barrier 发下去后,需要做一个短暂的暂停,暂停的时候会把算子的 State 和 input output buffer 中的数据进行一个标记,以方便后续随时准备上传。对于多路情况会一直等到另外一路 barrier 到达之前数据,全部进行标注。 通过这种方式整个在做 Checkpoint 的时候,也不需要对 barrier 进行对齐,唯一需要做的停顿就是在整个过程中对所有 buffer 和 state 标注。这种方式可以很好的决反压时无法做出 Checkpoint...阅读全文

博文 2021-09-05 07:26:58 中文开源技术交流社区

王垠:如何掌握所有的程序语言

打印“Hello World!”,进而要他们记忆 printf 的各种“格式字符”的意义,要他们实现各种复杂格式的打印输出,甚至要求打印到文本文件里,然后再出来…… 可是殊不知,这种输出输入操作其实根本不算是语言的一部分,而且对于掌握编程的核心概念来说,都是次要的。有些人的 Java 课程进行了好几个星期,居然还在布置各种 printf 的作业。学生写出几百行的 printf,却不理变量和函数是什么,甚至连算术语句和循环语句都不知道怎么用!这就是为什么很多初学者感觉编程很难,我连 %d,%f,%.2f 的含义都记不住,还怎么学编程! 然而这些野鸡大学的“教授”头衔是如此的洗脑,以至于被他们教过的学生(比如我女朋友)到我这里请教,居然骂我净教一些没用的东西,学了连 printf 的作业都没...阅读全文

博文 2017-07-10 10:13:17 debian.cn

25万次P/E循环 超级长寿的SLC SSD诞生

EnduroSLC闪存芯片,从名字上就可以看出强调超长寿命,P/E循环可选5万次、10万次、25万次三种规格(QLC才不过1000-1500次左右),搭配无缓存主控支持增强型掉电保护,性能也是上一代的四倍,而且可耐受-40℃到85℃的极端温度。 该硬盘采用BGA整合封装的单芯片方案,集成主控和闪存,145-ball封装,尺寸仅14×24mm,容量不大2GB-128GB,系统通道是SATA 6Gbps,支持NCQ。 具体写速度指标没有公布,但是对于这种产品来说,能跑多快反而是次要的。 Greenliant表示,NANDDrive EX系列已经开始向客户送样,计划今年第四季度量产,同时还会推出基于3D MLC闪存的NANDDrive MX系列,也是SATA 6Gbps,今年第四季度初出样,年底量产。...阅读全文

博文 2019-08-07 23:13:00 debian.cn

盖茨退休后的日常:很少吃早餐 保证7个小时的睡眠

茨其实很多时候都不吃早餐。 早餐之后,盖茨会在跑步机上锻炼,同时他还会看一些教学机构的课程,也会观看麻省理工学院的公开课,有时他也会去打网球。当然,盖茨每天上午也不全是运动,他每天都会看《纽约时报》、《华尔街日报》、《经济学人》等主要报刊上的头条新闻。 午餐方面,盖茨喜欢的是芝士汉堡。而在午餐之后,他的很多时间都是在看书,他是个书狂。 盖茨的豪宅超过了6000平方米,还有庞大的院子,远离嘈杂的市区,房子周边植被茂密,房前不远处就是广阔的水面,有着非常适合看书的环境,盖茨也可以选择在任何一个地方看书,但盖茨还是喜欢坐在他面积庞大的私家图书馆看书。 在晚上,盖茨会做家务,每天晚上,他都要挽起袖子来洗碗。而在睡觉之前,盖茨都要确保他能有7个小时的睡眠。 除了上面提到的,盖茨也会安排时间和家人一起...阅读全文

博文 2017-08-31 16:36:02 debian.cn

Rust 1.39.0 发布,async/.await 稳定了

: &[u8]) -> usize { slice.len() } 现在可以以更简洁的方式: fn len( #[cfg(windows)] slice: &[u16], // This parameter is used on Windows. #[cfg(not(windows))] slice: &[u8], // Elsewhere, this one is used. ) -> usize { slice.len() } 这里可以使用的属性包括: 条件编译:cfg 和 cfg_attr控制 lint:allow、warn、deny 与 forbid应用于项目的过程宏属性使用的帮助程序属性 这在整个语言生态中提供了一个更具可性的基于宏的 DSL。 标准库中增加的 const fn 此版本中...阅读全文

博文 2019-11-11 09:44:43 debian.cn

微软宣布年底关闭开源软件托管平台 CodePlex

真正核心,但这种情况过去几年有所改变。该公司于 2015 年推出了开源项目 .NET 和 Visual Studio Code 开源文字编辑器,2016 年 8 月份推出 PowerShell。 哈里写道,人们可能无法在 CodePlex 上继续创造新的项目。该网站将在 10 月份变为只,并在 12 月份关闭。届时,人们依然可以浏览上面的代码。 来源: 网易科技报道 作者:小小...阅读全文

博文 2021-01-28 17:50:25 debian.cn

Linux下多线程程序为什么消耗大量虚拟内存

最近游戏已上线运营,进行服务器内存优化,发现一个非常奇妙的问题,我们的认证服务器(AuthServer)负责跟第三方渠道SDK打交道(登陆和充值),由于采用了curl阻塞的方式,所以这里开了128个线程,奇怪的是每次刚启动的时候占用的虚拟内存在2.3G,然后每次处理消息就增加64M,增加到4.4G就不再增加了,由于我们采用预分配的方式,在线程内部根本没有大块分内存,那么这些内存到底是从哪来的呢?让人百思不得其。 探索 一开始首先排除掉内存泄露,不可能每次都泄露64M内存这么巧合,为了证明我的观点,首先,我使用了valgrind。 valgrind --leak-check=full --track-fds=yes --log-file=./AuthServer.vlog & 然后启动测试...阅读全文

博文 2015-01-28 10:35:39 debian.cn

成为Debian社区维护人需要做好的准备

出很多时间和努力。 1. 尽可能多地使用 Debian 完成日常工作。也就是说,成为开发者前,先做一个用户。 2. 阅 Debian New Maintainer’s Guide 学习 Debian 打包的基本知识(英文版,中文版)。 这些知识能帮助你让不太复杂的软件包工作起来,但是与满足 Debian 标准之间还有相当大的距离。这个过程中可以独立地重新打包一个已经在仓库中的包,完成后和别人现有的工作进行对比,找出自己的不足。这个包一般不需要很复 杂,初学时直接弄复杂的包很可能只会浪费很多精力。做包的过程中遇到任何问题都可以找有经验的人询问清楚,这对提高水平非常有益。 3. 寻找一个感兴趣的软件进行打包,WNPP (Work-needing and Prospective Packages...阅读全文

Apache Kafka发布 3.0 正式版

OffsetFetch 请求以接受多个组 ID请求 Kafka 消费者组的当前偏移量已经有一段时间了。但是获取多个消费者组的偏移量需要对每个组进行单独的请求。在 3.0 和KIP-709 中,fetch 和 AdminClient API 被扩展为支持在单个请求/响应中同时取多个消费者组的偏移量。KIP-699:更新 FindCoordinator 以一次析多个 Coordinator支持可以以有效方式同时应用于多个消费者组的操作在很大程度上取决于客户端有效发现这些组的协调者的能力。这通过KIP-699成为可能,它增加了对通过一个请求发现多个组的协调器的支持。Kafka 客户端已更新为在与支持此请求的新 Kafka 代理交谈时使用此优化。KIP-724:删除对消息格式 v0 和 v1 的支持自 2017 年...阅读全文

博文 2021-09-26 14:13:03 joseph

DPDK Graph Pipeline 框架简介与实现原理

户设计 pipeline 的灵活度,但 graph 框架也同时带来下列缺点: 引入潜在内存安全风险 复杂的代码逻辑,需要大量的测试工作 初学者学习曲线陡峭 总体而言,与传统的 pipeline 模式相比,graph 框架也会出现 tradeoff。使用者需要考虑其业务逻辑的复杂程度,才能有计划地设计出可管理的 graph pipeline。graph 模型更适用于 pipeline 比较复杂的场景。有兴趣的者可以持续关注后期即将发布的《DPDK Graph Pipeline 框架示例和性能分析》,以更好地理 DPDK libgraph 的性能和实际用途。...阅读全文

博文 2023-02-09 07:13:55 掘金

在 Kubernetes 上扩展 TensorFlow 模型

。在机器学习模型中,以分布式、可扩展的方式提供服务的能力成为保证其应用有效性的关键。 要决分布式云环境中的这些扩展性问题非常困难。在确保容错、高可用性和应用健康的同时, MLOps 工程师要配置多个节点和推理服务之间的交互。 本文中,我将讨论 Kubernetes 和 Kubeflow 如何能够满足 TensorFlow 的机器学习模型的这些扩展性需求。通过一些实际的例子,我将向你介绍如何在 Kubernetes 上使用 Kubeflow 扩展机器学习模型。 首先,我将讨论如何使用 TensorFlow training jobs(TensorFlow 训练作业,TFJobs)抽象,通过 Kubeflow 在 Kubernetes 上协调 TensorFlow 模型的分布式训练。然后,我将介...阅读全文

OpenAI掌门人Sam Altman:AI的下一个发展阶段_OneFlow

,MinIO的开源启示录 关于ChatGPT的一切;CUDA入门之矩阵乘 李白:你的模型权重很不错,可惜被我没收了 单RTX 3090训练YOLOv5s,时间减少11小时 YOLOv5全面析教程:网络结构逐行代码 比快更快,开源Stable Diffusion刷新作图速度 OneEmbedding:单卡训练TB级推荐模型不是梦 欢迎Star、试用OneFlow最新版本:GitHub - Oneflow-Inc/oneflow: OneFlow is a deep learning framework designed to be user-friendly, scalable and efficient.OneFlow is a deep learning framework designed...阅读全文

博文 2023-02-04 15:55:11 CSDN博客

CentOS停止维护后,我们应该用什么操作系统?

、家庭路由器以及大量单板计算机(SBC)。大量的软件包Debian 拥有大量的软件包(当前的稳定版本:59000 个软件包) ,使用 deb 格式。不同的发布版本除了我们的稳定版本外,您还可以通过安装测试版或不稳定版本来获得更新版本的软件。公开的错误跟踪系统我们的 Debian 错误跟踪系统(BTS)向所有人公开,任何人都可通过浏览器访问。我们不会隐藏我们的软件错误,您可以轻松提交新的错误报告或参与讨论。Debian 政策和开发人员工具Debian 提供高质量的软件包。欲了我们的质量标准,请阅我们的政策,它规定了每个被发行版接受的软件包所必须满足的技术需求。我们的持续集成策略包括 Autopkgtest(对软件包进行测试),Piuparts(测试安装、升级和删除),以及 Lintian(检...阅读全文