InfraPub 为您找到相关结果 651

GitLab 12.5 稳定版发布:支持EKS集群、多云托管和环境面板等

GitLab 于上周发布了 12.5 新版本,官方在发布说明中介绍到,为了尽可能高效地交付高质量的软件,企业会经常需要跨多云以支持广泛的基础架构,因此新版带来了 EKS 集群和环境面板等功能以支持跨各种配置的项目配置,更方便监控和管理。 轻松创建并部署 EKS 集群 在新版本中 GitLab 添加了 EKS 集成,因此我们可以在 GitLab 集群页面中选择 EKS 作为选项,然后系统会提示进行身份验证以使用 AWS 账。一旦通过身份验证,只需为集群指定所需的参数,GitLab 将负责完成其余的工作。因此在新版本中,我们只需单击几下就可以在 Amazon 的 EKS 上创建 Kubernetes 集群。 使用 Crossplane 配置多云托管服务 在 GitLab 12.5 中,我们可...阅读全文

Knoppix 8.6 发布,GNU/Linux 系统

菜单启动游戏引擎 godot 3 3.0.6音频/视频转码器:RipperX 2.8.0,Handbrake 1.2.2自动调整覆盖分区的大小而不重新引导LXDE,轻量级 Knoppix 标准桌面,包括文件管理器 pcmanfm 1.3.1用于在 Linux 上直接安装和运行 Windows 应用程序的预览版Libre Office 6.3.0-rc2, Gimp 2.10.8OwnCloud 2.5.1 和 NextCloud 2.5.1 客端对 UEFI 安全启动的支持 安装的一个更好的方法是使用 flash-knoppix,它将在 USB Flash pen 上创建一个 FAT 32 和一个 Linux 分区的更简单和可写的布局。 Knoppix 的 DVD 版本 8.6 提供了以下...阅读全文

博文 2019-08-20 12:21:46 debian.cn

Debian 安装配置 v2ray 服务端

v3.5 is installed. ``` 看上面输出,里面有 UUID 和 PORT 字段,这两个字段加上 IP地址,就是我们连接服务器的关键,只需要把这几个字段填入客端,我们就能通过这台服务器科学上网了。 启动v2ray服务进程:`systemctl start v2ray` 如果远程服务器和本地的连接速度不满意,可以参考之前的[Debian升级内核开启TCP_BBR 实现网络单边加速](https://debian.cn/articles/62)。...阅读全文

博文 2021-03-11 16:49:32 diablo4

Systemd 曝出三个漏洞 大部分 Linux 发行版易受攻击

攻击”,研究人员表示:“但在 SUSE Linux Enterprise 15、openSUSE Leap 15.0 和 Fedora28 与 29 上,这些漏洞无法利用,因为它们的用空间使用了 GCC 的 -fstack-clash-protection 进行编译。” GCC 中的 -fstack-clash-protection 选项用于生成代码以防止堆栈冲突样式攻击(stack clash style attacks),启用此选项后,编译器将一次只分配一页堆栈空间,并在分配后立即访问每个页面。因此,它可以防止分配跳过处于操作系统保护下的任何堆栈页面。 Qualys 表示不久后将发布相关漏洞 exploit。...阅读全文

博文 2019-01-15 10:56:33 debian.cn

Linux kernel 4.0全新发布!引入热升级

对于所有开源爱好者来说,今天是个大喜的日子,Linus Torvalds很高兴地宣布了Linux Kernel 4.0全新内核。 从版本上就可以看出Linux 4.0的变化之大,事实上也的确如此,尤其是打补丁后不需要重启了。 Linux新的补丁更新机制叫做“live patching”(实时补丁),可以对系统内核进行更新而不用重启。该功能由SUSE Enterprise Linux kGraft、Red Hat Kpatch合并升级而来。 普通用对这个可能没啥感觉,但如果你是企业的网管,就会对打补丁再重启深恶痛绝了,那可意味着整套系统的下线。Windows要是啥时候也能会这招就好了,那意味着你的系统甚至可以连续运行几年乃至十几年! 新系统还更新了大量驱动,包括Radeon DRM驱动支持...阅读全文

得物云原生全链路追踪Trace2.0-采集篇 - OSCHINA

一、0xcc开篇 2020年3月,得物技术团队在三个月的时间内完成了整个交易体系的重构,交付了五彩石项目,业务系统也进入了微服务时代。系统服务拆分之后,虽然每个服务都会有不同的团队各司其职,但服务之间的依赖也变得复杂,对服务治理等相关的基础建设要求也更高。 对服务进行监控是服务治理、稳定性建设中的一个重要的环节,它能帮助提早发现问题,预估系统水位,以及对故障进行分析等等。从 2019 年末到现在,得物的应用服务监控系统经历了三大演进阶段,如今,整个得物的应用微服务监控体系已经全面融入云原生可观测性技术 OpenTelemetry。 回顾过去十年间,应用服务监控行业的竞争也很激烈,相关产品如雨后春笋般涌现,如推特在 2012 年开源的 Zipkin,韩国最大的搜索引擎和门网站 Naver...阅读全文

博文 2022-12-10 06:50:41 中文开源技术交流社区

字节跳动开源微服务中间件 CloudWeGo - OSCHINA

这样的场景。 因此 Netpoll 应运而生,它借鉴了 evio 和 Netty 的优秀设计,具有出色的性能,更适用于微服务架构。 Thriftgo Thriftgo 是 Go 语言实现的 Thrift IDL 解析和代码生成器,支持完善的 Thrift IDL 语法和语义检查,相较 Apache Thrift 官方的 Golang 生成代码,Thriftgo 做了一些问题修复且支持插件机制,用可根据需求自定义生成代码。 Kitex 的代码生成工具就是 Thriftgo 的插件,CloudWeGo 近期也会开源另一个 Thriftgo 的插件 thrift-gen-validator,支持 IDL Validator,用于字段值校验,解决开发者需要自行实现代码校验逻辑的负担,弥补...阅读全文

博文 2021-09-09 13:56:42 中文开源技术交流社区

如何写好技术文档 — 来自十多年的文档经验总结

预设了很多背景知识。 一般使用文档都是有开发者写的,他们都非常了解这个工具的相关的知识,所以习惯性的会认为,啊 这个知识点很简单 用也肯定会吧,实际上用不一定会。这本质上就是一种认知偏差,这种现象在跨团队协作 尤其是多端协作的时候也非常明显。 这类型的文档写作中,要求写作者尽可能站在用的视角上思考,极力避免出现和用的认知偏差,力争每个步骤做到明确无歧义,每两个步骤之间做到紧密衔接。 ## 概念性文档 ## 当参考文档无法解释清楚某些东西的时候,就需要概念性文档了,比如某个API的具体实现原理。其主要是为了扩充参考文档,而不是替代参考文档。有时候这和参考文档会有些内容重复,但主要还是为了更深层次的说明某些问题、解释清楚某个概念。 概念性文档也是所有文档中写作最难的,也是被阅读最少的,所...阅读全文

博文 2021-07-30 16:15:13 joseph

Python的闭包和装饰器

什么是装饰器? 装饰器(Decorator)相对简单,咱们先介绍它:“装饰器的功能是将被装饰的函数当作参数传递给与装饰器对应的函数(称相同的函数),并返回包装后的被装饰的函数”,听起来有点绕,没关系,直接看示意图,其中 a 为与装饰器 @a 对应的函数, b 为装饰器修饰的函数,装饰器@a的作用是: 简而言之:@a 就是将 b 传递给 a(),并返回新的 b = a(b) 栗子: 上面使用@dobi来表示装饰器,其等同于:qinfeng = dobi(qinfeng)因此装饰器本质上就是个语法糖,其作用为简化代码,以提高代码可读性,运行上段代码的结果为: 解析过程是这样子的: 1.python 解释器发现@dobi,就去调用与其对应的函数( dobi 函数) 2.dobi 函数调用前要指...阅读全文

博文 2014-07-23 17:06:38 debian.cn

Linux 系统 vim 编辑器使用简明教程

otherfilename //编辑文件为otherfilename的文件。 十一、修改文件格式 :set fileformat=unix //将文件修改为unix格式,如win下面的文本文件在linux下会出现^M。 注意:如果不知道自己处在什么模式时可以按2次Esc键即可回到命令模式,会有最后提醒一点:注意大小写!!【本文转载自 欲思博客 略有增删】...阅读全文

博文 2015-07-25 16:33:04 debian.cn

六个开源软件开发的潜规则

正如体育界不成文的规定一样,这些规则基本上不会出现在官方文档和正式记录上。比如说,在棒球运动中,从比分领先时不要盗垒,到跑垒员跑了第一时也不要放弃四坏球保送。对于圈外人来讲,这些东西很难懂,甚至觉得没什么意义。但是对于那些想成为 MVP 的队员来说,这些都是理所当然的。 软件开发,特别是开源软件开发中,也有一套不成文的规定。和其它的团队运动一样,这些规定很大程度上决定了开源社区如何看待一开发者,特别是新加入社区的开发者。 按部就班,循序渐进 在参与社区之前,比如开放源代码或者其它什么的,你需要做一些基本工作。对于有眼界的开源贡献者,这意味这你需要理解社区的目标,并学习应该从哪里起步。人人都想贡献源代码,但是只有少量的人做过准备,并且乐意、同时也有能力完成这项艰苦卓绝的工作:测试补丁、复审...阅读全文

博文 2017-05-20 10:27:11 debian.cn

漫画赏析:Linux 内核到底长啥样

作任务。 watchdog 瞧瞧,垫子(进程表)旁边也有一只小狗,它会监控小企鹅的状态(监控进程),当小企鹅们不听话时,它就会汪汪地叫喊起来。 httpd process 在这层的左侧,有一只号牌为 1341 的小企鹅,守在门口,门上写着 80,说明这个 PID 为 1341 的小企鹅负责接待 80 端口,也就是我们常说的 HTTP (网站)的端口。小企鹅头上有一片羽毛,这片羽毛大有来历,它是著的 HTTP 服务器 Apache 的 Logo。喏,就是这只: apache logo 向右看,我们可以看到这里仍有一扇门,门上写着 21,但是,看起来这扇门似乎年久失修,上面的门牌号都歪了,门口也没人守着。看起来这个 21 端口的 FTP 协议有点老旧了,目前用的人也比以前少了,以至于这里都没人...阅读全文

博文 2021-01-28 17:50:24 debian.cn

Ubuntu 17.04(Zesty Zapus)正式版发布

从之前的 Ubuntu 发行版升级过来,这是唯一一个不适用的地方。 此外,默认的 DNS 解析器转换为了 systemd-resolved。IPP Everywhere 和苹果 AirPrint 打印机支持免驱动的开箱即用。绝大多数来自 GNOME 家族的包都升级到了 GNOME 3.24,只有 Nautilus 仍然保持在 GNOME 3.20.4 版本。 gconf 工具不再默认安装,因为它现在已经被 gsettings 所代替。而安装的应用大多数都是最新的,比如 LibreOffice 5.3 办公套件,Mozilla Firefox 52.0.1 Web 浏览器,以及 Mozilla Thunderbird 45.8.0 邮箱和新闻客端。 Nautilus 文件管理器 从本次发行版...阅读全文

博文 2021-01-28 17:50:27 debian.cn

Qt5.9发布:如何评价QT

Quick Controls 2的功能增强,还有基于openGL shader cache 对QML进行类型缓存, 以及.qml / .js文件生成的代码和数据结构的缓存的支持。 这些功能将大大提高使用Qt构建的设备的启动速度。 发布新Qt Creator 4.3.0,Quick Designer里面也看以同时看到和编辑qml code了! 作为Qml项目开发者确实立刻感到了方便! 还有新框架将允许Qt团队更容易创建新版本,包括修补程序和发布次要版本。 引入自动化性能回归测试,使得对Qt的监控与提高加强。 安全方面,Qt 5.9正式支持INTEGRITY RTOS。 确实越来越多的RTOS应用程亟需要更高级GUI框架来满足用期望呢。 操作系统和硬件方面,Qt 5.9完全同时支持传统的Win32应用...阅读全文

博文 2017-06-02 10:24:32 5.9的变化

不与版本帝争,16 年后 SciPy 1.0 版终发布

近已经达成一些重要的项目目的,技术上方面比如:Windows wheels 和持续集成。组织方面有管理结构、代码准则和路线图。 我们中很多人都有点完美主义,所以不情愿称某东西是 1.0 了,因为这样或许就暗示「已做完」或「我们对此 100% 满意」。虽然很多开源项目都这样,但我们承认自己项目并不完美,总有些边边角角有灰尘的。 虽然我们有如此想法,但对用来说,SciPy 极为实用,有着高于平均水平的高质量代码和文档,稳定性和向后兼容性均很好。 SciPy 的重要里程碑 2001 年:第一版 SciPy 发布; 2005 年:过渡到 NumPy; 2007 年:scikits 的诞生; 2008 年:scipy.spatial 模块以及首个 Cython 代码的增加; 2010 年:进入 6...阅读全文

博文 2017-10-26 13:54:33 debian.cn

Elastic search 6.0.0 正式发布 大量新特性

Elasticsearch 群集搜索 和以前一样,Elasticsearch 6.0 能够读取在 5.x 中创建的 Indices ,但不能读取在 2.x 中创建的 Indices 。不同的是,现在不必重新索引所有的旧 Indices ,你可以选择将其保留在 5.x 群集中,并使用跨群集搜索同时在 6.x 和 5.x 群集上进行搜索。 迁移助手 Kibana X-Pack 插件提供了一个简单的用界面,可帮助重新索引旧 Indices ,以及将 Kibana、Security 和 Watcher 索引升级到 6.0 。 群集检查助手 在现有群集上运行一系列检查,以帮助在升级之前更正任何问题。 你还应该查阅弃用日志,以确保您没有使用 6.0 版中已删除的功能。 使用序列号更快地重启和还原 6.0 版本中最大的一个新特...阅读全文

博文 2017-11-15 18:11:10 debian.cn

Docker CE 19.03 正式发布 无需root权限

Docker CE 19.03 和 EE 3.0 都已经发布,19.03 主要内容包括无需 root 权限、支持 GPU 的增强功能和 CLI 插件更新等等,19.03 现在是允许非 root 用运行守护程序,启用 Rootless 模式可以防止攻击者夺取主机的 root 权限,即使 Docker 存在漏洞或设置错误。 更新内容如下: Builder 增加了内联缓存支持 –cache-from docker/engine#215允许输出配置 moby/moby#38898固定的 GCR 变通令牌缓存 docker/engine#212下载错误时调用 stopprogress docker/engine#215Buildkit 现在使用 systemd 的 resolv.conf...阅读全文

博文 2019-07-24 21:30:05 debian.cn

HTTPS 证书有效期被提议缩短至13个月

推荐的加密和散列证书,而不是使用不安全算法的老化证书。 不过,本周一时,DigiCert 的 Timothy Hollebeek 却反对将证书有效期缩短至 13 个月,他认为,缩短证书寿命确实带来的好处,但意味着要有更好的方法来确保证书是最新的和安全的,同时也存在一些麻烦,企业不得不每年续签一次付费证书,并且增加其成本。 换句话说,减少有效期可能会促使企业免费使用 Let's Encrypt TLS/SSL,就不会向 Digicert 这样的机构支付费用。Let's Encrypt 可以免费发放 90 天的 HTTPS 证书,使用提供的软件客端来自动更新和部署证书,而由于几乎所有浏览器和操作系统都支持 Let's Encrypt TLS/SSL 证书,导致该服务正给向 HTTPS 证书收费...阅读全文

博文 2019-08-14 14:13:58 debian.cn

NVDIMM-P非易失内存标准公布:断电不丢数据、兼容DDR4

我们知道,传统的DDR DIMM内存是易失性的,也就是必须维持通电才能保持数据,一旦断电就都没了。 Intel创造了Optane傲腾持久内存,做到了非易失性,也兼容DDR DIMM,但仅用于数据中心,和普通用无关。 现在,JEDEC固态技术标准协会发布了DDR4 NVDIMM-P非易失内存标准规范,序列编号JESD304-4.01,也可以在断电后不丢失数据,而且完全兼容DDR4内存标准。 根据规范,这种新内存兼容普通的DIMM内存标准、固件,可以最大程度减少对于现有设备、平台的更改,同时为新内存提供了低延迟接口,提高了易用性,未来也会兼容支持DDR5。 NVDIMM-P的新功能: - 持久性:操作系统能够低延迟、高带宽访问非易失内存。 - 虚拟化的内存:在DDR通道启用尽可能多的内存容量...阅读全文

2022年云原生服务网格展露的五大趋势

性能问题。四是 无 Sidecar 模式的服务网格可供选择。Istio 推出了 Ambient 部署模式,这是一种新的 Istio 数据平面模式,旨在简化操作、扩大应用兼容性并降低基础设施成本。用可以选择将 Ambient Mesh 集成到其基础设施的网格数据平面,放弃 sidecar 代理,同时保持 Istio 的零信任安全、遥测和流量管理等核心功能。五是 WebAssembly 崛起。WebAssembly 正在发展成为云原生环境中跨平台、多语言的沙箱环境,甚至可以替代容器运行时,在 Kubernetes 中编排调度。 WasmEdge、KubeEdge、Istio 等项目可以从控制平面无缝编排 Wasm 工作负载。...阅读全文

Google 关于 Go 2 的讨论

语化的标识符或添加二进制整型字面量”等轻微改变,因为“这些改变很容易实现”。 Cox谈到了重大变化,例如“对错误处理的额外支持,或引入不可变或只读值类型,添加某种形式的泛型或其他尚未被建议的重要主题。” 从Google的角度来看,Go 2的主要目标是“解决Go在可扩展性方面的重要不足”。Cox提到了生产期的扩展性(云环境中运行并发应用)和开发期的扩展性(大量的开发人员在一个较大的代码库上并行协作)。 大部分主题是介绍和解释用于修改Go的五个步骤: 有关此过程的更多详细信息,我们建议您阅读博客文章Toward Go 2。有兴趣为Go 2推荐新功能的用请参考GitHub上的关于该语言的Wiki。 查看英文原文:Google Discusses Go 2 感谢张卫滨对本文的审校。...阅读全文

博文 2017-07-20 10:03:13 debian.cn

Scrapy 架构及数据流图简介

Scrapy 是一个为了爬取网站数据,提取结构性数据而编写的应用框架。 可以应用在包括数据挖掘、信息处理或存储历史数据等一系列的程序中。本文着重介绍 Scrapy 架构及其组件之间的交互。 Scrapy 组件介绍 Scrapy Engine 引擎负责控制数据流在系统中所有组件中流动,并在相应动作发生时触发事件。 详细内容查看下面的数据流(Data Flow)部分。 调度器(Scheduler) 调度器从引擎接受request并将他们入队,以便之后引擎请求他们时提供给引擎。 下载器(Downloader) 下载器负责获取页面数据并提供给引擎,而后提供给spider。 Spiders Spider 是 Scrapy用编写用于分析response并提取item(即获取到的item)或额外跟进的...阅读全文

博文 2017-07-23 22:56:26 debian.cn

Kubernetes 1.18 发布

Kubernetes 1.18 发布了,这是 2020 年首次版本发布。此版本包含 38 项功能增强,其中 15 项为稳定版功能、11 项 beta 功能以及 12 项 alpha 版功能。 主要更新亮点包括: Kubernetes 拓扑管理器 beta 拓扑管理器的作用是让 CPU 与其它设备(例如 SR-IOV-VF)实现 NUMA 对齐,进而让工作负载运行在优化环境中以降低延迟。在拓扑管理器推出之前,CPU 与设备管理器只能彼此独立地做出资源分配决策。此版本拓扑管理器已经发展到 beta 版本。 Serverside Apply beta 2 beta 2 版本将跟踪并管理所有新 Kubernetes 对象的字段变更,确保用及时了解哪些资源在何时进行过更改。 使用...阅读全文

博文 2020-03-27 18:28:34 debian.cn

当 Atom 遇见 VSCode:微软将对 GitHub 做的 6 件事

生态 微软 CEO Nadella 谈到了微软在过去几年中如何成为 GitHub 上最活跃的组织,提交了超过 200 万次的项目 commits 和 updates ,并表示微软正在全身心地投入开源。 至于 GitHub 将如何发展成为一家微软公司,Nadella 主要关注三大策略:在开发周期的各个阶段为开发者赋能,加速 GitHub 用于企业开发,并利用该平台让更多用使用微软的开发工具和服务。 2、保持 GitHub 的开放性 GitHub 创始人 Chris Wanstrath 表示,无论使用的是哪种编程语言、平台、操作系统或编码设备,GitHub 都会是面向所有开发者的开放平台。像之前的 LinkedIn 和 Minecraft 一样,Nadella 时期的微软会让被收购的公司保持其...阅读全文

博文 2018-06-06 11:08:17 debian.cn

Debian 公布关于支持非 systemd 初始化系统的投票结果

项目认识到 systemd 服务单元是用于描述如何启动守护程序/服务的首选配置。但是,Debian 仍然是一个环境,开发者和用可以在其中探索和开发替代的初始化(init)系统和 systemd 功能的替代方案。那些对探索此类替代方案感兴趣的人需要提供必要的开发和打包资源来完成这项工作。在运行依赖于某些 systemd 接口的软件时,有助于探索替代方案的诸如 elogind 之类的技术对于 Debian 仍然很重要。更重要的是,Debian 团队必须支持开发此类技术的开发者的工作,这些技术与 Debian 项目的其余部分之间存在重叠,例如,及时检查补丁并参与讨论。软件包应包括服务单元或启动脚本,以启动守护程序和服务。软件包可以由软件包维护者自行决定使用任何 systemd 工具,只要这与其他...阅读全文

博文 2019-12-29 13:53:51 debian.cn

Apache Flink 1.14 新特性预览 - OSCHINA

时间来看,整个任务初始化,调度以及部署的阶段,大概能够减少分钟级的时间消耗。 2. 细粒度资源管理 细粒度资源管理在过去很多的版本都一直在做,在 Flink1.14 终于可以把这一部分 API 开放出来在 DataSteam 提供给用使用了。用可以在 DataStream 中自定义 SlotSharingGroup 的划分情况,如下图所示的方式去定义 Slot 的资源划分,实现了支持 DataStream API,自定义 SSG 划分方式以及资源配置 TaskManager 动态资源扣减。 对于每一个 Slot 可以通过比较细粒度的配置,我们在 Runtime 上会自动根据用资源配置进行动态的资源切割。 这样做的好处是不会像之前那样有固定资源的 Slot,而是做资源的动态扣减,通过这样...阅读全文

博文 2021-09-05 07:26:58 中文开源技术交流社区

Spinnaker 介绍 – Netflix 的持续交付平台

Spinnaker 是 Netflix 在2015年开源的一款持续交付平台,它继承了 Netflix 上一代集群和部署管理工具 Asgard:Web-based Cloud Management and Deployment的优点,同时根据公司业务以及技术的的发展抛弃了一些过时的设计:提高了持续交付系统的可复用性,提供了稳定可靠的API,提供了对基础设施和程序全局性的视图,配置、管理、运维都更简单,而且还完全兼容 Asgard,总之对于 Netflix 来说 Spinnaker 是更牛逼的持续交付平台。 在深入了解 Spinnaker 之前,先扯一扯 Netflix 的技术文化:这是一家全面拥抱云的公司,据报道数据中心完全部署在 AWS 上,是 AWS 的超级大客。在上云后他们发现故障仍...阅读全文

博文 2018-12-21 19:30:47 debian.cn

Golang Context 探究

server 来解释, Go 服务每次都是启动一个新的 goroutine 来处理每一个请求,在这个请求的操作往往会启动新 goroutine 访问数据库或其他服务,如果此时客端断开了连接,后续的消耗资源的操作就完全没必要了。所以我们需要一个在 goroutine 之间同步取消信号,截止时间的机制或者特定请求数据。而 Context 被设计出来就是帮我们实现这个目标。 1 2 3 |-----------| |-----------| |-----------| | goroutine |-------> | goroutine |-------> | goroutine | |-----------| |-----------| |-----------| 默认 Context context 包...阅读全文

博文 2021-02-25 09:27:27 lxkaka

DPDK Graph Pipeline 框架简介与实现原理

RTE_GRAPH_BURST_SIZE 大小(node->size)的 object 队列,它定义了该 node 中可以容纳和处理的报文数量。如果一个 node 试图将报文排队到下一个 node,但下一个 node 已经有报文在排队并且已满(例如在 l3fwd 中,用可以有多个接收队列/ node 排队到同一个下一个 node pkt_cls),node 的 object 队列大小将会被动态的加倍。这意味着 node 具有批处理的优势,因为它可以累积报文。 注意:当前 API 不支持 node 的 object 队列大小在增大后再缩小 Objs 的传递 — 'home run'/normal enqueue 报文转换有两种类型,一种是正常的 enqueue,另一种是优化情况,“home run”。 Normal...阅读全文

博文 2023-02-09 07:13:55 掘金

Kafka生产问题总结以及性能优化

消费消息需要紧急处理,可以修改消费端程序,让其将收到的消息快速转发到其他topic(可以设置很多分区),然后再启动多个消费者同时消费新主题的不同分区。 2)由于消息数据格式变动或消费者程序有bug,导致消费者一直消费不成功,也可能导致broker积压大量未消费消息。 此种情况可以将这些消费不成功的消息转发到其它队列里去(类似死信队列,kafka没有死信队列,需要自己写),后面再慢慢分析死信队列里的消息处理问题。 2.1.5 延时队列 kafka没有延时队列,需要自己实现;延时队列存储的对象是延时消息。所谓的“延时消息”是指消息被发送以后,并不想让消费者立刻获取,而是等待特定的时间后,消费者才能获取这个消息进行消费,延时队列的使用场景有很多, 比如 : 1)在订单系统中, 一个用下单之后通常...阅读全文

博文 2023-01-05 23:16:48 CSDN博客

5G将是全球最智能互联的云计算

战5G的步伐,78%的受访者正在开展5G测试,另有28%的受访者表示将在明年部署5G。其中,运营商的关注点已不再局限于个人用,而是开始在企业和垂直市场领域寻找机会。 5G的三大垂直市场,分别是,媒体和娱乐、汽车、以及公共交通。 与此同时,物联网将在推动5G发展方面将发挥重要作用,医疗卫生、能源和公用事业,被认为最有前景的5G部署领域。 随着5G相应技术的部署,并在平台上进行测试,创新、发明以及推出新产品和服务的机会,将无穷无尽。...阅读全文

Memcache UDP反射放大攻击技术分析

已经发布通告,例如 CloudFlare、Qrator Labs、Arbor Networks、US-CERT,等等 预防和防御类:包括 NTT 在内的多个ISP 已经对 UDP 11211 采取限速措施。 应对建议方面,ISP、网络管理员、企业用可以从很多渠道获得应对建议,例如 这里。我们建议: 各运营商 ISP、云服务厂商,考虑在自己的网络内对UDP 11211 采取限速措施 各开发者和 memcache 管理者,考虑自查 memcache 设定ACL 总体而言,一方面,我们开始担忧1Tbps以上的DDoS攻击案例今后会比较频繁的出现,DDoS攻击开始从 G 时代进入 T 时代(Gbps vs Tbps);另一方面,我们必须指出至少在当前 Memcache DRDoS 还不是DDoS...阅读全文

博文 2018-03-02 09:20:52 debian.cn

开发者体验被重点关注:开发人员是关键资产 - OSCHINA

。其结果应该是,那些比较传统的公司的开发人员可以获得与其他公司使用云原生方法的开发人员一样的好处。希望这些实施方案能够帮助开发人员提高生产力,并且他们乐意留在这些公司,而不是转到其他岗位。 基于云的机器数据分析公司 Sumo Logic 的首席产品经理兼开源大使 Frank Reno 认为,开发人员是开源快速增长的因素之一。开发人员都希望在一个社区中与他人一起工作,与更大的团队合作,为更大的项目做出贡献。“特别是在 COVID-19 期间,我们不像以前那样紧密。因此,我们所能做的任何事情都是为了培养更好的体验,无论是对个人开发者还是一群开发者,都有很大的帮助。每个供应商和每个客都应该认识到开发人员的重要性。” 为了达到这一目的,DataStax 战略副总裁 Bryan Kirschner 则...阅读全文

博文 2021-12-28 14:45:52 中文开源技术交流社区

你和 Linux 高手只差了一个 LFS

以篇幅不小,快则一两天,慢可能要一两周你才能跟着把系统构建完。一次做完你也不见得能把知识完全消化。 然后,刚才我也提到了,为了让内容更精炼,更多的只是叙述和说明,并不会夹杂太多作者的思想和经验,看起来显得很枯燥。 最后,相信大家都不是太喜欢看教科书。当然,其实还有一个缺点,会给我们的学习带来比较大的阻力,这个我们后面会提到。 LFS 的定位 盘点了优缺点以后 LFS 的定位就很清晰了,它就是一本书,一本教科书。所以你不能要求它像小说般有趣。而这本书的受众是,广大的程序员,学生,Linux 用,以及任何一个对此感兴趣的人。 如何开始? 如果你英文水平尚可的话,请直达 LFS 官网: http://www.linuxfromscratch.org/lfs/ ,开始你的上帝之旅吧。 如果你希望阅...阅读全文

博文 2017-07-17 17:45:59 debian.cn

JDK 11 版本时间表公布

现的问题。” “我看到有人抱怨说,Java 10 不应该在 IDE 更新后才能发布,就像鸡和鸡蛋问题一样,除非鸡已经存在并且等待鸡蛋出现。” “2016 年的抱怨者:让我们用 JavaScript 代替(YOLO)。2018 年的抱怨者:还是 2016 年的那波抱怨者,他们现在又转回 Java,因为 YOLO 太难维护了。” “因为 Oracle,Java 命中注定。” 时间会告诉我们这个新的发布周期会将如何影响 Java 社区。 其他资源 Wikipedia 中列出的 Java 版本历史记录 Donald Smith 的 JavaFX 和其他 Java 客端路线图(2018 年 3 月 7 日) Simon Ritter 的 Duke Takes His Last Tumble(2018...阅读全文

博文 2018-04-27 08:33:08 debian.cn

谷歌元老施密特隐退:传奇落幕 新篇开启

前谷歌 CEO ,现谷歌母公司 Alphabet 董事会执行主席埃里克·施密特(Eric Schmidt)将卸任,这位一手将谷歌从一个两百员工的小公司拉扯成世界科技巨头的功臣终于“退休”了。可能有些朋友就问了,他是谷歌创始人吗?真有这么高的地位?可能真正了解施密特和谷歌的人并不多,或许今天我们应该来聊聊这家和我们熟悉又陌生的公司。 施密特并非谷歌创始人 首先,施密特是谷歌创始人吗?他并不是,谷歌的创始人只有两个:谢尔盖·布林(Sergey Brin)和拉里·佩奇(Larry Page),但是当我们提起施密特时,总会说“没有他就没有谷歌”。如此高的评价也能够体现他对谷歌的重要性了,你看即使库克非常给力,也不会有人说没有库克就没有苹果,大家都知道苹果的灵魂人物只有乔布斯。 言归正传,施密特作...阅读全文

博文 2017-12-24 09:18:44 debian.cn

基于thanos搭建分布式prometheus

-receive # headless服务 clusterIP: None---apiVersion: v1kind: ConfigMapmetadata: name: thanos-receive-config namespace: monitoringdata: # 域通过headless service规则可以预先获知:https://kubernetes.io/zh/docs/concepts/services-networking/dns-pod-service/#srv-records thanos-receive-hashrings: | [ { "endpoints": [ "thanos-receive-0.thanos...阅读全文

博文 2021-03-01 13:02:46 鱼儿的博客

王垠:如何掌握所有的程序语言

语言特性的人都知道,自己需要的特性,在任何语言里面一定有对应的表达方式。如果没有直接的方式表达,那么一定有某种“绕过方式”。如果有直接的表达方式,那么它只是语法稍微有所不同而已。所以,他是带着问题找特性,就像查字典一样,而不是被淹没于大部头的手册里面,昏昏欲睡一个月才开始写代码。 掌握了通用的语言特性,剩下的就只剩某些语言“特有”的特性了。研究语言的人都知道,要设计出新的,好的,无害的特性,是非常困难的。所以一般说来,一种好的语言,它所特有的新特性,终究不会超过一两种。如果有个语言号称自己有超过 5 种新特性,那你就得小心了,因为它们带来的和可能不是优势,而是灾难! 同样的道理,最好的语言研究者,往往不是某种语言的设计者,而是某种关键语言特性的设计者(或者支持者)。举个例子,著的计算机科学...阅读全文

博文 2017-07-10 10:13:17 debian.cn

不要光想着价格 QLC 与 TLC 闪存有什么不同

在这个互联网时代,游戏、电影、照片等数据越来越大,硬盘容量将会面临着前所未有的挑战。虽然传统的机械硬盘可以解决容量问题,但是速度太慢,体验糟糕,并不是最优的个人存储解决方案。我们渴求大容量的SSD,不过超过TB大容量SSD动不动就几千元的售价,对于支付能力有限用实际上没有意义。SSD的成本主要来源于闪存,在TLC闪存能够实现TB容量可惜价格未能降下来。只有不断开发新类型的闪存,解决容量与价格的矛盾,才能让SSD真正在大数据时代发挥应有作用。 这时,QLC 闪存就应运而生, 目前,东芝和西数先后宣布成功开发基于四比特单元3D NAND闪存芯片,即QLC闪存,这也意味着QLC SSD将要来临。那么,它与TLC闪存又有什么区别,能否取代TLC成为SSD主流闪存之选? 先来了解一下什么是TLC...阅读全文

博文 2017-08-01 09:52:54 debian.cn

Debian 10 Buster 正式版即将发布

8.0。现在在 Debian Buster 里我们已经升级为 OpenJDK 11.0,并且会有一个团队维护新的版本。 AppArmor 默认启用 在 Debian Buster 中是默认启用 AppArmor 的。这是一个好事,谨慎是系统管理员必须采取的正确策略。这仅仅是第一步,并且可能需要修复很多对用觉得有用的脚本。 Nodejs 10.15.2 在很长一段时间里 Debian 在仓库中都只有 Nodejs 4.8。在这个周期里 Debian 已经移到 Nodejs 10.15.2。事实上,Debian Buster 有很多 javascript 库例如 yarnpkg(一个 nmp 的替代品)等等。 NFtables 替代了 iptables Debian Buster 提供了...阅读全文

博文 2019-04-29 11:04:15 debian.cn

DevOps 越来越流行,2019 年这八大趋势值得关注

生的变化以及转向 Kubernetes 的趋势。 安全性将成焦点——DevSecOps CI/CD 管道让通过快速变更来满足客的日常需求成为可能。CI/CD 管道也可以进行自动化,而安全性现在已经成为了一个设计约束。从一开始就要考虑安全性,将安全性构建到软件中,而不是作为插件,因为安全性不再是附加功能。 最近,我们看到了 DevSecOps 的上升趋势,DevSecOps 是指先在应用程序开发生命周期中注入安全性,从而减少漏洞,并让安全性更接近 IT 和业务目标。这个模型假设每个人都需要对安全性负责,因此减少了职责归咎方面的噪音和困境。 DevOps 和 DevSecOps 之间的区别 AI 和 ML 将促进 DevOps 增长 AI 和 ML 非常适用于 DevOps。它们可以处理大量信...阅读全文

博文 2018-12-10 22:49:57 debian.cn

WebAssembly:无需容器的 Docker (下)

行比较:phpphp-wasmedge-aot在传统容器中运行的 php在 Wasm 容器中运行的 php-wasmedge-aot在下面所有的示例中,我们使用同样的 images/php/docroot/index.php 文件,让我们来看一下。简而言之,该脚本将:使用 phpversion 和 php_uname 展示解释器版本和它运行的平台打印脚本可以访问的所有环境变量的称打印一条包含当前时间和日期的问候消息列出根文件夹的内容 /

Hello from PHP running on ""

List env variable...阅读全文

博文 2023-01-03 06:39:46 spider

一位五年工作经验架构师的感悟

写给五年陈的自己 写周报,写的兴起,编写周报,还边用虎跑泉,泡铁观音喝。自己写周报的**惯还是要改一改,自己是个性情中人,写个周报也透露了太多情感在周报里。有很多人肯定觉得不好,也许以后我也会改,改的越来越干练,掏心的话少说。 兴奋了,喝了茶,睡不着了。灵感闪动,本周是个值得纪念的日子,写个文章纪念下过去。 回想这一路路走来,还是很感恩收获的一切,我渐渐从一菜鸟,成长为一位架构师,记得毕业的时候我给自己定的目标是:五年要成为一方面的专家。虽然,实际的成长比这个慢了两年,但是我还是庆幸自己当初果断的裸辞,然后进入支付宝。 每个架构师都是独立无二的,每个架构师都应该有自己的情怀,这些情怀是你的世界观。 我是如何成长为一个架构师的,我姑且给自己定的 title 就是架构师,不要认为有架构师的...阅读全文

博文 2021-01-28 17:50:31 debian.cn

社交巨人Facebook使用Linux和Btrfs的姿势

针对性地使用Btrfs的一些特性来提高我们手头工作的性能。我们比较关注在系统任务管理、快照之类的事情上。 Linux.com:我们都知道Facebook是Linux的重度用。在Facebook庞大的基础设施里,哪些地方用到了Linux? Chris Mason:简单地说,Facebook所有的基础设施都使用了Linux。围绕分布式操作系统我们利用了Btrfs的很多特性,比如分布式任务管理、利用快照功能快速更新以及哈希校验功能,等等。 我们在相当数量的机器上运行着Gluster——既支持XFS也支持Btrfs,我们的目标就是做好存储这件事。在Gluster上喜欢用Btrfs的其中一个原因是,数据循环冗余校验(cyclic redundancy checks)和元数据循环冗余校验使我们能够检测...阅读全文

博文 2021-01-28 17:50:22 debian.cn

分布式任务调度平台 XXL

将会主动触发一次子任务的执行, 多个子任务用逗号分隔; 22、一致性:“ 调度中心” 通过 DB 锁保证集群分布式调度的一致性, 一次任务调度只会触发一次执行; 23、自定义任务参数:支持在线配置调度任务入参,即时生效; 24、调度线程池:调度系统多线程触发调度运行,确保调度精确执行,不被堵塞; 25、数据加密:调度中心和执行器之间的通讯进行数据加密,提升调度信息安全性; 26、邮件报警:任务失败时支持邮件报警,支持配置多邮件地址群发报警邮件; 27、推送 maven 中央仓库: 将会把最新稳定版推送到 maven 中央仓库, 方便用接入和使用; 28、运行报表:支持实时查看运行数据,如任务数量、调度次数、执行器数量等;以及调度报表,如调度日期分布图,调度成功分布图...阅读全文

博文 2018-11-05 21:47:15 JOB 2.0.0 发布

聊聊很重要的内核技术eBPF

或bpftrace等项目间接使用eBPF,这些项目在eBPF之上提供了抽象,并且不需要直接编写程序,而是提供了指定基于意图的定义的功能,然后使用eBPF实施。 如果不存在更高级别的抽象,则需要直接编写程序。 Linux内核希望eBPF程序以字节码的形式加载。虽然当然可以直接编写字节码,但更常见的开发实践是利用LLVM之类的编译器套件将伪C代码编译为eBPF字节码。 在编写eBPF程序之前,需要简单了解几个概念。 1)map(映射) :BPF最令人着迷的方面之一是,内核上运行的代码和加载了该代码的程序可以在运行时使用消息传递相互通信。 BPF映射是驻留在内核中的键/值存储。任何BPF程序都可以访问它们。在用态中运行的程序也可以使用文件描述符访问这些映射。只要事先正确指定数据大小,就可以在映射...阅读全文

博文 2020-08-16 11:08:44 debian.cn

理解 Linux 的虚拟内存

。 在 Linux 中,内存设置被映射为 /dev/mem,root 用通过对这个文件读写,可以直接操作内存。 JVM 进程占用虚拟内存过多 使用 TOP 查看系统性能时,我们会发现在 VIRT 这一列,Java 进程会占用大量的虚拟内存。 导致这种问题的原因是 Java 使用 Glibc 的 Arena 内存池分配了大量的虚拟内存并没有使用。此外,Java 读取的文件也会被映射为虚拟内存,在虚拟机默认配置下 Java 每个线程栈会占用 1M 的虚拟内存。具体可以查看 为什么linux下多线程程序如此消耗虚拟内存。 而真实占用的物理内存要看 RES (resident) 列,这一列的值才是真正被映射到物理内存的大小。 常用管理命令 我们也可以自己来管理 Linux 的虚拟内存。 查看系统内存状...阅读全文

博文 2018-11-25 11:03:49 debian.cn

分布式运行时 Dapr 知多少

/actors///reminders/ 6. Observability(遥测) Dapr记录指标,日志,链路以调试和监视Dapr和用应用的运行状况。 Dapr支持分布式跟踪,其使用W3C跟踪上下文标准和开放式遥测技术,可以轻松地诊断在生产环境中服务间的网络调用,并发送到不同的监视工具,如Prometheus。 7. Secrets(安全) Dapr 提供了Secret管理,不过不同于K8S中的Secret,其支持与公有云和本地的Secret存储集成,以供应用检索使用。 What Can We Do With Dapr 了解了Dapr是什么,以及其提供的特性,那Dapr的应用场景就一目了然了。也就是官网首页的Slogan:Simplify...阅读全文

粘合万种芯片的“万能胶” 是摩尔定律的续命丹吗? - 硬件

Chiplet可以应用,以及Chiplet产品的性价比何时能最先验证。"戴伟民说到。正因如此,即便是有了UCIe这一标准,大家也容易停留在观望阶段,都在等待第一个吃螃蟹的人出现。"芯原正在与有意向使用Chiplet的企业积极沟通,并尝试探索向潜在客'众筹'Chiplet的方案,有望尽快打破僵局。"戴伟民补充道。续命摩尔定律,万能胶芯片不万能抛开工艺难题,芯片万能胶普及的关键在于,能否延续摩尔定律给芯片公司们更大价值。从产业链角度,一方面,Chiplet作为半导体产业的技术趋势,需要各家芯片公司都在自己的位置上做最擅长的工作,通过分工协作减少Chiplet芯片与市场需求匹配的时间和周期,因此芯片公司之间的连接会更加紧密,另一方面,芯片万能胶似乎正在改写芯片公司或芯片产品的评价体系或维度。"一直以来,最先...阅读全文

博文 2022-04-08 07:35:46 cnBeta.COM