InfraPub 为您找到相关结果 541

2017年DevOps的5大发展预测

DevOps流程中去以确保合规。对于需要快速推进的DevOps世界来说,将安全放在首位是一种挑战。但是,如果没有这么做,2017年可能会出现由于DevOps推进导致的重要数据泄漏。 Harrison说,“我们可能会看见重大漏洞溯源后和DevOps的使用有关,这将会促成DevOps和安全团队成为亲密伙伴。” 更多自动化代码 上一年,公司开始引入自动化工具以减少为应用程序中寻找缺陷代码的冗长工作。2017年对于开发者会有更多的自动化工具。GitLab产品副总裁Job van der Voort认为,这不是一件坏事,因为自动化将会围绕着代码测试、数据聚合和格式化、报和通知展开。 他提到,“由于当前的新硬件和技术(如GPU和并行计算),通过机器学习的自动化编码将比以往更加流行。” 感谢朱昊冰对本文的审校...阅读全文

博文 2021-01-28 17:50:18 debian.cn

为何 Kubernetes 如此受欢迎?

Kubernetes 使用案例的公司。 Pokemon Go 是最流行的宣传 Kubernetes 能力的使用案例。在它发布之前,人们都觉得在线多人游戏会相当的得到追捧。但当它一旦发布,就像火箭一样起飞,达到了预期流量的 50 倍。通过使用 Kubernetes 作为 Google Cloud 之上的基础设施层,Pokemon Go 可以大规模扩展以满足意想不到的需求。 最初作为来自 Google 的开源项目,背后有 Google 15 年的服务经验和来自 Borg 的继承- Kubernetes 现在是有许多企业成员的大型基金会(CNCF)的一部分。它继续受到欢迎,并被广泛应用于金融、大型多人在线游戏(如 Pokemon Go)以及教育公司和传统企业 IT 的关键任务中。考虑到所有,所有的迹象明...阅读全文

博文 2017-11-07 23:58:26 debian.cn

Linux 27周年:这27件有趣的事实你可能不知道

开发和发布时间后,新版本的 Linux kernel 现在基本每隔 66 天左右发布一次。 18、Linux 不是 Linus Trovalds 唯一知名的作品,还有 Git 版本控制系统和潜水应用 SubSurface 。 19、据估计,90% 的好莱坞视觉效果在生产流程的某个阶段依赖于 Linux 。 20、根据 openhub.net 的统计数据,超过 95% 的 Linux 是用 C 语言编写的。 21、最新版本的 Linux kernel 可能有 13.3%的代码由空行组成。这并非毫无意义,空行是严谨的编码风格的一部分,使内核保持整洁、高效和有序。 22、基于 Linux 的 Android 是目前全球最成功的移动操作系统。 23、Linux 的每个内核版本都有一个有趣的代号,比...阅读全文

Stackstorm 入门介绍

结果发布到IM中,比如 HipChat、JIRA 或者 Slack 等。 自动修复 - 识别和验证OpenStack计算节点上的硬件故障,正确排空实例并向管理员发送关于潜在停机时间的电子邮件,但如果出现任何问题 - 冻结工作流程并呼叫PagerDuty唤醒人员。 持续部署 - 与Jenkins一起构建和测试,配置新的AWS群集,基于NewRelic的应用程序性能数据,打开负载均衡器的一些流量,以及前滚或回滚。 Stackstorm工作原理 主要组件角色: 传感器(Sensors) 用于分别接收或监视事件的入站或出站集成的Python插件。 当来自外部系统的事件发生并由传感器处理时,StackStorm触发器将发射到系统中。 触发器(Triggers)外部事件的StackStorm示形式...阅读全文

开源硬件是趋势,Arm 却走了一条与众不同的路

“开源”一词所代的不仅仅是技术人员的情怀,它还传达了诸如研究知识共享和社区建设之类的观点。虽然开源一直都在产生积极的影响 —— 随着开源微处理器指令集架构 RISC-V 的日益普及,推动软件创新的开源运动现在正在微处理器领域引起轰动,但半导体 IP 提供商 Arm(为 95% 的智能手机嵌入式处理器提供了支持) 并不是开源的狂热爱好者。 近日,外媒 Synced 与 Arm 嵌入式、物联网和汽车营销高级总监 Rhonda Dirvin 进行了一次对话,探讨开源硬件和开源软件之间的区别,以及由此对 Arm 进行决策带来的影响。 Dirvin 认为,当今的开源硬件格局并不像看起来那样简单明了:“我们开始看到有人说免费并非真正的免费。因为归根结底,他们必须考虑验收所需的内容以及实现指令或架构所...阅读全文

博文 2019-10-17 22:39:43 debian.cn

Debian目前面临的问题:钱足够但很缺人!

Debian 项目牵头人(DPL,Debian Project Leader)Jonathan Carter 示:“ Debian 这一 Linux 主要发行版目前面临的问题,并非在于缺少资金,而是缺少志愿开发人员。” Jonathan Carter 指出,Debian 社区的主要问题并非在于缺少资金,而是缺少志愿开发人员。 相对于数以千计依赖 Debian 的组织而言,Debian 项目在规模上相形见绌。除 Ubuntu 之外,还有其它一些广为使用的发行版都是基于 Debian 的,其中包括 Devuan、Kali、Knoppix、LMDE、Raspberry Pi OS(原 Raspbian)、SteamOS 和 Tails 等。 一些 Linux 发行版是基于 Ubuntu 的,除...阅读全文

博文 2020-10-09 10:24:04 debian.cn

开源简史基础:Linux基金会

伦堡的 SUSE 办公室。 而在2012年2月1日,Linux基金会官方发文正式宣称GKH加入。 https://www.linuxfoundation.org/press-release/2012/02/leading-kernel-maintainer-greg-kroah-hartman-joins-the-linux-foundation/ Linux基金会的执行董事Jim Zemlin对GKH更是赞不绝口,“Greg是这个世界上最具天赋的软件开发者之一,他将会对Linux的发展提供无与伦比的贡献。”,并明GKH的工作将会聚焦于Linux内核方面。 会员类别与年费 Linux基金会的会员分为企业会员和个人会员,而企业会员又分为白金会员、黄金会员和白银会员三种。 会员类别企业/个人会...阅读全文

开发者体验被重点关注:开发人员是关键资产 - OSCHINA

示: 每个开发者都将能够从开源提供的集体创新中获取工具和代码,以构建现代数据驱动的应用程序,提供差异化的、有吸引力的体验,从而推动收入增长。这将通过创造一种 innersource 文化(将开源文化和工具带入企业)来实现,以加快开发速度、减少项目积压、创造更多乌托邦式的开发者环境。无服务器数据库技术与现代 API 和流媒体技术相结合,将等于一个开放的堆栈,在实现这一目标方面发挥巨大作用,因为它们将减轻基础设施团队的负担(例如管理多个数据中心实例、多云供应商和多个流媒体项目)。 Sumo Logic 的 Reno 还指出,作为这个过程的一部分,开发者需要围绕使用数据本身获得更多的帮助。他以可观察性的 OpenTelemetry 项目进行举例,说明开发者希望从他们所拥有的数据中获得更多的东西...阅读全文

博文 2021-12-28 14:45:52 中文开源技术交流社区

你和 Linux 高手只差了一个 LFS

,LFS 绝对配得上称为一本好书,或者说一本好教材。市面上,很难再找到一本如此具体又如此精炼的教材了。 首先,它并不是只是讲讲简单概念,它很具体,具体到就是一个例子,一个告诉你怎么亲手构建出属于自己的 Linux 系统的例子。 其次,它很精炼,它的精炼现在两个方面:系统构建出来不臃肿;文字描述很精炼。 最后还有一点,这一点至关重要。尽管文字的描述非常精炼,甚至是精炼到枯燥,但是作为一本教材,作者无时无刻不再想尽办法,让你学到东西。无论是编译指令下方各个参数的介绍,还是软件包安装小节下方软件包内容的介绍,作者真的是想尽办法的试图把知识传递给读者。 LFS 没有缺点吗? 那自然是有的,可以原封不动的照抄上面的优点。辩证的看待这些优点,你就会发现这些优点是有代价的。 首先,由于这个例子过于生动形象,所...阅读全文

博文 2017-07-17 17:45:59 debian.cn

Kubernetes 1.7 发布,安全强化、StatefulSet 更新及可扩展特性

测试已发布,并且与containerd集成的 Alpha版的现已可用,它支持基本的Pod生命周期和镜像管理。在该Kubernetes已发的博客帖子中,可以了解到CRI的更多信息。 商业版的Google Cloud Platform(GCP)Container Engine(GKE)提供了最新的Kubernetes 1.7发布版,并已进一步提供了开源的Kubernetes发布版与Google各平台间的集成,包括:使用Google Cloud Load Balancing(GCLB)的HTTP重加密,使客户可以在从GCLB到他们的服务后端上使用HTTPS;解决了[对所有私有IP的GA支持]问题(https://cloud.google.com/container-engine/docs/ip...阅读全文

博文 2017-07-19 12:23:15 debian.cn

使用 setfacl 管理文件的访问控制列表ACL

如果你是在一个大型组织,你运行了 NFS 或者 Samba 服务给不同的用户,你将会需要灵活的挑选并设置很多复杂的配置和权限去满足你的组织不同的需求。Linux(以及其他Unix等POSIX兼容的操作系统)有一个被称为访问控制列(ACL)的权限控制方法,它是一种权限分配之外的普遍范式。例如,默认情况下你需要维护3个权限组:owner、group和other。 使用ACL后,你可以设置权限给其他用户或组,而不单只是简单的"other"。可以允许指定的用户A、B、C拥有写权限而不再是让他们整个组拥有写权限。 ACL支持多种Linux文件系统,包括ext2, ext3, ext4, XFS, Btrfs等。如果你不确定你的文件系统是否支持ACL,请参考文档。 首先我们需要安装工具来管理ACL...阅读全文

7 个月猛涨 12 亿美元,开源技术服务商成北欧最新独角兽 - OSCHINA

snaps 进行升级,也可以从官方网站下载。 主要更新内容 修复了接口方法上的调用层次结构以正确返回结果 如果 IDE 由于操作系统关闭而关闭,则修复了每次启动时重复索引的问题 修复了在 WSL 2 中重新打开项目时导致 IDE 冻... 5 1 J 语言联合创始人 Roger Hui 因癌症去世 J 语言邮件列昨日发布了 J 语言发明者之一 Roger Hui 去世的讣告。 我们从讣告得知,Roger Hui 在与癌症抗争数年后,于 2021 年 10 月 16 日星期六下午安详离世,生命的最后时光在临终关怀医院度过,享年 68 岁。 根据维基百科的介绍,J 语言是图灵奖获得者 Kenneth E. Iverson 和许国华 (Roger Hui) 于 1990 年代初发... 8 1...阅读全文

博文 2021-10-21 20:04:43 中文开源技术交流社区

兼容 tmux 的文件上传/下载工具 trzsz ( trz / tsz ) 使用指南 支持进度条和目录传输

– 安装 tabby-trzsz 插件即可。electerm – 升级到 1.19.0 以上的版本即可。trzsz-go – 只要是支持本地 shell 的终端就可以用。trzsz.js – 让运行在浏览器中的 webshell 和用 electron 开发的终端支持 trzsz。 如果你的终端也支持 trzsz,请告诉我,我很乐意将它加到此列中。trzsz 使用指南trz 上传文件trz 命令可以不带任何参数,将上传文件到当前目录。也可以带一个目录参数,指定上传到哪个目录。trz /tmp/ tsz 下载文件tsz 可以带一个或多个文件名(可使用相对路径或绝对路径,也可使用通配符),将下载指定的文件。tsz file1 file2 file3 -q 静默模式trz -q 或 tsz -q...阅读全文

Facebook 是如何进行大规模代码部署的

Facebook 的首位发布工程师,目前是 Facebook 发布工程的工程总监。 Facebook 的发布周期是“ quasi-continuous ” (准连续)——这只是一种委婉的说法,明并非每次提交都会部署到生产环境,实际上它采用的是对几十到几百个提交进行批处理,每隔几个小时就进行推送。这种分层发布的方式使任何变更的回滚很容易。 这个新系统从 2016 年 4 月开始,经过一年的时间慢慢地完善。早先的模式是从主干分支的提交中选择特定的变更放到发布分支上。发布分支每天将这些变更推送到生产环境。这种“ cherry-picking ”的特点是,每天选择变更的数量为 500 ~ 1000。剩下的变更就推入到每周发布分支中。随着时间的推移,提交的数量和参与其中的工程师都有所增加,发布工程师的手工劳动变得...阅读全文

博文 2017-10-31 14:05:20 debian.cn

JDK 11 版本时间表公布

在 JDK 10 发布两天之后,Oracle Java 平台组首席架构师 Mark Reinhold 提出了 JDK 11 GA 发布的时间: 6 月 28 日:第一阶段开发(从主分支 fork) 7 月 19 日:运行所有测试 7 月 26 日:第二阶段开发 8 月 16 日:初始候选版本 8 月 30 日:最终候选版本 9 月 25 日:正式版 到目前为止,包含在 JDK 11 中的 JEP 有: JEP-309:动态类文件常量 JEP-318:Epsilon:一款低开销的垃圾收集器 JEP-320:移除 Java EE 和 CORBA 模块 JEP-323:Lambda 参数的局部变量语法 JDK 11 的 早期体验版本 在 JDK 10 发布前的一个月就有了。Reinhold 之...阅读全文

博文 2018-04-27 08:33:08 debian.cn

Sam Altman的成功学|OneFlow

-E以及近期火出科技圈的ChatGPT。 无论是个人才智和财富,还是远见和野心,Sam Altman显然是标杆性的“成功人士”。 在离任YC总裁的那一年,曾与无数创业者和技术人才交流过的Sam Altman发了一篇博客,总结了他眼中获得成功所要具备的13个特质,如果你渴求成功,或者至少希望自己变得优秀,这篇博客对你的个人成长将有所启发。如果你恰好在职业生涯早期就看过,无疑是一种幸运。 不同于热衷分享虚头巴脑的鸡汤式成功学的成功人士,Sam Altman给出的这篇“成功学”建议具有可执行性,最显著且可贵的一个特点是——不装。 注意,Sam Altman这篇文章的原标题是“how to be successful(如何取得成功)”,但这13条特质并不是一个人必然取得成功的充分或必要条件。 要知道...阅读全文

Python的闭包和装饰器

什么是装饰器? 装饰器(Decorator)相对简单,咱们先介绍它:“装饰器的功能是将被装饰的函数当作参数传递给与装饰器对应的函数(名称相同的函数),并返回包装后的被装饰的函数”,听起来有点绕,没关系,直接看示意图,其中 a 为与装饰器 @a 对应的函数, b 为装饰器修饰的函数,装饰器@a的作用是: 简而言之:@a 就是将 b 传递给 a(),并返回新的 b = a(b) 栗子: 上面使用@dobi来示装饰器,其等同于:qinfeng = dobi(qinfeng)因此装饰器本质上就是个语法糖,其作用为简化代码,以提高代码可读性,运行上段代码的结果为: 解析过程是这样子的: 1.python 解释器发现@dobi,就去调用与其对应的函数( dobi 函数) 2.dobi 函数调用前要指...阅读全文

博文 2014-07-23 17:06:38 debian.cn

为保护隐私而生 反取证操作系统:Kodachi

用。 学校机房(从 U盘 和 DVD 启动)使用 任何可以(从 U盘 和 DVD )启动使用的计算机上。 安装向导: 如何在你的硬盘驱动器上安装 Kodachi Linux: 从你的 USB 或 ISO 映像引导。 在桌面菜单上进入 – >系统 – > Refracta 安装程序 – >使用 su – >输入密码 r@@t00 – >简单安装 – >运行 GParted – >设备 – >创建分区 – >应用 – >分区 – >新建 – >添加 – >应用所有操作 – >关闭 – >关闭 GParted 窗口 – >选择分区 – >确定 – >继续安装 – >关闭窗口 – > y – >配置主机及用户名!不要在这里更改用户名,否则 Kodachi 脚本会出现错误 – >勾选前 2 个框允许...阅读全文

博文 2021-01-28 17:50:19 debian.cn

Tmux 快速教程:快捷键和配置

示当前的时间 ctrl + z 挂起当前会话 窗口操作 c 创建新窗口 & 关闭当前窗口 [0-9] 数字键切换到指定窗口 p 切换至上一窗口 n 切换至下一窗口 l 前后窗口间互相切换 w 通过窗口列切换窗口 , 重命名当前窗口,便于识别 . 修改当前窗口编号,相当于重新排序 f 在所有窗口中查找关键词,便于窗口多了切换 面板操作 " 将当前面板上下分屏(我自己改成了 |) % 将当前面板左右分屏(我自己改成了 -) x 关闭当前分屏 ! 将当前面板置于新窗口,即新建一个窗口,其中仅包含当前面板 ctrl+方向键 以1个单元格为单位移动边缘以调整当前面板大小 alt+方向键 以5个单元格为单位移动边缘以调整当前面板大小 q 显示面板编号 o 选择当前窗口中下一个面板 方向键 移动光标选择...阅读全文

博文 2017-11-07 15:17:49 debian.cn

Linux 容器 vs 虚拟机 — 谁更胜一筹

VirtualBox 和 VMware 很好地代了桌面到服务器虚拟化的两个领域。 Linux 容器 vs 虚拟机 – 赢家是? 在决定容器还是虚拟机之前,请考虑以下事项。如果你选择容器,但你完全可以 在虚拟机上运行容器 。了解这一点很重要,因为这里没有明显的赢家或输家。事实上,这两种技术的需求完全不同。 容器将引起媒体的持续关注,因为它们让用户用更少的硬件更高效地运行。在另一方面,虚拟机仍然是服务器和云空间的主要内容。 我认为值得一看的是 Kubernetes 和 Docker Swar 之间的事情。我认为看看这两种容器管理技术是如何发挥作用的,以及哪种技术会成为标准。有一段时间,感觉好像是 Docker。然而现在,Kubernetes 占据了更多的营地。可能随着时间的推移,我们将开始看到...阅读全文

博文 2017-11-25 10:23:56 debian.cn

APISIX Ingress 如何使用 Cert Manager 管理证书

-controller.enabled=true --namespace ingress-apisix 点击查看详细安装介绍。 步骤三:安装 Cert Manager 通过 Helm 来安装 Cert Manager,点击可查看详细安装介绍。 helm install cert-manager jetstack/cert-manager --namespace ingress-apisix --set prometheus.enabled=false --set installCRDs=true 安装完毕后请等待一会后查看组件的运行状态,确保所有组件都已正常运行,你可以通过如下命令进行查看。 kubectl get all -n ingress-apisix 返回结果如下所示,示所有组件都已正常运行。 NAME READY...阅读全文

博文 2023-02-09 07:38:06 中文开源技术交流社区

改善 Debian Linux 软件包管理的七款工具

了十个速度最快的镜像,然后把它们写入到你的软件包源列。apt-spy执行类似的功能。 3. apt-transport-tor 你可能也知道了,Tor是一款匿名浏览工具。然而,即便你注重安全,下载软件包有可能让别人跟踪你的活动,进而一路跟踪你的系统。 apt-transport-tor让你可以堵住这个安全漏洞,它通过Tor来传输软件包管理指令。 2. cron-apt 如果你注重安全,或者只想要最新软件包,cron-apt可以帮助你确保版本最新。顾名思义,cron-apt可以为你的系统调度定期下载,并通知可用更新版。用户往往每天更新一次。 然而要注意:cron-apt下载但不安装更新的软件包。这个限制是有意设置的,因为在无人照看的情况下安装一切会导致系统问题。检查什么更新版可用后,你可以手...阅读全文

博文 2021-01-28 17:50:21 debian.cn

DevOps 越来越流行,2019 年这八大趋势值得关注

从我们认为 DevOps 只是一个流行语开始,它已经发展了很长的一段时间。现在,DevOps 已经成为了一个主要焦点,并在过去几年一直在塑造着软件世界。专家示,DevOps 将成为主流,它的流行程度将在 2019 年达到顶峰。 根据 2018 年《DevOps 现状报告》,DevOps 精英级执行团队代码部署频率和发布速度更高,变更故障率更少,事故恢复时间更短,同时高效能团队的比例逐年增长,采用 DevOps 的团队越来越多。 而 Stack Overflow2018 年的薪资计算器报告显示,全球 DevOps 专家的收入最高,美国 DevOps 专家的年薪中位数接近 10 万美元。 以下是“DevOps”一词的 Google Trends 以及 2019 年的预计增长假设。 从统计数据...阅读全文

博文 2018-12-10 22:49:57 debian.cn

六个开源软件开发的潜规则

孤立地看待问题。这明,你要对项目各个部分如何与其他人协作交互有比较深入的理解。让你的补丁填坑而不是挖坑。这样你朝成为社区精英的目标上又前进了一大步。 粗枝大叶,自寻烦恼 代码提交完毕后你的工作还没结束。如果代码被接受,还会有一些关于这些更改的讨论和常见的问答,还要做测试。你要确保你可以准时提交,努力去理解如何在不影响社区其他成员的情况下,改进代码和补丁。 和谐相处,助人助己 开源社区不是自相残杀的丛林世界,我们更看重项目的价值而非个体的贡献和成功。如果你想给自己加分,让自己成为更重要的社区成员、让社区接纳你的代码,那就努力帮助别人。如果你熟悉网络部分,那就去复审网络部分,用你的专业技能让整个代码更加优雅。道理很简单,顶级的审查者经常和顶级的贡献者打交道。你帮助的人越多,你就越有价值。 八面...阅读全文

博文 2017-05-20 10:27:11 debian.cn

欧洲核子研究组织(CERN)是如何使用 Linux 和开源的 - 云+社区

CERN 无需过多介绍了吧。CERN 创建了 万维网(World Wide Web)(WWW)和 大型强子对撞机(Large Hadron Collider)(LHC),这是世界上最大的 粒子加速器(particle accelerator),就是通过它发现了 希格斯玻色子(Higgs boson)。负责该组织 IT 操作系统和基础架构的 Tim Bell 示,他的团队的目标是“为全球 13000 名物理学家提供计算设施,以分析这些碰撞,了解宇宙的构成以及是如何运转的。”CERN 正在进行硬核科学研究,尤其是大型强子对撞机,它在运行时 生成大量数据。“CERN 目前存储大约 200 PB 的数据,当加速器运行时,每月有超过 10 PB 的数据产生。这必然会给计算基础架构带来极大的挑战,包...阅读全文

博文 2021-11-29 13:20:55 腾讯云

Docker 核心原理

destination RETURN all -- anywhere anywhere DNAT tcp -- anywhere anywhere tcp dpt:8888 to:172.17.0.4:8888 外部请求访问访问地址为 宿主机ip:8888,网络包到达 eth0; 命中 iptables dnat 规则,把宿主机ip:8888 替换成 容器ip:8888; 宿主机把报文通过 veth pair 传递到容器 eth0 其他网络模式 Host 模式 和宿主机共用一个 Network Namespace。容器将不会虚拟出自己的网卡,配置自己的 IP 等,而是使用宿主机的 IP 和端口。但是,容器的其他方面,如文件系统、进程列等还是和宿主机隔离的 Contanier 模式 这个模式指定新创建的容器和已...阅读全文

博文 2021-02-25 09:14:23 lxkaka

阿里巴巴版 JDK 首发 GA 版 生产环境可用

区接受,确定会被移植进 OpenJDK 8u 主线,目前社区的移植工作正在 incubator 分支紧张进行当中。在不远的将来,整个 OpenJDK 8 的下游生态都可以享受这一功能特性。 除社区现有功能外,Dragonwell 在 JFR 上做了很多增强和创新。作为 JFR 在 OpenJDK 8u 社区的参与者,阿里巴巴示会将 Dragonwell 在 JFR 方面的最新工作成果及时引入社区。在上游社区接受这些特性之前,Dragonwell 的开发者将会最先使用这些新特性。 ElasticHeap 新特性展望 据阿里巴巴内部披露,ElasticHeap 特性将很快在下一个版本开源。作为高级编程语言,Java 带有垃圾回收器。随着程序运行,Java 会把用户配置的内存逐渐消耗掉。即使这些...阅读全文

博文 2019-07-11 10:24:52 debian.cn

UCloud 叶理灯 谈:Docker、K8S 和 Serverless

Serverless 这个概念可以对应 FaaS,也可以代一种架构,也可以代一种服务的形态,例如 Aurora Serverless 就是把一个数据库的服务变成 Serverless 的。 容器和 Serverless 的区别在于,Serverless 是无容器的,除了不关注服务器,也看不到容器。两者是面向不同场景的,并不是互相替代的关系。FaaS 的特点,接收一个请求拉起一个函数执行,函数是无状态的,它的执行地点也不固定,这意味着延时相对于常驻进程要高,对一些延时敏感的地方它是不合适的,但是有些场景是非常合适的。我举个例子,在 IoT 场景中,有几十万的设备,为了节省电源,它们大部分时候处于睡眠状态,如果用传统的架构去为这几十万设备服务的话,肯定要考虑并发连接的时候,应该有多少计算资源去服务,这很浪费成...阅读全文

博文 2019-06-14 08:28:49 debian.cn

influxdb内存消耗分析及性能优化【探索篇】

现过于复杂,所以 go 语言团队在最新1.15版本还没有着手实现。目前根据相关资料,考虑influxdb运行时会占用大规模内存,建议通过如下方式启动influxdb:numactl --interleave=all /usr/bin/influxd -config /usr/bin/influxdb.conf6.读取端优化从系统角度,应该同时关注influxdb写入和读取两个维度。写入端应从具体业务场景,提前划分好写入的tags及fields,从而避免产生大量的series导致内存膨胀过快。而读取端,应明确查询时间范围,命中更少的分片数据,来防止加载大量的无用查询结果而导致程序OOM。走查了读取端相关influxdb查询语句,发现几处类似如下消耗内存及性能的语句:#描述 - 名...阅读全文

博文 2021-10-27 16:06:30 知乎

Kafka生产问题总结以及性能优化

都要用G1垃圾收集器,因为年轻代内存比较大,用G1可以设置GC最大停顿时间,不至于一次minor gc就花费太长时间,当然,因为像kafka,rocketmq,es这些中间件,写数据到磁盘会用到操作系统的page cache,所以JVM内存不宜分配过大,需要给操作系统的缓存留出几个G。 2.1 线上问题及优化 2.1.1 消息丢失情况 消息发送端: (1)acks=0: 示producer不需要等待任何broker确认收到消息的回复,就可以继续发送下一条消息。性能最高,但是最容易丢消息。大数据统计报场景,对性能要求很高,对数据丢失不敏感的情况可以用这种。 (2)acks=1: 至少要等待leader已经成功将数据写入本地log,但是不需要等待所有follower是否成功写入。就可以继续发...阅读全文

博文 2023-01-05 23:16:48 CSDN博客

一位五年工作经验架构师的感悟

然现在的公司对我们还是很不错)。 钱,对于我而言,就是想买个安心。我用它来让父母对我的未来安心;让妻子对于未来充满信心(虽然她现在还不算很安心);让整个家庭有一定的风险抵抗能力。 安心以后,就是上路。 我记得第一段工作,是在恒生。我当时在恒生银行事业部,工作一年后,我发现自己进步很慢,在技术体系没有任何进展,公司的技术体系很旧,而且基本不进化。我自己做了一个技术的演进,使用了一种新的方式提升了平台的整体能力(当年还没有平台能力这些体系思路)。然后还期待年底被彰下,技术人也是虚荣的,呵呵,就是期望可以带来成就感。 做着做着,发现没有人可以帮助我提升,虽然当时我很弱,我的学**思路也不清晰。平时就是逛逛网站,学**的很肤浅。但是,我内心感受到:如果要是这样待下去,肯定废了,几年之后,还是同样的...阅读全文

博文 2021-01-28 17:50:31 debian.cn

OpenAI掌门人Sam Altman:AI的下一个发展阶段_OneFlow

些AI应用还可令科学家如虎添翼。在他眼中,AI是一个可以孵化出无数工具,推动各行各业前进的基础平台。 随着AI行业的不断进步,AI应用不再只是充斥着行业热词的纸上项目,已经发展为成熟的工具,助力多个行业的生产服务,也必将催生出无数新企业。 各种AI工具已显现出巨大的日常应用潜力,可以实现人类的各种想法,改善人类的工作方式,比如由Stability.ai发布的开源Stable Diffusion模型,Microsoft和OpenAI联合打造的AI编程工具Copilot,OpenAI开发的语言生成模型GPT-3和图像生成平台DALL-E以及爆火的聊天机器人模型ChatGPT。 Sam Altman还示,5年后,我们应该不会再使用Transformer模型了。虽然Transformer很好,但他...阅读全文

博文 2023-02-04 15:55:11 CSDN博客

社交巨人Facebook使用Linux和Btrfs的姿势

在Reddit上有人示把42TB的普通存储(没有组RAID或者其他)全部采用Btrfs技术,通过把ext4文件系统迁移到Btrfs至少节省了5TB的存储空间。尽管已经开发了相当长时间,但是鲜有发行版把Btrfs当作默认的文件系统,目前SUSE企业版把Btrfs作为系统默认的文件系统。Linux.com日前采访了Btrfs的主要贡献者Chris Mason,通过他的讲述透露了社交巨头Facebook使用Linux内核与Btrfs文件系统的大量细节。 Chris Mason是开源文件系统项目Btrfs的主要贡献者,Mason最初在Oracle从事Btrfs的开发,后来他加入社交巨人Facebook的Linux内核技术小组继续从事Btrfs文件系统的研发工作。当Facebook需要升级新内核的...阅读全文

博文 2021-01-28 17:50:22 debian.cn

成为Debian社区维护人需要做好的准备

)列是一个不错的开始。打包前需要考虑:自己是否有足够的知识和能力来维护这个包?在可预见的一段日子里是否有充足的时间和精力来进行 更新和修复 Bug?如果答案都是肯定的,那么就动手把它打包好,期间遇到问题则找人咨询指导。 4. 当经过反复检查和测试,觉得软件包已经比较完善时,寻找一位 Debian Developer 帮你检查和上传软件包,这位 DD 此时便是你的 sponsor。 当找到一位愿意帮忙的 DD 后,他会对你的软件包进行彻底的检查,指出(可能)存在的问题并请你修改。这时要做的就是参考他的意见修改软件包,并把结果再发给他,这是一个极好的学习 机会。如此反复若干次后软件包最终会符合 Debian 的标准,之后 sponsor 便会将其上传到 Debian 仓库。需要说明的是,经由...阅读全文

Ceph 12.2.0 正式版本发布, 代号 Luminous

Amazon SSE-C规范的密钥,以及通过使用外部密钥管理服务 OpenstackBarbician)类似于Amazon SSE-KMS规范。 RGW具有初步的类似AWS的存储桶策略API支持。现在,策略是一种达一系列新授权概念的方式。未来,这将成为附加身份验证功能的基础,例如STS和组策略等。 RGW通过使用rados命名空间合并了几个元数据索引池。 新增S3对象标记API; 只支持GET / PUT / DELETE和PUT。 RGW多站点支持在桶级启用或禁用同步。 RBD RBD目前通过新的–data-pool选项来创建rbd,对EC池具有完整稳定的支持。 RBD镜像的rbd-mirror后台进程是可用的。我们建议您多部署几个rbd镜像来实现可靠性。 RBD镜像的rbd-mirror守护进程...阅读全文

博文 2017-08-31 13:36:49 debian.cn

Kubernetes 使用 PodPreset 注入信息到 Pods_哎_小羊的博客

置为空,示匹配该 Namespaces 下所有,这里匹配 podpreset-test 命名空间下所有 Pod,并注入了 DB_PORT= 6379 和 TZ=Asia/Shanghai 两个公用环境变量配置。注意:这里的 TZ=Asia/Shanghai 环境变量配置可以用于修改 Pod 所属时区,之前我们修改 Centos 容器内部时间方式,可以参照 Docker/K8s 解决容器内时区不一致方案 文章,这里提供一个新的简便的方式配置时区,从而实现该命名空间所有的 Pod 统一更改时区(毕竟 Centos 默认时间为 UTC)。接下来,创建一下该 PodPreset 资源。 $ kubectl create ns podpreset-test namespace/podpreset...阅读全文

博文 2021-01-27 18:47:00 CSDN博客

域名与商标: 如何防止域名被仲裁

域名,是用以简化记录服务器IP地址的马夹,所以,域名只有通过解析到具体的IP地址才能访问网站,就相当于给IP地址穿上的一件马夹,避免我们去记那一长串的数字。可以说,域名的价值是依托于服务器的,没有域名的服务器,可以用IP地址访问,而不解析的域名,就仅仅只是一串字符而已。 商标,是用以区分商品(或服务)来源的一种显著标志,不同公司提供的相同商品,对于大众而言,商品上印刷的标志,代的就是不同公司。商标的价值,是依托于产品和公司的。 由这一点来看,商标和域名是有其相似性的,广义上来说,它们都是一种指代的符号而已。 但是,域名由于其技术特性,它是虚拟的和全球唯一的,同样的域名不可能同时被两个人注册,它遵循着先注先得的原则,而商标,则允许在不同领域,由不同的人持有相同的商标,比如中国的“中华...阅读全文

博文 2019-01-18 14:59:59 debian.cn

Debian 往事: 与已故创始人 Ian Murdock 的昔日访谈

。FSF 是 Debian 的赞助者,所以自然对我有所期望;但同时我在要求别人在闲时帮忙开发 Debian,所以那些人对我自然也有期望。有时候这两边的期望会出现分歧,我无法两边都满足。」 就这样,Debian 和 FSF 的正式合作关系画上了句号。不过 Murdock 始终都非常强调 Stallman 为 Debian 做出的贡献: 倘若没有他,没有他过去 15 年内从未动摇的坚定立场,我们也就不会有如今「免费软件」的理念。 不久之后,1996 年 3 月,Murdock 决定辞退 Debian 项目领导人的身份。 我最近结婚了,我想花更多的时间陪伴我的家人。我已经为 Debian 埋头苦干了三年,我想我也是时候开始新的生活了。 在我们 1999 年面谈的时候,Murdock 示他看到...阅读全文

博文 2021-01-28 17:50:13 debian.cn

Kubernetes源码探疑:Pod IP泄露排查及解决方法

的Kubernetes API, 以UCloud 公有云资源为基础, 通过自研的插件整合打通了ULB、UDisk、EIP等公有云网络和存储产品,为用户提供一站式云上Kubernetes服务。 其中VPC既保障网络隔离,又提供灵活的IP地址定义等,是用户对网络的必备需求之一。UK8S研发团队经过考察后认为,UCloud基础网络平台具有原生、强大的底层网络控制能力,令我们能抛开Overlay方案,把VPC的能力上移到容器这一层,通过VPC的能力去实现控制和转发。 UK8S每创建一个Pod都为其申请一个VPC IP并通过VethPair配置到Pod上,再配置策略路由。 原理如下图所示。 此方案具有以下优势: 无Overlay,网络性能高。50台Node下的测试数据明,容器与容器之间的网络性能,相...阅读全文

从 Debian 安装 Proxmox VE,并配置网络和双硬盘

.tcp_congestion_control=bbr" >> /etc/sysctl.conf 应用更改1sysctl -p 验证是否开启1lsmod | grep bbr 返回信息如下,示已经开启1tcp_bbr 20480 15 安装一些常用工具(可选)1apt install -y htop speedtest-cli vim 安装 Proxmox VE参考官方 wiki:https://pve.proxmox.com/wiki/Install_Proxmox_VE_on_Debian_Stretch 直接从 【 Install Proxmox VE Install 】 这部分开始 复制以下到终端执行12345echo "deb http://download.proxmox.com/debian/pve stretch...阅读全文

博文 2021-03-01 20:20:31 驱蚊器喵的插座

Cortex: 高可用和水平扩展Prometheus监控系统

Querier–查询器处理PromQL的求值。如果是最近的数据,则从大块存储和或内部获取样本其他组件:Ruler–处理alertmanager产生的警报Alertmanager –评估警报规则ConfigsAPI –在Postgres中存储Ruler和Alertmanager的配置Table Manager–负责在选定的块chunk/索引index存储后端中创建Consul –存储分发服务器distributor生成的一致的哈希环(hash ring)。分发服务器在发送指标时使用散列值来选择ingester。与其他选项的异同ThanosThanos和Cortex具有非常相似的目标:聚合指标,将其存储在块存储中,并为所有度量使用一块single pane。因此,两个项目重用大量Prometheus代码也...阅读全文

博文 2021-10-09 17:00:22 知乎