InfraPub 为您找到相关结果 904

三个技巧 大幅减少 Docker 镜像体积

因为如果攻击者利用你的应用程序获得对容器的访问权限将无法像访问 shell 那样造成多破坏。换句话说,更少的二进制文件意味着更小的体积和更高的安全性,不过这是以痛苦的调试为代价的。 或许你不应生产环境中 attach 和调试容器,而应该使用日志和监控。 但如果你确需要调试,又想保持小体积该怎么办? 3. 小体积的 Alpine 基础镜像 你可以使用 Alpine 基础镜像替换 distroless 基础镜像。 Alpine Linux 是: 一个基于 musl libc 和 busybox 的面向安全的轻量级 Linux 发行版。 换句话说,它是一个体积更小也更安全的 Linux 发行版。不过你不应该理所当然地认为他们声称的就一定是事,让我们来看看它的镜像是否更小。 先修改...阅读全文

博文 2018-09-06 10:50:29 debian.cn

谷歌公开了内部管理Infra层的两个工具的Paper

题,详见图3。 图3:每个服务模型必须和每个基础架构提供者集成 如果只需要处理几个基础架构提供者,N*M问题还是可以管理的。随着基础架构提供者数量的增多(看看Google Cloud,AWS和Microsoft Azure上的产品数量),这些集成的数量和质量问题就开始出现了。 际上减少基础架构提供者的数量不际。每个提供者都提供不同的服务(比如,键值存储,pub/sub系统等),并且一些冗余不得不存,就算定义好规则也会有很多异常情况出现。使用单个服务模型也不现——这个模型必须能够暴露所有基础架构提供者的每一个特性,这违反了服务模型的初心。 Google的工程师们花费了大量时间将他们需要的服务模型连接到想要使用的基础架构上。我们显然需要一种不同的配置方案。 — 2 — 大规模部署 ...阅读全文

博文 2023-01-08 11:23:20 CSDN博客

成为Debian社区维护人需要做好的准备

出很多时间和努力。 1. 尽可能多地使用 Debian 完成日常工作。也就是说,成为开发者前,先做一个用户。 2. 阅读 Debian New Maintainer’s Guide 学习 Debian 打包的基本知识(英文版,中文版)。 这些知识能帮助你让不复杂的软件包工作起来,但是与满足 Debian 标准之间还有相当大的距离。这个过程中可以独立地重新打包一个已经仓库中的包,完成后和别人现有的工作进行对比,找出自己的不足。这个包一般不需要很复 杂,初学时直接弄复杂的包很可能只会浪费很多精力。做包的过程中遇到任何问题都可以找有经验的人询问清楚,这对提高水平非常有益。 3. 寻找一个感兴趣的软件进行打包,WNPP (Work-needing and Prospective Packages...阅读全文

2017 年会是 Serverless 爆发之年吗

中小型公司,尤其是互联网行业的创业公司,本身并没有多的技术人员,如果设计系统时需要考虑诸多的技术问题,例如 Web 应用服务器如何配置、数据库如何配置、消息服务中间件如何搭建等等,那对于他们来说人员成本、系统成本会很高,Serverless 架构的出现,让这种情况可能可以大幅度改善。 初识 Serverless? 目前主流云计算 IaaS(Infrastructure-as-a-Service,基础设施即服务)和 PaaS(Platform-as-a-Service,平台即服务)中,开发人员进行业务开发时,仍然需要关心很多和服务器相关的服务端开发工作,比如缓存、消息服务、Web 应用服务器、数据库,以及对服务器进行性能优化,还需要考虑存储和计算资源,考虑负载均衡和横向扩展能力,考虑服务...阅读全文

博文 2021-01-28 17:50:27 debian.cn

开源社区纠纷不断:20 年的 Debian 开发者被排挤出项目

将逐渐减少参与 Debian 的维护和相关活动,并解释这样做的原因。Stapelberg 表示他 Debian 上投入了十年以上的时间,但此过程中,Stapelberg 也逐渐发现并认识到了 Debian 许多方面的不足。他发现 Debian 整个开发评估流程都非常迟钝。举例来说,补丁的评估没有截至日期,有时候他会收到通知说几年前递交的补丁现合并了。而且 Debian 的一些维护者出于个人喜好拒绝合作,维护者给予的个人自由度高对 Debian 构成了严重影响。Debian bug 跟踪器 debbugs 源自 1994 年,只有 Debian 和 GNU 项目使用。Stapelberg 抱怨了 Debian 糟糕的开发流程,对此感到十分不满,为此,他撰写了长文,并希望自己的文章能激...阅读全文

Debian的版本号及distributions

one with the higher version number). If two or more versions have the same priority and version number but either the packages differ in some of their metadata or the —reinstall option is given, install the uninstalled one. 显然多数情况下处于testing的版本会被选中,而这并不是我们期望的。虽然可以用apt-get的-t选项来来指定目标distribution,然而每次都指定这个选项也麻烦,而且还有遗忘的危险,于是APT::Default-Release这个配置参数就自...阅读全文

博文 2021-01-28 17:50:08 debian.cn

AD:为什么说 CoinEx 是一家很有潜力的数字货币交易所?

,例如支付等。 ** 史上最硬核“销毁”,CET进入全流通状态 ** 2021年3月CoinEx团队决定一次性销毁剩下10.8亿尚未解锁的CET后,CET 已正式进入全流通状态。根据《关于CET流通及未来应用的信息披露》公告的约定,[CoinEx](http://cet.im) 每天将平台手续费收入的50%用于回购CET,并每个自然季度结束时将当季回购的CET全部销毁。当 CET 的总量减至30亿后,[CoinEx](http://cet.im) 继续将平台手续费收入的20%用于回购并销毁CET,直至CET全部销毁。 无论是号称要与以坊竞争的波场链,还是最近一度火热的币安BSC智能链,抑或是 [CoinEx](http://cet.im) 即将推出的 CSC 智能链,无不意味着交易所公链的...阅读全文

Debian 往事: 与已故创始人 Ian Murdock 的昔日访谈

也是吸引用户的关键因素之一。 开发一个新版本就必定会面临新的编程难题。不过 Murdock 自有他的「秘密武器」: 我倒是无知者无畏,因为不了解自己将会面对什么,于是也就无所畏惧。我只知道我的目标和方向,但我当时完全不知道这一路会有多艰难。除此之外,Debian 的「分散式」定位就是用户可以随时参与开发过程前来帮忙。Debian 是开放式的,因此有些我不精通的地方我可以向公众寻求帮助。比如我有个 2400 波特的调制解调器,但是我这辈子都没用过以网卡,所以关于这方面我了解不多;但是有人肯定比我精通,可以帮我们忙。 Murdock 指出,Debian 的这个优势其也同样是 Linux 和其他所有免费软件的最大武器。 这就是为什么 Linux 这样的软件质量会如此之高,因为它并不是单单为...阅读全文

博文 2021-01-28 17:50:13 debian.cn

说透IO多路复用模型_京东云开发者的博客

遍历,O(n)的轮询时间复杂度。 poll模型 考虑到select模型的几个限制,后来进行了改进,这也就是poll模型,既然是select模型的改进版,那么肯定有其亮眼的地方,一起来看看吧。当然,这次我们依旧是先翻阅linux man二类文档,因为这是官方的文档,对其有着最为精准的定义。 int poll(struct pollfd *fds, nfds_t nfds, int timeout); 其,从运行机制上说来,poll所做的功能和select是基本上一样的,都是等待并检测一组文件描述符就绪,然后进行后续的IO处理工作。只不过不同的是,select中,采用的是bitmap结构,长度限定1024位的文件描述符表,而poll模型则采用的是pollfd结构的数组fds,也正是由于...阅读全文

博文 2023-01-01 15:13:50 CSDN博客

处理器架构消亡史

Interlocked Pipeline Stages)项目以研究精简指令集计算技术。当时,该项目的成果向他展示了这项技术潜的经济价值,并让他1984年休假期间成立了 MIPS Computer Systems 。1985年,该公司推出了第一个现 MIPS架构的微处理器,即 R2000 。1990年代初期,MIPS科技公司开始将自己的微处理器设计许可给第三方供应商。事证明,由于MIPS处理器核的简单性,这种方式相当成功,这使 MIPS 架构的微处理器可以用于许多应用,这些应用所集成的 MIPS 架构微处理器比以前同时期使用的具有相同功能的CISC架构微处理器设计上的花费少得多,而门数和价格却差不多。基于 MIPS架构 的芯片广泛应用于嵌入式市场,包括计算机网络,电信,视频街机游戏,视频游戏机,计算机打...阅读全文

Gitlab CI 配置文件 .gitlab

update --init --recursive 注意:如果想要此功能正常工作,子模块必须配置(.gitmodules)下面中任意一个: 可访问的公共仓库http(s)地址, 同一个GitLab服务器上有一个可访问到另外的仓库的真地址。更多查看Git 子模块文档。 Job stages attempts GitLab引入,要求GItLab Runner v1.9+。 正执行的job将会按照你设置尝试次数依次执行下面的stages: 变量 描述 GET_SOURCES_ATTEMPTS 获取job源的尝试次数 ARTIFACT_DOWNLOAD_ATTEMPTS 下载artifacts的尝试次数 RESTORE_CACHE_ATTEMPTS 重建缓存的尝试次数 默认是一次尝试。 例如...阅读全文

博文 2018-12-12 21:09:02 ci.yaml 详解(下)

Debian 相比 Ubuntu 有哪些不同之处

(Community Council)的部分成员。 然而,这种表面上的民主与际的民主不一样。Ubuntu的创始人Mark Shuttleworth管理委员会中占有永久性席位,还拥有决定权。Mark及其Canonical代表对于社区通常拥有否决权,这过去好几次引起了用户反抗。 为贵公司的业务战略做出最佳选择 是专家还是新手?要免费还是专有?要易用性还是控制性?需要平台支持吗?要先进性还是要稳定性?要Unity还是要GNOME?要有节制、有礼貌,还是畅所欲言但民主作风? 你也注意到了,选择Ubuntu还是选择Debian常常归结为哪个方面对你及贵公司来说更为重要。 你选择其中一个发行版之前,我强烈建议弄清楚你所有这些两选一方面处于什么样的情况。你可能更看重某个方面。 然而,不管你做出怎样的决定,几乎不...阅读全文

博文 2017-12-22 23:41:07 debian.cn

aptitude 与 apt

起初GNU/Linux系统中只有.tar.gz。用户 必须自己编译他们想使用的每一个程序。Debian出现后,人们认为有必要系统 中添加一种机 制用来管理 安装计算机上的软件包。人们将这套系统称为 dpkg。至此着名的package首次GNU/Linux上出现。不久之後红帽子也开始着手建立自己的包管理系统 rpm。 GNU/Linux的创造者们很快又陷入了新的窘境。他们希望通过一种快捷、用而且高效的方式来安装软件包。这些软件包可以自动处理相互之间 的依赖关系,并且升级过程中维护他们的配置文件 。Debian又一次充当了开路先锋的角色。它首创了APT(Advanced Packaging Tool)。这一工具后来被Conectiva 移植到红帽子系统中用于对RPM包的管理。其他...阅读全文

博文 2021-01-28 17:50:09 get 的区别与联系

Debian 10.8 发布:包括多项安全更新和错误修复

现。完整的镜像列表可以下网址获得。 [https://www.debian.org/mirror/list](https://www.debian.org/mirror/list) ## 杂项错误修正 这个稳定的更新为以下软件包添加了一些重要的修正。 | 包 | 原因 | | ------------------------------------------------------------ | ------------------------------------------------------------ | | [atftp](https://packages.debian.org/src:atftp) | 修复拒绝服务问题[CVE-2020-6097...阅读全文

博文 2021-02-07 10:57:22 joseph

本田 40GB 数据险遭泄漏 因云端数据库未设密

InfoQ 此前的粗略统计,仅 2019 年 2 月份,就发生了六起数据泄漏事件,而原因均是:Elasticsearch 服务器没有密码保护。即便是使用云端服务,企业也不可将数据安全的责任全部押到云厂商身上,云厂商只可以有限的权限范围内提供安全防护,企业还是需要具备安全意识。 Elasticsearch 中文社区深圳分会杨振涛此前接受 InfoQ 采访时表示:“不少开发人员及其团队认知上更多地把 Elasticsearch 看成是与 MySQL 同等的存储系统,所以部署以后并没有多地关心其访问控制策略和数据安全。而且 Elastisearch 开箱即用的特点也让开发和运维人员放松了对安全的重视。” 对于避免 Elasticsearch 使用时发生数据泄露,杨振涛给出了几个最基本的低成本措...阅读全文

使用 MongoDB 之前应该知道的 14 件事

“模式浏览器(Schema Explorer)”这样可以执行定期模式检查的特性也是值得拥有的。 忘记排序规则(排序顺序) 这比其他任何的配置错误都会导致更多的挫折和时间浪费。MongoDB 默认使用 二进制排序规则 。这对任何地方的文化都是不利的。 80 年代,大小写敏感、重音敏感、二进制排序规则,和念珠、土耳其长衫和卷胡子一起,被视为奇怪的时代错误。现,他们没法辩解了。生活中,motorbike 和 Motorbike 就是一样,而 Britain 和 britain 就是同一个地方。小写字母和大写字母只是书写上的等价。就不要让我再说重音字符排序规则了。当你创建一个 MongoDB 数据库时,使用一种合乎系统 用户语言和文化 的 重音敏感、大小写敏感 排序规则。这使得字符串数据的检...阅读全文

AWS省钱攻略:预留实例怎么玩

AWS的预留例(Reserved Instance)是一种计费方式,并不是一种计算例,简单讲是一个“包年包月”的优惠方式。购买RI后,可以获得30%以上,至最高 75% 的优惠。你可能会说:“这些我都知道,并且RI我已经用了。” 你真的熟悉 RI 吗? 我们知道预留例(RI)分为两种: 标准RI与可转换RI(CRI),可转换RI的价格往往较高而不容易被接受,而我们又经常遇到需要调整RI,那么我们购买的标准RI能不能进行适当的转换呢?答案是没问题的,AWS为满足客户的需求,提供了很灵活性的设定。 今天主要介绍一下RI的三个灵活属性:大小灵活性匹配,合并拆分,可转换(CRI),我们暂且这么称呼,三者适用于不同的场景,是互相补充的关系。 大小灵活性匹配 场景:区域范围RI 、相同例类型...阅读全文

博文 2019-08-18 18:26:19 debian.cn

ChaosMesh 的基本功能有哪些

。IOChaos:模拟具体某个应用的文件 I/O 故障,例如 I/O 延迟、读写失败。TimeChaos:模拟时间跳动异常。KernelChaos:模拟内核故障,例如应用内存分配异常。平台类型故障:AWSChaos:模拟 AWS 平台故障,例如 AWS 节点重启。GCPChaos:模拟 GCP 平台故障,例如 GCP 节点重启。应用层故障:JVMChaos:模拟 JVM 应用故障,例如函数调用延迟。混沌验场景​混沌验场景由一组混沌验和应用状态检查组成,旨帮助用户平台上现混沌工程闭环。用户运行混沌场景,可以通过一系列的混沌验,不断地扩大爆炸半径(包括攻击范围)和增加故障类型。运行混沌验后,用户可以方便地检查当前的应用状态,判断是否需要进行后续混沌验。同时用户可以不断地迭代混沌验场景,积累...阅读全文

Google Chrome开始加入HTTP/3和IETF QUIC支持

谷歌开始其Chrome浏览器中现对HTTP/3的支持,该公司一篇博客中宣布。此次更新将带来一些额外的性能改进,主要得益于现了QUIC作为传输协议。互联网工程任务组(或IETF)早2015年就推出了HTTP/2,它带来的一大改进就是支持复用。 但是,它采用了TCP作为传输协议,以及TCP中的丢失恢复机制,所以丢失的数据包仍然会造成所有活动事务的延迟。通过采用QUIC,HTTP/3可以进一步改善传输过程,因为丢失的数据包只会影响到直接受其影响的事务。 谷歌是QUIC的最初开发者,但该协议IETF手中已经有一段时间了,现IETF版本的QUIC与谷歌内部的QUIC有很大不同。到目前为止,谷歌只支持自己的QUIC现,而IETF则还研究其版本,但现这种情况正改变。谷歌表示...阅读全文

博文 2020-10-08 11:16:05 debian.cn

单核心 IOPS 突破 1000 万,Linux 5.16 有望大幅提升 I/O 性能

Linux block 子系统的负责人 Jens Axboe 目前就职于 Facebook,他也因开发了 IO_uring 而闻名,他对 IO_uring 的不断开发与优化使得 Linux 系统的 I/O 性能得到巨大提升。一周前,Jens Axboe 开始对内核的 I/O 性能进行了新一轮的优化,以便单个 CPU 核心上获得 800 万 IOPS。经过一周时间的努力,每个核心能够现 890 万左右的 IOPS,就当大家以为这个数字已经达到他所使用的硬件极限,没有更多优化空间时,本周他又成功地将每个核心的 IOPS 推到了 1000 万。IOPS(Input/Output Operations Per Second)是一个衡量电脑储存装置(如 HDD、SSD)输入/输出性能高低的指标...阅读全文

博文 2021-10-27 10:32:50 joseph

STIG for Debian 9发布

随着 Debian"Stretch" 9 的正式发布和大规模部署,HardenedLinux 社区也发布了 STIG(安全技术现指南) for Debian 9 的版本,STIG 是美国国防部对 IT 设施的安全防护合规,其中也包含了 GNU/Linux 操作系统,自 STIG for Debian 8 发布已经有两年时间【注】,Debian 9 的 STIG 现参照 RHEL 7,相比上一版,STIG for Debian 9 和 RHEL-STIG 有更高的耦合度,除了 SELinux 和少量条目需要手工检测外,大部分都已经 Debian 9 上现了自动化,未来我们会继续完善 MAC/RBAC 基于 Debian 9 的替代方案以满足 STIG 的标准化合规。 【注】安全部署...阅读全文

博文 2017-07-13 13:40:35 debian.cn

W3C 宣布:WebAuthn 成为正式 Web 标准

器去年就已现了对 WebAuthn 的支持。自去年 12 月以来,苹果就 Safari 的预览版中支持 WebAuthn。 W3C CEO Jeff Jaffe 表示:“现是时候让服务提供商和企业采用 WebAuthn 了。它可以帮助避免密码被攻击和泄漏风险,从而提升 Web 用户线体验的安全性。W3C 这一标准建立了 Web 范围的互操作性指导,为 Web 用户和他们访问的站点设定了一致的期望。W3C 正致力于自己的站点上现这一最佳践。” WebAuthn 目前已经 Dropbox、Facebook、Github、Salesforce、Stripe 和 Twitter 等网站上现了。W3C 希望其他网站也能加入采用 WebAuthn,从而整个网络上现更多的无密码登录。...阅读全文

博文 2019-03-05 09:03:12 debian.cn

Python的闭包和装饰器

定一个参数,传入的就是@dobi下面修饰的函数,也就是 qinfeng() 3.dobi() 函数执行,调用 qinfeng(),qinfeng() 打印“dobi” 什么是闭包? 首先还得从基本概念说起,什么是闭包呢?来看下维基上的解释: 计算机科学中,闭包(Closure)是词法闭包(Lexical Closure)的简称,是引用了自由变量的函数。这个被引用的自由变量将和这个函数一同存,即使已经离开了创造它的环境也不例外。所以,有另一种说法认为闭包是由函数和与其相关的引用环境组合而成的体。闭包运行时可以有多个例,不同的引用环境和相同的函数组合可以产生不同的例。 .... 上面提到了两个关键的地方: 自由变量 和 函数, 这两个关键稍后再说。还是得赘述下“闭包”的意思,望文知...阅读全文

博文 2014-07-23 17:06:38 debian.cn

亚马逊12个月免费云服务

助力中国企业出海,注册账号就能享受亚马逊1年全免费的云服务器、数据库产品!免费12个月免费出海云计算服务: https://www.amazonaws.cn/campaign/?sc_channel=seo&sc_campaign=acquisition_CN&sc_medium=backlink&sc_content=foreigntrade亚马逊云计算Amazon Web Services (AWS) 服务始于2006年,成立以来云计算领域一直保持了领头羊的国际地位。亚马逊云计算拥有比竞争对手更强的计算能力—来自美国摩根士丹利和国际知名调研机构Gartner。亚马逊云科技中国团队全程支持中国企业的出海业务:专业的出海合规规范、专业的技术支持、数百万海外用户的运营践、7*24小时中文...阅读全文

Pyinotify – Linux中实时监控文件系统更改

Pyinotify 是一个简单而用的 Python 模块,它用于通过 inotify 时监控Linux文件系统的更改。用于Linux中时监控文件系统的变化。 作为系统管理员,您可以使用它来监视目标感兴趣的更改,如Web目录或应用程序数据存储目录及其他目录。这取决于inotify (包含 2.6.13及后续Linux内核中的功能),它是一个事件驱动的通知程序,其通知通过三个系统调用从内核空间导出到用户空间。 pyinotiy的目的是绑定三个系统调用,并支持其上的现,提供了一个共同和抽象的手段来操纵这些功能。 本文中,我们将向您展示如何Linux中安装和使用pyinotify来时监控文件系统更改或修改。 依赖关系 为了使用pyinotify ,您的系统必须运行: Linux内...阅读全文

博文 2011-11-09 10:53:58 debian.cn

高性能日志采集工具 logpipe 简单介绍

集群化环境里,日志采集是重要基础设施。本文结合最新的 1.0.9 版,对 logpipe 做一个简单的介绍。开源主流解决方案是基于 flume-ng,但际使用中发现 flume-ng 存诸多问题。 比如 flume-ng 的 spoolDir 采集器只能对文件名转档后的大小不能变化的最终日志文件进行采集,不能满足采集时效性要求,如果要采集正被不断追加的日志文件,只能用 exec 采集器搭配 tail -F 命令,但 tail -F 命令又不能通配目标目录中将来新增的未知文件名。其它解决方案如 logstash 由于是 JAVA 开发,内存占用和性能都不能达到最优。 作为一个日志采集的本地代理,内存占用应该小而受控,性能应该高效,耗费 CPU 低对应用影响尽可能小,要能异步时追踪...阅读全文

Memcache UDP反射放大攻击技术分析

60k 服务器可以被利用,并且这些服务器往往拥有较高的带宽资源。 基于以上特点,作者认为该攻击方式可以被利用来发起大规模的DDoS攻击,某些小型攻击团队也可能因此获得原先没有的大流量攻击能力。 DDoSMon 上观察到的现网趋势 自批露以来,我们就一直利用 DDoSMon 的统计页面 持续监控Memcache DRDoS际现网中的情况。过去的几个月中,这种类型攻击的频率和单次破坏性都不大,但是自2018-02-24开始,这种情况发生了较大变化。 近期,Memcache DRDoS 的攻击频率上升到了平时的10+倍,从每天小于50件,上升到每天300~400件,直到今天的1484件(际上,离今天结束还有1个小时),如下图所示。 需要指出,当前 Memcache DRDoS 仍然还不是...阅读全文

博文 2018-03-02 09:20:52 debian.cn

Golang后端面试题目

,merge跟rebase 技术二面 项目相关 通过腾讯会议,腾讯的两个大佬一起面试。 项目现爬虫的流程爬虫如何做的鉴权吗怎么现的分布式爬虫电商系统图片多会造成带宽过高,如何解决micro服务发现mysql底层有哪几种现方式channel底层现java nio和 go 区别读写锁底层是怎么现的go-micro 微服务架构怎么现水平部署的,代码怎么现micro怎么用怎么做服务发现的mysql索引为什么要用B+树?mysql语句性能评测?服务发现有哪些机制raft算法是那种一致性算法raft有什么特点当go服务部署到线上了,发现有内存泄露,该怎么处理还有一些非常底层的问题 总结 腾讯对于基础部分是相当重视的,总体回答的还算可以项目部分腾讯也是非常重视,从电话里面听出来有一个架构面试我...阅读全文

博文 2020-04-13 13:13:00 2020腾讯社招

Cortex: 高可用和水平扩展Prometheus监控系统

Prometheus已成为cloud-native世界中的默认监控应用程序和系统。对于真是使用案例,Prometheus应该是高可用的,这是有挑战的。一旦高可用性模式下运行Prometheus,就会遇到很多问题,例如数据重复,为重复数据现single pane等。为了解决此问题,Cortex诞生了。Cortex是一个CNCF sandbox project,旨为使用Prometheus 收集的指标提供长期存储和全局指标视图。首先让我们看一下Cortex的主要目标,然后看一下它为Prometheus解决的一些问题。水平可伸缩性– Cortex可以分成多个微服务,每个微服务都可以独立地水平伸缩。例如,如果许多Prometheus例正向Cortex发送数据,则可以扩展Ingester微...阅读全文

博文 2021-10-09 17:00:22 知乎

在 Kubernetes 上扩展 TensorFlow 模型

由于人工智能 / 机器学习日益集成到应用和业务流程中,因此生产级机器学习模型需要更多可扩展的基础设施和计算能力,以用于训练和部署。 现代机器学习算法大量数据上进行训练,并且需要数十亿次迭代才能使成本函数最小化。这类模型的垂直扩展会遇到操作系统级别的瓶颈,包括可提供的 CPU、GPU 和存储的数量,而且对于这种类型的模型,已经证明效率并不高。更为高效的并行处理算法,例如异步训练和 allreduce 式训练,需要一个分布式集群系统,由不同的 worker (工作器)以协调的方式同时学习。 可扩展性对于生产环境中服务深度学习模型也非常重要。将单个 API 请求处理到模型预测端点可能会触发复杂的处理逻辑,这将花费大量时间。由于更多用户访问模型的端点,为了有效地处理客户端请求,需要更多服务例...阅读全文

现在可以在Windows 10中运行Linux GUI应用程序了

这项功能际上自4月以来一直与开发渠道的Windows Insiders进行测试,但它并没有通过典型的Windows 10功能更新来现,且现可用于现有版本的Windows 10,你可以立即开始使用它。对于Windows开发者来说,还有更多有趣的内容,微软还宣布,Microsoft Edge WebView2现WinUI 3.0中普遍可用。新的WebView由基于Chromium的Edge浏览器驱动,它从Win32 C/C++应用程序开始逐步推出,随后是.NET、WinForms和WPF,它们也普遍适用于WinUI 3.0,这使得咖啡啊这可以本地应用程序中现网络元素,例如用于签署服务。Project Reunion也得到了一个新的预览更新,即0.8版,这将是继3月发布0.5版之...阅读全文

博文 2021-05-26 14:38:19 cnBeta.COM

Golang 操作 Kafka 样例

)、consumer(消息消费者)都可以是分布式的。 消息的生产时可以使用一个标识topic来区分,且可以进行分区;每一个分区都是一个顺序的、不可变的消息队列, 并且可以持续的添加。 同时为发布和订阅提供高吞吐量。据了解,Kafka每秒可以生产约25万消息(50 MB),每秒处理55万消息(110 MB)。 消息被处理的状态是consumer端维护,而不是由server端维护。当失败时能自动平衡 1.1.3. 常用的场景 监控:主机通过Kafka发送与系统和应用程序健康相关的指标,然后这些信息会被收集和处理从而创建监控仪表盘并发送警告。 消息队列: 应用程度使用Kafka作为传统的消息系统现标准的队列和消息的发布—订阅,例如搜索和内容提要(Content Feed)。比起大多数的消息系统来说,Kafka...阅读全文

博文 2023-01-10 13:46:09 掘金

不可变基础设施 (immutable infrastructure) - 云原生定义解析

云原生技术的不断发展,2018年,CNCF扩展了云原生技术的定义,以下是云原生技术的新定义:“云原生技术有利于各组织公有云、私有云和混合云等新型动态环境中,构建和运行可弹性扩展的应用。云原生的代表技术包括容器、服务网格、微服务、不可变基础设施和声明式API。这些技术能够构建容错性好、易于管理和便于观察的松耦合系统。结合可靠的自动化手段,云原生技术使工程师们能够轻松地对系统作出频繁和可预测的重大变更。”其中,像容器,微服务等概念早已深入人心,而很多开发人员都对此次提及的“不可变基础设施”这个概念有不少疑惑,下文将对这个概念进行解析。其不可变基础设施这个概念由来已久,并不同的场合被很多技术专家已不同的形式提出并讨论过, 例如:“Trash Your Servers and Burn...阅读全文

华为正式发布 openEuler 系商业发行版操作系统

3月27日,华为开发者大会2020以线上形式举行,华为云与计算BG总裁侯金龙主题演讲中发布openEuler系商业发行版操作系统,首批参与的操作系统包括银河麒麟服务器操作系统V7.6,普华服务器操作系统V5.1(鲲鹏版)、深度欧拉V1.0以及傲徕服务器操作系统1.0。 IT之家此前报道过,今年1月份,openEuler开源社区(以下简称openEuler社区)正式开放源代码、镜像及开发测试环境,标志着openEuler社区开放运作迈出了坚一步。作为主要筹备方,华为会逐步开放ICT基础软件领域的技术积累,将操作系统、编译器/JDK等领域的基础平台能力开源至openEuler社区。 openEuler社区,社区参与者可下载操作系统安装镜像或源代码,快速了解并掌握openEuler操作系...阅读全文

博文 2020-03-27 11:10:15 debian.cn

EC2关机后 AWS还会计费吗

AWS EC2 关机后,不会再对计算资源计费;其他资源 比如EBS、Elastic IP 这些还会产生费用。如果你使用了预留例,还需要考虑预留例对计费方式的影响,会按照预留例的计费标准计费。 这种灵活的计费方式,是 AWS EC2 默认就支持的,相比之下,国内绝大多数云主机厂商是不支持的。开机、关机时(即主机状态发送转变时),AWS 会收取最少一分钟的计费费用。 如果你关机过程用了20秒,AWS会按照一分钟来收费;如果你关机过程用时 1分30秒,则AWS会按照1分30秒收取费用。很良心吧,很灵活吧。 AWS的文档还是要多看的,计费方式和九年前的AWS变化很大。最新版的文档可以从这里下载: https://docs.aws.amazon.com/AWSEC2/latest...阅读全文

博文 2019-02-27 17:02:32 debian.cn

Linux 基金会宣布成立 DizmeID 基金会

近日,Linux 基金会宣布成立 DizmeID 基金会和技术项目,旨支持数字身份认证。这项工作将把自主身份的优势与必要的合规性和监管结合起来,目的是使钱包持有者能够拥有和控制他们的数字身份以及数据访问和分发。其创始成员包括:Algorand、Fabrick 和 InfoCert,A.P.S.P. 是准会员。 ![DizmeID 基金会](https://wpfile.debian.cn/uploads/2021/02/082159_hTA8_4252687.png) DizmeID 基金会和技术项目将定义并允许 Sovrin 公共身份用程序之上现 Dizme 功能,同时利用 trustoverip 元模型,并基于现有基础设施的三个领域,将其工作重点放定义和现 DizmeID...阅读全文

Cloudpods容器化经验分享

Cloudpods是一个开源的多云混合云管理平台。Cloudpods首先是一个私有云云平台,具备将计算节点使用开源QEMU/KVM虚拟化技术虚拟出虚拟机,现私有云的功能。其次,Cloudpods能够纳管其他的云平台,包括主流私有云和公有云,现云管的功能。 Cloudpods的目标是帮助用户基于本地基础设置以及已有云基础设置,构建一个统一融合的云上之云,达到降低复杂度,提高管理效率的效果。Cloudpods从3.0开始全面拥抱Kubernetes,基于Kubernetes部署运行云平台的服务组件,采用Kubernetes Operator,基于Kubernetes集群自动化部署服务,现了云平台的服务的容器化分布式部署。本文总结了Cloudpods过去3年云平台底层容器化改造的经...阅读全文

译:零信任对 Kubernetes 意味着什么

这篇是 Buoyant 的创始人 William Morgan 文章《What Does Zero Trust Mean for Kubernetes?》 的翻译,文章很好的解释了什么是零信任、为什么要施零信任,以及服务网格如何以最小的代码现零信任。零信任是营销炒作,还是新的机会,各位看官你怎么看?要点零信任是一种被大量炒作的安全模型,但尽管存营销噪音,但它对于具有安全意识的组织具有一些具体而直接的价值。零信任的核心是,将授权从“边界验证一次”转变为“随时随地验证”。为此,零信任要求我们重新思考身份的概念,并摆脱基于位置的身份,例如 IP 地址。Kubernetes 采用者网络层现零信任时具有明显的优势,这要归功于基于 Sidecar 的服务网格,它提供无需更改应用程序就可现...阅读全文

GlusterFS 和 Ceph 比比看

Ceph 中,默认情况下将数据复制到三个不同的节点,这确保备份始终可用。 商品化硬件。GlusterFS 和 Ceph 是 Linux 操作系统之上开发的。因此,对硬件唯一的要求是这些产品具有能够运行 Linux 的硬件。任何商品化硬件都可以运行 Linux 操作系统,结果是使用这些技术的公司可以大大减少硬件上的投资——如果他们这样做的话。然而,际上,许多公司正投资专门用于运行 GlusterFS 或 Ceph 的硬件,因为更快的硬件可以更快地访问存储。 去中心化。云环境中,永远不应该有中心点故障。对于存储,这意味着不应该用一个中央位置存储元数据。GlusterFS 和 Ceph 现了元数据访问去中心化的解决方案,从而降低了存储访问的可用性和冗余性。 现来谈谈 GlusterFS 与...阅读全文

博文 2017-08-09 10:35:29 debian.cn

微软开源MsQuic QUIC 协议的跨平台实现

微软其技术社区官方博客宣布,已开源自己的内部 QUIC 库,即 MsQuic。QUIC(Quick UDP Internet Connections,快速 UDP 网络连接)是一种验性的网络传输协议,正由 IETF 进行标准化。QUIC 最初由谷歌开发, 2013 年现。 谷歌希望使用这个协议来取代 HTTPS/HTTP 协议,使网页传输速度加快。2018 年,基于 QUIC 协议的 HTTP(HTTP over QUIC)成为即将到来的 HTTP/3,正式被确定为下一代网络规范。 微软的 MsQuic 是现 QUIC 传输协议的跨平台通用库,主要用于支持其产品内部的 QUIC 数据连接。MsQuic 针对多种使用模式进行了优化,已经被多个微软产品和服务使用,包括但不限于...阅读全文

博文 2020-04-30 10:07:43 debian.cn

Linux内存buffer和cache的区别

Linux的内存分配机制中,优先使用物理内存,当物理内存还有空闲时(还够用),不会释放其占用内存,就算占用内存的程序已经被关闭了,该程序所占用的内存用来做缓存使用,对于开启过的程序、或是读取刚存取过得数据会比较快。 一. 内存使用说明 Free 命令相对于top 提供了更简洁的查看系统内存使用情况: [root@debian ~]$ free total used free shared buffers cached Mem: 1035108 1008984 26124 0 124212 413000 -/+ buffers/cache: 471772 563336 Swap: 2096472 842320 1254152 这里显示的单位是KB。 Linux的内存分配机制中,优先使用物...阅读全文

Netty+Nacos+Disruptor自研企业级API网关

程: 1. 搭建环境 首先,我们需要安装Node.js和NestJS CLI,并创建一个NestJS项目。然后,我们需要安装TypeScript、GraphQL、TypeORM和其他依赖库。 2. 设计数据模型和API 设计数据模型和API时,我们需要定义GraphQL Schema和TypeORM体类。为了提高可维护性,我们可以使用代码生成工具进行自动化生成。 3. 现后端功能 现后端功能时,我们需要编写NestJS控制器和服务,并调用TypeORM进行数据库操作。同时,我们需要集成GraphQL,并编写Resolver进行数据查询和操作。 4. 现前端功能 现前端功能时,我们需要编写React组件,并使用Apollo Client调用GraphQL API。同时,我们需要...阅读全文

博文 2023-05-27 12:49:20 bianchengyuan123

国内首个IPv6公共DNS发布:亦能解析IPv4

去年,相关部门印发《推进互联网协议第六版(IPv6)规模部署行动计划》,提出要2018年末现国内IPv6活跃用户数达到2亿,2020年达到5亿。随后,阿里云宣布,将首先公网接入相关产品,如负载均衡SLB、弹性公网IP(EIP)产品上支持提供IPv6服务。 来自下一代互联网国家工程中心的最新消息,该中心正式宣布推出IPv6公共DNS:240c::6666,这是面向全球免费提供的公共DNS服务。 同时,还有一个备用DNS:240c::6644。 据介绍,北京、广州、兰州、武汉、芝加哥、弗里蒙特、伦敦、法兰克福等地区均有部署递归节点。基于IPv6 BGP Anycast方式部署,让用户可以现就近访问,降低延迟。 不仅如此,IPv6公共DNS将通过主动同步com/net域名、缓存热点域名等...阅读全文

QEMU 5.0 稳定版发布

QEMU 是一个纯软件现的通用模拟器和虚拟机,它有三种模式,几乎可以模拟任何硬件设备:Full-system emulation 可任何支持的硬件架构上运行任何操作系统,User-mode emulation 可用来运行另一个 Linux/BSD 程序,Virtualization 可以接近本机性能运行 KVM 和 Xen 虚拟机。 QEMU 5.0.0 已正式发布,官方的下载链接此。本次更新的亮点主要包括: 支持通过 virtiofsd 将主机文件系统目录传递给访客支持对 QEMU D-Bus 上运行的外部进程进行时迁移支持针对 main/”built-in” guest RAM 使用 Memory Backend(虚拟内存的后端)block: 支持通过块设备作业压缩备份镜像...阅读全文

博文 2020-04-30 10:20:13 debian.cn

深入理解Golang之context

context是Go并发编程中常用到一种编程模式。本文将从为什么需要context,深入了解context的现原理,以了解如何使用context。 作者:Turling_hu 来源: 掘金 原文链接: https://juejin.im/post/5e52688c51882549417fc671前言这篇文章将介绍Golang并发编程中常用到一种编程模式:context。本文将从为什么需要context出发,深入了解context的现原理,以及了解如何使用context。为什么需要context并发程序中,由于超时、取消操作或者一些异常情况,往往需要进行抢占操作或者中断后续操作。熟悉channel的朋友应该都见过使用done channel来处理此类问题。比如以下这个例子:func...阅读全文

博文 2021-01-27 09:05:27 知乎

Kong发布新项目Kuma 通用的服务网格

的数据平面和先进的控制平面,极大地降低了各团队使用的难度。Kuma 可以 Kubernetes、虚拟机、容器、裸机和传统环境等任意平台上运行,以落整个组织中的云原生体验。 得益于成熟的控制平面,Kuma 开箱即用地使得下层网络安全、可靠和可观测,而无需更改代码。Kuma 高效的数据平面和先进的控制平面,允许用户通过少量的 Kubernetes 原生 CRD 或者 RESTful API 请求来方便地设置权限,暴露监控数据和设置路由规则。 Kuma 的主要功能包括: 软件定义安全(Software Defined Security):Kuma 支持所有第四层流量的双向 TLS(mutual TLS)。用户可以通过简单的权限设置来现访问控制。强大的生产力功能 :Kuma 使得用户能快速现...阅读全文

Apache Kafka发布 3.0 正式版

6 月随Kafka 0.11.0推出四年以来,消息格式 v2 一直是默认消息格式。因此,桥下流过足够多的水(或溪流)后,3.0 的主要版本为我们提供了弃用旧消息格式(即 v0 和 v1)的好机会。这些格式今天很少使用。 3.0 中,如果用户将代理配置为使用消息格式 v0 或 v1,他们将收到警告。此选项将 Kafka 4.0 中删除(有关详细信息和弃用 v0 和 v1 消息格式的影响,请参阅KIP-724)。KIP-707: KafkaFuture 的未来当KafkaFuture引入该类型以促进 Kafka AdminClient 的现时,Java 8 之前的版本仍广泛使用,并且 Kafka 正式支持 Java 7。快进几年后,现 Kafka 运行支持...阅读全文

博文 2021-09-26 14:13:03 joseph

Raspberry Pi 支持 Vulkan 最新进展

2 月份 Raspberry Pi 基金会曾表示,他们正致力于为 Raspberry Pi 提供开源 Vulkan 驱动程序的支持,而如今,这项开发工作已经取得了不少可喜的进展。 Raspberry Pi 基金会的博客指出,目前使用 Raspberry Pi 4 的 VideoCore VI GPU 渲染 RGB 三角形的里程碑已经通过 Vulkan 1.0 Khronos Conformance 测试套件超过 70,000 项测试,并且为 Vulkan 1.0 API 的重要子集提供了现。为了展示效果,看看 Raspberry Pi 4 上运行一些受欢迎的 Vulkan 演示拍摄图片: 尽管这些演示很不错,但与际的游戏和应用还相距甚远,Raspberry Pi 基金会介绍,驱动...阅读全文

博文 2020-06-13 18:15:31 debian.cn

HAProxy用法详解 最详细中文文档

一、HAProxy简介 (1)HAProxy 是一款提供高可用性、负载均衡以及基于TCP(第四层)和HTTP(第七层)应用的代理软件,支持虚拟主机,它是免费、快速并且可靠的一种解决方案。 HAProxy特别适用于那些负载特大的web站点,这些站点通常又需要会话保持或七层处理。HAProxy运行时下的硬件上,完全可以支持数以万计的 并发连接。并且它的运行模式使得它可以很简单安全的整合进您当前的架构中, 同时可以保护你的web服务器不被暴露到网络上。 (2)HAProxy 现了一种事件驱动、单一进程模型,此模型支持非常大的并发连接数。多进程或多线程模型受内存限制 、系统调度器限制以及无处不的锁限制,很少能处理数千并发连接。事件驱动模型因为有更好的资源和时间管理的用户端(User...阅读全文

博文 2014-05-10 17:14:46 debian.cn

Debian 9修复18个重要的Linux 4.9 LTS内核安全漏洞

Debian 项目近日发布了针对 Debian GNU/Linux 9 “ Stretch ” 系列操作系统新的 Linux 内核安全更新,修复了最近发现的几个漏洞 。 根据最新的 DSA 4073-1 Debian 安全通报, Debian GNU/Linux 9 “ Stretch ” 操作系统的 Linux 4.9 LTS 内核中,共有 18 个安全漏洞,其中包括信息泄露,提权升级和拒绝服务等问题。 通报显示, Linux 内核的 DCCP 现、dvb-usb-lmedm04 驱动程序、hdpvr 媒体驱动程序、扩展 BPF 验证程序、netfilter 子系统、netlink 子系统、xt_osf 模块、USB 核心以及 IPv4 原始套接字现都存问题。另外,Linux...阅读全文

博文 2017-12-27 23:31:06 debian.cn