InfraPub 为您找到相关结果 467

在 Kubernetes 上扩展 TensorFlow 模型

](https://www.kubeflow.org/docs/components/training/tftraining/)资源,可以轻松创建上面提到的 TensorFlow 分布式策略。TFJob 可以识别容器化的 TensorFlow 代码中定义的分布式策略,并可以使用一组内置组件和控制逻辑对其进行管理。使得在 Kubeflow 中实现 TensorFlow 的分布式训练成为可能的组件包括: - Chief:组织分布式训练并执行模型检点。 - Parameter Server:协调异步分布式训练和计算梯度。 - worker:执行学习任务。 - Evaluator:计算和记录评估指标。 上述组件可以在 TFJob 中配置,TFJob 是一个用于 TensorFlow 训练的 Kubeflow...阅读全文

kubelet 中垃圾回收机制的设计与实现

启动容器和镜像垃圾回收两个任务,其主要逻辑为:1、启动 containerGC goroutine,ContainerGC 间隔时间默认为 1 分钟;2、检 --image-gc-high-threshold 参数的值,若为 100 则禁用 imageGC;3、启动 imageGC goroutine,imageGC 间隔时间默认为 5 分钟;k8s.io/kubernetes/pkg/kubelet/kubelet.go:1270func (kl *Kubelet) StartGarbageCollection() { loggedContainerGCFailure := false // 1、启动容器垃圾回收服务 go wait.Until(func() { if err...阅读全文

博文 2021-02-05 17:48:22 知乎

Docker 核心原理

*), void *child_stack, int flags, void *arg); 我们知道容器本质上就是隔离的进程,Docker 在创建容器的时候就是使用 namespace 来实现了容器与容器,容器与宿主机的隔离。 每个进程都有一个 /proc/[pid]/ns 的目录,里面保存了该进程所在对应 namespace 的链接, 我们来看某个容器也就是某一个进程对应的 namespace 文件描述 1 2 3 4 5 6 7 8 9 10 root@lxkaka-server:~# ls -l /proc/23204/ns total 0 lrwxrwxrwx 1 root root 0 Jan 9 13:51 cgroup -> 'cgroup:[4026531835]' lrwxrwxrwx...阅读全文

博文 2021-02-25 09:14:23 lxkaka

DPDK Graph Pipeline 框架简介与实现原理

的介绍 graph walk 的概念简单明了,它总是有次序地去完成一系列操作: 21行:定位下一个需要处理的 node 23行:准备下一个需要处理的 node 的 objects /报文 29行:处理定位好的 node 32行:检 graph walk 是否完成 在 graph walk 层面来看,最重要的就是第一步:定位下一个要处理的 node。DPDK 的 graph 框架利用了 circular buffer 和附带的 head 和 tail 指针定位下一个 node,如果 head 不等于 tail 指针,这就代表了 circular buffer 里有需要处理的 node,而在 libgraph 库中,这些待处理的 node 也被称为 pending stream。 回到第一步...阅读全文

博文 2023-02-09 07:13:55 掘金

7大维度看国外企业为啥选择gRPC打造高性能微服务

,基于RESTful API的工具。 不幸的是,这感觉就像试图将简单的方法调用变成一个数据驱动的RESTful界面。这满足了RESTful接口的verb,header,URL标识符,资源的URL和有效载荷的神奇组合,并做了一个清洁,简单,看起来几乎不可能实现的功能界面。RESTful有很多规则和解释,在大多数情况下会导致REST ish接口,这需要花费额外的时间和精力来保持其纯度。 最终,考虑到RESTAPI的复杂性,我们到了替代方案。希望微服务尽可能相互隔离,减少交互和解耦服务。它可以让企业在很短的时间内创造出一个可行的服务,并防止跳过hoops。 评估REST的替代方案 不要轻易选择通信框架。大型组织(如Netflix)可以拥有超过500+个微服务的后端系统。迁移这些服务以取代不充分的服...阅读全文

博文 2018-03-19 17:51:32 debian.cn

开源社区的运作模式:Debian Vs. Ubuntu

定自己的策略,在遵循开发者成员委员会规定的基本原则下,可以自行增加新成员。 Ubuntu贡献开发人员是一种中间身份,他还没有为成为其他开发者身份做好准备,但表达了成为Ubuntu成员的决心。 所有这些身份都可以通过类似的方法取得:创建一个Wiki页面列举你过去所做出的贡献;从与你一起工作过的现有成员那里收集证明;将你自己添加到下一次委员会会议的议事日程中,并准时参加会议。委员会成员将会看你的Wiki页面,并根据你在会议(以及平时的开发者邮件列表)上的作答情况,以及其他人对你的意见,审核你是否能通过。 最重要的委员会成员是由社区选举产生的,而其他一般的角色是由社区委员会任命的。这些治理主体包括Canonical员工,但并没有想象的那么多人:开发者成员委员会总共有8人,其中2人是...阅读全文

博文 2021-01-28 17:50:09 debian.cn

Docker 17.06 社区版发布

EBS)的支持现在是稳定的了)。并且我们能跨可用区支持EBS卷。 对于Docker for Azure来说,我们现在支持部署到Azure Gov,通过Cloustor支持持久性卷现在是稳定的,可以通缉你广化寺用在Azure Public和Azure Gov中。 废弃 在dockerd的命令行中,--api-enable-core标识已经被废弃很久了,而采用--api-cors-header。对于--api-enable-cors还没有完全去掉。 Ubuntu 12.04 "precise pangolin"已经完结了生命周期,所以它现在不是Docker支持的操作系统。Ubuntu的后期版本仍旧是支持的。 下一步 要体验这些新特性: 下载Docker CE的最新版 看Docker文档 在Play...阅读全文

博文 2017-06-30 23:08:57 debian.cn

谷歌元老施密特隐退:传奇落幕 新篇开启

。对于这句话佩奇也是有着深刻的理解,在担任谷歌 CEO 短短四年之后,他就将 CEO 的位子让给了2004年加入谷歌的印度人桑达尔·皮伊,他主导了 Android 的后期运作、还一手建立起了 Chrome 项目。 可以预见的是,佩奇和布林两位创始人现在从公司运营一线退了下来,就像7年前的施密特一样,而未来他们也应该会完全把手中的担子交给年轻人,然后像今天的施密特一样安然退休。传奇落幕,新篇开始,原来在商业和科技界,也有体育赛场上那样的伟大传承。【本文转载自威锋网】...阅读全文

博文 2017-12-24 09:18:44 debian.cn

Debian 9.3上安装和配置 Observium 监控平台

once every 2 hours 完成后保存并关闭文件,然后重新启动cron服务以应用此更改: systemctl restart cron 结论 恭喜! 您已经在Debian 9服务器上成功安装了Observium。 您现在可以轻松获得网络的状态和健康状况。 您可以检Observium官方文档页面以获取有关配置设备,警报和身份验证模块的更多信息。【本文转载自 Howtoing.com,略有增删】...阅读全文

博文 2017-12-30 11:35:21 debian.cn

技术部门的 SEO 规范

robots 文件禁止搜索引擎抓取。未完成内容的网站、栏目不得上线。不存在页面必须返回 404 代码。每个月使用线上工具确认不存在页面服务器头信息。服务器开启 gzip 压缩。4XX、5XX 类服务器头信息不正常增多,及时通知SEO部门进行进一步检。新站一律使用 https。开通子域名,需与 SEO 部门提前沟通并获得同意。 网站结构和URL URL一经确定上线,不得在没有得到SEO部门同意和提供对应机制的情况下,对URL做任何改动。除了已规划禁止搜索引擎抓取和收录的内容外,网站所有URL一律静态化。站内搜索结果页面使用robots文件禁止搜索引擎抓取。网站栏目与URL目录需一一对应,一级分类对应一级目录,二级分类对应二级目录。最多分级至二级目录,如果产品/页面数需要三级以上分类,请先与SEO部门沟...阅读全文

博文 2019-03-28 13:58:51 debian.cn

Kubernetes 部署 Nacos 1.4 集群 · 小豆丁

性: 服务发现: 支持 DNS 与 RPC 服务发现,也提供原生 SDK 、OpenAPI 等多种服务注册方式和 DNS、HTTP 与 API 等多种服务发现方式。 服务健康监测: Nacos 提供对服务的实时的健康检,阻止向不健康的主机或服务实例发送请求。 动态配置服务: Nacos 提供配置统一管理功能,能够帮助我们将配置以中心化、外部化和动态化的方式管理所有环境的应用配置和服务配置。 动态 DNS 服务: Nacos 支持动态 DNS 服务权重路由,能够让我们很容易地实现中间层负载均衡、更灵活的路由策略、流量控制以及数据中心内网的简单 DNS 解析服务。 服务及其元数据管理: Nacos 支持从微服务平台建设的视角管理数据中心的所有服务及元数据,包括管理服务的描述、生命周期、服务的静...阅读全文

博文 2021-02-24 10:10:29 www.mydlq.club

百度运维工程师挖矿实录:四个月用155台服务器挖矿赚10万判3年

某最后一次部署挖矿脚本后,百度通过安全管理监控系统发现大量服务器运行异常,占用公司服务器的运算资源执行了挖矿程序,经过一番排,最终确定了幕后的操盘手“安某”。 为此,百度还花费 2.7 万元请北京耐特网科技公司提供了应急服务,具体项目包括样本提取、样本分析、服务器日志提取并分析、追踪溯源、报告编写等。 2018 年 7 月,百度正式起诉“安某”,认为其犯有非法控制计算机信息系统罪。经法院的进一步核实,被告人“安某”虽对其行为性质提出辩解,但其到案后及在庭审过程中对其实施的作案过程均能如实交代,故应认定其具有如实供述的情节,同时结合其能退缴涉案违法所得,故可对其从轻处罚。 据此判决: 一、被告人安邦犯非法控制计算机信息系统罪,判处有期徒刑三年,罚金人民币一万一千元。 二、在案扣押的人民币十一...阅读全文

博文 2020-03-17 20:42:41 debian.cn

RabbitMQ 高可用实现镜像队列

master 中未被同步的消息将会丢失。 镜像队列消息的同步: 将新节点加入已存在的镜像队列时,默认情况下 ha-sync-mode=manual,镜像队列中的消息不会主动同步到新节点,除非显式调用同步命令。当调用同步命令后,队列开始阻塞,无法对其进行操作,直到同步完毕。当 ha-sync-mode=automatic 时,新加入节点时会默认同步已知的镜像队列。由于同步过程的限制,所以不建议在生产的 active 队列(有生产消费消息)中操作。 rabbitmqctl list_queues name slave_pids synchronised_slave_pids #看那些slaves已经完成同步rabbitmqctl sync_queue name #手动的方式同步一个...阅读全文

博文 2018-12-30 19:21:59 debian.cn

域名与商标: 如何防止域名被仲裁

被投诉人选择一人独任,则最终由一人独任审理,对另外一种情况我则没有到具体的说法。 以上是我近期学习到的关于域名仲裁的相关内容,在这里分享给大家,由于个人理解的不同,描述不一定正常,在这里仅仅是作为一个介绍,欢迎朋友们一起讨论和指正。 关于域名与商标,虽然知识产权在社会中越来越被重视和保护,但还是希望各大公司、终端自身给予高度的重视,在这个互联网时代、眼球时代和信息爆炸时代,互联网经济必然会占到越来越大的比重,最终会与实体经济平起平座,各大依托于网络的公司能在短短几年内,超越苦心经营几十年的实体企业,这都是互联网经济的威力。而域名就是企业在网络上的虚似商标,是企业的网络脸面,一些大的公司无不在自身网站的域名上不惜成本,花空心思,说明一个契合自身特色的域名是多么的重要。 当然,在这里也奉劝各位...阅读全文

博文 2019-01-18 14:59:59 debian.cn

译:零信任对 Kubernetes 意味着什么

是我们如何保护基础设施、网络和数据的哲学的巨大范式转变。”当然,零信任并不意味着抛弃防火墙——纵深防御是任何安全策略的重要组成部分。这也不意味着我们可以忽略所有其他重要的安全组件,例如事件记录和供应链管理。零信任只要求我们将信任检从“一次在边界”转移到“每次,无处不在”。然而,为了正确地做到这一点,我们需要重新考虑一些关于“信任”意味着什么以及我们如何捕捉它的基本假设。身份零信任最直接的影响之一是它改变了我们思考和分配身份的方式,尤其是系统身份。在边界模型中,位置实际上就是身份。如果在防火墙内,那么是可信的;如果你在它之外,就不是。因此,基于边界的系统可以允许基于客户端 IP 地址等信息访问敏感系统。在零信任世界中,这已经不够了。IP 地址仅用于指示位置,因此不再足以确定是否可以访问特定资...阅读全文

从 Debian 安装 Proxmox VE,并配置网络和双硬盘

/customer# vgs VG #PV #LV #SN Attr VSize VFree hdd 1 9 0 wz--n- 2.73t 31.84g s163941-vg 1 2 0 wz--n- 223.33g 0 运行 lvs 和 vgs 发现之前的 VM 硬盘 还在,fdisk 格式化一下 看来 nocix 后台的 wipe hard disk 没起作用 1fdisk /dev/sdb m 可以看帮助菜单 输入 p 回车,d 回车,w 回车 命令说明:p 打印分区d 删除分区w 写入更改 过程如下:123456789101112131415161718192021222324252627Command (m for help): pDisk /dev/sdb: 2.7 TiB...阅读全文

博文 2021-03-01 20:20:31 驱蚊器喵的插座

CCPA vs. GDPR:欧美这两部个人数据保护法有什么差异?

出的部分解决方案至今仍在试水阶段,具体如下: (1)第一关,数据输入者所在国是否被列入“充分性认定白名单”: 指欧盟一般数据保护条例(GDPR)第45条所规定的,由欧盟委员会以“实施法案”方式确定的数据跨境传输“白名单”。 一旦欧盟以外的某国家或地区(也包括国际组织或行业)进入该“白名单”,就意味着欧盟境内的个人数据可以更加自由地传输到该国家或地区(国际组织或行业),而不再受GDPR中诸如数据跨境传输协议、BCR认证等严格条件的限制。 “充分性认定”的门槛和标准比较高,且欧盟方面在判定、审、修改、撤销等程序中自由裁量权十分大,目前全球范围内也仅有瑞士、以色列、日本等少数国家获得了欧盟“充分性认定”。 (2)第二关,若所在国未进入上述“充分性认定白名单”,则判断是否提供适当协议、行为准则为跨...阅读全文