InfraPub 为您找到相关结果 791

GitLab 11.10 正式发布,进一步简化协作功能

GitLab 11.10 已正式发布 ,更新亮点包括将管道功能(pipeline)集成到操作面板、将管道用于合并结果以及针对多合并请求的建议。 轻松查看跨项目的管道健康 此版本通过强大的功能增强了 Operations Dashboard,该功能让用户能直接查看管道态。 即使在查看单个项目的管道态时,这也很方便,不过在使用 多项目管道 时尤其有用 —— 当拥有微服务架构并且需要管道来测试和部署位于多个不同项目仓库中的代码时,这种情很常见。现在,我们可以方便看到操作面板上所有管道的 。 针对合并结果管道 现在可以在合并之前 针对合并结果管道 。这样可以快速捕获只有经常重新定位时才会出现的错误,从而更快地解决管道故障并更有效地使用 GitLab Runner...阅读全文

Nginx 安全问题致 1400 多万台服务器易受 DoS 攻击

ngx_http_v2_module 编译的 nginx(默认情下不编译)。” 为了利用上述两个问题,攻击者可以发送特制的 HTTP/2 请求,这将导致过多的CPU使用和内存使用,最终触发 DoS 态。 所有未打上补丁的 nginx 服务器都容易受到 DoS 攻击。 第三个安全问题(CVE-2018-16845)会影响 MP4 模块,使得攻击者在恶意制作的 MP4 文件的帮助下,在 worker 进程中导致出现无限循环、崩溃或内存泄露态。 最后一个安全问题仅影响使用 ngx_http_mp4_module 构建的 nginx 版本并在配置文件中启用 mp4 选项的服务器。 总的来说,HTTP/2 漏洞影响 1.9.5 和 1.15.5 之间的所有 nginx 版本,MP4 模块安全问题影响 nginx...阅读全文

博文 2018-11-09 11:43:37 debian.cn

Kubernetes常用命令大全(持续更新)

taint nodes foo dedicated=special-user:NoSchedule 查看所有namespace的pods 查看具体pods,记得后边跟namespace名字哦 查看pods具体信息 查看集群健康态 获取所有deployment 列出该 namespace 中的所有 pod 包括未初始化的 查看deployment() 查看rc和servers 查看pods结构信息(重点,通过这个看日志分析错误)对控制器和服务,node同样有效 其他控制器类似吧,就是kubectl get 控制器 控制器具体名称 查看pod日志 查看pod变量 创建 更新 编辑资源 动态伸缩pod 删除 交互 调度配置 如果该键和影响的污点(taint)已存在,则使用指定的值替换 目录...阅读全文

博文 2020-03-13 12:35:13 debian.cn

Kubernetes源码探疑:Pod IP泄露排查及解决方法

1440次申请VPC IP和释放VPC IP操作。 然而,经过数天的测试统计,发现通过该CronJob,集群每天申请IP次数高达2500以上, 而释放的的IP次数也达到了1800。申请和释放次数都超过了1440,而且申请次数超过了释放次数,意味着,部分分配给Pod的VPC IP被无效占用而消失了。 CNI:待删除的IP去哪儿了? 仔细分析CNI插件的日志,很快发现,CNI在执拆除SandBox网络动作(CNI_COMMAND=DEL)中,存在不少无法找到Pod IP的情。由于UK8S 自研的CNI查找Pod IP依赖正确的Pod网络名称空间路径(格式:/proc/10001/net/ns),而kubelet传给CNI的NETNS环境变量参数为空字符串,因此,CNI无法获取待释放的VPC...阅读全文

谷歌公开了内部管理Infra层的两个工具的Paper

果这个asset不健康,它仅仅会导致某个集群的中断,还是会影响全球的服务?插件还给用户特定的数据提供了空间,而不用占用负载的定义。 asset一般少于1kb数据,通常少于10kb,我们的最大值限制的是150kb。这个限制是为了让asset更容易被使用。这样,工具可以在内存里加载asset,无需担心这么做会造成过多的消耗。这个方案是受实体-组件系统[4]的启发。 asset的内容提供了足够的信息来构建建模资源的完整态。具体来说,应该可以重新创建生产态,而不必查看当前的生产态——这是一个单向过程。 但是,所有的配置必须在asset里。比如,我们肯定有些情需要MB级别的配置。这时,可以保存对外部数据源(比如包,数据库和版本控制)的引用。这些引用必须指向不可变外部数据。 在...阅读全文

博文 2023-01-08 11:23:20 CSDN博客

什么是线程安全,以及并发需要知道的几个概念

的资源一直不释放的话,那么其他阻塞的线程就都不能工作了。 非阻塞则相反,强调的是线程之间并不互相妨碍,所有的线程都会不断尝试向前执。 死锁、饥饿和活锁这三种情表示的是多线程间的活跃态,对于线程来说,以上的情都是 “非友好” 的态。 1、死锁一般是指两个或者两个以上的线程互相持有对方所需的资源,并且永远在等待对方释放的一种阻塞态。例如有两个线程A和B同时共享临界区的资源C,当A占用C时,B处于阻塞态,然而A的释放需要用到B的资源,这样一来,就变成了A一直在等待B,B也一直在等待A,互相之间永远在等待对方释放的态。 一般来说,死锁的发生是由于程序的设计不合理导致,而且死锁很难解决,最好的方式就是预防。 2、饥饿是指某一个或者多个线程因为种种原因无法获得所需的资源,导致一直无法执...阅读全文

博文 2018-12-31 20:44:06 debian.cn

谷歌安全博客披露“ 英特尔内核漏洞 ”更多细节

的是,谷歌现已更新了系统和受影响的产品,可以防止这类新型攻击。此外他们还与业内的软硬件制造商合作,帮助保护更广泛的客户,这些努力包括协作分析和开发新奇的缓解措施。 受到该漏洞影响的 Google 产品、以及它们当前的态,可移步至这个页面查看: https://support.google.com/faqs/answer/7622138 鉴于这种攻击类型相当新颖,Google 只列出了当前已知的攻击方式和缓解措施。在某些情下,用户和客户需要采取额外的步骤,才能确保他们已经用上了受保护的版本。 下面是当前已给出的产品清单:(未列出的 Google 产品需要用户自采取额外的保护措施) ● Android(请更新至最新的安全补丁); ● Google Apps / G Suite(含...阅读全文

博文 2018-01-06 23:38:25 debian.cn

Eric Raymond:Windows 10将成为Linux内核上的仿真层

微软的财务做为证据,比如Linux系统已经是Windows的子系统(Windows Subsystem for Linux - WSL),以及即将发布 Ubuntu Linux系统下基于Chromium内核的Edge浏览器正式版。后者很容易理解,微软花了很少时间就把浏览器市场抢到了领先位置。 “微软开发者将Linux内核引入Windows功能,这表明让人超级感兴趣的技术方向。”Raymond如是说。WSL让Linux二进制文件无需仿真就可以在Windows 10系统下。 另外的因素是Proton,可以在Linux上Windows二制流游戏,Raymond认为,Windows可以像在Linux内核的Proton一样成为仿真层,老的游戏程序和旧版软件都将位于该仿真层。 Windows...阅读全文

博文 2020-09-30 11:07:43 debian.cn

Linux 容器 vs 虚拟机 — 谁更胜一筹

的,而虚拟机对于像 LAMP 堆栈这样的单一应用程序使用情是更好的。 Linux 容器 vs 虚拟机 – 安全性 与容器相比,虚拟机提供了更多的安全性。这并不是说容器不能被保护,而是说,默认的虚拟机提供了更大的隔离。请记住,容器可以共享系统资源而虚拟机不。 在容器时,可以采取一些措施来降低风险,包括避免超级用户权限,确保从可信来源获取容器,并且保持最新态。有些容器是数字签名的,这有助于确定您可以从可信来源获取容器。 最后,你需要保持容器的单一功能职责。一旦你开始在一个容器下结合软件职责,你会发现还是使用虚拟机最好。重申一下,容器是用于单一用途的应用程序,虚拟机用于多用途的应用程序。坚持这种做法,你将在安全性和整体功能方面处于更好的。 Linux 容器 vs 虚拟机 – 选择...阅读全文

博文 2017-11-25 10:23:56 debian.cn

分布式任务调度平台 XXL

任务,”CommandJobHandler”);业务方只需要提供命令即可; 6、任务态优化,仅态”NORMAL” 任务关联至 quartz,降低 quartz 底层数据存储与调度压力; 7、任务态规范:新增任务默认停止态,任务更新时保持任务态不变; 8、IP 获取逻辑优化,优先遍历网卡来获取可用 IP ; 9、任务新增的 API 服务接口返回任务 ID,方便调用方实用; 10、组件化优化,移除对 spring 的依赖:非 spring 应用选用 “XxlJobExecutor” 、spring 应用选用 “XxlJobSpringExecutor” 作为执器组件; 11、任务 RollingLog 展示逻辑优化,修复超时任务无法查看的问题; 12、多项 UI 组件升级到最新...阅读全文

博文 2018-11-05 21:47:15 JOB 2.0.0 发布

kubectl 创建 Pod 背后到底发生了什么?—探寻 Kubectl 创建 Pod 的原理

关,该操作不会影响到系统的稳定。这种对资源隔离的重视也体现在 Controller 本身的设计中:Controller 不能对自己没有明确拥有的资源进操作,它们应该选择对资源的所有权,互不干涉,互不共享。 有时系统中也会出现孤儿(orphaned)资源,通常由以下两种途径产生: 父级资源被删除,但子级资源没有被删除垃圾收集策略禁止删除子级资源 当发生这种情时,Controller 将会确保孤儿资源拥有新的 Owner。多个父级资源可以相互竞争同一个孤儿资源,但只有一个会成功(其他父级资源会收到验证错误)。 Informers 你可能已经注意到,某些 Controller(例如 RBAC 授权器或 Deployment Controller)需要先检索集群态然后才能正常。拿...阅读全文

博文 2022-04-18 16:18:04 CSDN

Debian 11冻结开始 Debian 12将减少对i386支持

唯一放弃的架构是基础 MIPS。 在 Debian 12 中将会提供更多 CPU 支持,但具体会在 Debian 11 正式发布之后做出决定。最近围绕着i386架构的支持以及如何处理前进的问题进了讨论。发布团队认为,32位x86的支持会以某种形式继续下去,但目前还没有做出决定。 更多关于Debian发布团队目前的细节,请通过debian-devel-announce查看。...阅读全文

博文 2021-01-14 10:19:16 debian.cn

如何离线更新基于 Debian 的系统

、Linux Mint 这样基于 APT 的操作系统)提供的离线态下 APT 包管理器。使用 apt-offline,我们可以在离线态下完整地更新、升级我们的 Debian 系统。这个程序是用 Python 开发的兼具 CLI 和图形界面的跨平台工具。 准备工作 一个已经联网的操作系统(Windows 或者 Linux)。本文中为了便于理解,我们称之为在线系统。 一个离线操作系统(Debian 及其衍生版本)。我们称之为离线系统。 有足够空间容纳所有更新包的 USB 驱动器或者外接硬盘。 安装配置 apt-offline Apt-Offline 可以在 Debian 及其衍生版本的默认仓库中获得。如果你的在线系统是的 Debian、Ubuntu、Linux Mint,及其它基于 DEB 的操作...阅读全文

博文 2018-02-07 10:06:03 debian.cn

Windows Lite 对微软来说意味着什么?

实际上比 Apple 的设备更慢,电池寿命更短。 因此,Windows Lite 有明显优势:它有一个新界面,只能 Microsoft Store 中的应用程序。它还将能在各种硬件上,包括骁龙和 ARM ,这些手机和平板电脑中的常用芯片类型可提供更好的电池寿命和即时启动功能。从目前来看,Windows Lite 直接的竞争对手似乎偏向于 Chrome OS 。但从长远来看,它可视为是基于一种名为 Core OS 的技术的全新 Windows 版本,一款从头开始构建的现代操作系统。 实际上,“很快” 这个词已被许多人用于对 Windows 系统的“嘲讽”。要改变这种,微软也确实需要推出新的操作系统了。【编译自:The Week】...阅读全文

阿里巴巴版 JDK 首发 GA 版 生产环境可用

增强和安全修复,主要针对的场景是数据中心大规模 Java 应用部署情下,Java 应用稳定性、效率以及性能的优化与提高。从目前公开的功能和披露的规划上来看,Dragonwell 8 具有下述三大重要特性: JwarmUp JwarmUp 是为了解决双十一抢购场景下,阿里巴巴 Java 系统 warmup 的痛点。以普通的 Java 应用举例,JVM 需要经过解释执 (interpreter) 找到热点,然后通过 JIT 编译器来加速热点方法的。对于高并发场景,应用启动之后会有很长时间处于寻找热点、编译热点的态。这时,很多性能指标 (CPU 使用率、TPS 吞吐量、 RT 响应时间) 不是非常理想。换句话说,当 Java 应用启动并提供服务之后,在相当长的时间内处于 warmup ...阅读全文

博文 2019-07-11 10:24:52 debian.cn

系统分析工具 Sysdig 详解

Sysdig 是 Sysdig Cloud 开发的主要基于Lua语言的一个开源系统分析工具。Sysdig 能从的系统中,获取系统态和为,做过滤分析,功能上超同类开源工具。Sysdig 可以看做是 strace + tcpdump + lsof + htop + iftop 以及其他系统分析工具的合集 。 此外 Sysdig 还能对容器(如docker、coreOS、LXC)进监控。 Sysdig 也支持windows平台和mac平台。下面我们以 Linux系统为例,举例说明 Sysdig 的用法,你也可以参考官方原文。 网络 查看占用网络带宽最多的进程:sysdig -c topprocs_net显示主机192.168.0.1的网络传输数据 as binary:sysdig...阅读全文

博文 2020-08-09 14:09:05 debian.cn

Monit:开源服务器监控工具

CHECK PROGRAM PATH [TIMEOUT SECONDS] 是可执程序或脚本的绝对路径。该态测试允许一个检查程序的退出态。如果程序没有在秒内完成执,Monit将终止它。默认程序超时为300秒(5分钟)。程序的输出被记录并在用户界面和警报中可用,默认情下最大为512B。您可以使用set limits语句自定义限制。 网络 CHECK NETWORK

| INTERFACE > 是受监视网络接口的IPv4或IPv6地址。也可以在Linux上使用接口名称,例如“eth0...阅读全文

博文 2023-04-12 15:21:43 阿里云开发者社区

HTTP状态码详解

息不是在原始服务器上有效的确定集合,而是来自本地或者第三方的拷贝。当前的信息可能是原始版本的子集或者超集。例如,包含资源的元数据可能导致原始服务器知道元信息的超级。使用此态码不是必须的,而且只有在响应不使用此态码便会返回200 OK的情下才是合适的。 204 服务器成功处理了请求,但不需要返回任何实体内容,并且希望返回更新了的元信息。响应可能通过实体头部的形式,返回新的或更新后的元信息。如果存在这些头部信息,则应当与所请求的变量相呼应。 如果客户端是浏览器的话,那么用户浏览器应保留发送了该请求的页面,而不产生任何文档视图上的变化,即使按照规范新的或更新后的元信息应当被应用到用户浏览器活动视图中的文档。 由于204响应被禁止包含任何消息体,因此它始终以消息头后的第一个空结尾。 205...阅读全文

博文 2021-01-28 17:50:11 debian.cn

分布式运行时 Dapr 知多少

/actors///reminders/ 6. Observability(遥测) Dapr记录指标,日志,链路以调试和监视Dapr和用户应用的。 Dapr支持分布式跟踪,其使用W3C跟踪上下文标准和开放式遥测技术,可以轻松地诊断在生产环境中服务间的网络调用,并发送到不同的监视工具,如Prometheus。 7. Secrets(安全) Dapr 提供了Secret管理,不过不同于K8S中的Secret,其支持与公有云和本地的Secret存储集成,以供应用检索使用。 What Can We Do With Dapr 了解了Dapr是什么,以及其提供的特性,那Dapr的应用场景就一目了然了。也就是官网首页的Slogan:Simplify...阅读全文

Debian目前面临的问题:钱足够但很缺人!

Kubuntu 和 MATE 等官方变体外,还有 Linux Mint、Linspire 和 Zorin 等第三方变体。Dibian 本身也广泛用于本地和公有云上的服务器应用,并且是完全免费的。当然,Google 和 AWS 也位列此次 DebConf20 大会的白金赞助商。Debian 是由美国非盈利组织 SPI(Software in the Public Interest,公共利益软件组织)营的。 “Debian 人不喜欢花钱,对此有负罪感。” 在本次 DebConf20 线上大会上,Carter 在“Debian 现”部分报告了 Debian 项目具有非常健康的财务。他指出,项目受益于 SPI 等多家组织,目前银账户金额超过 90 万美元。“一旦做事缺钱,就会有(赞助商)出手...阅读全文

博文 2020-10-09 10:24:04 debian.cn

细数k8s支持的4种类型的container - 侃豺小哥

以进故障排除的二进制文件和工具。这就决定了该容器有助于提供安全可靠的时环境,但也很难在问题发生时进调试。 在这种情下,临时容器发挥作用。它们实现了调试容器附加到主进程的功能,然后你可以用于调试任何类型的问题。调试容器可以基于任何镜像,因此可以根据您的需求进定制。您可以构建自己的调试镜像,其中包含特殊的调试二进制文件或仅包含curl,OpenSSL和MongoDB客户端之类的工具。但是,您也可以选择Linux发版(如Ubuntu)或仅Busybox镜像,这两个镜像都已经包含了许多有用的工具。 如何使用临时容器? 临时容器是alpha功能,因此默认情下处于禁用态。您将需要激活以下功能门才能使用它们: 临时容器 PodShareProcessNamespace(v1.16中的...阅读全文

博文 2021-08-20 11:45:32 博客园

提前尝鲜,从 Debian 10 升级到 Debian 11

(PPA)。你可以在升级后逐一启用它们。 关闭所有正在的应用。 停止任何你可能已经启用的中的服务。升级完成后,你可以通过 systemctl 启动它们。这包括 Web 服务器、SSH 服务器、FTP 服务器或任何其他服务器。 确保你有稳定的互联网连接。 并为你的系统留出足够的停机时间。因为根据你的系统配置,Debian 版本升级需要时间大约在 1.5 小时到 2 小时之间。 将 Debian 10 Buster 升级到 11 Bullseye 确保你的系统是最新的,而且你的软件包列表是最新的。 sudo apt update && sudo apt upgrade 使用下面的命令安装 gcc-8-base 包。这是必须的,因为在历史上曾出现过升级失败的情,这是因为下面的软件包中包含了某些...阅读全文

博文 2021-08-16 12:16:21 Debian升级

K8S中Pod的四个阶段及状态分析

Kubernetes 中, pod 从创建到成功会分别处于不同的阶段,每个阶段又分为不同的态,本文将简单介绍这个环节。 在 K8S 源码中,使用了 PodPhase 这个变量定义这几个阶段信息,如下图所示: 中(PodRunning):该 Pod 已经绑定到了一个节点上,Pod 中所有的容器都已被创建。至少有一个容器正在,或者正处于启动或重启态。等待中(PodPending): 创建 Pod 的请求已被 Kubernetes 系统接受,但有一个或者多个容器镜像尚未创建。可能的原因有,写数据到etcd,调度,pull镜像,启动容器这四个阶段中的任何一个阶段,pending 伴随的事件通常会有:ADDED, Modified这两个事件的产生。等待时间包括调度 Pod 的时间和下...阅读全文

博文 2020-07-15 13:11:45 debian.cn

Debian 9 使用kubeadm创建 k8s 集群(下)

添加工作节点,您的群集现在已完全设置并正常,工作人员可以准备好工作负载。 在安排应用程序之前,让我们验证群集是否按预期工作。 第6步 - 验证群集 集群有时可能在安装过​​程中失败,因为节点已关闭或主服务器与工作服务器之间的网络连接无法正常工作。 让我们验证集群并确保节点正常。 您需要从主节点检查群集的当前态,以确保节点已准备就绪。 如果从主节点断开连接,则可以使用以下命令通过SSH将其重新连接到主节点: ssh sammy@master_ip 然后执以下命令以获取集群的态: kubectl get nodes 您将看到类似于以下内容的输出: OutputNAME STATUS ROLES AGE VERSION master Ready master 1d v1.14.0...阅读全文

博文 2019-05-13 22:57:41 debian.cn

运维的未来:云服务兴起,运维人员会“下岗”吗?

我合作的或者是我了解的众多 dev 组织似乎不用 QA 也做得挺好。 同样的很快也会发生在维人员身上。我之前在 Workiva 的基础设施和可靠性小组里工作时,我们将和基础建设工程团队并入一个单独的团队,该团队是由网站可靠工程师组成的,负责构建和维护基础设施服务,配置管理,日志管理,集合管理,监控等。 我非常支持通过愿景实现对团队的领导。发展愿景令人信服,可以使团队之间达成共识,减少功能孤岛和组织孤岛的影响,并能够从内部激励员工。它能使团队高度一致又能松散耦合,能够更好地做出决定。我对维未来作为组织能力的想法本质上是将合成工程看作是合理结论。跟 QA 一样,维能力也应该被嵌入发展团队中。事实是,没有维技能,你不可能在现代组织中成为一名合格的软件工程师。现如今的维团队,应该重...阅读全文

博文 2021-01-28 17:50:31 debian.cn

Debian 社区陷入尴尬 或群龙无首

前两天我们才报导过 Debian 包维护者 Michael Stapelberg 因对 Debian 社区的现不满而 宣布退出 Debian 的维护 ,该消息引发了人们对于 Debian 的担忧。11 日,邮件列表上一封标题为“Leaderless Debian”的公开信进一步加深了这种担忧。 Debian 社区目前正在进领导人选举,3 月 3 日-10 日是候选人提名阶段,然而,截至公开信发出的 11 日,还没有一位符合资格的 Debian 开发者提交申请。 此前的 Debian 领导人 Chris Lamb 一直被寄予厚望,他已经连任了两年,但是今年他公开表示因为一些 Debian 相关的与私人的原因 不参与竞选 。 所以,现在出现了尴尬的情:“提名期已经结束,竞选期已经开始,但...阅读全文

博文 2019-03-14 11:05:23 debian.cn

Gitlab CI 配置文件 .gitlab

only no 定义一列git分支,并为其创建job except no 定义一列git分支,不创建job tags no 定义一列tags,用来指定选择哪个Runner(同时Runner也要设置tags) allow_failure no 允许job失败。失败的job不影响commit态 when no 定义何时开始job。可以是on_success,on_failure,always或者manual dependencies no 定义job依赖关系,这样他们就可以互相传递artifacts cache no 定义应在后续之间缓存的文件列表 before_script no 重写一组在作业前执的命令 after_script no 重写一组在作业后执的命令 environment...阅读全文

博文 2018-12-12 21:01:19 ci.yaml 详解(上)

Debian 安装 fail2ban 方式SSH爆破攻击

-client status 需要查看 sshd 封禁情可以: fail2ban-client status sshd Status for the jail: sshd |- Filter | |- Currently failed: 0 | |- Total failed: 0 | - File list: /var/log/auth.log - Actions |- Currently banned: 0 |- Total banned: 0 `- Banned IP list: 一般针对 OpenSSH 的加固,还可以修改默认的 22 号端口,并且禁止使用 root 帐号远程登录;有了 fail2ban,系统安全系数会明显提高。...阅读全文

博文 2019-03-27 16:45:58 debian.cn

Debian 9.3上安装和配置 Observium 监控平台

Observium是一个免费的开源网络管理和监控工具,可用于监控所有的网络设备。 它是用PHP编写的,使用SNMP从连接的设备收集数据并使用Web界面监视它们。 Observium支持大量的网络硬件和操作系统,包括Linux,Windows,FreeBSD,思科,戴尔,NetApp等等。 Observium提供了一个功能强大,简单易用的界面来监视网络的健康和态。 在本教程中,我们将解释如何在Debian 9服务器上安装和配置Observium。配置需求: 一个新的Debian 9服务器安装在您的系统上。 在您的服务器上设置一个根密码。 入门 首先以下命令,将系统更新到最新的稳定版本: apt-get update -y apt-get upgrade -y 系统更新后,重新启动系统以...阅读全文

博文 2017-12-30 11:35:21 debian.cn

Apache Flink 1.14 新特性预览 - OSCHINA

在引擎层面,API 层面和算子的执层面上做到了真正的流与批用同一套机制。但是在任务具体的执模式上会有 2 种不同的模式: 下图是不同的执模式: 对于无限的数据流,统一采用了流的执模式。流的执模式指的是所有计算节点是通过 Pipeline 模式去连接的,Pipeline 是指上游和下游计算任务是同时的,随着上游不断产出数据,下游同时在不断消费数据。这种全 Pipeline 的执方式可以: 通过 eventTime 表示数据是什么时候产生的; 通过 watermark 得知在哪个时间点,数据已经到达了; 通过 state 来维护计算中间态; 通过 Checkpoint 做容错的处理。 这两种各有优劣,可以根据作业的具体场景来进选择。 对于有限的数据集有 2 种执模式,我...阅读全文

博文 2021-09-05 07:26:58 中文开源技术交流社区

Kubernetes 1.7 发布,安全强化、StatefulSet 更新及可扩展特性

-masquerade-agent)(RFC-1918),使用户可以在私有IP范围内创建集群并访问资源;服务可通过内部负载均衡(Internal Load Balancers)暴露,这是以Beta版提供的,允许Kubernetes和非Kubernetes服务在私有网络上相互访问(虽然当前通过Cloud VPN访问内部负载均衡的功能依然处于Alpha版);GKE现在支持在Alpha Clusters中NVIDIA K80 GPUs,该特性使得用户可以实验机器学习算法;自动修复,当前是Beta版。它通过对不健康节点进主动监控,并在无需用户参与的情下对节点做自动修复,保持了集群的健康;一些GCP优化的改进,用于简化集群从底层架构层上做自动扩展。 在Kubernetes博客及GitHub的...阅读全文

博文 2017-07-19 12:23:15 debian.cn

Kubernetes v1.21 新特性预览

Beta 阶段,并默认开启。注意,使用该特性需要 CSI 驱动程序实现对应的接口。TTL 控制器 BetaTTL 控制器用来自动清理已经结束的 Pod,如处于 Complete 或 Failed 态的 Job。Pod 停止之后的 TTL 可以通过 .spec.ttlSecondsAfterFinished 来设置。注意,该特性要求集群中各节点(包括控制节点)的时间一致,比如在所有节点中 NTP 服务。GenericEphemeralVolume Beta通用临时卷(GenericEphemeralVolume)类似于 emptyDir 卷,但它更加灵活:存储可以是本地的,也可以是网络存储。卷可以有固定的大小,Pod 不能超量使用。卷可能有一些初始数据,这取决于驱动程序和参数。当驱动程序支持...阅读全文

博文 2021-03-30 20:24:36 mp.weixin.qq.com

2017 年会是 Serverless 爆发之年吗

、API 应用相同的上下文中程序或脚本。可以上传并可执文件,例如 cmd、bat、exe、psl 等等。WebJobs 提供 SDK 用于简化针对 Web 作业可以执的常见任务,例如图像处理、队列处理、RSS 聚合、文件维护,以及发送电子邮件等等。 Serverless 架构原则 按需使用计算服务执代码 Serverless 架构是 SOA 概念的自然延伸。在 Serverless 架构中,所有自定义代码作为孤立的、独立的、细粒度的函数来编写和执,这些函数在 AWS Lambda 之类的无态计算服务中。开发人员可以编写函数,执常见的任务。在比较复杂的情下,开发人员可以构建更复杂的管道,编排多个函数调用。 编写单一用途的无态函数单单负责处理某一项任务的函数很容易测试,并稳...阅读全文

博文 2021-01-28 17:50:27 debian.cn

Kubernetes 1.7:安全加固、有状态应用更新等

Kubernetes API在时一起提供服务。其他重点改进的地方包括可伸缩的准入控制器(admission controller),可插拔的云提供者,和容器时接口(CRI)。 新特性 安全: 网络策略 API(Network Policy API)提升至稳定态。网络策略通过一个网络插件实现,允许用户对管理哪些 Pod 可以彼此通信的规则进设置和强制。 节点授权器(Node authorizer)和准入控制插件(admission control plugin)是新增用来限制kubelet基于节点对Secret、Pod和其对象的访问。 Secret的加密和其他etcd中的资源,现在可用并处于alpha态。 Kubelet TLS 启动现在支持客户端和服务端证书轮换。 由 API 服务器存储的审计日...阅读全文

博文 2021-01-28 17:50:35 debian.cn

如何在 Linux 上安装 Intel 微代码固件

微代码就是由 Intel/AMD 提供的 CPU 固件。Linux 的内核可以在引导时更新 CPU 固件,而无需 BIOS 更新。处理器的微码保存在内存中,在每次启动系统时,内核可以更新这个微码。这些来自 Intel/AMD 的微码的更新可以去修复 bug 或者使用补丁来防范 bug。 如果你是一个 Linux 系统管理方面的新手,如何在 Linux 上使用命令方式去安装或者更新 Intel/AMD CPU 的微码固件呢? 如何查看当前的微码态 以 root 用户下列命令: # dmesg | grep microcode 输出如下: 注意,你的 CPU 有可能出现没有可用的微码更新的情。这时它的输出可能是如下这样的: [ 0.952699] microcode: sig...阅读全文

博文 2018-03-07 19:37:47 debian.cn

深度解密基于 eBPF 的 Kubernetes 问题排查全景图

题导致的慢调用问题。从 gateway 来看发生了慢调用,查看拓扑发现调下游 product 的 RT 比较高,但是 product 本身的黄金指标来看 product 本身服务并没有问题,进一步查看两者之间的网络,发现 RTT 和重传都比较高,说明网络性能恶化了,导致了整体的网络传输变慢,TCP 重传机制掩盖了这个事实,在应用层面感知不到,日志也没法看出问题所在。这时候网络的黄金指标有助于定界出问题,从而加速了问题的排查。​二、节点问题Kubernetes 做了大量工作,尽可能确保提供给工作负载和服务的节点是正常的,节点控制器 7x24 小时地检查节点的态,发现影响节点正常的问题后,将节点置为 NotReady 或不可调度,通过 kubelet 把业务 Pod 从问题节点中驱逐出...阅读全文

博文 2022-03-21 09:11:51 joseph

Ryzen发布两周:AMD 称表现达到预期 四月发布更新

要游戏正确识别了 Zen 的核心与缓存,即可在启用 Ryzen SMT 技术后恢复正常性能。遗憾的是,该公司暂未给出确切的时间表。 简而言之,当前 Ryzen 用户只能享受到略低于理想的性能,除非它们将 Windows 电源设置选项指定为“高性能”模式才能得到改观。AMD 称,此举可减少处理器核心闲置为,在程序有需要时给出更快的响应。 至于Ryzen 桌面处理器的 CPU 默认均衡配置优化,AMD 表示会通过 4 月首周的更新进修复。【原文编译自 TechReport.com 】...阅读全文

博文 2021-01-28 17:50:24 debian.cn

提问的智慧(精简版)

骤,以及机器和软件的反应,直到问题发生。在命令处理的情下,提供一段操作记录(例如脚本工具所生成的),并引用相关的若干(如 20 )记录会非常有帮助。如果程序有诊断选项(如 -v --verbose --debug LOG_LEVEL=DEBUG 的详情指令),试着选择这些能在记录中增加调试信息的选项。记住,多不等于好。试着选取适当的调试级别以便提供有用的信息而不是让读者淹没在垃圾中。如果你的说明很长,在开头简述问题,接下来再按时间顺序详述会有所帮助。描述目标而不是过程如果你想弄清楚如何做某事(而不是报告一个 Bug),在开头就描述你的目标,然后才陈述重现你所卡住的特定步骤。😒 BAD | 我怎样才能从某绘图程序的颜色选择器中取得十六进制的 RGB 值?😊 GOOD| 我正试着...阅读全文

博文 2023-10-07 15:02:42 infras

我要彻底放弃 Debian 操作系统!-Michael Stapelberg

施。 虽然拥有一个lint工具(能实现快速、本地/离线的反馈)非常好,但最好的情还是完全不需要lint工具。实施变更(例如C++团队为所有包引入了一个新的强化标志)的团队应该能够让我明确看到他们的工作。 然而,实际情却恰恰相反,目前所有的包都由于lint而变得不干净,所有的维护者都需要阅读新内容是什么、可能会造成怎样的破坏、是否有影响以及怎样的影响、手动一些测试、最后再决定是否采用。整个过程的工作量巨大,而且还需要手动执机械的更改。 特别是,在Debian的变更模型中,所有更改的工作都会分派给包维护者。在工作中,我们发现相反的工作方式更好:即让负责变更的团队自选择那些能影响更多用户的更改,这样可以显著地提高效率,从而降低总体的成本和时间。当然,有些例外情(例如滥用语言功能的大型...阅读全文

博文 2019-03-22 17:01:23 Michael Stapelberg

HAProxy用法详解 最详细中文文档

pipe会打开两个文件描述符,因此,“ulimit -n”自动计算时会根据需要调大此值;默认为maxconn/4,其通常会显得过大; – noepoll:在Linux系统上禁用epoll机制; – nokqueue:在BSE系统上禁用kqueue机制; – nopoll:禁用poll机制; – nosepoll:在Linux禁用启发式epoll机制; – nosplice:禁止在Linux套接字上使用内核tcp重组,这会导致更多的recv/send系统调用;不过,在Linux 2.6.25-28系列的内核上,tcp重组功能有bug存在; – spread-checks <0..50, in percent>:在haproxy后端有着众多服务器的场景中,在精确的时间间隔后统一对众服务器进健康检...阅读全文

博文 2014-05-10 17:14:46 debian.cn

Python 社区有了新治理模式

随着 Python 之父 Guido van Rossum 逐步卸任 BDFL,Python(CPython)的未来之路牵动了万千开发者的心。没了首领,Python 今后的发展会怎么样?社区将如何作?谁来领导 Python 这门语言和社区呢?这些问题不得不解决,而用什么样的方式解决,这就需要先由社区讨论并最终决定。 前两天我们分析过目前 Python 社区已经提出的 7 种正在进投票的治理方案,而最新消息是,目前投票环节已经结束,最终 PEP 8016 当选了新时代的 Python 社区治理方案。 PEP 8016 治理方案采用指导委员会模式,其特点是引导治理的迭代,该方案由 Nathaniel J. Smith 和 Donald Stufft 提出。 PEP 8016 中提出了不信任...阅读全文

如何在 Debian 中安装 DHCP 服务器

动态主机配置协议(DHCP)是一种用于使主机能够从服务器自动分配 IP 地址和相关的网络配置的网络协议。DHCP 服务器分配给 DHCP 客户端的 IP 地址处于“租用”态,租用时间通常取决于客户端计算机要求连接的时间或 DHCP 服务器配置的时间。 DHCP 如何工作? 以下是 DHCP 实际工作原理的简要说明: 一旦客户端(配置为使用 DHCP 的机器)连接到网络后,它会向 DHCP 服务器发送DHCPDISCOVER数据包。 当 DHCP 服务器收到DHCPDISCOVER请求报文后会使用DHCPOFFER包进回复。 然后客户端获取到DHCPOFFER数据包,并向服务器发送一个DHCPREQUEST包,表示它已准备好接收DHCPOFFER包中提供的网络配置信息。 最后,DHCP...阅读全文

博文 2021-01-28 17:50:25 debian.cn

Debian的版本号及distributions

release的code name(名为code name的distribution)。每天一些叫做britney的scripts都会被,从sid中选出满足一定条件的packges更新到testing中。当release manager感觉合适的时候,testing被frozen,这意味这控制packages从unstable到testing的策略变紧了,too buggy的pacakges被移除,除bug fixes外其他改动不允许进入testing。根据进度一段时间过后,testing更进一步被frozen。处理testing的细节被Release Team在debian-devel-announce上发布。当Release Team对当前问题的解决情达到满意的程度后,testing就被...阅读全文

博文 2021-01-28 17:50:08 debian.cn

谷歌多项服务大规模宕机:涵盖YouTube、Gmail等

本周日,谷歌在全球范围内遭遇了大规模中断,包括Gmail、YouTube和Google Drive在内基于谷歌云架构服务的诸多谷歌服务均受到影响。本次宕机北京时间6月3日凌晨2点58分开始,用户访问谷歌服务出现各种错误提醒,并且用户无法访问电子邮件、上传YouTube视频等。 根据谷歌官方态页面显示,包括Gmail, Calendar, Drive, Docs, Sheets, Slides, Hangouts, Meet, Chat和Voice在内的谷歌服务均无法使用。那些依赖于谷歌云架构的第三方服务同时也受到影响,目前谷歌官方并没有完全恢复的预估时间,也没有公布关于本次宕机事件的根本原因。 苹果的iCloud服务也受到轻微影响,苹果报告称有不到1%的用户出现了响应时间低于正常值的情...阅读全文

博文 2019-06-03 14:03:32 debian.cn

不可变基础设施 (immutable infrastructure) - 云原生定义解析

(对于大中型机,甚至重启都是一种奢侈的)。所以,在当时不可变基础设施的设想是难以实现的,开发人员总是需要在服务器上对环境做一下持续的更改,如:系统升级,配置修改,补丁等。在许多手动修改之后,服务器的不同配置的重要性或必要性变得不清楚,因此更新或更改任何配置可能会产生意想不到的副作用(这就导致了 Martin Fowler所说的snowflake server “Phoenix Server”,2012)。可变基础设施通常会导致以下问题。在灾难发生的时候,难以重新构建服务。持续过多的手工操作,缺乏记录,会导致很难由标准初始化后的服务器来重新构建起等效的服务。在服务过程中,持续的修改服务器,就犹如程序中的可变变量的值发生变化而引入的态不一致的并发风险。这些对于服务器的修改,同样会引入中间...阅读全文

案例:Redis命令不当 引起数据库雪崩 造成数百万损失

服务化项目服务不可用几十分钟,造成订单数减少几十万笔,损失百万资金。 原因分析 当时是没有定位到具体的原因的,但是下面的原因也是一部分可能引起宕机的情。 某服务化项目的业务增速非常快,在高峰期,数据库QPS突破35000,系统处于高负荷态。 在高峰期如果同时执几个全表扫描的SQL,会造成数据库压力急剧上升,应用超时增多,前端应用超时,用户重试,流量飙升,形成了雪崩效应。 主要原因在与一些老项目的SQL查询性能较差,并且使用的主库,对数据库影响较大。数据库QPS太高,但是缓存方案因为人手原因一直没有落地,慢SQL的问题处理优先级应该提升。 改进方案 针对每个应用建一个数据库账号,严格按照规范使用 缓存优化方案即时落地,慢SQL问题优先处理,集中处理目前已经发现的慢SQL(查询时间超过1S...阅读全文

博文 2018-10-27 10:18:18 debian.cn

互联网协议正在发生变化

了。 事实上,iQUIC 当前的 ‘短报文头’ 被用于除了握手外的所有包,仅公开一个包编号、一个可选的连接标识符和一个态字节,像加密密钥轮换计划和包字节(它最终也可能被加密)。 其它的所有东西都被加密 —— 包括 ACK,以提高 通讯分析 攻击的门槛。 然而,这意味着通过观察连接来被动估算 RTT 和包丢失率将不再变得可;因为没有足够多的信息。在一些营商中,由于缺乏可观测性,导致了大量的担忧,它们认为像这样的被动测量对于他们调试和了解它们的网络是至关重要的。 为满足这一需求,它们有一个提议是 ‘Spin Bit’ — 这是在报文头中的一个回程翻转的位,因此,可能通过观察它来估算 RTT。因为,它从应用程序的态中解耦的,它的出现并不会泄露关于终端的任何信息,也无法实现对网络位置的粗略估...阅读全文

2021勒索软件报告:平均支付赎金增长171% 黑客最高要价3000万美元

派拓网络全球威胁情报团队 Unit 42 在这份报告中指出:“机构平均支付赎金从 2019 年的 115123 美元增加到 2020 年的 312493 美元,同比增长 171%。此外,组织支付的最高赎金从 2019 年到 2020 年翻了一番,从500万美元增加到1000万美元”。报告中还表示,网络犯罪分子已经变得越来越贪婪。从 2015-2019 年间,勒索软件的最高赎金要求是 1500 万美元。不过在 2020 年,当世界还在从冠病毒大流的公共健康和金融影响中恢复过来时,最高的勒索软件需求增长到 3000 万美元。值得注意的是,2020 年 Maze 勒索软件的平均赎金为 480 万美元,与 2020 年所有勒索软件的平均赎金 847,344 美元相比,有了显着增长。网络犯罪分子...阅读全文

Debian资源库已加入Spectre、Meltdown漏洞检查器

影响几乎所有现代处理器的“幽灵”(Spectre)和“熔毁”(Meltdown)安全漏洞的余波尚未散尽,软硬件厂商仍在携手努力给平台打补丁。如果你正在 Debian GNU/Linux 环境,并且希望检查系统是否存在严重的安全漏洞,那么现在已经可以从 Debian 资源库下载 Spectre 和 Meltdown 缓和检查器了。Debian 项目团队表示,用户只需输入单命令,即可完成该脚本的安装。 本月早些时候,外媒 Softpedia 曾发布过一篇面向 Linux PC 用户的安全检查教程。不过现在,Debian GNU/Linux 用户只需打开终端,并输入如下命令: sudo apt-get install spectre-meltdown-checker 然后...阅读全文

博文 2018-01-31 10:28:44 debian.cn

Chrome 64发布:已打CPU补丁提升安全等级

今天,Google开始面向Windows、Mac和Linux平台推送Chrome 64稳定版更新,预计将会在未来几天/几周内完成。本次版本更新最值得关注的就是修复了Meltdown和Spectre两处CPU漏洞,阻止黑客利用这两个漏洞入侵用户设备。 Chrome 64改进了弹出阻止器,Google声称将阻止有恶意倾向的网站打开新的标签页或者窗口。如果你曾经被透明覆盖的网站、故意让你点击播放的按钮等方式所欺诈过,那么这项功能会让你感到满意。 正如此前所报道的,自Chrome 64开始自动视频播放默认情下会处于关闭态,不过自然也有一些例外的情。例如已经静音或者没有声音的视频可以自动播放,或者用户表现出对这个视频内容的足够兴趣。 在安全方面,Google升级了Chrome的V8...阅读全文

博文 2018-01-25 13:30:24 debian.cn