InfraPub 为您找到相关结果 722

GitLab 12.5 稳定版发布:支持EKS集群、多云托管和环境面板等

GitLab 于上周发布了 12.5 新版本,官方在发布说明中介绍到,为了尽可能高效交付高质量的软件,企业会经常需要跨多云以支持广泛的基础架构,因此新版带来了 EKS 集群和环境面板等功能以支持跨各种配置的项目配置,更方便监控和管。 轻松创建并部署 EKS 集群 在新版本中 GitLab 添加了 EKS 集成,因此我们可以在 GitLab 集群页面中选择 EKS 作为选项,然后系统会提示进行身份验证以使用 AWS 账户。一旦通过身份验证,只需为集群指定所需的参数,GitLab 将负责完成其余的工作。因此在新版本中,我们只需单击几下就可以在 Amazon 的 EKS 上创建 Kubernetes 集群。 使用 Crossplane 配置多云托管服务 在 GitLab 12.5 中,我们可...阅读全文

Kubernetes 1.14 发布,31 项功能增强

Kubernetes 1.14 发布了,些版本主要关注可扩展性并支持更多工作负载,带来了 30多项功能增强,其中包括从 beta 到稳定的 10 项功能。亮点包括以下几部分。 持久化本存储 持久性本存储的主要用例是数据库和分布式文件系统。这是一个重要里程碑,显然,本存储的性能优于远程磁盘,无论该存储是由云提供商提供的本 SSD 还是连接到裸机系统的磁盘。 Windows 节点的生产级支持 绝大多数企业都拥有包含 Windows 工作负载的异构环境,现在不必寻找其它协调器来管这些 Windows 容器。Kubernetes v1.14 改进支持了 pod、服务类型、工作负载控制器和 metrics/quotas,使得与 Linux 功能相当。 PID 限制 目前处在测试阶段...阅读全文

Kubernetes 1.9发布:Apps Workloads通用版本与生态系统扩展

(简称GA) 我们兴奋向大家宣布,apps/v1 Workloads API[1]通用版本现在已经默认启用。Apps Workloads API负责将DaemonSet、Deployment、ReplicaSet以及StatefulSet API等整合起来,从而构建起在Kubernetes内长期运行无状态与有状态工作负载的根本性基础。需要强调的是,Batch Workloads API(Job与CronJob)并不在Apps Workloads API的整合范畴之内,未来前者将推出自己的独立通用稳定版。 Deployment与ReplicaSet属于Kubernetes当中使用频率最高的两个对象,根据一年多以来收集到的实际使用与反馈意见,二者的稳定性已经得到极大提高。SIG Apps[2]也...阅读全文

博文 2017-12-17 01:00:00 debian.cn

深入理解Golang之context

:= srv.newConn(rw) c.setState(c.rwc, StateNew) // before Serve can return go c.serve(ctx) } } 2、建立连接之后会基于传入的context创建一个valueCtx用于存储本信息,之后在此基础上又创建了一个cancelCtx,然后开始从当前连接中读取网络请求,每当读取到一个请求则会将该cancelCtx传入,用以传递取消信号。一旦连接断开,即可发送取消信号,取消所有进行中的网络请求。func (c *conn) serve(ctx context.Context) { c.remoteAddr = c.rwc.RemoteAddr().String() ctx = context.WithValue(ctx...阅读全文

博文 2021-01-27 09:05:27 知乎

Debian上安装配置Docker容器管理平台Rancher

Rancher是一个开源项目为Docker容器环境提供了较完善的管平台。Rancher 允许我们在大规模生产环境中使用 Docker。 Rancher 提供模块化基础架构服务,如多主机网络、全局和本负载平衡、监控、恢复和卷快照等。本文我们将介绍如何在Debian 9 Stretch 上安装配置 Rancher。 安装要求 运行Debian 9的服务器。 具有sudo权限的非root用户。 开始 在开始之前,建议将您的APT存储库更新为最新版本。 您可以使用以下命令执行此操作。 sudo apt-get update -y sudo apt-get upgrade -y 接下来,可以重新启动系统以应用所有更改。然后使用以下命令安装所需的软件包: sudo apt-get install...阅读全文

博文 2018-04-10 22:27:37 debian.cn

Facebook 以最高级别身份加入Linux基金会及其董事会

项目使电信运营商可以轻松在难以到达的区域部署移动网络,从而降低了建设和维护电信网络的成本。Facebook 的 “Data for Good” 计划用于共享数据,以解决一些世界范围内的人道主义问题,包括在 COVID-19 疫情期间发挥作用。创建并维护 PyTorch 开源生态系统,为在计算机视觉、自然语言处和其他学科中利用人工智能和机器学习贡献了很大一份力量;React.js 也由 Facebook 创建,它为世界上一些最受欢迎的网站提供支持,并且由于其简单性和灵活性而成为前端 Web 开发标准。 Linux 基金会会员分为银级、金级和白金级三种不同等级,白金级即最高等级,每年需缴纳会费 50 万美元,同时拥有董事会席位。AT&T、谷歌、华为、IBM、英特尔、微软、Oracle、腾...阅读全文

系统解析JDK源码,领略大牛设计思想,JAVA面试必备

富的组件和主题,可以快速构建美观、易用的页面。 Axios:Axios是一种流行的HTTP请求库,它可以轻松异步请求、拦截器等功能。 ECharts:ECharts是一款优秀的图表库,它可以提供多种类型的图表和交互方式,可以方便展示数据。 功能设计 商城后台管系统通常包含以下功能: 登录/注销:管员可以通过用户名和密码进行登录,并可以退出登录。 权限管:管员可以对用户和角色进行管,控制用户的访问权限。 商品管:管员可以添加、修改、删除商品信息,包括商品名称、价格、库存、图片等。 订单管:管员可以查看订单列表、订单详情、订单状态等。 数据统计:管员可以查看系统中的数据统计报表,包括销售额、订单量、会员数等。 开发流程 下面是商城后台管系统的开发流程: 1. 搭建环...阅读全文

博文 2023-05-27 12:50:27 bianchengyuan123

MySQL 8 第一个正式版发布:更好的性能

、授权。 参考阅读: 详细更新说明:https://dev.mysql.com/doc/relnotes/mysql/8.0/en/news-8-0-11.html 官方发布说明:https://blogs.oracle.com/mysql/announcing-general-availability-of-mysql-80 MySQL 8 正式版的新增功能:https://mysqlserverteam.com/whats-new-in-mysql-8-0-generally-available/ MySQL 8 正式版下载: 下载...阅读全文

博文 2018-04-20 10:40:18 debian.cn

Debian 上安装搭建 Shadowsocks 服务

安装,但使用 deb 包安装会自动生成开启启动的脚步在 /etc/init.d 目录下,采用哪种方式安装就因人而异了 接下来就需要编译配置文件 $ vi /etc/shadowsocks-libev/config.json 然后将配置文件改为 { "server":"0.0.0.0", "server_port":443, "password":"yourpassword", "method":"aes-256-cfb", "timeout":60 } 其中 server:主机域名或者IP,尽量填 0.0.0.0 来代表了本机 ip server_port:服务器监听端口 password:自定义密码 method:加密方式 默认为table,其他有rc4,rc4-md5,aes-128...阅读全文

博文 2021-01-28 17:50:14 debian.cn

Web前端知识体系精简

Web前端技术由html、css和javascript三大部分构成,是一个庞大而复杂的技术体系,其复杂程度不低于任何一门后端语言。而我们在学习它的时候往往是先从某一个点切入,然后不断接触和学习新的知识点,因此对于初学者很难清楚整个体系的脉络结构。本文将对Web前端知识体系进行简单的梳,对应的每个知识点点到为止,不作详细介绍。目的是帮助大家审查自己的知识结构是否完善,如有遗漏或不正确的方,希望共勉。 JAVASCRIPT 篇 0、基础语法 Javascript基础语法包括:变量定义、数据类型、循环、选择、内置对象等。 数据类型有string,number,boolean,null,undefined,object等。其中,string,number和boolean是基础类型,null...阅读全文

博文 2021-01-28 17:50:33 debian.cn

使用 Go 语言的三个原因

几个星期前,我一个朋友问我:“为什么要关心 Go 语言”? 因为他们知道我热衷于 Go 语言,但他们想知道为什么我认为 其他人 也应该关心。本文包含三个我认为 Go 是重要的编程语言的原因。 安全 个人而言,你和我或许完全有能力在 C 中编写程序,既不会泄漏内存,也不会不安全重复使用内存。然而,整体上,即使有超过40年的经验,用 C 的程序员也无法可靠这样做。 尽管静态代码分析、valgrind、tsan 以及 “-Werror” 已经存在了几十年,却很少有证据表明这些工具被广泛认可,更不用说广泛采用。总而言之,事实表明,程序员根本无法安全自己的内存。现在是离开 C 的时候了。 Go 不需要程序员直接管内存,所有内存分配都由语言运行时自行管,使用前初始化,必要时检查边界。它肯...阅读全文

博文 2021-01-28 17:50:28 debian.cn

Kafka 3.0新特性全面曝光,真香!

),则在下一次推送日志时缩小nextIndex,直到nextIndex验证通过。总结一下就是:当leader和follower日志冲突的时候,leader将校验 follower最后一条日志是否和leader匹配,如果不匹配,将递减查询,直到匹配,匹配后,删除冲突的日志。这样就实现了主从日志的一致性。(二)Raft协议算法代码实现前面我们已经大致了解了Raft协议算法的实现原,如果我们要自己实现一个Raft协议的算法,其实就是将我们讲到的论知识给翻译成为代码的过程,具体的开发需要考虑的细节比较多,代码量肯定也比较大,好在有人已经实现了Raft协议的算法了,我们可以直接拿过来使用。创建maven工程并导入jar包如下: 阅读全文

博文 2022-04-28 16:02:11 mp.weixin.qq.com

六个开源软件开发的潜规则

代码、撰写文档、修正错误。所有的这些不受待见的任务在一个健康的社区中都是必要的。 为什么要在优雅写代码前做这些呢?这是一种信任,更重要的是,不要只关注自己开发的功能,而是要关注整个社区的动向。 博闻强识,敦善不怠 当你在某个社区中建立起自己的声望,那么很有必要全面了解该项目和代码。不要停留于任务状态上,而是要去钻研项目本身,解那些超出你擅长范围之外的知识。不要只把自己的解局限于开发者,这样会让你着眼于让你的代码有更大的影响,而不只是你那一亩三分。 打个比方,你已经完成了一个网络模块的测试版本。你测试了一下,觉得不错。然后你把它开放到社区,想要更多的人测试。结果发现,当它以特定的方式部署时,有可能会破坏安全设置,还可能导致主存储泄露。如果你将代码视为一个整体时问题就可以迎刃而解,而不是...阅读全文

博文 2017-05-20 10:27:11 debian.cn

ServiceMesh 透明代理Linkerd

Linkerd 是一个提供弹性云端原生应用服务网格(service mesh)的开源项目,也是面向微服务的开源 RPC 代。Linkerd(发音 "linker-DEE")是一个透明的服务网格,旨在通过透明将服务发现、负载均衡、故障处,插桩(instrumentation)和路由添加到所有的服务间通信中,使现代应用程序安全可靠,而无需侵入应用内部本身的实现。 linkerd 作为一个透明的 HTTP/gRPC/thrift/ 等代,通常可以以最少的配置被加入到现有的应用程序中,不管这些应用程序采用什么语言编写。linkerd 能与许多通用协议和服务发现后端运行,包括 Mesos 和 Kubernetes 等预定好的环境。 Linkerd 基于 Netty 和...阅读全文

如何在 Debian 下配置邮件服务器

务器的域名也需要配置,这可以从确保该邮件服务器发送的所有邮件都有@ example.tst作为发件人域。 postfix的配置文件存储在/etc/postfix目录。下面的配置文件是非常重要的。他们中的一些可能不存在,因此需要手动创建。 transport:主要用于定义邮件如何被路由到特定的目标域。绕过DNS查询可以是一个很好的例子。在这种情况下,人们可以发送到域XYZ.com的电子邮件直接通过IPXYYX不考虑任何DNS查询的结果。 access:可用于安全目的,如阻止发件人/收件人和他们的域名。 aliases:用于定义用户别名。例如,发送到userA的邮件可以由userB和userC接收。 main.cf:是postfix的配置文件。 SMTP:准备配置文件 差不多可以准备配置文件...阅读全文

博文 2021-01-28 17:50:22 debian.cn

Gitlab CI 配置文件 .gitlab

update --init --recursive 注意:如果想要此功能正常工作,子模块必须配置(在.gitmodules)下面中任意一个: 可访问的公共仓库http(s), 在同一个GitLab服务器上有一个可访问到另外的仓库的真实。更多查看Git 子模块文档。 Job stages attempts GitLab引入,要求GItLab Runner v1.9+。 正在执行的job将会按照你设置尝试次数依次执行下面的stages: 变量 描述 GET_SOURCES_ATTEMPTS 获取job源的尝试次数 ARTIFACT_DOWNLOAD_ATTEMPTS 下载artifacts的尝试次数 RESTORE_CACHE_ATTEMPTS 重建缓存的尝试次数 默认是一次尝试。 例如...阅读全文

博文 2018-12-12 21:09:02 ci.yaml 详解(下)

Linux:为什么那么多人讨厌 Systemd

Systemd在Linux社区引起了无限争议。一些Linux用户对systemd的反对绝不屈从,还有一些Linux用户对systemd喜爱有加,还有很多人满不在乎。近日,关于systemd的话题又出现在社区中,很多人分享了自己的想法。一时兴起,笔者梳了几个比较经典的回答。 为什么不喜欢systemd? 不断听到很多人抱怨systemd有多么不好,但它还是被极大普及了,并且我在网上所读到的很多文章都在介绍systemd的好处,比如更快的启动时间和更完善的日志记录,据说过去在fedora-13上开机速度测试,upstart是27秒,而systemd仅用了24秒。 有人认为unix是做一件事,就把它做好,而systemd则是把pid 1扩张到最大化。这可能是很多人讨厌systemd的重大原...阅读全文

3个 Linux 命令让你看起来很忙:摸鱼的技巧

如果你看过谍战片、动作片或犯罪电影,你就会在脑海中勾勒出黑客坐在电脑屏幕前的样子:一行行快速移动的代码,大量的矩阵中的十六进制数字代码像雨水一样飞过。也许有一张世界图,上面有一些发光点和一些快速更新的图表,也许还会有三维几何图形。如果可能的话,这一切还可以显示在多个显示器上面。 当然,我们这些技术人员很快意识到这完全是胡说八道。虽然我们中的许多人都有双显示器(或更多),但闪烁的数据通常与专注于工作这一目的背道而驰。编写代码、管项目和管系统与股票交易不同。我们遇到的大多数情况都需要我们对试图解决的问题进行大量思考,与利益相关者进行良好的沟通,进行一些研究以及组织信息,然后还有占工作量很少的快速打字。 但这并不意味着我们不想和电影中的黑客一样。有时,我们只是想让自己看起来“有效率”。 旁...阅读全文

博文 2019-09-28 15:48:43 debian.cn

互联网协议正在发生变化

HTTP 代服务器使得部署新的压缩技术更困难;中间设备中的 TCP 优化使得部署对 TCP 的改进越来越困难。 最后,我们正处在一个越来越多使用加密技术的互联网变化当中,首次激起这种改变的事件是,2015 年 Edward Snowden 的披露事件(LCTT 译注:指的是美国中情局雇员斯诺登的事件)。那是一个单独讨论的话题,但是与之相关的是,加密技术是最好的工具之一,我们必须确保协议能够进化。 让我们来看一下都发生了什么,接下来会出现什么,它对网络有哪些影响,和它对网络协议的设计有哪些影响。 HTTP/2 HTTP/2(基于 Google 的 SPDY) 是第一个重大变化 —— 它在 2015 年被标准化。它将多个请求复用到一个 TCP 连接上,从而避免了客户端排队请求,而不会互相阻塞。它现...阅读全文

企业制定开源战略的免费指南

大多数使用开源的公司都了解其商业价值,但他们可能缺乏战略性实施开源计划和获得全部回报的工具。根据 The New Stack 最近的一项调查,“开源计划的三大好处是 1)提高了对开源的认识,2)提高了开发周期的速度和灵活性,以及 3)更好的许可证合规性。” 开源指南 运作一个开源计划办公室涉及到创建策略来帮助你定义和实施你的方法,并衡量你的进度。由 Linux 基金会与 TODO Group 合作开发的 企业开源指南基于多年的经验和实践提供了专业开源知识。 最新的指南中, 设置开源战略详细介绍了制定战略和确保成功之路的基本步骤。根据该指南,“你的开源战略将管、参与和创建开源软件的计划与计划所服务的业务目标联系起来。这可以开辟许多机会并促进创新。”该指南涵盖以下主题: 为什么制定战略?你...阅读全文

博文 2018-12-17 13:05:32 debian.cn

Kubernetes 1.18 发布

Kubernetes 1.18 发布了,这是 2020 年首次版本发布。此版本包含 38 项功能增强,其中 15 项为稳定版功能、11 项 beta 功能以及 12 项 alpha 版功能。 主要更新亮点包括: Kubernetes 拓扑管器 beta 拓扑管器的作用是让 CPU 与其它设备(例如 SR-IOV-VF)实现 NUMA 对齐,进而让工作负载运行在优化环境中以降低延迟。在拓扑管器推出之前,CPU 与设备管器只能彼此独立做出资源分配决策。此版本拓扑管器已经发展到 beta 版本。 Serverside Apply beta 2 beta 2 版本将跟踪并管所有新 Kubernetes 对象的字段变更,确保用户及时了解哪些资源在何时进行过更改。 使用...阅读全文

博文 2020-03-27 18:28:34 debian.cn

容器镜像仓库 Harbor 发布 2.0 版

Harbor 2.0 现已发布,此版本使 Harbor 成为第一个符合OCI(Open Container Initiative,开放容器倡议)标准的开源注册表,能够存储大量云原生工件,例如 container images、Helm 图表、OPAs、Singularity 等等。 Harbor 团队在博客中表示,“尽管 Harbor 现在符合OCI,但现有用户不必担心;Harbor 的所有熟悉的操作和主要优点都可以很好转化为 OCI。您可以像处图像一样 push、pull、delete、retag、copy、scan、以及 sign indexes。漏洞扫描和项目策略(用于加强安全性和合规性的关键要素)已经过改进,可以与 OCI 工件一起使用。我们还提供了一项新的关键功能:现在,您可...阅读全文

博文 2020-05-14 12:58:04 debian.cn

三位候选人正进行 2022 Debian 项目负责人选举

mdadm, gocryptfs,wolfssl和其他一些较小的 Debian 包Debian 议程担任领导者后,将孜孜不倦努力减少 Debian 项目中的冲突。对外界将尽一切努力帮助世界各的用户和专业社区重新爱上 Debian。让 Debian 成为所有编程生态系统的首要开发平台。推进项目的各种长期挑战,例如补充老龄化成员和处特定语言包管器的激增(也称为“供应商”问题)。​Jonathan Carter又名 highvoltage,Debian 帐户名为 jcc,2020、2021 两年连续担任 DPL (Debian 项目领导人)。Debian 议程考虑正式注册 Debian 组织,包括成立基金会等工作。(该项同时也是 2021 年竞选的议程)改进会计工作、梳 Debian 资产。(该...阅读全文

使用 nvme-cli 工具来了解你的 NVMe 驱动器

NVMe 驱动器当你准备出售或处你的 NVMe 电脑时,你可能想安全擦除驱动器。这里的警告与格式化过程中的警告相同。首先要备份重要的数据,因为这个命令会删除这些数据!$ sudo nvme sanitize /dev/nvme0nX尝试 nvme-clinvme-cli 命令是在 GPLv2 许可下发布的。它是一个强大的命令,有很多有用的选项,用来有效控制和管数据。...阅读全文

博文 2021-09-26 15:12:24 joseph

Linux Mint 19.2 Tina Beta 版发布 更好的内核管理功能

现在能够区分重复的应用程序(例如,flatpak、snap)新的滚动条设置ISO 中包含新的“引导修复”工具默认情况下启用“最近的文档”Blueberry 小程序可让用户更快断开/连接配对设备Xed 支持切换注释和注释块新壁纸Mint GTK 主题调整 此外,Nemo 文件管器现在支持 文件和文件夹固定 。这在大型目录中特别方便,因为它可以免去不必要的搜索。 一系列 Samba 支持改进也在 Cinnamon 4.2 中提供,包括在设置 Samba 时自动添加“适当的 UFW 防火墙规则”。...阅读全文

博文 2019-07-17 16:39:26 debian.cn

运维的未来:云服务兴起,运维人员会“下岗”吗?

本文作者 Tyler Treat 是一名软件工程师,他认为运维的未来从很多方面来说都跟质量保证(QA)的未来走向相似。未来,运维要使开发者能够通过工具、自动化和流程实现自助服务。传统的运维( Ops)没有消失,只是在重组。 云服务的发展看起来让运维人员“丢”了工作,因为从传统意义上说,从本(on-premise)转移到云平台意味着运维工作在相当大程度上外包给云提供商。这正应了那个流行词—— “无运维运动”(NoOps),许多人称之为 DevOps 的“继承者”,虽然这个词最近这些日子已经不是那么响亮了。这使得 Amazon 和开发团队创建的产品——包括基础设施自动化,部署自动化,配置管,日志管以及监控和检测——之间出现了隔膜,隔膜虽小,但却至关重要。 事实上,运维的未来从很多方面来说...阅读全文

博文 2021-01-28 17:50:31 debian.cn

多达 95% 的 HTTPS 链接能被黑客劫持

HSTS 是一个被当前大多数 Web 浏览器所支持的 Web 安全策略,它可以帮助 Web 管员保护他们的服务器和用户避免遭到 HTTPS 降级、中间人攻击和 Cookie 劫持等 HTTPS 攻击的危害。由于服务器管员没能正确设置 HTTP Strict Transport Security (HSTS),现今大量的 HTTPS 流量都能被轻松劫持。 95% 的 HTTPS 连接处于风险中 据最近的 Netcraft study 报告数据显示,当前多达 95% 的服务器所运行的 HTTPS 没有正确设置 HSTS 或其它配置,以至于将 HTTPS 连接暴露于上述攻击风险之中。 更值得注意的是,Netcraft 在三年前进行的同样扫描,不正确配置的 HSTS 比例仍同现在一样。这表明...阅读全文

博文 2021-01-28 17:50:14 debian.cn

处理器架构消亡史

架构也都是由RISC体系中发展出来的处器架构。包括IBM所推出的Power架构也都是RISC体系中的一员。他们的到来,构建了出了璀璨的处器架构时代,也对当时的英特尔造成了一定的压力。各领风骚数十载SPARC(可扩展处器体系结构)是最初由Sun Microsystems开发的精简指令集计算(RISC)指令集体系结构(ISA)。它的设计在很大程度上受到早期RISC设计的影响,包括来自加利福尼亚大学伯克利分校和IBM 801的RISC I和II 。这些原始的RISC设计极简,包括尽可能少的功能或操作码,旨在以每个时钟周期几乎一条指令的速率执行指令。SPARC于1986年首次开发,并于1987年发布,是最成功的早期商业RISC系统之一。在其推出首款SPARC处器产品后,SPARC就很快占领...阅读全文

Debian 公布关于支持非 systemd 初始化系统的投票结果

策略要求一致,并且通常建议软件包不应依赖于其他软件包的实验性或不受支持的(在 Debian 中)功能。软件包可能会包括对 systemd 以外的其他 init 系统的支持,并且可能包括其使用的任何 systemd 特定接口的替代。维护人员使用其常规的程序来确定要引入的补丁。Debian 致力于使用对 init 系统做出不同选择的衍生产品。和我们与下游的所有交互一样,相关的维护人员将与下游一起工作,以找出哪些变化适合加入到 Debian 中,哪些变化应该完全保留在派生工具中。...阅读全文

博文 2019-12-29 13:53:51 debian.cn

我要彻底放弃 Debian 操作系统!-Michael Stapelberg

,包括大型软件工程项目的工作原,而且我也明白自己多么喜欢我的计算机系统。我非常清楚这些日子以来的闲暇时间我是如何度过的。 我会在以下各小节中逐一介绍我所面临的主要困难,讨论顺序不分先后。其中有些困难有一些相互影响——例如,如果改动后的效果更好,那么我们就有机会将包转换成更方便的机器读取。 Debian的变更流程 最近几年,我目前的团队在整个代码库中进行了各种大大小小的重构(涉及数千个项目),因此在关于如何有效进行这些变更方面,我们学到了很多宝贵的经验。令我苦恼的是,Debian在各方面的工作方式几乎完全相反。我解每个组织都不同,但我认为我的很多观点确实适用于Debian。 在Debian中,包的推送必须严格遵守一个文档——叫做Debian策略,还有个程序lintian用来保证该策略的实...阅读全文

博文 2019-03-22 17:01:23 Michael Stapelberg

高性能日志采集工具 logpipe 简单介绍

在集群化环境里,日志采集是重要基础设施。本文结合最新的 1.0.9 版,对 logpipe 做一个简单的介绍。开源主流解决方案是基于 flume-ng,但在实际使用中发现 flume-ng 存在诸多问题。 比如 flume-ng 的 spoolDir 采集器只能对文件名转档后的大小不能变化的最终日志文件进行采集,不能满足采集时效性要求,如果要采集正在被不断追加的日志文件,只能用 exec 采集器搭配 tail -F 命令,但 tail -F 命令又不能通配目标目录中将来新增的未知文件名。其它解决方案如 logstash 由于是 JAVA 开发,内存占用和性能都不能达到最优。 作为一个日志采集的本,内存占用应该小而受控,性能应该高效,耗费 CPU 低对应用影响尽可能小,要能异步实时追踪...阅读全文

Harbor 1.9 发布:新增多项企业级功能

(Tag Retention) 除了项目配额之外,1.9 版还提供了一项增强功能,用于更好镜像生命周期并优化存储分配,此项功能称为“Tag保留”。Harbor 的存储中可能会迅速累积起大量镜像的文件,特别是在 Harbor 与 CI 系统挂钩在一起以自动生成内部版本时,许多 tag 会在一定时间之后或被下一个内部版本取代后过时。要释放这些已过期的镜像所占用的空间,并满足监管与合规要求,项目管员可以选择性定义镜像 tag 的保留策略,以留存具有特定匹配镜像 tag 的镜像,同时删除其他 tag 及其关联的 blob。无论是手动生成还是从 CI/CD 管道自动生成,镜像 tag 通常包含环境和镜像使用情况的大量元数据信息,足以用作定义保留策略的条件。 CVE 例外策略 (Exception...阅读全文

博文 2019-10-09 12:12:04 debian.cn

Consul 1.6 GA 发布

式(如基于 HTTP 路径的路由和流量转移)提高了可靠性。 点此了解更多 。Mesh 网关 。Mesh 网关是网络边缘的 Envoy 代,让独立网络环境中的服务能够轻松相互通信。它们由 Consul 使用类似机制作为 Sidecar Proxy 的配置。点此了解更多 。意图 & CA 复制。 这些功能实现了在 Consul 逻辑数据中心之间进行连接服务,并且是 Mesh 网关的重要构建部分。请注意,此功能以前属于 Consul 企业版的功能。 另请注意,此版本中已完全删除了在 1.3.0 中被弃用的托管代功能(managed proxies)。 详细更新内容请查看 Consul 1.6.0 Beta 版的发布公告 或 更新日志 。...阅读全文

AMD 2020处理器产品线曝光: Zen2 APU与Zen 3锐龙4000

Planet 3DNow上关于AMD新处器代号和路线图的文章引发广泛关注,提供了很多此前不曾为人了解的信息。其中,ThreadRipper产品线第三代产品代号Castle Peak,第四代产品代号Genesis,这是位于华盛顿的两处坐标。 访问购买页面: AMD旗舰店 看完HEDT,再来了解下锐龙家族, 按照时间顺序,明年一季度,AMD会推出Ryzen 4000U/4000H系列移动APU,其中U代表低电压,H代表35W标准电压,处器家族代号Renoir(雷诺阿),升级到Zen 2架构,即7nm CPU+12nm I/O集成化设计,同时搭配Navi显卡,插槽为FP6,BGA封装。 接着在二季度末,EPYC嵌入式芯片“Starship”上线,最高8C16T,Zen 2架构。6月份是...阅读全文

博文 2019-07-21 19:05:34 debian.cn

Intel 再曝“幽灵”类漏洞:二四六代酷睿受影响

在英特尔处器的“熔断”(Meltdown)和“幽灵”(Spectre)漏洞风波还未完全平息的时候,研究人员又在英特尔的处器上发现了新的漏洞,此前的“熔断”与“幽灵”补丁可能无法完全应对这种攻击手段。 这几名研究者来自美国的几所著名大学。他们发现了一种新的攻击方式,并把这一漏洞称为“BranchScope”。该漏洞与“熔断”和“幽灵”不完全相同,但与后者相似的方在于,它们都是通过处器中的分支预测(Branch Prediction)部分发起攻击的。它们的危害也相似:都可以直接访问用户的敏感信息。 研究人员在i7-2600、i7-4800MQ和i5-6200U三枚不同年代的Intel处器上成功验证了BranchScope漏洞。这很有可能说明,Intel酷睿系列的二代Sandy...阅读全文

博文 2018-03-30 08:48:47 debian.cn

在 Kubernetes 上扩展 TensorFlow 模型

由于人工智能 / 机器学习日益集成到应用和业务流程中,因此生产级机器学习模型需要更多可扩展的基础设施和计算能力,以用于训练和部署。 现代机器学习算法在大量数据上进行训练,并且需要数十亿次迭代才能使成本函数最小化。这类模型的垂直扩展会遇到操作系统级别的瓶颈,包括可提供的 CPU、GPU 和存储的数量,而且对于这种类型的模型,已经证明效率并不高。更为高效的并行处算法,例如异步训练和 allreduce 式训练,需要一个分布式集群系统,由不同的 worker (工作器)以协调的方式同时学习。 可扩展性对于在生产环境中服务深度学习模型也非常重要。将单个 API 请求处到模型预测端点可能会触发复杂的处逻辑,这将花费大量时间。由于更多用户访问模型的端点,为了有效客户端请求,需要更多服务实例...阅读全文

如何在Debian和Ubuntu下重新打包Deb文件

.deb包提取一些文件到“extract”文件夹; 第三条命令会解压.deb包的内容到“DEBIAN”子文件夹,在那里你就可以修改/补丁你想要的文件; 第四条命令建立一个名为“build”的文件夹; 而第五条命令会将修改后的文件重新构建到一个新的.deb包中,并在 “build” 文件夹中生成。 这就是本次教程!牢牢记住上面的命令吧,在你执行第三条命令后,可以通过你的默认文件管器,用一个图形化的文本编辑器可视化修改文件。如果你在学习本教程时遇到问题,不要犹豫,在下面给我们写下评论。...阅读全文

博文 2021-01-28 17:50:21 debian.cn

Linux kernel tcp_ipv6.c拒绝服务漏洞 CVE-2016-8645

发布日期:2016-11-24 更新日期:2016-11-29 受影响系统:Linux kernel 4.0 ~ Linux kernel < 4.8.7 描述: BUGTRAQ ID: 94264 CVE(CAN) ID: CVE-2016-8645 Linux kernel 4.8.10之前版本,TCP栈错误处了skb截断,在实现上存在安全漏洞,本攻击者通过构造的应用,可造成拒绝服务。 <* 来源:Marco Grassi *> 建议: 厂商补丁: Linux ----- 目前厂商已经发布了升级补丁以修复这个安全问题,请到厂商的主页下载: http://www.kernel.org/pub/linux/kernel/v4.x/ChangeLog-4.8.10 https...阅读全文

单条512GB!Intel 开始部署傲腾非易失性内存条

10 月 31 日消息,Intel 宣布,已经为广泛部署傲腾数据中心用、非易失性内存条(Optane DC persistent memory)做好了准备。 目前,Beta 项目已经启动,参与的 OEM(原始设备制造商,如华为、联想等)和 CSP 伙伴(云服务伙伴,如谷歌、阿里巴巴、亚马逊、微软等)可以更早向客户接入由傲腾非易失性内存条驱动的系统, 从而为 2019 年上半年批量上线奠定基础。 傲腾非易失性内存基于 3D Xpoint 技术,和目前的傲腾 SSD 共享存储芯片,从而弥补了传统 DDR4 内存不具备的数据永固和大容量特性, 单条最大 512GB,可配合 Xeon Scalable 处器使用。 特别的,Intel 此次为傲腾 DC 非易市内存提供应用模式和内存模式,前者可...阅读全文

博文 2018-10-31 22:13:41 debian.cn

AMD B550锐龙主板6月16日上市:PCIe 4.0将激活

据最新消息,AMD B550芯片组将在5月21日正式发布,但是要到6月16日,各家厂商的B550主板才会开始上市。早有消息称,AMD已经在今年第一季度量产B550、A520芯片组,在第二季度正式发布,之前甚至已有B550主板谍照和规格表曝出。 顺带一说,在那之前还会有新的锐龙处器面世,但是现在啥都不能说… AMD B550主板最诱人的方就在于搭配三代锐龙,可以启用来自处器的24条PCIe 4.0,分配给M.2接口、PCIe插槽,从而支持PCIe 4.0 SSD、显卡,尤其是随着PCIe 4.0 SSD价格越来越低,主流用户也可以体验更加飞一般的速度了。 此外,B550本身相对于B450也有了巨大的提升,比如支持10条PCIe 3.0、两个USB 3.1、十六个USB 2.0,甚至保留...阅读全文

博文 2020-04-19 17:25:23 debian.cn

GitHub 发布10月21日系统故障分析报告

GitHub 刚刚通过官方博客发布了 21 日“挂掉”的事件分析。GitHub 指出此次事件发生的原因是在 10 月 21 日 22:52 UTC 进行日常维护——更换发生故障的 100G 光学设备时导致美国东海岸网络中心与美国东海岸数据中心之间的连接断开。 更具体,GitHub 分析,虽然两的连接在 43 秒内恢复,但这次短暂的中断引发了一系列事件,这才导致了长达 24 小时 11 分钟的服务降级。 为了大规模提高性能,GitHub 的应用程序将直接写入每个群集的相关主数据库,但在绝大多数情况下将读取请求委派给副本服务器的子集。GitHub 使用 Orchestrator 来管 MySQL 集群拓扑并处自动故障转移,Orchestrator 在此过程中考虑了许多变量,并在...阅读全文

Debian 9.3上安装和配置 Observium 监控平台

装了UFW,使用以下命令启用UFW: ufw enable 接下来,使用以下命令通过UFW防火墙允许端口80: ufw allow 80 一旦配置了防火墙,打开您的网络浏览器并键入你的访问,您应该看到以下页面: 在这里,输入您的管员用户名和密码,然后点击登录按钮,您应该看到Observium默认仪表板。接下来,您将需要创建一个cron作业来轮询和发现来自网络的设备。 你可以通过在/etc/cron.d目录下创建一个cron文件来完成这个工作: nano /etc/cron.d/observium 添加以下行: # Run a complete discovery of all devices once every 2 hours 25 */2 * * * root /var/www...阅读全文

博文 2017-12-30 11:35:21 debian.cn

微软拥抱 Linux,Windows 10 商店上架 Debian

,如渗透测试、安全研究、计算机取证和逆向工程。该发行版由 Offensive Security Ltd 维护和资助,拥有超过 600 个预装的渗透测试程序,包括 Armitage (一个图形化网络攻击管工具)、Nmap (一个端口和服务扫描工具)、Wireshark、John the Ripper password cracker、Aircrack-ng、Burp Suite 和 OWASP ZAP(Web 应用安全扫描器)等等。 Debian 带来了超过 51000 个软件包(为了能在您的机器上轻松安装,这些软件包都已经被编译包装为一种方便的格式),一个软件包管器(APT),以及其他帮助您在上千台计算机上管数千个软件包的工具,过程就如安装一个应用程序那么简单。而这些全都是自由软件。...阅读全文

博文 2018-03-07 19:16:02 debian.cn

AMD抢先发布7nm芯片"米兰":只为抢更多服务器市场份额

AMD表示,公司最新发布的“米兰”服务器芯片比目前最好的数据中心芯片处速度更快。据悉,AMD完成该芯片的设计,并委托台积电采用7nm芯片制造工艺来实现量产。很快,Intel也要反击,其将在未来几周推出最新的“冰湖”(Ice Lake)服务器芯片,这将是首款采用Intel 10nm制造工艺量产的服务器芯片(据说性能相当于7nm制造工艺的“米兰”芯片)。无论这两款芯片的速度如何,但AMD仍有望拥有一些优势,比如每个芯片上的计算内核数更多,这使得芯片可以同时处更多的软件应用程序。AMD服务器业务部门高级副总裁兼总经丹·麦克纳马拉(Dan McNamara)表示,如果公司继续将客户反馈整合到新一代芯片中,就能保住领先位。第三代EPYC 7003系列采用和锐龙5000系列同款的Zen3架构...阅读全文

博文 2021-03-16 10:06:31 cnBeta.COM

Linux kernel 4.0全新发布!引入热升级

音频同步输出,HSA AMDKFD异构计算内核驱动开始支持Carrizo APU,Intel Skylake核显驱动基本成型,NVIDIA显卡驱动也有改进。 更多新硬件也得到了支持,比如Intel Quark SoC处器、更多ARM设备、IBM z13大型主机、东芝笔记本、罗技输入设备。 存储方面也值得一提,pNFS 、Btrfs RAID 5/6的加入和OverlayFS的新功能等。 Linus Torvalds对这个版本倒是很淡定:“就功能方面而言,4.0并没有太过特殊的,新内核补丁架构方面我们已经做了太多。现实讲,这并不是改变版本号的由,其他版本我们有过更大的变化。” 事实上他还透露说,Linux 4.1的变化其实会更大(bigger release),会有更吸引人的特性,但具体...阅读全文

AWS IAM 基本概念介绍

ComplianceIntegrated with many AWS servicesEventually ConsistentFree to use 基本概念 User 您可以在账户中创建与组织中的用户对应的各 IAM 用户,而不是与他人共享您的根账户凭证。IAM 用户不是单独的账户;它们是您账户中的用户。每个用户都可以有自己的密码以用于访问 AWS 管控制台。您还可以为每个用户创建单独的访问密钥,以便用户可以发出编程请求以使用账户中的资源。 Group IAM中,组是 IAM 用户的集合。利用组,可为多个用户指定权限,以便更轻松这些用户的权限。例如,您可能有一个名为 Admins 的组,并向该组授予管员通常需要的权限类型。该组中的任何用户均自动具有分配给该组的权限。如果有新用户加入您的组织,并且需要管员权限,则可...阅读全文

博文 2019-06-04 20:22:31 debian.cn

为何 Kubernetes 如此受欢迎?

Google 开发的这个容器管系统很快成为开源历史上最成功的案例之一。Kubernetes 是一个在过去几年中快速流行起来的开源容器管平台。它被众多大企业用于关键任务,已成为开源方面最成功的案例之一。这是怎么发生的?该如何解释 Kubernetes 的广泛流行呢? Kubernetes 的背景:起源于 Google 的 Borg 系统 随着计算世界变得更加分布式、更加基于网络、以及更多的云计算,我们看到了单个大型的应用慢慢转化为多个敏捷微服务。这些微服务能让用户单独缩放应用程序的关键功能,以处数百万客户。除此之外,我们还看到像 Docker 这样的容器等技术出现在企业中,为用户快速构建这些微服务创造了一致的、可移植的、便捷的方式。 随着 Docker 继续蓬勃发展,管这些微服务器...阅读全文

博文 2017-11-07 23:58:26 debian.cn

Kubernetes 1.7:安全加固、有状态应用更新等

Kubernetes API在运行时一起提供服务。其他重点改进的方包括可伸缩的准入控制器(admission controller),可插拔的云提供者,和容器运行时接口(CRI)。 新特性 安全: 网络策略 API(Network Policy API)提升至稳定状态。网络策略通过一个网络插件实现,允许用户对管哪些 Pod 可以彼此通信的规则进行设置和强制。 节点授权器(Node authorizer)和准入控制插件(admission control plugin)是新增用来限制kubelet基于节点对Secret、Pod和其对象的访问。 Secret的加密和其他etcd中的资源,现在可用并处于alpha状态。 Kubelet TLS 启动现在支持客户端和服务端证书轮换。 由 API 服务器存储的审计日...阅读全文

博文 2021-01-28 17:50:35 debian.cn

成功运作一个开源项目的15个要点

少。 2、透明 这一点很容易解:我们要使得社区可以观察和了解你正在做的事情:使用易于查找的可公开访问的源代码存储库,使用面向公众的问题跟踪软件,在社区可以找到的方公布发布计划,以及在公共论坛捕获会议记录(例如归档邮件列表)。 3、开放 对于很多开源项目来说,“透明度”和“开放性”意味着同一件事,但其实这两个术语的含义截然不同。开放不仅仅指的是“一目了然”(这与透明本质上是一样的)。对于许多人来说,开源的“开放”意味着开放新思想,或开放参与。参与开源项目的规则对于每个人应该是一样的(“公平的竞争环境”):仅仅接受几个补丁是不够的,你必须对新的思路点子开放。总之,你必须允许别人参与你的项目,放弃对项目的绝对控制。 4、保持“公平的竞争环境” 这并不一定意味着你必须让任何人加入项目,而是要确保...阅读全文

博文 2017-11-08 09:58:28 debian.cn