InfraPub 为您找到相关结果 799

Postgres 10 开发者新特性

。通过把来自不同列的数据关联起来,查询规划器(query planner)现在可以避免一些边缘情况,在那些边缘情况下,之前的Postgres版本会认为WHERE语句更强的选择性,并且会导致选择了错误计划从而拖慢执行时间。Postgres的这个改进在整个SQL世界中都是极具创新性的。 Postgres 10还对并行性进行了改进。开发者现在可以使用索引扫描(index scans)和仅索引扫描(index-only scans)、并行合并连接(merge joint)以及位堆扫描。并行查询是通过不同的workers来实现的,因此在某些情况下,设置和分解的成本会超过并行化的好处。默认情况下,可以在大于8MB大小的表以及大于512KB的索引上启用并行表扫描(parallel table scan...阅读全文

博文 2017-12-30 11:46:16 debian.cn

LXD 3.8 发布,下一代容器管理器

LXD 服务器必须配置为监听单个 IPv4 或 IPv6 地址,同时内部集群流量和常规客户端流量都使用相同的地址。LXD 3.8 引入新的 cluster.https_address 选项作出改变,write-once 写入密钥保存用于集群通信的地址,并且无法在不必从集群中删除节点的情况下进行更改。有了这个单独的密钥,现在可以将集群节点上的常规 core.https_address 更改为任何地址,包括通配符模式,如 :8443。 集群镜复制 集群中引入了自动镜复制, 在 LXD 3.8 之前,镜只会被复制到其它集群成员,虽然有利于性能、带宽和磁盘使用,但这有一个明显的缺点,即如果镜仅出现在单个系统上并且系统脱机,那么在系统恢复之前将无法使用该镜。 此版本通过在至少 3 个系统上复制所...阅读全文

博文 2018-12-14 10:29:14 debian.cn

Netty+Nacos+Disruptor自研企业级API网关

。 TypeScript:TypeScript是JavaScript的超集,它可以增加类型检查、接口声明等特性,减少错误和提高可读性。 NestJS:NestJS是一种流行的Node.js框架,它采用面向对象的编程方式,提供了路由、中间、模块化等丰富的功能。 GraphQL:GraphQL是一款优秀的数据查询和操作语言,它可以帮助我们快速构建API,并减少网络传输的数据量。 功能设计 我们将开发一个电商平台,包含以下主要功能: 用户管理:用户可以注册、登录、修改个人信息等,管理员可以查看用户列表并进行管理。 商品管理:管理员可以添加、修改、删除商品信息,包括商品名称、价格、库存、片等。 购物车:用户可以将商品加入购物车,并在结算时进行支付。 订单管理:管理员可以查看订单列表、订单详情、订单状态等。 开发流程 下面是全栈开发的开发流...阅读全文

博文 2023-05-27 12:49:20 bianchengyuan123

取代TCP:工程师宣布QUIC协议已完成RFC 9000发布

访问:天猫6·18 “开门红”超级红包活动主会场 | 手机版京东6·18“京享红包”25日12点开始领取 最大面额高达18618元 ( via Orozco 2018)据悉,工程团队中有三位核心成员,且他们对 QUIC 的承诺深信不疑。其中包括 IETF QUIC 工作组只需 Mark Nottingham,协议主要贡献者兼 quicly 创作者 Kazuho Oku,以及核心档集编辑、杰出工程师 Jana Iyengar 。最新消息是,互联网工程任务组(IETF)已经发布了 RFC 9000,且得到了 RFC 9001 / 9002 / 8999 支持,意味着 QUIC 已从草稿阶段转向了 1.0 正式版。与此同时,基于 QUIC 的 HTTP/3 也有望紧随其后很快发表。对于...阅读全文

Debian瞻前 微软顾后:安全改进是否会产生负面影响

在许多互联网领域,尤其是Web PKI和SSL/TLS行业中,我们大多生活在过去的决定中。脆皮密码、差强人意的协议设计以及不怎么标准的软始终牵绊着前进的步伐。往往一个新操作系统或库的问世都会迅速被大量使用,然后整个生态系统需要花上很多年的时间处理各种遗留的设计缺陷。 随着互联网规模和重要性的增长,我们试做出更明智的决定,以避免或至少缩短这一周期。最近,两个操作系统进行了更新,反映了两种不同的保持生态健康的做法: Debian推动了其预发行版本的更改,将只支持TLS 1.2;而微软则开始在Windows Server 2008添加TLS 1.2支持。 这两个选择代表了相反的观点 - 一个展望未来,另一个回顾过去。 Debian发布了一个新版本的OpenSSL库,用于其不稳定的构建 - 一...阅读全文

博文 2017-08-11 09:54:18 debian.cn

7 个月猛涨 12 亿美元,开源技术服务商成北欧最新独角兽 - OSCHINA

snaps 进行升级,也可以从官方网站下载。 主要更新内容 修复了接口方法上的调用层次结构以正确返回结果 如果 IDE 由于操作系统关闭而关闭,则修复了每次启动时重复索引的问题 修复了在 WSL 2 中重新打开项目时导致 IDE 冻... 5 1 J 语言联合创始人 Roger Hui 因癌症去世 J 语言邮列表昨日发布了 J 语言发明者之一 Roger Hui 去世的讣告。 我们从讣告得知,Roger Hui 在与癌症抗争数年后,于 2021 年 10 月 16 日星期六下午安详离世,生命的最后时光在临终关怀医院度过,享年 68 岁。 根据维基百科的介绍,J 语言是灵奖获得者 Kenneth E. Iverson 和许国华 (Roger Hui) 于 1990 年代初发... 8 1...阅读全文

博文 2021-10-21 20:04:43 中文开源技术交流社区

架构师详解 Nginx 架构

引言:众所周知,Nginx 服务器是一个高性能的 Web 和反向代理服务器。Nginx 在激烈的 Web 服务器竞争中依旧保持良好的发展势头,一度成为 Web 服务器市场的后期之秀,这一切跟 Nginx 的架构设计是分不开的。 一. Nginx 模块化设计 高度模块化的设计是 Nginx 的架构基础。Nginx 服务器被分解为多个模块,每个模块就是一个功能模块,只负责自身的功能,模块之间严格遵循“高内聚,低耦合”的原则。 核心模块 核心模块是 Nginx 服务器正常运行必不可少的模块,提供错误日志记录、配置解析、事驱动机制、进程管理等核心功能。 标准 HTTP 模块 标准 HTTP 模块提供 HTTP 协议解析相关的功能,如:端口配置、网页编码设置、HTTP 响应头设置等。 可选...阅读全文

博文 2018-05-01 23:10:47 debian.cn

成功运作一个开源项目的15个要点

每个人适用同样的规则(环境可能是公平的,因此你需要用自己的方法胜出)。英才制度意味着你需要用自己的方式脱颖而出。有些项目实施英才制度,例如,在邀请开发者加入项目团队之前,通过要求他们作出一些贡献,以表明他们了解项目的代码、规则和化。确保增加新的开发人员到项目中的过程是众所周知的,并且这些流程是透明的(例如公开投票)。 5、供应商中立 为了实现真正的开放,开发者需要大家认可他们的贡献。如果项目是供应商中立的,那么这更容易实现。供应商中立的项目不由任何组织或机构主导;英才制度应以个人的贡献为基础,不能基于任何特定组织的目标或招聘方法。在供应商中立的基础上托管是实现此目标的一种方式。 6、有良好的定义和标准 档化项目的代码格式规则(使代码格式化预设易于访问),对测试覆盖面、开发方法、软和...阅读全文

博文 2017-11-08 09:58:28 debian.cn

新加坡华侨银行(OCBC) 零门槛开户 使用APP在家即可申请

OCBC 简介OCBC 全称是新加坡华侨银行,是新加坡第二大银行。曾连续多年被评为“全球最安全银行”前三名,本会介绍一下 OCBC 的开户条、流程、手续费等。下面是开户流程。拿不准的可以加我 TG @algo6,可以免费咨询境外银行开户、港美股开户等问题。所需材料:有效期大于6个月的护照,不是需要办理后满6个月。有NFC功能的手机 (扫描护照内置芯片使用)有效期内的身份证(需要拍摄身份证正面)大陆地区的手机号码(接收验证码使用)半年内充值超过 1000 SGD 用于激活账户(顺便领取现金奖励)1. APP 下载安卓有条的可以使用 Google Play 搜索 OCBC,下载 OCBC Digital - Mobile。iOS 直接商店搜索。没有谷歌 Play 的可以试试 华为商店,或...阅读全文

欧洲核子研究组织(CERN)是如何使用 Linux 和开源的 - 云+社区

括存储大量数据,以及能够在合理的时间范围内处理数据,对于网络、存储技术和高效计算架构都是很大的压力。“Bell 说到。大型强子对撞机的运作规模和它产生的数据量带来了严峻的挑战,但 CERN 对这些问题并不陌生。CERN 成立于 1954 年,已经 60 余年了。“我们一直面临着难以解决的计算能力挑战,但我们一直在与开源社区合作解决这些问题。”Bell 说,“即使在 90 年代,当我们发明万维网时,我们也希望与人们共享,使其能够从 CERN 的研究中受益,开源是做这事的再合适不过的工具了。”使用 OpenStack 和 CentOS时至今日,CERN 是 OpenStack 的深度用户,而 Bell 则是 OpenStack 基金会的董事会成员之一。不过 CERN 比 OpenStack 出...阅读全文

博文 2021-11-29 13:20:55 腾讯云

Ubuntu 17.10正式发布:桌面弃32位 七年首次换桌面

今天,Canonical公司正式推出了最新版的Ubuntu 17.04,开发代号为Artful Aardvark(机灵的土豚)——Ubuntu的代号一直都是两个相同字母单词的单词,一个是形容词,一个是动物名,如今已经完成一个A-Z字母表轮回,重新从A开始。 更值得关注的是这个当今最流行Linux发行版在功能特性上的变化,首先就是桌面版放弃了对32位硬的支持,仅提供64位版本,不过服务器平台和各种衍生版本依然支持32位。 新系统内核是Linux 4.13,而桌面UI七年来第一次放弃了Unity,替换为新的GNOME 3,具体的软包版本为3.26.1,Ubuntu GNOME版本也同时被放弃。 另外,Ubuntu 17.10现在默认使用Wayland作为显示服务器,古老且臃肿的X.Org...阅读全文

博文 2017-10-19 23:00:53 debian.cn

王垠:如何掌握所有的程序语言

了这里面的东西,每个程序员都应该可以做到这一点。嗯,但愿吧。 重视语言特性,而不是语言 很多人在乎自己或者别人是否“会”某种语言,对“发明”了某种语言的人倍加崇拜,为各种语言的孰优孰劣争得面红耳赤。这些问题对于我来说都是不存在的。虽然我写章批评过不少语言的缺陷,在实际工作中我却很少跟人争论这些。如果有其它人在我身边争论,我甚至会戴上耳机,都懒得听他们说什么 为什么呢?我发现归根结底的原因,是因为我重视的是“语言特性”,而不是整个的“语言”。我能用任何语言写出不错的代码,就算再糟糕的语言也差不了多少。 任何一种“语言”,都是各种“语言特性”的组合。打个比方吧,一个程序语言就一台电脑。它的牌子可能叫“联想”,或者“IBM”,或者“Dell”,或者“苹果”。那么,你可以说苹果一定比 IBM 好...阅读全文

博文 2017-07-10 10:13:17 debian.cn

5G路由器来了:模块化猫设计

距离AT&T宣布“2018年底”推出12城市5G网络的最后期限越来越近。 近日,AT&T 宣布与Cradlepoint建立合作伙伴关系,Cradlepoint提供多种型号的“5G Evolution”路由器。这些路由器现在提供高速4G网络,并承诺在未来支持更快的5G网络。 AT&T将在在全国范围内开始销售5G网络路由器,而无需在特定区域内保证5G网络服务。 5G路由器登场(片来源:venturebeat) 从积极的方面来说,5G Evolution设备承诺的功能和性能可能至少足以满足当前的部署需求。 车载路由器将支持从出租车到应急响应车辆的所有设备,以获得精确的GPS位置和高达1Gbps的数据性能,FirstNet 用户可享受增强的安全性和优先通信。 从公告中不清楚的是...阅读全文

Kubernetes 1.7:安全加固、有状态应用更新等

,每一个节点上创建一个 Pod 已经有了一个更新特性,在1.7中添加了更加机智的回滚和历史回溯能力。 一个新的 StorageOS 卷插能从本地的和连接的节点存储中提供高可用的、集群范围的持久性卷。 可扩展性: 运行时的 API 聚合是这次发布中最强大的特性,可以让高级用户向集群中添加预先构建的、第三方的或者用户自制的具有Kubernetes风格的API。 容器运行时接口(CRI)通过新的从运行时获取容器指标的 RPC 调用得到增强。CRI 的验证测试已经发布,和containerd 1.0的整合处于 alpha 状态,现在支持基本的 Pod 生命周期和镜管理。可以阅读我们之前深入介绍 CRI 的章。 其他特性: 引入了对于外部的准入控制器的支持,现在处于 alpha 状态,提供了两种选...阅读全文

博文 2021-01-28 17:50:35 debian.cn

谷歌元老施密特隐退:传奇落幕 新篇开启

。对于这句话佩奇也是有着深刻的理解,在担任谷歌 CEO 短短四年之后,他就将 CEO 的位子让给了2004年加入谷歌的印度人桑达尔·皮查伊,他主导了 Android 的后期运作、还一手建立起了 Chrome 项目。 可以预见的是,佩奇和布林两位创始人现在从公司运营一线退了下来,就7年前的施密特一样,而未来他们也应该会完全把手中的担子交给年轻人,然后今天的施密特一样安然退休。传奇落幕,新篇开始,原来在商业和科技界,也有体育赛场上那样的伟大传承。【本转载自威锋网】...阅读全文

博文 2017-12-24 09:18:44 debian.cn

不可变基础设施 (immutable infrastructure) - 云原生定义解析

云原生技术的不断发展,2018年,CNCF扩展了云原生技术的定义,以下是云原生技术的新定义:“云原生技术有利于各组织在公有云、私有云和混合云等新型动态环境中,构建和运行可弹性扩展的应用。云原生的代表技术包括容器、服务网格、微服务、不可变基础设施和声明式API。这些技术能够构建容错性好、易于管理和便于观察的松耦合系统。结合可靠的自动化手段,云原生技术使工程师们能够轻松地对系统作出频繁和可预测的重大变更。”其中,容器,微服务等概念早已深入人心,而很多开发人员都对此次提及的“不可变基础设施”这个概念有不少疑惑,下将对这个概念进行解析。其实不可变基础设施这个概念由来已久,并在不同的场合被很多技术专家已不同的形式提出并讨论过, 例如:“Trash Your Servers and Burn...阅读全文

AMD Zen架构双路处理器曝光 很强大

2017年AMD要杀回高性能处理器市场了,明年Q1季度首发8核16线程的桌面版Zen处理器,接着还有32核64线程的Naples(那不勒斯)服务器版处理器,CPU核心数比Intel目前下一代Xeon E的28核56线程还要多。 此前我们对桌面版Zen处理器有所了解,但服务器版Naples处理器还很神秘,上周末有网友曝光了AMD Naples处理器真身,不过这个是16核心的,双路处理器用的,CPU插槽也不是AM4,而是Intel一样的LGA。 爆料的片来自Reddit用户GumGum9000,片相当清晰,不过他没有具体说明该处理器的资料,只说是16核Naples处理器。这有点让人迷惑,因为AMD官方早前曝光的Naples处理器都是32核64线程的,尚未听说过有16核的,但考虑到服务器市场...阅读全文

博文 2021-01-28 17:50:21 debian.cn

Windows Lite 对微软来说意味着什么?

微软发烧友 Brad Sams 近日在 Petri 上写道,微软正在开发一个名为 Windows Lite 的新版操作系统。顾名思义,Windows Lite 将是轻量级并快速的,因为它抛开了 Windows 长达数十年的臃肿积累。此举似乎暗示着微软转向云计算并重新进入移动领域的野心。但微软想取得成功,它必须从过去的错误中吸取教训。 Windows 的转型是有必要的。尽管微软已经在其 Surface 系列产品上取得了成功,但即便是最新的 Windows 10 系统,仍然包含着几十年前的代码,部分原因是微软的许多企业客户仍然需要与旧软兼容。因此,Windows 10 不仅臃肿,而且还不适合移动世界。比方说,微软试将 Surface Go 作为 iPad 的竞争对手,但受操作系统的限制,它...阅读全文

开源硬件是趋势,Arm 却走了一条与众不同的路

“开源”一词所代表的不仅仅是技术人员的情怀,它还传达了诸如研究知识共享和社区建设之类的观点。虽然开源一直都在产生积极的影响 —— 随着开源微处理器指令集架构 RISC-V 的日益普及,推动软创新的开源运动现在正在微处理器领域引起轰动,但半导体 IP 提供商 Arm(为 95% 的智能手机嵌入式处理器提供了支持) 并不是开源的狂热爱好者。 近日,外媒 Synced 与 Arm 嵌入式、物联网和汽车营销高级总监 Rhonda Dirvin 进行了一次对话,探讨开源硬和开源软之间的区别,以及由此对 Arm 进行决策带来的影响。 Dirvin 认为,当今的开源硬格局并不看起来那样简单明了:“我们开始看到有人说免费并非真正的免费。因为归根结底,他们必须考虑验收所需的内容以及实现指令或架构所...阅读全文

博文 2019-10-17 22:39:43 debian.cn

Linux 5.10 内核将做为下一个LTS版本

虽然人们一直在猜测Linux 5.9会是内核的下一个长期支持版本,但事实上Linux 5.10才是。Linux内核主要稳定维护者的Greg Kroah-Hartman在Linux基金会欧洲开源峰会上证实,Linux 5.10将是LTS版本。 Linux 5.10-rc1 昨天发布,预计会在 12月中旬 的稳定版发布后正式亮相。随后,这个内核将在Linux LTS计划下,在未来的几年中得到长时间的维护。 看到 Linux 5.10 成为LTS而不是 Linux 5.9 是一个可喜的消息,因为 Linux 5.10 有很多新的功能和改进,尤其是在新硬支持方面。 另一方面,没有几家主要的 Linux发行版打算长期坚持运行在 Linux 5.9 内核, Ubuntu 20.10虽然是近期发布的...阅读全文

博文 2020-10-27 09:53:09 debian.cn

Debian 9 使用kubeadm创建 k8s 集群(下)

在前一篇章中,我们介绍了 Debian Stretch 环境下,Kubernetes 集群安装的准备工作。本我们将继续介绍 k8s集群 的安装配置工作。 第4步 - 设置主节点 在本节中,您将设置主节点。 但是,在创建任何Playbooks之前,值得介绍一些概念,例如Pod和Pod网络插 ,因为您的群集将同时包含这两个概念。 pod是运行一个或多个容器的原子单元。 这些容器共享资源,例如卷和网络接口。 Pod是Kubernetes中的基本调度单元:pod中的所有容器都保证在调度pod的同一节点上运行。 每个pod都有自己的IP地址,一个节点上的pod应该能够使用pod的IP访问另一个节点上的pod。 单个节点上的容器可以通过本地接口轻松进行通信。 然而,pod之间的通信更复杂,并...阅读全文

博文 2019-05-13 22:57:41 debian.cn

不要光想着价格 QLC 与 TLC 闪存有什么不同

以及QLC闪存? TLC = Trinary-Level Cell,即3bit/cell(每个Cell单元储存3个数据,有8个状态,具体如上,有八种不同电压状态)。主要特点:成本低,容量大,但速度慢,寿命短,约500-1000次擦写寿命。但随着技术的成熟,寿命问题已经得到改善(约1500-2000次擦写寿命),并成为目前闪存颗粒中的最主流产品。 QLC=Quad-Level Cell,即4bit/cell(每个Cell单元储存4个数据,有16个状态,具体如上,有十六种不同电压状态)。相比于TLC来说,成本比更低,容量更大,而可靠、稳定性及寿命则更差些(此前几年预计的理论可擦写100-150次),不过目前东芝宣称,他们的QLC NAND拥有多达1000次左右的P/E编程擦写循环,几乎已经和...阅读全文

博文 2017-08-01 09:52:54 debian.cn

RethinkDB的简单介绍

RethinkDB最早是作为一个对SSD进行专门优化的MySQL存储引擎出现的,其特点在于对SSD的充分利用。而目前RethinkDB已经脱离MySQL成为一个独立的存储。 RethinkDB目前支持几乎所有的64位Linux发行版,包括: Ubuntu 10.04.1 x86_64 Ubuntu 10.10 x86_64 Red Hat Enterprise Linux 5 x86_64 CentOS 5 x86_64 SUSE Linux 10 RethinkDB支持各种底层存储:SSD,传统磁盘以及AWS这样的云存储服务。 RethinkDB应用场景 它可以用来替代Memcached作为数据缓存层。或者替代一些类似Memcached的存储,比如Membase,MemcacheDB...阅读全文

博文 2021-01-28 17:50:10 debian.cn

Google 关于 Go 2 的讨论

Go 1规范还存在,他们的程序将可以继续编译并正确运行。现在,要设计的Go 2规范,存在破坏与1.x兼容的可能性。Cox认为需要谨慎选择新特性。 Go 2必须带动所有开发者[包括使用Go 1.x的开发者]。只有回报足够丰富,我们才能要求他们放弃旧有习惯,来学习Go 2的新特性。 Go 2还必须兼顾所有现有的Go 1源代码。 我们不能分裂Go生态系统。在混合型的项目中,用Go 2 写的包中导入了用Go 1写的包,或者相反的情况,这种情况必须要在多年的过渡期中正常运行。我们必须弄清楚如何做到这一点,自动化工具go fix一定会发挥作用。 为了避免引起混乱,Google将新功能的数量限制为“两到三个”,一定不超过五个“,”每一个变化都需要仔细的思考,规划和工具化“。 这些功能不包括“允许使用更加口...阅读全文

博文 2017-07-20 10:03:13 debian.cn

Linux 容器 vs 虚拟机 — 谁更胜一筹

的,而虚拟机对于运行 LAMP 堆栈这样的单一应用程序使用情况是更好的。 Linux 容器 vs 虚拟机 – 安全性 与容器相比,虚拟机提供了更多的安全性。这并不是说容器不能被保护,而是说,默认的虚拟机提供了更大的隔离。请记住,容器可以共享系统资源而虚拟机不行。 在运行容器时,可以采取一些措施来降低风险,包括避免超级用户权限,确保从可信来源获取容器,并且保持最新状态。有些容器是数字签名的,这有助于确定您可以从可信来源获取容器。 最后,你需要保持容器的单一功能职责。一旦你开始在一个容器下结合软职责,你会发现还是使用虚拟机最好。重申一下,容器是用于单一用途的应用程序,虚拟机用于多用途的应用程序。坚持这种做法,你将在安全性和整体功能方面处于更好的状况。 Linux 容器 vs 虚拟机 – 选择...阅读全文

博文 2017-11-25 10:23:56 debian.cn

Linux基金会推出ACT项目 帮助开发者遵守开源许可证

的资助和支持。” 据悉,目前已确定将成为 ACT 的一部分的四个项目为: FOSSology:开源许可证合规性软系统和工具包,允许用户从命令行运行许可证,版权和导出控制扫描。 QMSTR:该工具创建了一个集成的开源工具链,可实现许可证合规性管理的行业最佳实践。QMSTR 集成到构建系统中,以了解软产品及其来源和依赖性。开发者可在本地运行 QMSTR 以验证结果,查看问题并生成合规性报告。 SPDX Tools:软包数据交换(SPDX)是用于传达软物料清单信息的开放标准,包括组、许可证、版权和安全参考。 Tern: 这是一款检查工具,用于查找容器映中安装的软包的元数据。它可以更深入地了解容器的物料清单,从而可以更好地决定基于容器的基础架构、集成和部署策略。...阅读全文

博文 2018-12-09 13:32:56 debian.cn

第8个LTS版本 Ubuntu 20.04 将带来哪些新特性?

Amazon 应用。Ubuntu 上的 Amazon 标一直就挂在桌面,这早已被人吐槽,因为它比较鸡肋,相关调查数据也反映了这一点。此次变化,特别是对于普遍不习惯首选 Amazon 购物的中国人来说,是一大好事。 Ubuntu 20.04 将使用 Linux 5.4 内核,该版本具有内核锁定模式和 exFAT 支持等新特性。 内核锁定功能主要是为了防止 root 帐户篡改内核代码,从而在用户态进程和代码之间划清界限。启用该功能后,即便是 root 帐户也无法访问某些内核功能,从而保护操作系统免受受损的 root 帐户影响。 exFAT 系统则是 FAT32 的替代者,它由微软开发,但是不仅用于 Windows 系统,目前 exFAT 在整个电子行业中都得到了广泛应用,特别是 SD 卡、USB 闪...阅读全文

博文 2020-01-27 09:36:30 debian.cn

高性能日志采集工具 logpipe 简单介绍

在集群化环境里,日志采集是重要基础设施。本结合最新的 1.0.9 版,对 logpipe 做一个简单的介绍。开源主流解决方案是基于 flume-ng,但在实际使用中发现 flume-ng 存在诸多问题。 比如 flume-ng 的 spoolDir 采集器只能对名转档后的大小不能变化的最终日志进行采集,不能满足采集时效性要求,如果要采集正在被不断追加的日志,只能用 exec 采集器搭配 tail -F 命令,但 tail -F 命令又不能通配目标目录中将来新增的未知名。其它解决方案如 logstash 由于是 JAVA 开发,内存占用和性能都不能达到最优。 作为一个日志采集的本地代理,内存占用应该小而受控,性能应该高效,耗费 CPU 低对应用影响尽可能小,要能异步实时追踪...阅读全文

Debian 使用VSFtpd安装配置架设FTP服务器

Vsftpd的安装: aptitude update //更新数据源列表 aptitude install vsftpd //安装vsftpd Vsftpd的结构: /usr/sbin/vsftpd —- VSFTPD的主程序 /etc/init.d/vsftpd —- 启动脚本 /etc/vsftpd.conf —- 主配置 /etc/pam.d/vsftpd —- PAM认证 /etc/ftpusers —-记录不允许访问FTP服务器的用户名单 /home/ftp —-Vsftpd的根目录 此外VSFTPD的日志为/var/log/vsftpd.log。 Vsftpd的管理控制。 /etc/init.d/vsftpd start //启动vsftpd /etc...阅读全文

博文 2021-01-28 17:50:09 debian.cn

中国开源人访谈系列之:清风博主

Gentoo中社区,一开始想法挺多,也做了点工作。不过,由于个人技术水平、能力等方面原因,现在社区基本上也没什么动静了。现在年龄越来越大,精力也有限,希望有更多新生力量加入进来,让Gentooo这个发行版在国内有更多影响力! 2.您会参与哪些线下活动? 答:我们庄里,有个活动参加就不错了,不北上广这样的一线大城市经常有。虽然离帝都近,但一是时间紧张,二是自己掏腰包负担路费,看看3K多的月薪,算了吧。。。 3.您怎么看现目前中国的开源社区,又看好哪些?能举例详细说明吗? 答:中国的开源社区和国外比,有明显的差距,但从这几年的发展来看,氛围是越来越好的。我认为目前最大的问题是:不少社区是靠核心组织者的热情来维持,缺乏一定的资金和硬支持,也就是没有长久发展的机制。再加上拿来主义盛行,在一定程度上也...阅读全文

博文 2021-01-28 17:50:13 debian.cn

理解 Linux 的虚拟内存

虚拟内存对进程的”欺骗”,每个进程都认为自己获取的内存是一块连续的地址。我们在编写应用程序时,就不用考虑大块地址的分配,总是认为系统有足够的大块内存即可。 安全:由于进程访问内存时,都要通过页表来寻址,操作系统在页表的各个项目上添加各种访问权限标识位,就可以实现内存的权限控制。 数据共享 通过虚拟内存更容易实现内存和数据的共享。 在进程加载系统库时,总是先分配一块内存,将磁盘中的库加载到这块内存中,在直接使用物理内存时,由于物理内存地址唯一,即使系统发现同一个库在系统内加载了两次,但每个进程指定的加载内存不一样,系统也无能为力。 而在使用虚拟内存时,系统只需要将进程的虚拟内存地址指向库所在的物理内存地址即可。如上中所示,进程 P1 和 P2 的 B 地址都指向了物理地址 C。 而...阅读全文

博文 2018-11-25 11:03:49 debian.cn

Linux Kernel 5.12-RC1标记为dontuse 严重到会毁掉整个根文件系统

当 Torvalds 将某些代码标记为“dontuse”,通常表明这个问题比较大。在 5.12 首个候选版本更新中,破坏了交换(swapfile)的处理。具体来说,更新后的代码会失去指向 swapfile 开头的正确偏移。用 Torvalds 自己的话来说,“交换还是会发生,但它发生在系统的错误部分,最终结果显然是灾难性的”。这样 Linux 内核如果想要将内存中的内容分页到磁盘上的时候,数据就会落在相同磁盘和 swapfile 活跃的分区的随机部分上,而且这不是作为,而是作为垃圾直接写入到磁盘的原始扇区。这意味着不仅要覆盖现有中的数据,还要覆盖相当大块的元数据,这些元数据的损坏很可能会导致整个系统无法挂载和使用。Torvalds 继续指出,如果你根本不使用 swap...阅读全文

Proxmox VE 6.2发布 开源虚拟机平台

Proxmox VE 6.2 现已发布,该版本基于新发布的 Debian 10.4,同时引入了 Linux 5.4 LTS 内核、QEMU 5.0、LXC 4.0 和其他更新的软,包括 OpenZFS 0.8.3。Proxmox VE(Proxmox Virtual Environment)是一个非常棒的集成 OPENVZ 支持 KVM 应用的环境。 Proxmox VE 6.2 的一些亮点内容如下 基于 Web 的管理界面的高级选项: 除了已经存在的基于 HTTP 的验证模式之外,Proxmox VE 还通过基于 DNS 的质询机制为 Let’s Encrypt TLS 证书实现了域的内置验证。完全支持多达八个 corosync 网络链接。使用的链接越多,集群可用性就越高。在存储内...阅读全文

博文 2020-05-18 19:18:30 debian.cn

Ubuntu 17.10 将用 GDM 取代 LightDM 登录管理器

在最近的一份报告中,Canonical的Will Cooke透露,Ubuntu Desktop团队正在考虑在即将推出的Ubuntu 17.10版本中以GDM(GNOME显示管理器)取代LightDM登录管理器。本周早些时候已经有传闻表示Ubuntu 17.10将采用GNOME GDM显示管理器。 特别是现在,在默认情况下,日常构建的ISO映默认都采用了GNOME桌面环境而不是Unity。现在,Canonical官方证实说,他们没有时间让LightDM与GNOME一起工作。 Canonical官方表示:“我们决定转而使用GNOME显示管理器(GDM)而不是LightDM,我们计划尝试使用LightDM,根据我们的调查显示,我们需要投入大量时间进行更改让所有的东西都能正常工作,但是我们没用那...阅读全文

博文 2021-01-28 17:50:33 debian.cn

Canonical 宣布临时关闭 Ubuntu 17.10 下载通道

鉴于众多联想笔记本用户报告尝试安装最新Ubuntu 17.10(Artful Aardvark)导致BIOS损坏的问题,Canonical 公司于今天宣布撤下最新版本的下载镜。为了解决这个问题,Canonical计划在Linux Kernel 4.13内核中关闭英特尔SPI驱动,在重新构建和打包之后公司将会推出全新的ISO镜。目前尚不清楚整个过程需要多久时间,但相信修正版应该会尽快发布。 令人感到遗憾的是,如果你的联想笔记本出现BIOS损坏的问题,严重的可能需要更换设备主板。根据报道,部分Yoga和IdeaPad系列产品线受到影响,此外部分Acer、戴尔和东芝笔记本同样收到影响。 联想B40-70,联想B50-70,联想B50-80,联想Flex-10,联想G40-30,联想G50...阅读全文

博文 2017-12-21 20:15:44 debian.cn

Kali Linux 2019.1 发布,Metasploit 更新到 5.0

4.19 内核并且 Raspberry Pi 镜已经简化。对于使用 TFT LCD 的用户,不再有单独的 Raspberry Pi 镜,因为现在在所有这些平台上都包含 re4son 的 kalipi-tft-config 脚本,因此如果想设置一块带有 TFT 的主板,请运行 ‘kalipi-tft-config’ 并按照提示操作。 参考链接:发布公告 下载地址...阅读全文

博文 2019-02-19 09:28:30 debian.cn

Google Chrome 在浏览器市场表现优异 继续拉开对手

Google Chrome是桌面上最常用的浏览器并不是秘密,但NetMarketShare在9月份发布的新数据显示,该产品与其竞争对手之间的差距几乎每个月都在增加。Google Chrome的市占率从8月的65.21%上升到上个月的66.28%,再一次表明用户并不真正关心浏览器市场中的其他应用程序。 尽管其他厂商努力推动他们的应用,但这种差异正在变得越来越大。例如,微软经常被指责用各种“新奇手法”试说服Windows 10用户坚持使用Edge。他们的策略涉及桌面上显示的广告,微软甚至考虑让邮应用程序中默认用Edge打开链接,而不管用户的配置如何。 然而,这些工作毫无意外地全都失败了,并且似乎已经适得其反。微软Edge上个月的市场从4.30%的下降到4.08%。Mozilla...阅读全文

Prometheus 2.13.0 发布

服务监控系统 Prometheus 2.13.0-rc.0 发布了,Prometheus 是一个 Go 语言开发的开源的服务监控系统和时间序列数据库。该版本引入了一些新特性,比如记录其他组、增强功能和修复 bug,这些都是为了提高可用性。 更新内容如下: [SECURITY/BUGFIX] UI:修复了一个 Stored DOM XSS 漏洞 CVE-2019-10215. #6098[CHANGE] Metrics:将 prometheus_sd_configs_failed_total 重命名为 prometheus_sd_failed_configs,并更改为仪表 #5254[ENHANCEMENT] 在构建中包含 tsdb 工具 #6089[ENHANCEMENT...阅读全文

通过 Hostapd 进行 WIFI 热点共享上网

hostapd软: 2.1 进入http://w1.fi/hostapd/网站下载hostapd-2.5.tar.gz 2.2 执行命令tar -zxvf hostapd-2.5.tar.gz对hostapd-2.5.tar.gz进行解压,当前目录下将生成hostapd-2.5夹,使用cd hostapd-2.5进入该夹,并执行cp defconfig .config命令,使用vi .config命令对该进行修改,修改内容如下: # Use libnl v2.0 (or 3.0) libraries. CONFIG_LIBNL20=y # Use libnl 3.2 libraries (if this is selected, CONFIG_LIBNL20 is ignored...阅读全文

博文 2021-01-28 17:50:31 debian.cn

Systemd 及 Service 文件含义解析

Systemd 是 Linux下的一款系统和服务管理器,兼容 SysV 和 LSB 的启动脚本。Systemd 的特性有:支持并行化任务;同时采用socket式 与 D-Bus 总线式激活服务;按需启动守护进程(daemon);利用 Linux 的 cgroups 监视进程;支持快照和系统恢复;维护挂载点和自动挂载点;各服务间基于依赖关系进行精密控制。 其中的监视和控制功能的主要命令就是systemctl。 Systemd 有很多不同类型的使用单元,主要包括:系统服务(.service)、挂载点(.mount)、sockets(.sockets)、系统设备(.device)、交换分区(.swap)、路径(.path)、启动目标(.target)。一般我们常用的是其中的系统服务。 对于系...阅读全文

博文 2021-02-17 10:02:50 joseph

使用 setfacl 管理文件的访问控制列表ACL

如果你是在一个大型组织,你运行了 NFS 或者 Samba 服务给不同的用户,你将会需要灵活的挑选并设置很多复杂的配置和权限去满足你的组织不同的需求。Linux(以及其他Unix等POSIX兼容的操作系统)有一个被称为访问控制列表(ACL)的权限控制方法,它是一种权限分配之外的普遍范式。例如,默认情况下你需要维护3个权限组:owner、group和other。 使用ACL后,你可以设置权限给其他用户或组,而不单只是简单的"other"。可以允许指定的用户A、B、C拥有写权限而不再是让他们整个组拥有写权限。 ACL支持多种Linux系统,包括ext2, ext3, ext4, XFS, Btrfs等。如果你不确定你的系统是否支持ACL,请参考档。 首先我们需要安装工具来管理ACL...阅读全文

Linux 系统 vim 编辑器使用简明教程

字输入,按ESC键可回到命令模式。 3) 底行模式(last line mode) 将保存或退出vi,也可以设置编辑环境,如寻找字符串、列出行号。 不过一般我们在使用时把vi简化成两个模式,就是将底行模式也算入命令模式。 一、打开、保存、关闭(vi命令模式下使用) vi filename //打开filename :w //保存 :w debian.cn //保存为当前目录下的"debian.cn" :q //退出编辑器,如果已修改请使用下面的命令 :q! //退出编辑器,且不保存 :wq //退出编辑器,且保存 :x! //退出编辑器,且保存,忽略是否对具有写权限 二、插入本或行(vi命令模式下使用,执行下面命令后将进入插入模式,按ESC键可退...阅读全文

博文 2015-07-25 16:33:04 debian.cn

Debian中如何设置静态IP地址 网关 DNS

新安装的Debian系统,默认一般使用DHCP获取IP地址,除非在安装过程中,使用了指定的IP地址。本将介绍如何在Debian系统中,配置使用静态IP地址,配置网关,以及设置DNS服务器。 这些配置通过修改配置,很容易实现。在 Redhat 系列的 Linux 环境中,我们一般修改网卡的网络配置,对应的名为 /etc/sysconfig/network-scripts/ifcfg-eXX,其中eXX即为网络设备名。网络设备的列表可以他通过 ifconfig 命令获取。同样的,在 Debian 环境下,我们只需要修改网络的配置便可以了。相比之下,配置过程要比 Redhat 更为方便,只需要修改 /etc/network/interfaces 。 Debian 系统设置静...阅读全文

XFS V5 如何找到文件的创建时间?

xfs 从 v5 开始支持查看的创建时间。使用 dmesg 命令,可以查看系统当前使用的 xfs 的版本: ``` # dmesg | grep -iE 'xfs.*\s+mounting' | head -1 ``` 如何查看 xfs 上的创建时间? 找到的 inode 信息后,就可以直接查看, ``` # stat -c '%i' test.txt 7827295 ``` 然后获取的创建时间, ``` # xfs_db -r -c "inode 7827295" -c "p v3.crtime.sec" v3.crtime.sec = Thu Feb 23 12:15:46...阅读全文

Prometheus 常用 PromQL 语句样例

PromQL 是 Prometheus 提供的一个函数式的表达式语言,可以使用户实时地查找和聚合时间序列数据。表达式计算结果可以在表中展示,也可以在 Prometheus表达式浏览器中以表格形式展示,或者作为数据源,以 HTTP API 的方式提供给外部系统使用。PromQL 虽然以 QL 结尾,但是它不是类似 SQL 的语言,因为在时间序列上执行计算类型时,SQL 语言相对缺乏表达能力。而 PromQL 语言表达能力非常丰富,可以使用标签进行任意聚合,还可以使用标签将不同的标签连接到一起进行算术运算操作。内置了时间和数学等很多函数可以使用 选择序列选择指定指标名称的序列最新样本: my_metric_name选择指定指标名称序列5分钟的样本范围: my_metric_name[5m]筛...阅读全文

博文 2021-02-09 11:07:15 51CTO博客

Golang 应用集成 Prometheus 统计数据支持

Prometheus 客户端公开了在暴露服务指标时能够运用的四种指标类型。查看 Prometheus 的档 以获得关于各种指标类型的深入信息。 Counter(计数器 一种累加的 metric,典型的应用如:请求的个数,结束的任务数,出现的错误数等。随着客户端不断请求,数值越来越大。例如api_http_requests_total{method="POST", handler="/messages"} Gauge(计量器) 一种常规的 metric,典型的应用如:温度,运行的 goroutines 的个数。返回的数值会上下波动。 例如 go_goroutines{instance="172.17.0.2", job="Prometheus"} Histogram(分布) 可以理解为柱状,典型的应用如...阅读全文

博文 2022-11-24 10:33:09 CSDN博客

Debian 安装包的简单制作

在Linux分发软有两种形式,一种是源码,一种是安装包。当目标机器不带有编译环境,且不能联网时,安装包就是唯一的方案了。 Linux 下的安装包有多种格式,不同Linux使用的格式并不完全相同。市场上主流的安装包格式是*.deb *.rpm 其中deb是debian系列的安装包,rpm是CentOS系列的安装包。 本主要介绍的是一种简单的deb安装包的制作方法,使用范围有限。如需了解更多可以阅读Debian 新维护人员手册 所需工具 如果没有安装dpkg工具包的话,就先安装(一般是默认安装的) sudo apt-get install dpkg 结构 example-package ├── DEBIAN (必须) │ ├── control (必须) │ └── md5sums...阅读全文

博文 2021-01-28 17:50:14 debian.cn

Debian软件包常用管理命令整理

/etc/apt/sources.list 和 /etc/apt/sources.list.d/ 目录下的 .list 定义的。 $ sudo apt-get upgrade #更新系统所有已安装软包,只更新包会忽略依赖关系 $ sudo apt upgrade $ sudo apt-get upgrade -u #-u 列出可升级软列表 $ sudo apt-get upgrade -s #模拟升级 $ sudo apt-get dist-upgrade #根据依赖关系更新系统所有已安装软包 $ sudo apt-get --reinstall install pkgname #只升级指定的软包 $ sudo apt-get source pkgname #只下载源码包 $ sudo...阅读全文

Rust的模块化系统: 包Packages, 箱Crates, 和模块Modules

包 Packages: Cargo提供的让我们创建, 测试和分享Crates的工具.箱 Crates: 提供类库或可执行的模块树模块 Modules and use: 管理和组织路径, 及其作用域和访问权限路径 Paths: 如结构体(structs), 函数(function), 或模块(module)等事物的命名方式包(Packages)和箱(Crates)包(Package)通过Cargo创建. 每一个包(Package)都有一个Cargo.toml. 包(Package)包含箱(Crates)的规则如下:只能包含0或1个类库箱(library crates)可以包含任意多个二进制箱(binary crates)至少有一个箱(Crate), 可以是类库箱(library...阅读全文

博文 2021-02-20 08:49:51 知乎