InfraPub 为您找到相关结果 801

开源社区的运作模式:Debian Vs. Ubuntu

(DD)和Debian维护人员(DM)。《Debian宪章》中定义了Debian开发的权利,而Debian维护人员则是在2007年的总决议中才做的定义。DM一职被整合到Debian官方的进程十分缓慢,而现在,自愿在申请成为DD之前最好是先申请成为DM。 DD的主要职能是提交代码以及进行自己负责的包的维护。他们具有进入Debian服务器的权限,并可以参与社区投票(比如一年一次的选举)。 DM是一个没有多少权限的角色,他们只能为那些在Maintainer或Uploaders字段里包含他们的名字、并已经被DD指定了DM-Upload-Allowed: yes标记(意思为允许DM)的包执行的工作,除此之外他们没有别的权利,而他们访问Debian资源的权限也十分有限。 除了这两个官方角色外,还...阅读全文

博文 2021-01-28 17:50:09 debian.cn

兼容 tmux 的文件上传/下载工具 trzsz ( trz / tsz ) 使用指南 支持进度条和目录传输

我们登陆远程服务器后,常常需要下载、或一些文件,我们常用的 lrzsz 对 tmux 支持不够友好,于是就有了 trzsz 这个新工具,它安装简单,使用方便,功能全面,小巧灵活,GitHub项目地址: https://github.com/trzsz/trzsz为什么需要 trzs 这个“轮子”?考虑 laptop -> hostA -> hostB -> docker -> tmux 这种场景,使用 scp 或 sftp 是不方便的。在这种场景下,使用 lrzsz ( rz / sz ) 是很方便的,但是很可惜它与 tmux 不兼容。 tmux 不愿意支持 rz / sz ( 906, 1439 ),而重新造一个工具比修改 tmux 简单很多。trzsz 安装指南在远程服务器安装...阅读全文

开源云存储 Seafile 6.1.4 发布

Seafile 是一款开源的企业云盘,注重可靠性和性能。支持 Windows, Mac, Linux, iOS, Android 平台。支持文件同步或直接挂载到本地访问。Seafile 的最新稳定版 6.1.4 已发布,更新如下: 云文件浏览器: 更新文件时不使用断点续功能 通过图标的显示来表示一个文件已被缓存 当文件更改后且无法到服务器时显示警告图标 用户可以重新对失败的本地修改文件进行 添加一个命令打开本地缓存文件夹 文件或文件夹时改进错误提示消息 [mac] 修复 doc/xls 文件下载后自动的 bug 一些 UI 的修复和改进 其他更新: 不显示 127.0.0.1 的连接状态 禁止编辑本地同步路径,用户只能选择路径 一些 UI 的修复和改进 完整更...阅读全文

博文 2017-12-21 09:52:34 debian.cn

深入学习golang — channel

. }() doSomethingForAWhile() <-c // Wait for sort to finish; discard sent value. 面的示例中,在子goroutine中进行排序操作,主goroutine可以做一些别的事情,然后等待子goroutine完成排序。 接收方会一直阻塞直到有数据到来。如果channel是无缓冲的,发送方会一直阻塞直到接收方将数据取出。如果channel带有缓冲区,发送方会一直阻塞直到数据被拷贝到缓冲区;如果缓冲区已满,则发送方只能在接收方取走数据后才能从阻塞状态恢复。 3. 消息递 我们来模拟一下经典的生产-消费模型。 func Producer (queue chan<- int){ for i:= 0; i < 10; i++ { queue <- i } } func...阅读全文

博文 2021-01-25 12:39:17 博客园

Debian 使用VSFtpd安装配置架设FTP服务器

web目录) 然后创建用户 useradd -G clin003-com -d /tmp/clin003 -M user1 注:G:用户所在的组 d:指定创建用户的自己目录 M:不建立默认的自家目录,就是在/home下没有自己的目录 我只是为了给自己的web server做文件输服务,所以做了一个帐户. useradd -G ftp -d /var/www -M clin003-admin 接着改变文件夹属于的组和用户 chown clin003-admin.clin003-com /var/www 把/var/www改变属主为clin003-admin chmod 711 /var/www 我这设置的读取权限是711.也就是文件夹所有完全权限,同组也就是面的FTP组和所有人都是可执行权限...阅读全文

博文 2021-01-28 17:50:09 debian.cn

成为Debian社区维护人需要做好的准备

sponsor 的软件包的维护是打包人而非 sponsor,所以它的各种更新、任何 Bug 报告都是打包人的责任。在维护软件包,普通维护人员与正式的 DD 间的差别仅在于能否直接,其他的完全相同。 这个步骤进行期间,需要多次阅读 Debian Policy Manual 并确保自己的软件包符合里面的全部要求。最好再读一下 Debian Developers Reference,里面介绍了很多 Policy Manual 中没有提到的细节和最佳经验。 如果打算申请 DM/DD,则应尽早开始维护软件包,因为申请 DM 需要经过一段时间的软件包维护作为评价的材料,以此证明你能够胜任。 5. 不是有软件包被到仓库就说明你已经符合了成为 DM 的要求。你必须通过一段时间的努力(更新软件、修复...阅读全文

CCPA vs. GDPR:欧美这两部个人数据保护法有什么差异?

易双方处理的数据类型非常复杂且在不断演进更迭,交易双方仅根据GDPR的定义或监管机构的指引,很难判断特定类型数据是否属于GDPR管辖的“个人数据”,导致实践中对于“个人数据”这一概念的解释弹性空间极大。例如:通讯网络和设备中(例如核心网存储设备)存储或输的IMSI、IMEI、ISDN等识别号码,虽也可与其它信息结合间接地识别到特定个人,但识别的过程复杂,需利用一定技术手段,并投入较多时间和成本。 这些成本及投入何时是“合理的”,何时是“不合理的”?对于广大交易双方而言很难判定,导致数据的控制(譬如电信运营商)经常与数据处理(如通讯设备和运维供应商)之间时常就述IMSI、IMEI号等数据是否受GDPR管辖这一问题无法达成一致,进而无法在前述DPA《数据处理协议》、SCC《数据跨境转移协...阅读全文

176Gbps:新一代Wi-Fi

802.11ac是当今最流行的Wi-Fi无线标准,不过,为了提高速度、吞吐量、降低功耗,IEEE 802.11ax/ad/ay先后应运而生。其中802.11ax是对ac/n的自然演进,同样工作在2.4/5GHz频段,而ad/ay则是作为辅助技术,由于工作频段极高,没有干扰,所以速率可以非常高。比如基于60GHz的802.11ad可以达到8Gbps的数据输率,如今TP-Link Talon AD7200路由、戴尔E74450/7470笔记本、Windows 10创作更新都将支持。 据悉,目前的最新进展是,第一个修订版802.11ay(verison 0.2)标准已经认证完毕,目标速率高达176Gbps,也就是22GB/s,理论说蓝光电影可以1秒下完。不过,你的电脑硬盘肯定是跟不,即...阅读全文

博文 2021-01-28 17:50:22 Fi 802.11ay来了

单条512GB!Intel 开始部署傲腾非易失性内存条

10 月 31 日消息,Intel 宣布,已经为广泛部署傲腾数据中心用、非易失性内存条(Optane DC persistent memory)做好了准备。 目前,Beta 项目已经启动,参与的 OEM(原始设备制造商,如华为、联想等)和 CSP 伙伴(云服务伙伴,如谷歌、阿里巴巴、亚马逊、微软等)可以更早地向客户接入由傲腾非易失性内存条驱动的系统, 从而为 2019 年半年批量线奠定基础。 傲腾非易失性内存基于 3D Xpoint 技术,和目前的傲腾 SSD 共享存储芯片,从而弥补了统 DDR4 内存不具备的数据永固和大容量特性, 单条最大 512GB,可配合 Xeon Scalable 处理器使用。 特别的,Intel 此次为傲腾 DC 非易市内存提供应用模式和内存模式,前可理...阅读全文

博文 2018-10-31 22:13:41 debian.cn

中国投资130亿元量产相变内存 比闪存快1000倍

入运营阶段。这个项目2017年11月份完成了厂房封顶,并完成了设备采购,从开工到封顶不到9个月时间,今年3月底开始运营。 根据之前的消息,江苏淮安的这个项目总投资130亿元,一期投资43亿元,建成后将年产10万片12英寸PCM相变存储芯片。相变存储芯片被成为21世纪的存储芯片标准,与统存储芯片(比如内存)相比,它是一种非易失性存储芯片,但是速度达到了统存储芯片的1000倍,同时可靠性是后的1000倍——当然这些指标都是理论的。 目前量产的PCM存储芯片并没有这么强,Intel的3D XPoint闪存据说就是一种PCM存储芯片,只不过一直没有被证实,而它宣的特点就是性能是闪存的1000倍,可靠性也是闪存的1000倍,同时容量密度是闪存的10倍。...阅读全文

博文 2018-04-10 22:34:58 debian.cn

Gitlab CI 配置文件 .gitlab

8.9和GitLab Runner v1.3.0 引入。 在job失败的时候,artifacts:when用来artifacts或忽略失败。 artifacts:when可以设置一下值: on_success - 当job成功的时候artifacts。默认值。 on_failure - 当job失败的时候artifacts。 always - 不论job失败还是成功都artifacts。 示例配置 只在job失败的时候artifacts。 job: artifacts: when: on_failure artifacts:expire_in GitLab 8.9 和 GitLab Runner v1.3.0 引入。 artifacts:expire_in用于过期后删除邮件...阅读全文

博文 2018-12-12 21:09:02 ci.yaml 详解(下)

Eric Raymond:Windows 10将成为Linux内核上的仿真层

著名作家(《大教堂与集市》作)、开源先锋 Eric.Raymond 一直坚定的认为Linux将主导台式机市场,取得操作系统之战的终极胜利。 他最近在个人博客宣称,在不久以后,微软会放弃Windows内核的研发,转向Linux系统,Windows 10系统将成为Linux内核的一个仿真层。 Raymond认为,目前微软的Azure比Windows系统赚得很多,用不了多久就超过统Windows系统的收入。 “从商业利润最大化角度来看,继续进行Windows 内核开发是微软不愿意干的事。相反,他们会将更多的资本投入到Azure中去。”—— 据说,目前微软Azure云Linux实例比Windows系统要多很多。 微软不再像以前那么特别看重Windows,这也不是什么新鲜事。Raymond将...阅读全文

博文 2020-09-30 11:07:43 debian.cn

Stackstorm 入门介绍

结果发布到IM中,比如 HipChat、JIRA 或 Slack 等。 自动修复 - 识别和验证OpenStack计算节点的硬件故障,正确排空实例并向管理员发送关于潜在停机时间的电子邮件,但如果出现任何问题 - 冻结工作流程并呼叫PagerDuty唤醒人员。 持续部署 - 与Jenkins一起构建和测试,配置新的AWS群集,基于NewRelic的应用程序性能数据,打开负载均衡器的一些流量,以及前滚或回滚。 Stackstorm工作原理 主要组件角色: 感器(Sensors) 用于分别接收或监视事件的入站或出站集成的Python插件。 当来自外部系统的事件发生并由感器处理时,StackStorm触发器将发射到系统中。 触发器(Triggers)外部事件的StackStorm表示形式...阅读全文

西部数据的Zonefs将登陆Linux 5.6内核

SMR HDD和其他分区式存储设备提出的优化方案。它在统的块设备之外提供了另一种映射,将分区式存储设备面的每一个区都映射成一个单独的文件,这带来的好处就是应用程序无需修改太多的代码即可利用分区式存储设备的优点,很多原本要自己做的控制都被集成在Zonefs里面了,不用开发来动手了,这大大减少了使用分区式存储设备的迁移工作量。 Linux 5.6内核已经发布了第三个发布候选版,预计将于近期发布正式版,这版内核包括有针对新硬件的支持,被 Phoronix 称为是近几年最激动人心的Linux内核更新。...阅读全文

为什么使用 JavaScript 开发物联网?

较于PHP、Python、Java来说,JavaScript是最有可能在物联网大行其道的解释性语言。 JavaScript在浏览器没有对手,nodejs在服务器端也在不停的攻城拔寨,积累了大量的资源,构建了一个完整的应用开发生态环境。 JavaScript语言本身特点适合互联网,事件驱动,异步使单线程处理网络事件得心应手。 JavaScript已经跨界到物联网,受到了行业巨头的关注,各种项目发展的如火如荼。 未来的物联网开发 如果JavaScript在物联网获得成功,那么物联网的开发将会发生巨大的变化。 底层驱动由C实现,应用开发不需要关注硬件,大量的互联网、移动互联网应用开发加入物联网开发。 统的交叉编译、烧写、调试的开发方式使用范围将急剧缩小 所见即所得,位机和下位机的架构由C...阅读全文

博文 2021-01-28 17:50:12 debian.cn

WordPress 4.8 Evans 正式版发布

,WordPress 用户无需了解代码知识。只要挂件的正确设置插入图片就可以了。试试添加一张你的头像,或最新照片,一切都像自动的一样。 视频挂件(小工具) 一个受欢迎的视频,是最棒的宣网站途径之一。通过这个新的视频挂件,你可以把媒体库里的视频文件轻松添加到视频挂件中。给你的网站访客做个欢迎短片,向访问们介绍你的网站,或你最新的促销活动。 音频挂件(小工具) 如果你想成为一个播客、音乐人、或博客网红,那使用音频文件无疑是最合适的了。你的音频文件到媒体库,然后在挂件设置里,选择你的文件,然后准备好播放给你的听众。同时,音频文件也非常适合播放网站的语音欢迎信息。 富文本挂件(小工具) 这绝对是一个极大且实用的功能改进!文本挂件现在拥有了富文本编辑能力。你可以在挂件中快速添加各种格式的文本内容:列表...阅读全文

博文 2021-01-28 17:50:32 debian.cn

微服务网关 APISIX 发布新版本 0.9

在今年 10 月份,深圳支流科技把微服务网关 APISIX 贡献给 Apache 基金会后,过了仅仅一个多月的时间,Apache APISIX 发布了一个新的版本 0.9。 Apache APISIX 的 0.9 版本,是经过 APISIX 开发社区和 Apache 孵化器社区投票发布的官方版本,企业和个人用户都免费使用。 Apache APISIX 进入 Apache 孵化器的这一个多月的时间里,代码贡献从 27 人增加到 45 人,几乎每个工作日都有新的贡献加入;新合并的 PR 有 82 个,平均每个工作日有 3 个 PR 合并;使用的公司包含了贝壳找房、腾讯云、网易、NASA等知名企业和科研机构, Apache APISIX 是微服务 API 网关,不仅可以帮你处理统的南北向...阅读全文

博文 2019-11-27 20:17:00 debian.cn

Golang Context 探究

{ // 返回 context.Context的截止时间(也就是取消时间) Deadline() (deadline time.Time, ok bool) // 返回一个 Channel,这个 Channel 会在当前操作完成或下文被取消之后关闭,多次调用 Done 方法会返回同一个 Channel Done() <-chan struct{} // 返回 context.Context 结束的原因 Err() error // 从 context.Context 中获取键对应的值, 该方法可以用来递请求特定的数据 Value(key interface{}) interface{} } Context 实现 首先我们思考为什么Golang 中需要 Context。用我们最熟悉的例子 http...阅读全文

博文 2021-02-25 09:27:27 lxkaka

取代TCP:工程师宣布QUIC协议已完成RFC 9000发布

IETF 和互联网生态系统而言,这都是一件大喜事。近年来,QUIC 一直是 IETF 最引人瞩目的活动之一。作为搜索巨头 Google 发起的一项实验,其已经历了五年时间的发展,期间举办了 26 场面对面会议、商议了 1749 次问题、以及成千万封的邮件沟通。在 IETF 标准的开发协作与迭代流程指导下,QUIC 协议跨越了孤立的输、安全和应用程序空间,且在审议期间引发了热烈的讨论,最终顺利过渡并达成了广泛的共识。考虑到互联网输生态系统已经僵化了几十年,而 QUIC 将能够通过加密、版本控制、后续可建立的更丰富的技术、以及高性能服务来摆脱这种尴尬的僵化局面。QUIC 已经做好了引领下一代互联网创新的准备,且开始通过不可靠数据报之类的扩展,为实时媒体和其它不需要完全可靠输服务的应用程序...阅读全文

Google Chrome开始加入HTTP/3和IETF QUIC支持

谷歌开始在其Chrome浏览器中实现对HTTP/3的支持,该公司在一篇博客中宣布。此次更新将带来一些额外的性能改进,主要得益于实现了QUIC作为输协议。互联网工程任务组(或IETF)早在2015年就推出了HTTP/2,它带来的一大改进就是支持复用。 但是,它采用了TCP作为输协议,以及TCP中的丢失恢复机制,所以丢失的数据包仍然会造成所有活动事务的延迟。通过采用QUIC,HTTP/3可以进一步改善输过程,因为丢失的数据包只会影响到直接受其影响的事务。 谷歌是QUIC的最初开发,但该协议在IETF手中已经有一段时间了,现在IETF版本的QUIC与谷歌内部的QUIC有很大不同。到目前为止,谷歌只支持自己的QUIC实现,而IETF则还在研究其版本,但现在这种情况正在改变。谷歌表示...阅读全文

博文 2020-10-08 11:16:05 debian.cn

Linux Kernel 4.19 正式版本发布 将是长期支持版

Greg Kroah-Hartman 在内核邮件列表 宣布 释出 Linux 4.19。Linux 作 Linus Torvalds 最近在 休假反省 ,Linux 的开发现在由稳定版内核维护 Kroah-Hartman 接手。 Kroah-Hartman 表示,4.19 将会是一个长期支持版本,他也会维持几年。 Linux 4.19 的主要新特性包括: 基于异步 I/O 的轮训接口 L1TF 漏洞补丁 块 I/O 延迟控制器 Common Applications Kept Enhanced (CAKE) 队列管理算法 Wi-Fi 6 (802.11ax) 初步支持 实验性文件系统 EROFS Intel Cache Pseudo-locking 基于时间的包输 改进 RISC...阅读全文

博文 2018-10-24 13:37:11 debian.cn

DPDK Graph Pipeline 框架简介与实现原理

模型的差别则在于一系列的函数处理一批数据包。这种方法的主要目的是解决当 pipeline 变复杂时所遇到 i-cache miss 较高的问题。 标量处理模型 vs 向量处理模型 标量处理模型在性能不如向量处理模型的另一个原因,就是在不同处理函数(业务逻辑)之间,报文递到下一个处理函数的方式有所不同。前只是简单地用 pointer assignment 的方法来递,若处理基于不同批次的情况下,由于低效的 pointer assignment,会导致处理一批报文时性能低下。 而对于向量包处理模型而言,向量包处理模型反而可以减少述标量处理模型因批处理而导致性能不理想的情况。这是因为在向量模型中,报文在业务逻辑之间的输除了可以通过最原始的 pointer assignment 之外...阅读全文

博文 2023-02-09 07:13:55 掘金

Git 2.26 发布:传输协议 V2 成默认协议

Git 2.26 现已发布,项目贡献 Taylor Blau 介绍了此版本带来的一些特性的亮点,包括将输协议 V2(第二版) 作为默认协议 、一些新的配置技巧以及更新到 git sparse-checkout。 该版本具体更新内容如下: Changes 输协议V2(第二版)已成为默认协议。继续准备最终对象名称将使用 SHA-256 哈希的工作。继续致力于改进不同子命令的 Bash / CLI 自动完成功能。改进的 fsmonitor-watchman hook 可避免以前版本中的 race 情况。对于 CLI 着色,七种颜色现在具有更亮的颜色选项。解除了 Git 先前使用线程 grep 的限制。Git rebase 现在默认使用合并后端。较低的内存占用量和更好的性能 git...阅读全文

博文 2020-03-24 10:35:05 debian.cn

深入理解Golang之context

++ { messages <- i } time.Sleep(5 * time.Second) close(done) time.Sleep(1 * time.Second) fmt.Println("main process exit!") } 述例子中定义了一个buffer为0的channel done, 子协程运行着定时任务。如果主协程需要在某个时刻发送消息通知子协程中断任务退出,那么就可以让子协程监听这个done channel,一旦主协程关闭done channel,那么子协程就可以推出了,这样就实现了主协程通知子协程的需求。这很好,但是这也是有限的。如果我们可以在简单的通知附加递额外的信息来控制取消:为什么取消,或有一个它必须要完成的最终期限,更或有多个取消选项,我们需要根据额外的信息来判断...阅读全文

博文 2021-01-27 09:05:27 知乎

字节跳动开源微服务中间件 CloudWeGo - OSCHINA

/kitex-benchmark。 扩展性:Kitex 设计做了模块划分,提供了较多的扩展接口以及默认的扩展实现,使用也可以根据需要自行定制扩展。Kitex 未耦合 Netpoll,开发可选择其他网络库扩展使用。 消息协议:RPC 消息协议默认支持 Thrift、Kitex Protobuf、gRPC。Thrift 支持 Buffered 和 Framed 二进制协议;Kitex Protobuf 是 Kitex 自定义的 Protobuf 消息协议,协议格式类似 Thrift;gRPC 是对 gRPC 消息协议的支持,可以与 gRPC 互通。除此之外,使用也可以扩展自己的消息协议。 输协议:输协议封装消息协议进行 RPC 互通,输协议可以额外透元信息,用于服务治理,Kitex 支持的...阅读全文

博文 2021-09-09 13:56:42 中文开源技术交流社区

协议介绍之深入了解 gRPC

HTTP/1.x 做过推送的同学,大概就知道有多么的痛苦,因为 HTTP/1.x 并没有推送机制。所以通常两种做法: Long polling 方式,也就是直接给 server 挂一个连接,等待一段时间(譬如 1 分钟),如果 server 有返回或超时,则再次重新 poll。 Web-socket,通过 upgrade 机制显式的将这条 HTTP 连接变成裸的 TCP,进行双向交互。 相比 Long polling,笔还是更喜欢 web-socket 一点,毕竟更加高效,只是 web-socket 后面的交互并不是统意义面的 HTTP 了。 Hello HTTP/2 虽然 HTTP/1.x 协议可能仍然是当今互联网运用最广泛的协议,但随着 Web 服务规模的不断扩大,HTTP/1.x 越...阅读全文

博文 2017-06-22 11:08:48 debian.cn

如何离线更新基于 Debian 的系统

载包。 一旦下载完成,拷贝 tmp 文件夹到你的 USB 或外接硬盘并且返回你的离线系统。需要确保你的 USB 驱动器有足够的空闲空间存储所有的下载文件,因为所有的包都放在 tmp 文件夹里。 离线操作系统的步骤 把你的设备插入你的离线操作系统,然后切换到你之前下载了所有包的 tmp目录下。 cd tmp/ 然后,运行下面的命令来安装所有下载好的包。 sudo apt-offline install apt-offline-bundle.zip 这个命令将会更新 APT 数据库,所以 APT 将会在 APT 缓冲里找所有需要的包。 注意: 如果在线和离线系统可以相互访问到,你可以通过 scp 或其他输应用程序将 tmp 文件到离线操作系统中。如果两个操作系统无法相互访问,还是用...阅读全文

博文 2018-02-07 10:06:03 debian.cn

NSA 的 Python 手册

Python 开发现在可以观摩下美国情报机构 NSA 是如何培训 Python 程序员的。软件工程师 Chris Swenson 根据信息自由法案递交申请,要求访问 NSA 的 Python 培训材料,结果收到了 400 页经过编辑的 NSA COMP 3321 Python 培训课程打印资料。 Swenson 扫描了打印稿,用 OCR 进行识别,确保数字档案可搜索,将其托管在 Digital Oceans Spaces,之后又被到了互联网档案馆。Swenson 称他问 NSA 索要 Python 培训材料纯粹是出于好奇。 Python 开发 Kushal Das 观摩之后摘录些有趣的细节:NSA 有内部的 Python 包索引,其 GitLab 实例是...阅读全文

博文 2020-02-20 12:00:39 debian.cn

运维的未来:云服务兴起,运维人员会“下岗”吗?

本文作 Tyler Treat 是一名软件工程师,他认为运维的未来从很多方面来说都跟质量保证(QA)的未来走向相似。未来,运维要使开发能够通过工具、自动化和流程实现自助服务。统的运维( Ops)没有消失,只是在重组。 云服务的发展看起来让运维人员“丢”了工作,因为从统意义说,从本地(on-premise)转移到云平台意味着运维工作在相当大程度外包给云提供商。这正应了那个流行词—— “无运维运动”(NoOps),许多人称之为 DevOps 的“继承”,虽然这个词最近这些日子已经不是那么响亮了。这使得 Amazon 和开发团队创建的产品——包括基础设施自动化,部署自动化,配置管理,日志管理以及监控和检测——之间出现了隔膜,隔膜虽小,但却至关重要。 事实,运维的未来从很多方面来说...阅读全文

博文 2021-01-28 17:50:31 debian.cn

高性能日志采集工具 logpipe 简单介绍

日志文件增长,某些应用会在目标目录下产生多个日志文件甚至现在不能确定将来的日志文件名,架构要支持多输入多输出流式日志采集输,为了达成以需求,我研究了所需技术,评估实现难度并不高,就自研了 logpipe。 logpipe 是一个分布式、高可用的用于采集、输、对接落地的日志工具,采用了插件风格的框架结构设计,支持多输入多输出按需配置组件用于流式日志收集架构,无第三方依赖。 logpipe 的一种用法是能异步实时监控集群里的所有日志目录,一旦有文件新增或追加写,立即采集并输到大存储以相同日志文件名合并落地,或写入 HDFS。异步意味着不影响应用输出日志的性能,实时意味着一有日志立即采集,很多日志采集工具如 flume-ng、logstash 介绍文档通篇不提采集方式是否实时还是周期...阅读全文

USB 4产品将于2020年末上市 提供40Gbps速率与100瓦供电

根据此前的消息,基于Thunderbolt 3(雷电3)技术的USB 4接口与此前的USB 3.2相比带宽提升了一倍,能够提供40Gbps的带宽与100W的供电,使用USB Type-C 物理接口,所以你可以将USB 4当作是雷电3的大众化版本。目前USB Promoter Group正在努力开发USB 4规范,相关零售产品将于2020年底市。 根据 AnandTech 的报道,目前USB 4已经来到了0.7版本,并且研发进度比较快。USB Promoter Group表示,USB 4基于雷电3技术,但是由于目前的研发情况非常复杂,所以他们希望能够在保证性能的情况下将部分功能进行简化,同时也在考虑新的产品标识和推广方案。 USB 4将会提供40Gbps(5GB/s)的输速率并支持...阅读全文

博文 2019-06-13 22:21:22 debian.cn

Debian GNU/Linux 诞生 27 周年

8月16日,Debian 官方博客发文庆祝 Debian GNU/Linux 诞生 27 周年。 由于 COVID-19 大流行,官方表示今年无法像以往那样组织线下的现场庆祝活动,因此他们要求贡献、开发、维护、团队、社区和用户在8月16日(和/或15日)在线宣 Debian 项目和举办庆祝活动。 如果你所在地区没人组织庆祝活动,或自己不想参加活动,Debian 团队提议使用 OBS Studio 把自己准备的庆祝活动录制下来然后至网络或直接开直播。 Debian 于1993年8月16日由 Ian Murdock 首次发布,最初将其称为”Debian Linux Release”。当时,他将这封著名的电子邮件发送到 comp.os.linux.development 邮件列表...阅读全文

博文 2020-08-17 08:32:32 debian.cn

打破IP协议重塑互联网 华为能做到吗

的 IP 报头允许终端用户指定要在数据包执行的自定义功能。 文章以智能家居为例,描述了新 IP 网络下的应用场景: 运动感器检测出房间出现异常活动时,会通知相应房间的安全摄像头通过智能家居网络采集信息,然后,安全摄像头将收集到的图像信息通过互联网发送到主人的智能手机进行判断。如果只是误报,主人可以向安全摄像头发送信息要求停止信息收集。由于房子里的所有设备都连接在同一个家庭网络,所以运动感器可以直接将通知发送到安全摄像头,并带有它的域内地址;并且由于新的 IP 协议向源地址中添加了一个地址段(4.3.2.1),摄像头数据能够直接送至用户的智能手机中。 不难看出,在该场景中,新 IP与统 IP 相比有两方面优势:一是智能家居网络采用短地址空间进行批量通信,减少了分组开销,提高了通信...阅读全文

博文 2020-03-31 06:40:15 debian.cn

三星谈论下一代DRAM解决方案:GDDR7、DDR5、LPDDR5X和V-NAND

列。Exynos 2200采用最先进的4纳米(nm)EUV(极紫外光刻)工艺,ISOCELL HP3的像素尺寸比一代产品的0.64μm小12%,可以使摄像头模块的表面积减少约20%,使智能手机制造商能够保持其高端设备的纤薄。三星展示了其ISOCELL HP3的实际应用,向技术日的与会展示了用20万像素感器相机拍摄的照片质量,并展示了System LSI用于生物识别支付卡的指纹安全IC的工作原理,该IC结合了指纹感器、安全元件(SE)和安全处理器,为支付卡增加了额外的认证和安全层。存储器业务亮点今年是三星在DRAM和NAND闪存领域分别领先30年和20年的一年,三星发布了第五代10纳米级(1b)DRAM以及第八代和第九代垂直NAND(V-NAND),肯定了该公司在未来十年继续提供最强大...阅读全文

Chrome浏览器中新增反恶意软件广告功能

告。 阿拉巴马大学伯明翰分校的计算机取证研究主任GaryWarner指出,谷歌的这一措施将会起到很大的作用。受恶意广告攻击最严重的是依靠广告网络播恶意广告的人。他们在播基础设施方面投入巨大,在某些情况下他们甚至不惜收购广告公司来播恶意软件。遗憾的是,它可能带来的副作用是,播“本地”恶意软件的现象可能会因此而涨。他指的是托管在被黑站点的恶意软件,而不是通过将用户重定向至利用包的恶意广告活动播的恶意软件。 但是恶意广告的表现形式多样,而谷歌新增的安全功能不会终结所有的恶意广告形式。例如,依靠由被黑站点组成的僵尸网络的恶意广告活动,它的重定向含在被黑站点的源代码中而非通过内嵌框架实现,这些恶意广告活动可能不会受影响。 Tab-under将不复存在 不过,谷歌还推出了其它让犯罪分子头疼...阅读全文

博文 2017-11-18 09:00:06 debian.cn

谷歌在美国和欧洲之间的新海底电缆已经上线运行

当时预计该项目将在2020年就会投入使用,但除了要处理跨越各大洲之间的长电缆的复杂问题外,项目负责人当时可能没有为COVID-19全球大流行做好准备。这条近4000英里的电缆总容量为每秒250Tb--或说足以输 "整个数字化的美国国会图书馆每秒三次"。与一些老旧的电缆不同,Dunant使用了12对光纤,再加围绕最大化其带宽的一些技术创新,才实现了这些数字。"谷歌致力于满足对云服务和在线内容的爆炸性需求,这种需求有增无减,"谷歌云基础设施高级总监Mark Sokol说。"凭借创纪录的容量和输速度,Dunant将帮助用户在任何地方访问内容,并补充互联网最繁忙的路线之一,以支持谷歌云的发展。Dunant是一项了不起的成就,如果没有SubCom和谷歌员工、合作伙伴和供应商的奉献,他们在今...阅读全文

Red Hat Enterprise Linux 8 Beta 已发布

iptables,MySQL 8.0,MariaDB 10.3,PostgreSQL 10 和 9.6,Redis 4.0等等。主要特性有: 简化应用程序开发 —— 通过减少设置和配置工作,可以更快地编写代码 对于刚接触 Linux 的开发来说,这是最简单的 RHEL 适用于统和云/容器的应用程序,两都有许多新工具 已经提供了许多工具来构建和测试应用程序 下载: 有三种方法可以访问 RHEL 8 beta,这取决于与 Red Hat 的现有关系: 当前的Red Hat开发会员可以通过Red Hat Developer下载。 如果不是开发会员,只需要在面的链接注册一下即可,不需要费用。 如果是Red Hat Enterprise Linux的合作客户,登录Customer Portal就可以获取客户...阅读全文

博文 2018-11-17 21:01:26 debian.cn

NeuVector:业内首个开源容器安全平台

2022年1月18日,全球企业级开源解决方案领导SUSE宣布:NeuVector代码库现已在GitHub向开源社区开放。将之前的专有技术全部开源是对SUSE开源文化的承,也践行了SUSE向合作伙伴和客户提供开放、互操作性和创新的解决方案的承诺。基于本次发布,NeuVector成为了业界首个端到端的开源容器安全平台,唯一为容器化工作负载提供企业级零信任安全的解决方案。 三个月前,SUSE完成了对NeuVector的收购;此后,SUSE一直在考虑将这一云原生容器安全平台开源所涉及的技术和法律问题。NeuVector是业界领先的安全和合规解决方案,已被全球知名企业广泛采用;其代码库的开源不仅使NeuVector成为开源社区的首选技术,还为受严格监管的客户(包括政企、金融)提供了更可靠...阅读全文

Proxy-Go v6.6 发布啦

Proxy-Go v6.6 发布啦。Proxy 是 golang 实现的高性能 http,https,websocket,tcp,udp,socks5 代理服务器, 支持正向代理、反向代理、透明代理、内网穿透、TCP/UDP 端口映射、SSH 中转、TLS 加密输、协议转换、DNS 防污染代理。 优化了 limitconn 的关闭逻辑, 释放更多资源. http(s)\socks 代理增加了–intelligent, 智能模式设置, 可以是 intelligent|direct|parent 三之一, 默认是:intelligent. 每个值的含义如下. --intelligent=direct, 不在 blocked 里面的目标都直连. --intelligent=parent, 不...阅读全文

博文 2018-12-01 09:52:14 Go v6.6 发布 新增智能模式

Kubernetes源码探疑:Pod IP泄露排查及解决方法

Sandbox,忽视了Job的主容器已经成功结束的事实。 事实,在前面syncPod函数中通过podCache计算API PodStatus Phase的过程中,kubelet已经知道该Pod处于Completed状态并存入apiPodStatus变量中作为参数递给SyncPod函数。如下图所示。 Job已经进入Completed状态,此时不应该重建Sandbox容器。而SyncPod函数在判定Sandbox是否需要重建时, 并没有参考调用syncPod入的apiPodStatus参数,甚至这个参数是被忽视的。 第二个Sandbox容器的来源已经水落石出,解决办法也非常简单,即kubelet不为已经Completed的Pod创建Sandbox,具体代码如下所示。 重新编译kubelet并更新后...阅读全文

Hadoop 核心 - HDFS 分布式文件系统详解

配置。 HDFS 文件的限额配置允许我们以文件个数,或文件大小来限制我们在某个目录下的文件数量或文件内容总量,以便达到我们类似百度网盘网盘等限制每个用户允许的最大的文件的量。 hdfs dfs -count -q -h /user/root/dir1 #查看配额信息 结果: 5.1.1. 数量限额 hdfs dfs -mkdir -p /user/root/dir #创建hdfs文件夹 hdfs dfsadmin -setQuota 2 dir # 给该文件夹下面设置最多两个文件,发现只能一个文件 hdfs dfsadmin -clrQuota /user/root/dir # 清除文件数量限制 5.1.2. 空间大小限额 在设置空间配额时,设置的空间至少是...阅读全文

希捷HAMR硬盘即将商用:目标100TB

看着SSD气势汹汹,机械硬盘丝毫不敢懈怠,唯有不断推陈出新大容量产品,同时把容价比做到更低。据说淘宝出现了一批全新/充新HGST 8T企业盘,由不景气的乐视云内部流出,居然只要千元出头。 就目前而言,西数、东芝均发布了14TB,前使用SMR(叠瓦式磁记录),后使用统的PMR(垂直磁记录),9碟充氦。 而且,巨头均规划了16TB硬盘,预计明年推向市场。 近日,知名存储服务商Backblaze刊文报道,希捷CTO(首席技术官)Mark Re介绍称,HAMR(热辅助磁记录)存储技术硬盘已经越来越接近商用了。 今年10月的容量密度还是2Tbpsi(每平方英寸容量),Mark Re此次透露,目前已经达到5Tbpsi,是当下希捷最大的12TB硬盘(PMR)1.3Tbpsi的3.8倍,而HAMR...阅读全文

Golang 中的 channel 通道详解

文件是必须要做的,但关闭通道不是必须的。关闭后的通道有以下特点:对一个关闭的通道再发送值就会导致panic。对一个关闭的通道进行接收会一直获取值直到通道为空。对一个关闭的并且没有值的通道执行接收操作会得到对应类型的零值。关闭一个已经关闭的通道会导致panic。channel的种类不带缓存的channel一个基于无缓存Channels的发送操作将导致发送goroutine阻塞,直到另一个goroutine在相同的Channels执行接收操作,当发送的值通过Channels成功输之后,两个goroutine可以继续执行后面的语句。反之,如果接收操作先发生,那么接收goroutine也将阻塞,直到有另一个goroutine在相同的Channels执行发送操作。基于无缓存Channels的...阅读全文

Debian目前面临的问题:钱足够但很缺人!

。” Jonathan Carter 的演讲报告幻灯片,“问题永无止境” 社区的文化是不花费不必要的钱。Carter 说,“Debian 人不喜欢花钱,对此有负罪感”。在 Register 看来,这导致社区依赖于少量中坚开发人员承担所有的工作。 官方给出了为 Debian 项目添砖加瓦的开发人员统计情况。目前代码的开发人员有 975 人,项目维护有 223 人。在 Carter 看来,这远远不够,因为 Debian 项目正在不断增长。 在 2009 年,当时的发行版 Lenny 的 i386 架构中有近 2.2 万个二进制软件包。目前的 Bullseye 发行版中,amd64 架构中就有超过 6.1 万个二进制软件包。Carter 指出,“规模很快就会突破 10 万个软件包”。因此,规模扩张是项目面对的燃...阅读全文

博文 2020-10-09 10:24:04 debian.cn

2017 年会是 Serverless 爆发之年吗

站)。一般来说包含客户端、服务端程序、数据库,服务端用 Java 开发完成,客户端用 JavaScript。 采用这种架构,服务端需要实现诸多系统逻辑,例如认证、页面导航、搜索、交易等都需要在服务端完成。如果采用 Serverless 架构来对该应用进行改造,则架构如图所示: Serverless 架构相比于统面向客户端的三层应用架构,有以下几方面的差异: 删除认证逻辑,用第三方 BaaS 服务替代; 使用另外一个 BaaS,允许客户端直接访问架构与第三方(例如 AWS Dynamo)面的数句子库。通过这种方式提供给客户更安全的访问数据库模式; 前两点中包含着很重要的第三点,也就是以前运行在服务端的逻辑转移到客户端中,例如跟踪用户访问。客户端则慢慢转化为单页面应用。 计算敏感或需要访问...阅读全文

博文 2021-01-28 17:50:27 debian.cn

WebAssembly:无需容器的 Docker (下)

本文翻译自 Wasm Labs @ VMware OCTO 的 blog: WebAssembly: Docker without container。这是 Wasm Labs 在 2022 年 12 月 15 日在冬季 Docker Community All Hands 7 的关于 Docker+WebAssembly 的演讲的文字版。作:Asen Alexandrov,Wasm Labs 工程师。文中的我们均指作或 Wasm Labs。本篇文章将更具实践性,将以 PHP 为例带领大家实践 Docker + Wasm。篇文章我们了解了服务端 Wasm 为什么有着重要的作用、什么是 WasmEdge 以及如何让解释型语言编写的程序在 Wasm 里运行,这篇文章,我们将通过动手示例了...阅读全文

博文 2023-01-03 06:39:46 spider

Debian已着手部署补丁:修复WPA2安全漏洞

昨天最令人感到惊讶和担忧的就是,服役超过13年的WPA2加密协议已经被攻破,意味着在你家或办公室 Wi-Fi 物理覆盖范围内的攻击,都可以向破解并发动入侵,监听你的网络活动、拦截不安全或未加密的数据流。针对本次严重的安全漏洞,包含Debian Linux在内的诸多系统厂商已经着手部署安全补丁,以便于提供更安全的网环境。 该补丁已经修复了Common Vulnerabilities and Exposures(CVE)的如下漏洞 CVE-2017-13077 CVE-2017-13078 CVE-2017-13079 CVE-2017-13080 CVE-2017-13081 CVE-2017-13082 CVE-2017-13086 CVE-2017-13087 CVE-2017...阅读全文

博文 2017-10-17 13:32:27 debian.cn

使用 cURL 对Web请求进行性能测试

在做 Web 开发的时候,经常需要对 Web Page 或 REST-ful API 做简单的 Benchmark。本文将介绍如何使用 cURL 进行简单快速的性能评测。本文内容分为以下两部分: 使用 curl 查看加载时间 使用 curl -w 查看更多的网络情况 使用 curl 查看加载时间 curl -s -w "%{time_total}\n" -o /dev/null http://www.github.com/ 1.492 可以看到请求时间为 1.492 秒。此时: -s, --silent: 让 curl 保持静默模式,不会输出进度条 -w "%{time_total\n}":输出使用时间 -o /dev/null: 这个参数用来隐藏 response 的内容 如果使用...阅读全文

博文 2018-11-28 18:40:47 debian.cn

谷歌多项服务大规模宕机:涵盖YouTube、Gmail等

本周日,谷歌在全球范围内遭遇了大规模中断,包括Gmail、YouTube和Google Drive在内基于谷歌云架构服务的诸多谷歌服务均受到影响。本次宕机北京时间6月3日凌晨2点58分开始,用户访问谷歌服务出现各种错误提醒,并且用户无法访问电子邮件、YouTube视频等。 根据谷歌官方状态页面显示,包括Gmail, Calendar, Drive, Docs, Sheets, Slides, Hangouts, Meet, Chat和Voice在内的谷歌服务均无法使用。那些依赖于谷歌云架构的第三方服务同时也受到影响,目前谷歌官方并没有完全恢复的预估时间,也没有公布关于本次宕机事件的根本原因。 苹果的iCloud服务也受到轻微影响,苹果报告称有不到1%的用户出现了响应时间低于正常值的情况...阅读全文

博文 2019-06-03 14:03:32 debian.cn