InfraPub 为您找到相关结果 708

Linux内存buffer和cache的区别

理内存,当物理内存还有空闲时(还够用),不会释放其占用内存,就算占用内存的程序已经被关闭了,该程序所占用的内存用来做缓存使用,对于开启过的程序、或是读取刚存取过得数据会比较快。有关linux内存机制参考: Linux 内存机制 Mem:表示物理内存统计。 -/+ buffers/cached:表示物理内存的缓存统计 Swap:表示硬盘上交换分区的使用情况。只有mem被当前进程占用完,即没有了buffers和cache时,才会使用到swap。 Mem 行(第一行)数据说明: Total:1035108KB。表示物理内存总大小。 Used:1008984KB。表示总计分配给缓存(包含buffers 与cache )使用的数量,但其中可能部分缓存并未使用。 Free:26124KB。表示未...阅读全文

Cloudpods容器化经验分享

验。 目前,将Kubernetes作为IAAS平台的底层服务管理平台是一个趋势,例如OpenStack的Kolla项目,VMware的Tanzu,以及基于Kubernetes的虚拟化方案KubeVirt。Cloudpods顺应此趋势,早在2019年下半年开始基于Kubernetes构建Cloudpods的服务组件基础设施。理论上,Cloudpods站在了巨人的肩膀上。有了Kubernetes的加持,我们基于Operator管理CRD(Custom Resource Definition)机制做到了更优雅的服务自动化部署,符合IaC(Infrastructure as code)践的服务升级和回滚,服务的自动高可用部署等等。但在上,我们基于Kubernetes,获得了一些便利...阅读全文

在TKE上使用Kubecost进行成本管理

## 概述 Kubernetes 作为 IaaS 和 PaaS 的中间层,当前对于资源的计费依托于 IaaS 层的资源计费。一个 Kubernetes 的集群,按照其购买的节点例 CVM 计费。而用户则使用的是 Pod,在场景中,通常需要面临这些问题,一个 Pod 如何承担成本、如何评估集群的成本、如何进行成本预测和优化建议。针对上述问题,我们推荐用户使用 Kubecost 进行解决。 Kubecost 是一款成本分析工具,可以为集群成本提供洞察、分析、推荐和建议。作为您优化集群成本的财务分析师,Kubecost 可以为您提供全面的成本分析报告。本文将介绍 Kubecost 使用场景、优化建议、详细的功能说明以及如何安装使用。 ## 使用场景 ### 评估每种资源消耗的成本 成本支出...阅读全文

RabbitMQ 高可用实现镜像队列

数据也是在三个节点之间同步,但 Queue 的存储只会在一个节点。我们发送消息到指定 Queue,其是发送消息到指定节点下的 Queue。如下图所示,消息发送至队列 testQueue,无论发送者通过哪个 RMQ 节点执行发送,其最终的执行都会是在 MQ03 节点执行消息的存储。 说到这儿,可能有的小伙伴就要问了?说好的,RabbitMQ 集群提供高可用性呢?分析一下,RabbitMQ集群搭建完成后,如不进行任何高可用配置,会有哪些问题呢? 单点故障会导致消息丢失:如 MQ03 节点故障,那么 MQ03 中的消息就会丢失无法最大化的利用 RMQ 提升执行率:既然每次发送到队列 testQueue 的消息都会在 MQ03 节点存储,那么何必搭建集群。 引入 RabbitMQ 的镜像...阅读全文

博文 2018-12-30 19:21:59 debian.cn

HTTPS 证书有效期被提议缩短至13个月

由 Web 浏览器制造商、软件开发人员和安全证书颁发机构组成的行业团体 CA/Browser Forum,正在考虑将 HTTPS 证书的有期从 27 个月缩短到 13 个月。关于这样的提案,已经不是第一次提出。在 2017 年时,CA/Browser Forum 就否决了一项将证书有期从 39 个月缩短至 13 个月的提案。 而早在一年前,证书的最长有期已经从 39 个月降至 27 个月。 我们都知道,HTTPS 证书用于加密浏览器和站点之间的连接,帮助软件确定没有人篡改或窃听这些连接。 如减少 TLS/SSL 证书有的时间,网站必须更频繁地更新其证书。理论上,这样的证书有期也有助于减少欺诈活动,如是偷来的证书则很快会失,被遗弃的网站也会更快地过期。这将迫使他们使用最新和最...阅读全文

博文 2019-08-14 14:13:58 debian.cn

Sam Altman的成功学|OneFlow

且也是显而易见的。 这同样也适用于个人。如你所从事的工作具有可替代性,那么你最终就会被薪资要求更低的人所取代。 增强竞争力的最佳方式就是建立话语权。例如,你可以利用好个人关系,打造强大的个人品牌,或是在不同领域的交叉点建立起自己的个人优势。当然增强竞争力的方式还有很多,但不论采取什么方式,关键是你必须要做到这一点。 大多数人会模仿身边人的做法,但这种方式并不可取,如一味模仿他人,那你还有什么竞争优势可言呢? 11 建立人网络 出色的工作需要团队合作。打造既可密切合作又可轻松相处的优质人网络是事业成功的必要因素。拥有优秀人才的人网络的规模会决定你能成功的上限。 建立人网络的有方法之一是尽可能多帮助他人。长期以来,这种行为方式给我带来了最佳职场机遇以及四项最佳投资中的三项。我总是惊...阅读全文

Raspberry Pi 支持 Vulkan 最新进展

2 月份 Raspberry Pi 基金会曾表示,他们正在致力于为 Raspberry Pi 提供开源 Vulkan 驱动程序的支持,而如今,这项开发工作已经取得了不少可喜的进展。 Raspberry Pi 基金会的博客指出,目前使用 Raspberry Pi 4 的 VideoCore VI GPU 渲染 RGB 三角形的里程碑已经通过 Vulkan 1.0 Khronos Conformance 测试套件超过 70,000 项测试,并且为 Vulkan 1.0 API 的重要子集提供了现。为了展示,看看在 Raspberry Pi 4 上运行一些受欢迎的 Vulkan 演示拍摄图片: 尽管这些演示很不错,但与的游戏和应用还相距甚远,Raspberry Pi 基金会介绍,在驱动...阅读全文

博文 2020-06-13 18:15:31 debian.cn

Synopsys全球首发PCIe 6.0完整方案:用上5nm工艺

它基于Synopsys广受好评的DesignWare IP PCIe 5.0方案,完整支持PCIe 6.0标准特性,包括64GT/s PAM-4信号调制、FLIT模式、L0p低功耗模式等等,可满足HPC高性能计算、AI、存储SoC等应用领域对于延迟、带宽、能的各种需求。为了现吞吐量的最大化、延迟的最小化,Synopsys PCIe 6.0控制器采用了“MultiStream”(多流)架构,性能可达单流架构的最高2倍,并且还有1024-bit宽度架构,可以在关闭1GHz时序的同时,达到64GT/s x16的高带宽,还优化了多数据源、多虚拟通道环境。此外,新方案使用了独特的自适应DSP算法,支持早期SoC开发,优化模拟和数字均衡,无论何种通道下都能获得最佳能,并且基于专利诊断功能,可确保...阅读全文

博文 2021-03-22 18:53:40 cnBeta.COM

亚马逊12个月免费云服务

热线、在线聊天支持。作为全球云服务的龙头企业,亚马逊云计算拥有最广泛的全球云计算基础设施,全球节点丰富,为网站的快速稳定访问提供基础设施保障。配合亚马逊全球CDN节点,能满足不同国家独立站访问速度需求。1.什么是云服务器?云计算服务器(也称云服务器或云主机)是云计算服务系统中的主机产品,有解决了传统物理主机中管理难度大、业务扩展性弱的缺陷。在应用中,云主机具有三个方面的灵活性:主机服务配置和业务规模可根据用户需求配置,可灵活调整。用户申请的主机服务可以快速供应和部署(时在线开通),现集群内灵活可扩展的收费模式,用户无需支付押金,有多种支付模式供用户选择。2.云服务器适合什么样的用户?关注主机服务性价比的用户;需要快速现分布式部署的用户;需要灵活扩展业务的用户;对系统高可用性和快速...阅读全文

阿里巴巴版 JDK 首发 GA 版 生产环境可用

态。这时,虽然 Java 能够对外提供服务,但服务质量较差,如该阶段的用户并发较高,那么就会造成服务质量降级乃至服务崩溃。 为了优化这一过程,通常的工业践会在 Java 启动后引入 " 预热 "(warmup) 步骤,通过人为导入数据来让应用提前加热。在预热完成之前,用户请求通过网络控制不让它发送到 Java 进程,在预热完成之后才打开流量限制让 Java 真正提供服务。这个做法可以部分缓解上述问题,但是该方案在很多场景下会有一些局限性,在很多情况下,获取一份高质量的预热数据是很困难的。而预热数据的正确性直接影响预热,与情况相符的数据可以提高编译质量,如不一致,有时反而会造成反面,比如一种常见的情况是预热时漏掉重要方法调用。更糟糕的情况是由于和情况不一致,导致 JVM...阅读全文

博文 2019-07-11 10:24:52 debian.cn

WireGuard简明介绍及使用指引

= 21841 [Peer] PublicKey = HIgo9xNzJMWLKASShiTqIybxZ0U3wGLiUeJ1PKf8ykw= Endpoint = 142.99.55.66:51520 AllowedIPs = 0.0.0.0/0 国内运营商对 udp 使用限制比较多,可能导致你所在地区体验较差。 官方原版wireguard是端对端全局代理,中国用户无法智能区分国内外流量。wireguard没有自带流量统计、多用户管理功能,这是目前wireguard没有被商家使用的原因。 在当前环境下,建议你优先使用wireguard代理,因为它安全性更高,速度稳定可靠。小众产品反倒生存长久;ss可备用;人在江湖,总要备几架梯子。 测发现,Vultr升级内核后,完美支持wireguard,很好...阅读全文

博文 2019-11-28 12:44:00 debian.cn

Kubernetes 1.9发布:Apps Workloads通用版本与生态系统扩展

从这一过程当中汲取到经验,并在过去几次发布周期内对全部四种资源进行了针对性调整,最终使得DaemonSet与StatefulSet也加入到稳定版本队伍中来。此次发布的v1版本代表着其针对生产需求进行强化且准备就绪,拥有长期向下兼容性保证。 Windows支持(beta测试阶段) Kubernetes最初专门针对Linux系统开发而成,但随着我们的用户越来越多地意识到容器编排功能的优势,我们发现Kubernetes也确有必要运行Windows工作负载。12个月之前,我们开始认真探索Kubernetes支持Windows Server的相关工作。SIG-Windows[3]如今已经将这一功能提升至beta测试版本,意味着大家能够通过使用对其进行评估。 存储增强 自第一个版本开始...阅读全文

博文 2017-12-17 01:00:00 debian.cn

使用 nvme-cli 工具来了解你的 NVMe 驱动器

Management T2 Trans Count : 0 Thermal Management T1 Total Time : 0 Thermal Management T2 Total Time : 0这为你提供了硬盘的当前温度、到目前为止的使用时间、不安全的关机次数等等。格式化一个 NVMe 驱动器你可以用 nvme-cli 格式化一个 NVMe 驱动器,但要注意。这将删除驱动器上的所有数据!如你的硬盘上有重要的数据,你必须在这样做之前将其备份,否则你将会丢失数据。子命令是 format:$ sudo nvme format /dev/nvme0nX(为了安全起见,我用 X 替换了驱动器的位置,以防止复制粘贴的错误。将 X 改为 1 或 nvme list 结中列出的位置。)安全地擦除...阅读全文

博文 2021-09-26 15:12:24 joseph

深入学习golang — channel

) { process(r) // May take a long time. } func Serve(queue chan *Request) { for { req := <-queue go handle(req) // Don't wait for handle to finish. } } 一般来说,server的处理能力不是无限的,所以,有必要限制线程(或者goroutine)的数量。在C/C++编程中,我们一般通过信号量来现,在go中,我们可以通过channel达到同样的: var sem = make(chan int, MaxOutstanding) func handle(r *Request) { sem <- 1 // Wait for active queue to drain...阅读全文

博文 2021-01-25 12:39:17 博客园

项目总结报告应该怎么写

个版本的数据对比,因为两个版本的数据对比可能存在版本偶然性,三个版本的数据趋势会更明显一些;2) 数据分析时可以使用Excel的一些方便功能,提高率,如透视表、宏等。4.暴露(验证)问题数据会诚地反映项目情况。通过数据分析的结,我们会验证在指标选取环节收集的问题是否真存在,如存在则此问题分析会出现在项目总结报告中。在数据分析时,也可能会暴露出一些我们没有明显感知的问题,这类问题也会出现在项目总结报告中。5.提出解决方案暴露问题不是最终目的,解决问题才是终极目标。所以,当发现问题时,项目经理要找存在问题的相关人员,让其针对问题提供解决方案。问题和解决方案都有了,报告内容基本完成,剩下的就是排版的问题。总结报告排版时一定要注意关键的信息放到最前面(遵循结论先行)。在进行分段时一定要注...阅读全文

Manjaro Linux的两项大胆举措

,FreeOffice 已经扩展到支持早期的 Microsoft 格式 DOC、XLS 和 PPT 以及标准化文档格式 OpenDocument Text(ODT)。 但是 FreeOffice 并不是开源的软件,Jack 认为这便是 Manjaro 的大胆之处。 虽然有人会认为 Linux 上应该使用开源项目,并且开发者需要能够查看到 FreeOffice 的源码,并且在出问题时能够自行调试代码解决,但是这样影响办公率的事情上很少会发生。“Linux 上拥有另一种选择的想法,尤其是使与 MS Office 的无缝协作更加现的想法,应该被视为 Linux 桌面的巨大胜利。” Jack 分享了他在 Linux 上文档协作方面的困苦,后来其也是到了需要求助于 Google Docs 之类的线上工具的地步...阅读全文

博文 2019-10-05 16:24:38 debian.cn

高性能日志采集工具 logpipe 简单介绍

在集群化环境里,日志采集是重要基础设施。本文结合最新的 1.0.9 版,对 logpipe 做一个简单的介绍。开源主流解决方案是基于 flume-ng,但在使用中发现 flume-ng 存在诸多问题。 比如 flume-ng 的 spoolDir 采集器只能对文件名转档后的大小不能变化的最终日志文件进行采集,不能满足采集时性要求,如要采集正在被不断追加的日志文件,只能用 exec 采集器搭配 tail -F 命令,但 tail -F 命令又不能通配目标目录中将来新增的未知文件名。其它解决方案如 logstash 由于是 JAVA 开发,内存占用和性能都不能达到最优。 作为一个日志采集的本地代理,内存占用应该小而受控,性能应该高,耗费 CPU 低对应用影响尽可能小,要能异步时追踪...阅读全文

3个 Linux 命令让你看起来很忙:摸鱼的技巧

你看过谍战片、动作片或犯罪电影,你就会在脑海中勾勒出黑客坐在电脑屏幕前的样子:一行行快速移动的代码,大量的矩阵中的十六进制数字代码像雨水一样飞过。也许有一张世界地图,上面有一些发光点和一些快速更新的图表,也许还会有三维几何图形。如可能的话,这一切还可以显示在多个显示器上面。 当然,我们这些技术人员很快意识到这完全是胡说八道。虽然我们中的许多人都有双显示器(或更多),但闪烁的数据通常与专注于工作这一目的背道而驰。编写代码、管理项目和管理系统与股票交易不同。我们遇到的大多数情况都需要我们对试图解决的问题进行大量思考,与利益相关者进行良好的沟通,进行一些研究以及组织信息,然后还有占工作量很少的快速打字。 但这并不意味着我们不想和电影中的黑客一样。有时,我们只是想让自己看起来“有率”。 旁...阅读全文

博文 2019-09-28 15:48:43 debian.cn

我要彻底放弃 Debian 操作系统!-Michael Stapelberg

,包括大型软件工程项目的工作原理,而且我也明白自己多么地喜欢我的计算机系统。我非常清楚这些日子以来的闲暇时间我是如何度过的。 我会在以下各小节中逐一介绍我所面临的主要困难,讨论顺序不分先后。其中有些困难有一些相互影响——例如,如改动后的更好,那么我们就有机会将包转换成更方便的机器读取。 Debian的变更流程 最近几年,我目前的团队在整个代码库中进行了各种大大小小的重构(涉及数千个项目),因此在关于如何有地进行这些变更方面,我们学到了很多宝贵的经验。令我苦恼的是,Debian在各方面的工作方式几乎完全相反。我理解每个组织都不同,但我认为我的很多观点确适用于Debian。 在Debian中,包的推送必须严格遵守一个文档——叫做Debian策略,还有个程序lintian用来保证该策略的...阅读全文

博文 2019-03-22 17:01:23 Michael Stapelberg

监控Kubernetes集群证书过期时间的三种方案 - OSCHINA

-certificate-exporter监控集群所有node的 /etc/kubernetes/pki 和 /var/lib/kubelet 下的证书以及 kubeconfig 文件 优势: 可以监控所有 node, 所有 kubeconfig 文件, 以及 所有 tls 格式的 secret 证书, 如要监控 Kubernetes 集群以外的证书, 也可以如法炮制; 范围广而全; 需要额外安装: x509-certificate-exporter, 对应有 1 个 Deployment 和 多个 DaemonSet, 对 Kubernetes 集群的资源消耗不少. 可以根据您的情况灵活进行选择. 🎉🎉🎉 📚️参考文档 如何使用 Blackbox Exporter 监控 URL? - 东风微鸣技术...阅读全文

博文 2022-12-10 06:49:43 中文开源技术交流社区

如何写好技术文档 — 来自十多年的文档经验总结

++规范,国内的阿里Java开发规范等…… 但对于文档 似乎相关的资料却很少。但上,不应该把文档和代码割裂开来,你可以简单粗暴地认为文档其就是用一种特殊语言书写的代码,这种语言就是人类的语言。这么想的话,上我们很多在代码和工程中总结出来的经验,也可以直接用在文档中,比如: - 有统一的规范 - 有版本控制 - 有明确的责任人维护 - 有变更Review机制 - 有问题的反馈和更新机制 - 定期更新 - 有衡量的指标(比如准确性,时性) ## 明确你的读者是谁 ## 写文档有一个很常见的错误,那就是很多人文档都是写给自己看的,这种情况下就会导致你的文档只有自己或者和你有相似知识背景的人才能看懂,团队较小时这种问题还好,你们都做着类似的工作,所以也都能看懂文档。但当团队逐渐壮大后,问题就...阅读全文

博文 2021-07-30 16:15:13 joseph

Memcache UDP反射放大攻击技术分析

DDoS的主流。即使在反射类DDoS中,也只占 1% 以下(按攻击事件计),排在 DNS、CLDAP、NTP、SSDP、CharGen、L2TP、BitTorrent、Portmap、SNMP的后面。 我们在现网中对 Memcache DRDoS 攻击方式的测试结 我们对现网环境做了测试,结合分析我们捕获的攻击载荷,有以下内容值得关注: 这种反射攻击的放大比率,在理想的测试环境中,可以稳定的测得 1k~60k之间的放大倍数; 在现网环境中, 60k 的放大倍数,也是可以稳定的测得的; 上述测结,与最初报告者0kee team的估计、US-CERT安全通告中的提法,基本是一致的; 此外我们分析了现网发生的攻击负载。到目前为止,部分负载的构造是有问题,可能会导致memcache服...阅读全文

博文 2018-03-02 09:20:52 debian.cn

协议介绍之深入了解 gRPC

经过很长一段时间的开发,TiDB 终于发了 RC3。RC3 版本对于 TiKV 来说最重要的功能就是支持了 gRPC,也就意味着后面大家可以非常方便的使用自己喜欢的语言对接 TiKV 了。 gRPC 是基于 HTTP/2 协议的,要深刻理解 gRPC,理解下 HTTP/2 是必要的,这里先简单介绍一下 HTTP/2 相关的知识,然后在介绍下 gRPC 是如何基于 HTTP/2 构建的。 HTTP/1.x HTTP 协议可以算是现阶段 Web 上面最通用的协议了,在之前很长一段时间,很多应用都是基于 HTTP/1.x 协议,HTTP/1.x 协议是一个文本协议,可读性非常好,但其并不高,笔者主要碰到过几个问题: Parser 如要解析一个完整的 HTTP 请求,首先我们需要能正确的读出...阅读全文

博文 2017-06-22 11:08:48 debian.cn

DDR5内存最大亮点是啥

美光于前日宣布已经开始向业界中的核心客户出样DDR5内存(RDIMM)了,目前他们在DDR5内存上面使用的是自家最新的1z nm工艺。 JEDEC于2016年就开始制定DDR5 SDRAM规范了,不过到目前为止,DDR5标准仍然处于完善期,JEDEC还没有公布它的最终版本,预计它将会在今年正式完成DDR5标准的制定。反而是LPDDR5快了一步,在去年2月份标准就已经正式公布,并且有厂商已经推出了产品,并且在今年已经有移动处理器支持它了。 美光的DDR5技术文档也得以让我们一窥DDR5内存的特性。首先,在同样的等频率下,DDR5内存能够提供更高的有带宽,比如同样处于3200MT/s下,DDR5-3200的有带宽比DDR4-3200的要高出36%;其次是DDR5(在JEDEC标准范围...阅读全文

如何使用 ipset 将单个国家的所有IP加入黑名单

ipset 是 iptables 的扩展,它允许你创建匹配整个地址集合的规则,而不像普通的 iptables 链只能单IP或单网段匹配。 ipset 规则中的IP地址集合存储在带索引的数据结构中,这种结构即时集合比较大也可以进行高的查找,从而减少系统资源占用或网络拥塞。IPset 也具备一些新防火墙设计方法,并简化了配置。ipset 的官网:http://ipset.netfilter.org 下面我们以一个场景为样例,介绍如何在Debian系统中,使用 ipset 将单个国家的左右 IP段 加入黑名单。 #### 准备工作:安装 ipset、或者网段列表 sudo apt-get -y install ipset wget -P . http://www.ipdeny.com...阅读全文

博文 2021-02-06 16:43:47 joseph

说透IO多路复用模型_京东云开发者的博客

poll模型采用了数组结构,则不会有1024长度限制,使其能够承受更高的并发。 pollfd结构内容如下: struct pollfd { int fd; /* 文件描述符 */ short events; /* 关心的事件 */ short revents; /* 返回的事件 */ }; 从上面的结构可以看出,fd很明显就是指文件描述符,也就是当客户端连接上来后,fd会将生成的文件描述符保存到这里;而events则是指用户想关注的事件;revents则是指返回的事件,是由系统内核填充并返回,如当前的fd文件描述符有状态变化,则revents的值就会有相应的变化。 events事件列表如下: revents事件列表如下: 从列表中可以看出,revents是包含events的。接下来结合示...阅读全文

博文 2023-01-01 15:13:50 CSDN博客

分布式任务调度平台 XXL

务,可根据业务事件灵活触发。 16、任务进度监控:支持时监控任务进度; 17、Rolling 时日志:支持在线查看调度结,并且支持以 Rolling 方式时查看执行器输出的完整的执行日志; 18、GLUE:提供 Web IDE,支持在线开发任务逻辑代码,动态发布,时编译生,省略部署上线的过程。支持 30 个版本的历史版本回溯。 19、脚本任务:支持以 GLUE 模式开发和运行脚本任务,包括 Shell、Python、NodeJS、PHP、PowerShell 等类型脚本; 20、命令行任务:原生提供通用命令行任务 Handler(Bean 任务,”CommandJobHandler”);业务方只需要提供命令行即可; 21、任务依赖:支持配置子任务依赖,当父任务执行结束且执行成功后...阅读全文

博文 2018-11-05 21:47:15 JOB 2.0.0 发布

Linux 上如何禁用 USB 存储设备

为了保护数据不被泄漏,我们使用软件和硬件防火墙来限制外部未经授权的访问,但是数据泄露也可能发生在内部。 为了消除这种可能性,机构会限制和监测访问互联网,同时禁用 USB 存储设备。 在本教程中,我们将讨论三种不同的方法来禁用 Linux 机器上的 USB 存储设备。所有这三种方法都在 CentOS 6&7 机器上通过测试。那么让我们一一讨论这三种方法。 方法 1:伪安装 在本方法中,我们往配置文件中添加一行 install usb-storage /bin/true, 这会让安装 usb-storage 模块的操作上变成运行 /bin/true, 这也是为什么这种方法叫做伪安装的原因。 具体来说就是,在文件夹 /etc/modprobe.d 中创建并打开一个名为...阅读全文

博文 2017-12-18 22:52:58 debian.cn

Golang 操作 Kafka 样例

,可能是先从RSS数据源中抓取文章的内 容,然后将其丢入一个叫做“文章”的topic中;后续操作可能是需要对这个内容进行清理,比如回复正常数据或者删除重复数据,最后再将内容匹配的结返 还给用户。这就在一个独立的topic之外,产生了一系列的时数据处理的流程。 日志聚合:使用Kafka代替日志聚合(log aggregation)。日志聚合一般来说是从服务器上收集日志文件,然后放到一个集中的位置(文件服务器或HDFS)进行处理。然而Kafka忽略掉 文件的细节,将其更清晰地抽象成一个个日志或事件的消息流。这就让Kafka处理过程延迟更低,更容易支持多数据源和分布式数据处理。比起以日志为中心的 系统比如Scribe或者Flume来说,Kafka提供同样高的性能和因为复制导致的更高的耐用性保证...阅读全文

博文 2023-01-10 13:46:09 掘金

Greg Kroah

Ubuntu根本就是个祸害开源社区发行版。资本家是“无利不起早”的。“新人用Ubuntu系列是最不明智的选择,因为很难利用到别人的经验。Ubuntu修改了太多东西造就了和其它发行版的不兼容。 “Ubuntu通过大量散发免费光盘圈走很大一部分初级用户,这部分用户自行解决问题能力相对较差,当遇到问题而又因为系统和别人不兼容而无法获得别人帮助时,最终将屈服于Ubuntu而购买Ubuntu的服务。 “这种称作糖衣炮弹的诈骗手段古往今来屡试不爽。上微软也这样,只不过微软是通过放纵盗版来圈客户,并且微软的Windows好歹还有很大一部分是它自己编的;Ubuntu则明着圈初学者,并且利用的工具也基本上不是它自己的,而是GNU/Linux。”(按:在以上大字报贴出一年后,Ubuntu然提供了比买...阅读全文

博文 2021-01-28 17:50:09 Hartman批评Ubuntu发行版

观点:DDR内存即将谢幕 HBM 3/4内存才是未来

Tesla P100上商用了HBM 2技术,不过消费级市场上使用HBM 2技术还是AMD去年的RX Vega显卡,但是因为HBM 2显存的成本太过昂贵,RX Vega上上使用了两组4GB HBM 2,等位宽比第一代减少一半,尽管频率大幅提升,所以带宽反而低了一些。 见识过HBM的玩家对该技术肯定印象深刻,那么未来它又该如何发展呢?HPE(惠普企业级)公司的Nicolas Dube日前分享了他的一些观点,在他看来DDR内存要走到尽头了(DDR is Over),特别是一些需求高带宽的场合中。 根据他分享的一些数据,HBM 2内存将在2018年大量应用,HBM 3将在2020年左右应用,改进版的HBM 3+技术在2022年应用,2024年则会有HBM 4内存,带宽及容量也会逐级增长,比如现在的...阅读全文

下一代时间同步服务 Chrony 详解

。该参数的含义是在头四次 NTP 请求以 2s 或者更短的间隔,而不是以 minpoll x 指定的最小间隔,这样的设置可以让 chronyd 启动时快速进行一次同步。 其他的参数有 minpoll x 默认值是 6,代表 64s。maxpoll x 默认值是 9,代表 512s。 driftfile file Chrony 会根据时间计算修正值,并将补偿参数记录在该指令指定的文件里,默认为 driftfile /var/lib/chrony/drift。 与 ntpd 或者 ntpdate 最大的区别就是,Chrony 的修正是连续的,通过减慢时钟或者加快时钟的方式连续的修正。而 ntpd 或者 ntpdate 搭配 Crontab 的校时工具是直接调整时间,会出现间断,并且相同时间可能...阅读全文

博文 2021-01-04 08:41:14 debian.cn

Raspberry Pi 即将迎来 Vulkan 的支持

个三角形。 Upton 再次强调,这仅仅是 Raspberry Pi 上 Vulkan 开发过程的开始。“早在 2018 年,社区就一直在为 Vulkan 提供支持(最初是在 VideoCore IV 上)而努力,Igalia 仅在开发新驱动程序上工作了几周,在将的驱动程序交付用户之前,我们还有很长的发展路线图。因此,敬请期待我们和 Igalia 的更多消息,接下来将会有进一步发展。”...阅读全文

Terraform 学习总结 — Terraform 简介

前言 在 DevOps 践中,基础设施即代码如何落地是一个绕不开的话题。像 Chef,Puppet 等成熟的配置管理工具,都能够满足一定程度的需求,但有没有更友好的工具能够满足我们绝大多数的需求?笔者认为 Terraform 是一个很有潜力的工具,目前各大云平台也都支持的不错,尤其是使用起来简单明了。本文会简单的介绍一下 Terraform 相关的概念,然后通过一个小 demo 带大家一起进入 Terraform 的世界。说明:本文的演示环境为 ubuntu 16.04。 Terraform 是什么? Terraform 是一种安全有地构建、更改和版本控制基础设施的工具(基础架构自动化的编排工具)。它的目标是 "Write, Plan, and create...阅读全文

Linux系统诊断-内存基础

数。从而达到“写资源”合理利用的。然而,free命令所展示的buffer和cache 有点狭义的意思——free展示的buffer表示 块设备所占用的缓存 、free展示的cache表示普通文件占用的the page cache(缓存页) 。总之,buffer和cache使用的内存都是用来加速Linux读写性能,如有新的进程需要内存,系统会将buffer和cache占用的内存回收,并重新分配给进程使用。2.4 其他内存概念RSS & VSZ & PSS & USSRSS(Resident Set Size):进程使用的物理内存大小,包括sharedMem。VSZ(Virtual Memory Size):进程所有能够访问到的内存大小,包括因为缺页中断,被swap出去的内存大小,以及...阅读全文

博文 2021-02-11 14:22:42 SegmentFault 思否

Debian 社区陷入尴尬 或群龙无首

没有人在做任何竞选活动。” 为什么大家都不愿担任领导人呢? Debian 领导人的主要职能有两项:一方面是代表 Debian 到世界各地,在会议上进行分享,同时处理项目与其它团队和公司的关系;另一方面是行政上的,领导人要管理项目资金,任命开发者在项目中担任不同角色,并负责项目中的一些细节。 但是公开信中也指出,上,因为 Debian 项目把各种各样的权限都下放到社区成员中,导致领导人的上并没有多少。比如,个别开发者几乎可以完全控制他们维护的软件包;开发人员之间的技术分歧很大的时候,将由项目技术委员会处理;发布管理者与 FTP 主人有权最终决定项目发布的内容,以及何时发布;项目秘书负责确保遵循必要的程序;政策团队处理项目的大部分总体设计。 另一方面,Debian 领导人这个职位...阅读全文

博文 2019-03-14 11:05:23 debian.cn

5G将是全球最智能互联的云计算

2020年前后将进入5G时代,5G将推动对整个产业带来革命性影响,并改变我们所有人的工作和生活方式,人类社会全面进入到数字化时代。 云计算和智能互联,正在快速演进,5G将是全球最智能的互联设备之一。在全球范围内,中国率先启动5G试验,在国上率先发布5G系统在中频段内的频率使用规划。 怀柔5G试验外场对5G系统技术的验证,在技术、频谱利用、密集组网、大规模天线的布设、复杂网络的优化等方面,业界已可以看到5G特定场景的演示,促进5G发展进入新的阶段。 中国率先启动5G试验 2018年将重点研发5G产品 对于5G频谱的研究,专家认为,全球频谱越统一越有利于频谱率的最大化。毫米波的频率规划,是我国5G推进的重要工作。目前毫米波频段,仍有一些不确定性,建议业界尽早明确一些5G场景,明确中国毫米波...阅读全文

InfluxDB 的 percentile 函数详解

官方文档的说明并不详细: https://jasper-zhang1.gitbooks.io/influxdb/content/Query_language/functions.html 百分位取第几位的值参考如下 PERCENTILE(field_key, N) 选取某个字段中大于N%的这个字段值。 如一共有4条记录,N为10,则10%*4=0.4,四舍五入为0,则查询结为空。N为20,则 20% * 4 = 0.8,四舍五入为1,选取的是4个数中最小的数。如N为40,40% * 4 = 1.6,四舍五入为2,则选取的是4个数中第二小的数。 由此可以看出N=100时,就跟MAX(field_key)是一样的,而当N=50时,与MEDIAN...阅读全文

王垠:如何掌握所有的程序语言

论不休,发生各种宗教斗争。 你追逐潮流采用了某种时髦的语言,结两个月之后发现深陷泥潭,痛苦不堪…… 虽然我已经不再过问这些世事,然而无可置疑的现是,程序语言仍然是很重要的话题,这个情况短时间内不会改变。程序员的岗位往往会要求熟悉某些语言,甚至某些奇葩的公司要求你“深入理解 OOP 或者 FP 设计模式”。对于在职的程序员,程序语言至今仍然是可以争得面红耳赤的宗教话题。它的宗教性之强,以至于我在批评和调侃某些语言(比如 Go 语言)的时候,有些人会本能地以为我是另外一种语言(比如 Java)的粉丝。 显然我不可能是任何一种语言的粉丝,我甚至不是 Yin 语言的粉丝 对于任何从没见过的语言,我都是直接拿起来就用,而不需要经过学习的过程。看了这篇文章,也许你会明白我为什么可以达到这个。理解...阅读全文

博文 2017-07-10 10:13:17 debian.cn

工业版树莓派HackBoard 2众筹中 支持Win10专业版和4G/5G网络

11.6~15.6 英寸屏幕的 30 针 eDP 和支持触屏的 6 针连接器。 虽然核显性能羸弱,但至少可在 720p 分辨率和低特设置下运行 Valorant 和 LoL 等游戏。 网络方面,HackBoard 2 板载了 Wi-Fi 和千兆以太网,此外采用 M.2 接口的 4G / 5G 模块分别需要 50 / 299 美元(约328 / 1959 RMB)。 连接方面,HackBoard 2 提供了三个 USB 2.0(支持键鼠等外设),一个 5 针 USB 2.0 摄像头连接器,以及两个 M.2 B Key(其中给一个支持 M Key)插槽。 如一切顺利,CrowdSupply 可于 2021 年 4 月 30 日前向早期支持者发货。此外美国境内运费为 8 美元(约 52 RMB),国...阅读全文

博文 2020-12-15 13:06:35 debian.cn

Redis 6.0.0 GA已正式发布

用于选定的前缀),但服务器端无需进行任何内存操作。此外,现在支持选择加入/退出模式,因此,对于不使用广播模式的客户端,可以将其将缓存的内容准确告知服务器,以减少无消息的数量。从根本上说,现在该功能在需要低内存模式和需要选择性(低带宽)模式时都更好。 2.这是许多用户的旧请求。现在,Redis支持一种模式,用于复制的RDB文件会在不再有用时立即删除。在某些环境中,最好不要将数据存储在磁盘上,而要存储在内存中。 3. ACL在某些方面更好。首先,有一个新的ACL LOG命令,该命令允许查看所有违反ACL的客户端,访问不应该访问的命令,不应该访问的密钥或尝试失败的身份验证。该日志上位于内存中,因此每个外部代理都可以调用“ ACL LOG”以查看发生了什么。这对于调试ACL问题非常有用。 但是...阅读全文

博文 2020-05-01 09:15:09 debian.cn

IETF宣布正式弃用TLS 1.0和TLS 1.1 - 最新消息

的主要问题是缺乏对现代密码的支持(如ECDHE和AEAD),在规范中存在支持旧密码的要求,在计算机工程发展的现阶段,其可靠性受到质疑(例如,要求支持 TLS_DHE_DSS_WITH_3DES_EDE_CBC_SHA,MD5 和 SHA-1 用于完整性检查和认证)。对传统算法的支持已经导致了ROBOT、DROWN、BEAST、Logjam和FREAK等攻击。然而,这些问题并不是协议的直接漏洞,而是在执行层面上被关闭了。TLS 1.0/1.1协议本身并不包含可以被利用来进行攻击的关键漏洞。...阅读全文

团队激励的八大方法,让你的团队成员更加高效地达成目标

激励是指激发人的行动动机的心理过程,是一个不断朝着期望的目标前进的循环的动态过程。简言之,就是在工作中调动人的积极性的过程。激励是对人的一种刺激,是促进和改变人的行为的一种有的手段。激励的过程就是管理者引导并促进工作群体或个人产生有利于管理目标行为的过程。每一个人都需要激励,在一般情况下,激励表现为外界所施加的推动力或吸引力,转化为自身的动力,使得组织的目标变为个人的行为目标,促进团队合作的的动力,使企业更高的达成既定目标!团队激励的八大方法1、为团队成员设立共同的奋斗目标依照激励理论,共同的奋斗目标是调动全体团队成员积极性的利器,这个目标必须是可衡量的和可现的。人的动机与行为都有一定的目的性,而建立明确的目标,就能有地激发和引导人们的动机,鼓舞和激励人们采取积极的方法去努力奋斗...阅读全文

基于thanos搭建分布式prometheus

external_labels: cluster: 158 rule_files: - /etc/prometheus/rules/*.yml remote_write: - url: http://receive集群的service ip:19291/api/v1/receive scrape_configs: remote_write部分的IP填写receive集群对外暴露的入口IP,端口是receive组件的remote-write专用端口19291,URI部分是固定的。 最后 thanos官方提供了一个sidecar方案的交互式教程,帮助大家理解thanos整个组件关系和配置过程,建议学习:https://katacoda.com/thanos/courses/thanos,生产中建议采用方案2。 如文章...阅读全文

博文 2021-03-01 13:02:46 鱼儿的博客

互联网协议正在发生变化

在已经被广泛部署,并且被所有的主流浏览器和 web 服务器支持。 从网络的角度来看,HTTP/2 带来了一些显著变化。首先,这是一个二进制协议,因此,任何假定它是 HTTP/1.1 的设备都会出现问题。 这种破坏性问题是导致 HTTP/2 中另一个重大变化的主要原因之一:它上需要加密。这种改变的好处是避免了来自伪装的 HTTP/1.1 的中间人攻击,或者一些更细微的事情,比如 strip headers 或者阻止新的协议扩展 —— 这两种情况都在工程师对协议的开发中出现过,导致了很明显的支持问题。 当它被加密时,HTTP/2 请求也要求使用 TLS/1.2,并且将一些已经被证明是不安全的算法套件列入黑名单—— 其只允许使用短暂密钥ephemeral keys。关于潜在的影响可以去看...阅读全文

机械轴首选 iKBC c87 高性价比键盘

ARM 32位处理器,可以扩展LED背光功能。键帽下方预留了灯位,无需额外的控制系统,就可以现丰富的灯光。比如逐行单独控制亮度和呼吸、全键流光模式。总的来说,这是一款性价比不错的机械键盘,能够满足大部分用户的需求,预留的改装空间也照顾到了需求更高的玩家。 如用279块的价格买到499块的静音版 iKBC c87 键盘呢?得赶在京东 618 大促结束前,目前京东官网价格是338元(比昨天涨了10块?),付款时选择开通京东白条。首次开通京东白条,会有50元的抵用券,折合 278元(更新:现在此购买沟通已关闭)。 上午拿到物,比预期的要好一些,静音键盘然声音柔和,又不影响手感,没有之前用的 Filco 键盘的噼里啪啦的噪音,可以放在办公室长期用了。这么好的键盘,即便不用券,现价338也...阅读全文

博文 2019-06-08 12:22:24 debian.cn

打破IP协议重塑互联网 华为能做到吗

打破长达半世纪的 IP 协议,重塑互联网,可能现吗?华为正在尝试中。据《金融时报》报道,华为联合中国工会、中国电信、中国工业和信息化部向国电信联盟(International Telecommunication Union,ITU)提出一项名为“New IP” 的提案。 华为在提交的议案文章(题为“New IP framework and Protocol for Future Applications”)中介绍到,New IP 是一种新型互联网协议框架,能够更好地支持新兴网络应用,比如多网络和全息通信等,将从根本上支持网络层的可变长度、多语义地址以及用户定制的网络。 华为指出,现有的 IP 协议已面临着网络挑战,主要有两个方面:一是 AR/VR、全息通信等新兴应用的发展需要更高和定...阅读全文

博文 2020-03-31 06:40:15 debian.cn

7大维度看国外企业为啥选择gRPC打造高性能微服务

。 仪表板的发布在进行中,工程团队将Bugsnag的后端功能分解成称之为管道(pipeline)的微服务体系。将管道扩展到支持发布,意味着增加新的服务,并修改现有服务,也可预见到许多新的服务器和客户端的交互。为了处理上述架构的变化,需要采用一致性的方式来设计,施和集成企业的服务。Bugsnag是一家多语言的公司,服务是用Java,Ruby,Go和Node.js等多语言编写,因此企业需要一种与平台无关的方法。 本文将介绍为什么我们最终选择了gRPC作为Pipeline的默认通信框架。 达到REST API设计的极限 现有系统传统上使用具有JSON有载荷的REST API进行同步通信。这种选择是基于占压倒性比例的成熟度、熟悉度和工具的可用性做出的,但是随着跨洲工程团队的增长,企业需要设计一致的...阅读全文

博文 2018-03-19 17:51:32 debian.cn

PCIe 6.0完成0.5版本:明年正式版 总带宽256GB/s

计、开发自己的技术和产品。1.0版本:最终正式版,公开发布。 事上,0.5版本发布之后,厂商们已经可以开始设计测试芯片,为后续工作提前做好准备。 尽管升级速度加快,但是每一代PCIe规范的变化都相当大,尤其是带宽每次都翻一番,并兼容所有前代规范。 PCIe 6.0也不例外,向下兼容PCIe 5.0/4.0/3.0/2.0/1.0的同时,数据率或者说I/O带宽会再次加倍来到64GT/s,PCIe 6.0 x1单向带宽8GB/s,PCIe 6.0 x16单向带宽128GB/s、双向带宽256GB/s。 PCIe 6.0将延续PCIe 3.0时代引入的128b/130b编码方式,但加入全新的脉冲幅度调制PAM4,取代PCIe 5.0 NRZ,可以在单个通道、同样时间内封包更多数据,以及低延迟...阅读全文

博文 2020-02-22 22:20:38 debian.cn

APISIX Ingress 如何使用 Cert Manager 管理证书

于在 Kubernetes 平台上简化证书管理的软件,它支持对接许多不同的证书源,如 Let's Encrypt 和 HashiCorp Vault。 如你在使用 Apache APISIX Ingress Controller 时,遇到了证书管理的麻烦,那么使用 Cert Manager 将会是一个不错的选择,本文将介绍如何通过 Cert Manager 来创建证书并对接到 Apache APISIX Ingress Controller。 步骤一:环境准备 如你希望按照本文的指导进行的操作,请确保以下环境和工具已准备就绪: 准备一个可用的 Kubernetes 集群,开发环境中,你可以使用 Kind 和 Minikube 安装 kubectl 安装 Helm v3 请注意,下文所...阅读全文

博文 2023-02-09 07:38:06 中文开源技术交流社区