在Reddit上有人表示把42TB的普通存储（没有组RAID或者其他）全部采用Btrfs技术，通过把ext4文件系统迁移到Btrfs至少节省了5TB的存储空间。尽管已经开发了相当长时间，但是鲜有发行版把Btrfs当作默认的文件系统，目前SUSE企业版把Btrfs作为系统默认的文件系统。Linux.com日前采访了Btrfs的主要贡献者Chris Mason，通过他的讲述透露了社交巨头Facebook使用Linux内核与Btrfs文件系统的大量细节。 Chris Mason是开源文件系统项目Btrfs的主要贡献者，Mason最初在Oracle从事Btrfs的开发，后来他加入社交巨人Facebook的Linux内核技术小组继续从事Btrfs文件系统的研发工作。当Facebook需要升级新内核的...阅读全文
程技术平台。而到了 Novell 之后用了不到三年就使这家公司扭亏为盈，最后的亏损其实很大程度上需要归结为微软的打压和互联网泡沫的破裂，那次失败真不是施密特能控制的。所以 Novell 公司在他担任谷歌 CEO 之后依然为他保留了董事会主席席位，以示尊重。 施密特的地位堪比二位创始人 谷歌由佩奇和布林创立于1998年，但是直到2001年施密特担任 CEO，谷歌依然只是一个技术还不错，但是完全没办法赚钱的小公司，施密特本人就曾直言：“他们在各个方面的看法，都与我不尽相同。让人搞不清他们的思路究竟是令人耳目一新的远见，还是单纯天真。” 而施密特的加入，正好为两位创始人天马行空的设想打下了良好的基础——钱。施密特发现了搜索业务和广告之间的高度关联性，并由此创造了搜索广告这一革命性的盈利模式，直到现...阅读全文
众所周知，在Java的知识体系中，并发编程是非常重要的一环，也是面试的必问题，一个好的Java程序员是必须对并发编程这块有所了解的。为了追求成为一个好的Java程序员，我决定从今天开始死磕Java的并发编程，尽量弥补自己在这方面的知识缺陷。 并发必须知道的概念 在深入学习并发编程之前，我们需要了解几个基本的概念。 同步和异步同步和异步用请求返回调用的方式来理解相对简单。 同步：可以理解为发出一个请求后，必须等待返回结果才能执行下面的操作。 异步：请求发出后，不需要等待返回结果，可以继续执行后续操作，异步请求更像是在另一个 “空间” 中处理请求的结果，这个过程不会影响请求方的其他操作。 举个生活中的例子，比如我们去实体店买衣服，挑选完款式后下单让售货员去仓库拿货，在售货员拿货的过程你需要在店...阅读全文
{ c.mu.Unlock() return // 已经被其他协程取消 } c.err = err // 关闭 channel，通知其他协程 if c.done == nil { c.done = closedchan } else { close(c.done) } // 遍历它的所有子节点 for child := range c.children { // 递归地取消所有子节点 child.cancel(false, err) } // 将子节点置空 c.children = nil c.mu.Unlock() if removeFromParent { // 从父节点中移除自己 removeChild(c.Context, c) } } context.timerCtx timerCtx 基于...阅读全文
sidecar和prometheus则走原生HTTP接口拿数据。 为了高可用，我们可以部署多个prometheus同时抓取。 为了打散采集/存储压力，我们可以部署多个prometheus各自抓取部分数据。 无论出于上述哪种目标或者混合目标，最终依靠Querier的正确配置都可以提供统一的Promql查询入口给Grafana，这一点是毋庸置疑的。 这里看到了图中有几个陌生的组件： Store Bucket Compactor Prometheus单机存储空间有限，SideCar和Prometheus在同POD内共享数据volume，然后sidecar可以自动将prometheus磁盘数据上传到Bucket里归档存储；后续Querier可以通过Store组件从Bucket拉取到历史数据，这样就实现了历史数据...阅读全文
塞队列性能更好的 Mpsc (多生产单消费）队列，它使用大量的 long 类型字段来做内存区域填充，用空间换时间解决了伪共享问题，减少了并发情况下的写竞争来提高性能。 在流量高峰时期，链路数据的发送队列这一块的性能从火焰图上看 CPU 占比平均小于2%，日常服务CPU整体水位与0采样相比几乎没有明显差距，因此我们经过多方面压测对比后，决定在生产环境客户端侧开放链路数据的全量上报，实现了在得物技术史上的全链路 100% 采样，终结了一直以来因为低采样率导致问题排查困难的问题，至此，在第三阶段，得物的全链路追踪技术正式迈入 Trace2.0 时代。 得益于 OpenTelemetry 整体的可插拔式 API 设计，我们二次开发了 OpenTelemetry Java...阅读全文
读取。用户态进程读取这些数据后，进一步关联 Kubernetes 元数据后推送到存储端。这是整体处理过程。eBPF 的超能力体现在能订阅各种内核事件，如文件读写、网络流量等，运行在 Kubernetes 中的容器或者 Pod 里的一切行为都是通过内核系统调用来实现的，内核知道机器上所有进程中发生的所有事情，所以内核几乎是可观测性的最佳观测点，这也是我们为什么选择 eBPF 的原因。另一个在内核上做监测的好处是应用不需要变更，也不需要重新编译内核，做到了真正意义上的无侵入。当集群里有几十上百个应用的时候，无侵入的解决方案会帮上大忙。但作为新技术，人们对 eBPF 也存在些许担忧，比如安全性与探针性能。为了充分保证内核运行时的安全性，eBPF 代码进行了诸多限制，如最大堆栈空间当前为 512、最...阅读全文
理内存的 C 地址。 我们知道系统里的基本单位都是 Byte 字节，如果将每一个虚拟内存的 Byte 都对应到物理内存的地址，每个条目最少需要 8字节（32位虚拟地址->32位物理地址），在 4G 内存的情况下，就需要 32GB 的空间来存放对照表，那么这张表就大得真正的物理地址也放不下了，于是操作系统引入了 页（Page）的概念。 在系统启动时，操作系统将整个物理内存以 4K 为单位，划分为各个页。之后进行内存分配时，都以页为单位，那么虚拟内存页对应物理内存页的映射表就大大减小了，4G 内存，只需要 8M 的映射表即可，一些进程没有使用到的虚拟内存，也并不需要保存映射关系，而且Linux 还为大内存设计了多级页表，可以进一页减少了内存消耗。操作系统虚拟内存到物理内存的映射表，就被称为页表...阅读全文
被投诉人选择一人独任，则最终由一人独任审理，对另外一种情况我则没有查到具体的说法。 以上是我近期学习到的关于域名仲裁的相关内容，在这里分享给大家，由于个人理解的不同，描述不一定正常，在这里仅仅是作为一个介绍，欢迎朋友们一起讨论和指正。 关于域名与商标，虽然知识产权在社会中越来越被重视和保护，但还是希望各大公司、终端自身给予高度的重视，在这个互联网时代、眼球时代和信息爆炸时代，互联网经济必然会占到越来越大的比重，最终会与实体经济平起平座，各大依托于网络的公司能在短短几年内，超越苦心经营几十年的实体企业，这都是互联网经济的威力。而域名就是企业在网络上的虚似商标，是企业的网络脸面，一些大的公司无不在自身网站的域名上不惜成本，花空心思，说明一个契合自身特色的域名是多么的重要。 当然，在这里也奉劝各位...阅读全文
下一个 node 的 object 队列没有任何需要处理的报文 (node 的 object 队列为空) /* Home run scenario */ /* Swap the pointers if dst don't have valid objs */ if (likely(dst->idx == 0)) { void **dobjs = dst->objs; uint16_t dsz = dst->size; dst->objs = src->objs; dst->size = src->size; src->objs = dobjs; src->size = dsz; dst->idx = src->idx; __rte_node_enqueue_tail_update(graph...阅读全文
能也不如后者来得大。 Ubuntu Cleaner是被抛弃的Ubuntu Tweak应用程序的“Cleaner”部分的分支。使用该应用程序是帮助释放Ubuntu空间的好方法。它可以清除不需要的程序包，清理过时的应用程序配置，还能清理apt和Web浏览器缓存内存。 16. FeedReader RSS阅读器 我用两种方式来密切关注成百上千的应用程序、网站及其他开发项目：电子邮件(通过邮件列表)和RSS新闻源(通过Feedly)。如果你使用后者(或者即便不用)，可能会有兴趣打量一下FeedReader。 FeedReader是一款GTK桌面RSS阅读应用程序，适用于Linux桌面。它并不是各方面都很完善，好几个地方还是不尽人意，但它是在浏览器标签中使用Feedly的比较好的工具。它可以通过专用...阅读全文
commit 的同时，你工作目录里的新改动和已经add到stage区的新改动也一起全都消失了 git reset --soft 保留工作目录，并把重置 HEAD 所带来的新的差异放进暂存区 将 HEAD 和 branch 往回移动，就能起到撤回 commit 的效果。 reset 如果不加参数，那么默认使用 --mixed 参数，它的行为是： 保留工作目录，并且清空暂存区， git reset HEAD^ //以mixed回退到上一个版本 由 reset 所导致的新的文件差异，都会被放进工作目录，相当于回到了git add以前 总之，以--hard回退，相当于丢弃新改动，以--soft回退相当于将新改动放入暂存区，以--mixed回退，相当于不关联新改动，但改动还在 git reset --hard...阅读全文
。2024财年；国防部创建了零信任参考架构；美国国家安全局发布了一份Kubernetes 强化指南，专门描述了 Kubernetes 中零信任安全的最佳实践。随着这种噪音，零信任无疑吸引了很多营销关注。但尽管有噪音，零信任不仅仅是一个空洞的术语——它代表了对未来安全的一些深刻和变革性的想法。那么具体来说，什么是零信任，为什么它突然变得如此重要？零信任对 Kubernetes 用户意味着什么？什么是零信任？正如所料，零信任从根本上讲是关于信任。它是解决安全核心问题之一的模型：是否允许 X 访问 Y？换句话说，我们是否相信 X 可以访问 Y？当然，零信任中的“零”有点夸张。要使软件正常工作，显然某些东西需要信任其他东西。因此，零信任并不是完全消除信任，而是将信任降低到最低限度（众所周知的最小特权原则）并...阅读全文
API收集堆栈跟踪和跟踪内存分配，因而其可以和OpenJDK、Oracle JDK和其他基于HotSpot JVM的Java应用在运行时协同工作。 Github项目链接地址：https://github.com/jvm-profiling-tools/async-profiler Async-profiler可以跟踪以下类型的事件： CPU周期； 硬件和软件性能计数器，如缓存未命中、分支未命中、页面错误、上下文切换等； Java堆中的分配； 满足的锁定尝试，包括Java对象监视器和可重入锁； 支持的平台Linux / x64 / x86 / ARM / AArch64macOS / x64注意：macOS分析仅限于用户空间代码。 生成的火焰图，绿色代表用户栈，黄色代表jvm，红色代表内核；横坐标...阅读全文
ghcr.io/vmware-labs/php-wasm 7.4.32-cli-aot 63460740f6d5 44 minutes ago 5.35MB 这是意料之中的，因为对于 Wasm，我们只需要在容器内添加可执行二进制文件，而对于传统容器，我们仍然需要来自运行二进制文件的操作系统的一些基本库和文件。这种大小差异对于第一次拉取镜像的速度以及进行在本地存储库中占用的空间非常有帮助。Wasm 可移植性Wasm 最大优势之一就是它的可移植性。 当人们想要一个可移植的应用程序时，Docker 已经提供了传统的容器作为一种选择。 然而，除了镜像特别大之外，传统容器还绑定到它们运行的平台架构。 作为程序员，相比许多人都经历过这种坎坷：针对不同的架构，必须构建支持的软件版本，并为每种架构打包对应镜像...阅读全文
。发送请求的时候，只要指定 field 在静态 table 里面的索引，双方就知道要发送的 field 是什么了。 对于动态 table，初始化为空，如果两边交互之后，发现有新的 field，就添加到动态 table 上面，这样后面的请求就可以跟静态 table 一样，只需要带上相关的 index 就可以了。 同时，为了减少数据传输的大小，使用 Huffman 进行编码。这里就不再详细说明 HPACK 和 Huffman 如何编码了。 小结 上面只是大概列举了一些 HTTP/2 的特性，还有一些，譬如 push，以及不同的 frame 定义等都没有提及，大家感兴趣，可以自行参考 HTTP/2 RFC 文档。 Hello gRPC gRPC 是 Google 基于 HTTP/2 以及...阅读全文
，X86依旧屹立不倒，但对抗他的玩家却换了一批，这一轮与他竞争的是ARM和RISC—V两个阵营。从后两者的发展来看，近些年来，他们都在积极向PC市场做扩展。同时，在大数据时代的推动下，他们也有有意向服务器市场方向发展。但对于这一块市场来说，英特尔在该领域已经建立起了强大的优势，除了产品外，生态也是他们能够固守城市的一个有利武器。IBM所推出的POWER被视为是在现在的服务器市场占有一定地位的架构，但POWER架构也没有在通用市场打过英特尔，POWER架构在例如银行、航空公司、公安系统等高端应用中较为广泛，采用这种架构的产品作为小型机，封闭系统，其设计更加完整紧凑，综合起来性能强于X86。在特定的市场中发展的思路，让POWER架构得以在竞争激烈的处理器架构竞争中存活了下来。而这或许也为后来的挑战者...阅读全文
高可用性。使Prometheus高可用的一种方式是运行多个实例去scraping相同的作业。这些实例在抓取指标时会因微小的时间间隔差异而在数据中产生细微差异。此外，如果其中一个实例宕机了几个小时，那么当查询转发到该实例时，将会出现数据空白。如果我们使用grafana这样的工具将指标展示为图形，我们可能会得到不同的样本值或有数据缺失的图形。可以将Cortex配置为从多个HA Prometheus实例读取数据。它从一个主实例main接受指标，并从其他实例放弃该度量。一旦这个副本掉线，Cortex会无缝切换到另一副本并将其标记为主副本main。为此，Cortex着眼于两个标签，一个共同的标签与一个集群（或一组Prometheus）相关联，另一个识别副本。全局指标视图可以将Prometheus实例配...阅读全文
欧盟一般数据保护条例（GDPR）和加州消费者隐私法案（CCPA）是欧美两大经济体所出台的两部具有代表意义的个人数据保护方面的法规，代表欧美监管机关对于个人数据保护两种不同的管控取向。 本文选取了“个人数据或信息的类型与范围界定”、“法律的管辖范围”、“数据跨境传输管控”、“儿童数据的保护”、“数据主体的反对权和被遗忘权”等关键概念，对GDPR和CCPA的部分要点进行比较分析。 1. “个人数据”或“个人信息”的范围界定 1.1 GDPR对个人数据的定义——侧重用抽象概念定义，实践中存在很大解释空间 除了对少数“特殊种类个人数据”（如宗教信仰、种族、工会成员信息、健康状况等）进行了零星列举以外，《欧盟一般个人数据保护条例》（GDPR）主要用抽象概念对其所管辖的“个人数据”的范围进行界定。 根...阅读全文
黄金法则， 精练的标题是你吸引专家注意的黄金机会，别喋喋不休地用诸如「帮帮我」的标题，这种主题只会被条件反射式地删掉，浪费掉一次提问的机会。不要试图用你深深的痛苦来打动我们，相反，要在讨论空间中使用简明扼要语句来描述问题。 撰写主题的规则是「对象──偏差」式的描述，许多技术支持组织就是这样做的。「对象」部分需要指明是哪一个或哪一组项目有问题，「偏差」部分则描述与期望的行为不一致的地方。 愚蠢的问题描述：救命啊！我的笔记本播放不了视频！ 明智的问题描述：X.org 6.8.1 鼠标光标出现偏差，MV1005型号的某显卡芯片组 更明智的问题描述：使用 MV1005 型号的某显卡芯片组在 X.org 6.8.1 的鼠标光标出现偏差 撰写「对象──偏差」式的主题描述有助于引发你对问题的细致思考：是什...阅读全文
果这个asset不健康，它仅仅会导致某个集群的运行中断，还是会影响全球的服务？插件还给用户特定的数据提供了空间，而不用占用负载的定义。 asset一般少于1kb数据，通常少于10kb，我们的最大值限制的是150kb。这个限制是为了让asset更容易被使用。这样，工具可以在内存里加载asset，无需担心这么做会造成过多的消耗。这个方案是受实体-组件系统[4]的启发。 asset的内容提供了足够的信息来构建建模资源的完整状态。具体来说，应该可以重新创建生产状态，而不必查看当前的生产状态——这是一个单向过程。 但是，所有的配置必须在asset里。比如，我们肯定有些情况需要MB级别的配置。这时，可以保存对外部数据源（比如包，数据库和版本控制）的引用。这些引用必须指向不可变外部数据。 在...阅读全文
gRPC是一个高性能、开源、通用的RPC框架，面向移动和HTTP/2设计，是由谷歌发布的首款基于Protocol Buffers的RPC框架。 gRPC基于HTTP/2标准设计，带来诸如双向流、流控、头部压缩、单TCP连接上的多复用请求等特性。这些特性使得其在移动设备上表现更好，更省电且节省空间占用。gRPC 1.0版本是2015年面世以后的第一次版本发布，开发者可以把该版本用于生产。API现在也是很稳定的。 Bugsnag（注：一家云端bug监控服务商）每天处理数以亿计的错误信息，为了处理这些数据，考虑优先构建一个可扩展，性能强大的后端系统，并从中学到很多有挑战性的技术。最近，我们推出了新版本的仪表板，这个项目要求扩展系统，来处理服务呼叫的显著增加，这些呼叫是跟踪用户发布和会话所需的...阅读全文
epoch=2的日志给了S3。此时该日志复制给了多数节点，但还未提交。在时刻d，S1又崩溃，并且S5重新被选举为领导者，将epoch=3的日志复制给S0~S4。此时日志与新Leader S5的日志发生了冲突，如果按上图中d1的方式处理，消息2就会丢失。传统Raft协议的处理方式是：在Leader任期开始时，立刻提交一条空的日志，所以上图中时刻c的情况不会发生，而是如同d2一样先提交epoch=4的日志，连带提交epoch=2的日志。与传统Raft不同，KRaft附加了一个较强的约束：当新的Leader被选举出来，但还没有成功提交属于它的epoch的日志时，不会向前推进HW。也就是说，即使上图中时刻c的情况发生了，消息2也被视为没有成功提交，所以按照d1方式处理是安全的。日志格式说明：所有节点持久化保...阅读全文
