在集群化环境里，日志采集是重要基础设施。本文结合最新的 1.0.9 版，对 logpipe 做一个简单的介绍。开源主流解决方案是基于 flume-ng，但在实际使用中发现 flume-ng 存在诸多问题。 比如 flume-ng 的 spoolDir 采集器只能对文件名转档后的大小不能变化的最终日志文件进行采集，不能满足采集时效性要求，如果要采集正在被不断追加的日志文件，只能用 exec 采集器搭配 tail -F 命令，但 tail -F 命令又不能通配目标目录中将来新增的未知文件名。其它解决方案如 logstash 由于是 JAVA 开发，内存占用和性能都不能达到最优。 作为一个日志采集的本地代理，内存占用应该小而受控，性能应该高效，耗费 CPU 低对应用影响尽可能小，要能异步实时追踪...阅读全文
具体某个或某些 Trace 链路，只能根据时间戳粗略关联特定范围内的链路。这个方案的缺陷源自指标采集器 vmagent 每隔 10s~30s 的 Pull 模式中，指标的时间戳取决于采集时刻，与 Trace 调用时间并不匹配。 Exemplar 数据在直方图度量格式末尾会追加当前上下文中的 Trace ID,Span ID 信息，如下： shadower_virtual_field_map_operation_seconds_bucket{holder="Filter:Factory",key="WebMvcMetricsFilter",operation="get",tcl="AppClassLoader",value...阅读全文
应用性能监测的可观测性解决思路。要采集容器、节点运行环境、应用、网络各个维度的数据挑战非常大，云原生社区针对不同需求给出了 cAdvisor、node exporter、kube-state-metics 等多种方式，但仍然无法满足全部需求。维护众多采集器的成本也不容小觑，引发的一个思考是能否有一种对应用无侵入的、支持动态扩展的数据采集方案？目前最好的答案是 eBPF。数据采集（eBPF 超能力）1、eBPF 的超能力eBPF 相当于在内核中构建了一个执行引擎，通过内核调用将这段程序 attach 到某个内核事件上，实现监听内核事件。有了事件我们就能进一步做协议推导，筛选出感兴趣的协议，对事件进一步处理后放到 ringbuffer 或者 eBPF 自带的数据结构 Map 中，供用户态进程...阅读全文
