linux下查看系统socket读写缓冲区_eyucham的专栏
系统提供的socket缓冲区大小为8K，你可以将之设置为64K，尤其在传输实时视频时。 socket发送数据时候先把数据发送到socket缓冲区中，之后接受函数再从缓冲区中取数据，如果发送端特别快的时候，缓冲区很快就被填满（socket默认的是1024×8=8192字节），这时候我们应该根据情况设置缓冲区的大小，可以通过setsockopt函数实现 #include
InfraPub 为您找到相关结果 29 个
字节跳动开源微服务中间件 CloudWeGo - OSCHINA
9 月 8 日，字节跳动正式宣布开源 CloudWeGo。这是一套以 Go 语言为核心、专注于微服务通信与治理的中间件集合，具有高性能、可扩展、高可靠的特点。 据介绍，作为项目维护方，字节跳动基础架构团队已推进项目以 CloudWeGo 开源库为主进行迭代，未来团队将坚持内外维护一套代码，统一迭代演进，并逐步分享更多内部微服务最佳实践。 项目地址：https://github.com/cloudwego 项目官网：www.cloudwego.io CloudWeGo 第一批开源了四个项目，以 RPC 框架 Kitex 和网络库 Netpoll 为主。 Kitex Kitex 是一个 Golang 微服务 RPC 框架，具有高性能、强可扩展的特点。 字节跳动使用 Golang 作为主要业务开...阅读全文
聊聊很重要的内核技术eBPF
在2018年的 Linux Plumber 大会上，eBPF成了亮点，有24个议题提到了 eBPF，可以预计eBPF会成为一大技术热点。 eBPF(Extended Berkeley Packet Filter) 的核心是驻留在 kernel 的高效虚拟机。最初的目的是高效网络过滤框架，前身是 BPF。 Linux kernel 3.18版本开始包含了eBPF，相对于 BPF 做了一些重要改进，首先是效率，这要归功于 JIB 编译 eBPF 代码；其次是应用范围，从网络报文扩展到一般事件处理；最后不再使用socket，使用map进行高效的数据存储。 根据以上的改进，内核开发人员在不到两年半的事件，做出了包括网络监控、限速和系统监控。目前eBPF可以分解为三个过程： 以字节码的形式创建...阅读全文
DNS SRV：使用DNS服务器做服务发现
级的记录，按照权重选择，记录的权重越高，被选择的可能性越高。 选择的时候，将所有记录的权重值累加，得到一个选择区间[0,sum]，每个记录在[0,sum]中占据一段连续的、长度为自身权重值区间。然后生成一个[0,sum]中的随机数，随机数落在的区间所属的记录就是被选择的记录。 注意事项 在使用DNS SRV的时候，要注意DNS Client是否按照预期的方式处理收到的SRV记录。当前DNS SRV只能够负责提供服务地址列表，对这个列表如何解读，完全取决于Client的实现。rfc-1035中规定，通过UDP协议传输DNS响应时，UDP报文的负载不能超过512字节，在添加 SRV 记录的时候，要特别注意。通过TCP传输时没有512字节的限制。当一个服务地址有多个相同优先级的SRV记录的时候...阅读全文
系统分析工具 Sysdig 详解
-pc -c topprocs_net container.name=debian.cn查看在 debian.cn 容器里占用 I/O 字节最多的文件：sudo sysdig -pc -c topfiles_bytes container.name=debian.cn查看在 debian.cn 容器里网络连接的排名情况：sudo sysdig -pc -c topconns container.name=debian.cn显示 debian.cn 容器里所有命令执行的情况：sudo sysdig -pc -c spy_users container.name=debian.cn 应用 查看机器所有的HTTP请求：sudo sysdig -s 2000 -A -c echo_fds fd.port...阅读全文
通过Prometheus查询K8S集群Pod 的CPU、内存、网络指标
, namespace) / sum(container_spec_memory_limit_bytes{image!=""}) by(pod_name, namespace) * 100 != +inf Pod 文件系统使用量 sum(container_fs_usage_bytes{image!=""}) by(pod_name, namespace) / 1024 / 1024 / 1024 Pod 的网络使用情况 一分钟内发送的字节量： sum(rate(container_network_transmit_bytes_total{image!=""}[1m])) by (pod_name) 一分钟内接受的字节量： sum(rate...阅读全文
Kotlin 一统天下？Kotlin/Native 支持 iOS 和 Web 开发
。 关于 Kotlin/Native 说了这么多，Kotlin/Native 到底是什么？Kotlin/Native 能将 Kotlin 编译成机器码，目前还处于技术预览版阶段，离商用估计还需要至少一年的时间。 Kotlin/Native 不是 Jni 的概念，它不仅仅是要与底层代码比如 C、C++ 交互，而且还要绕过 JVM 直接编译成机器码供系统运行。这说明了什么？Kotlin 准备扔掉 Java 这根拐杖了。 第一次看到 Native 这个名字或许会很自然地想到 Jni，Kotlin 跑在 JVM 上面，使用 Jni 与底层代码交互。不过详细深入研究后可以发现，Kotlin 开发团队的野心不可小觑，Java 诞生这么多年，也没有涉足过编译成除 Java 虚拟机字节码以外的字节码的事情...阅读全文
Ruby 2.5.0 稳定版发布
#14123] 逆序打印（从旧到新）调用跟踪和错误消息。当在终端（TTY）中用较长的调用跟踪信息时，你可以从最底部看到直接触发问题的行。需要注意的是，仅当在直接输出到终端时，才会逆序打印。[功能 #8661] [试验性] 性能提升 通过在字节码中移除了全部 trace 指令提升了大约 5-10% 的性能。trace 指令的引入是为了提供 TracePoint的支持。然而，在大多数情况，TracePoint 不会被用到，trace 指令增加了额外的开销。作为替代，我们实现了一个动态指令技术，详情见 [功能 #14104]。 通过懒惰 Proc 分配使 block 参数传递代码块（例如 def foo(&b); bar(&b); end）的性能相较于 Ruby 2.4 提升了约 3 倍。[功能...阅读全文
Facebook 开源的一组 Linux 内核组件与工具
近日，Facebook 开源了一套解决重要计算集群管理问题的 Linux 内核组件和相关工具，这些项目覆盖了资源控制、资源利用、工作负载隔离、负载均衡、测量和监控等方面：BPF、Btrfs、Netconsd、Cgroup2、PSI、Oomd。 Facebook 表示这些项目现在已大规模用于其所有基础设施生产环境中，并用于其它许多企业组织的环境中。 BPF：https://facebookmicrosites.github.io/bpf/ BPF 是 Linux 内核中一种高度灵活、高效率的代码执行引擎，可以让字节码在各个 hook 点运行，以使用自定义代码。虽然 BPF 已广泛用于数据包过滤，但是 BPF 的指令集具有很强的通用性和灵活性，足以支持和允许除网络之外的众多使用场合，比如跟踪和...阅读全文
PHP 7.4 有哪些新特性
PHP 7.4 的GA版今天正式发布了。PHP 7.4发布后，PHP 7.3或其它的PHP 7版本都可以升级到PHP 7.4版。 PHP 7.4 的主要特性包括以下几个， 短闭包函数(short closure)预加载提交性能属性类型限定Improved type variance(不会翻译)三元运算简写数组展开运算新增类的魔术方法：serialization数字分隔符运算优先顺序允许在__toString中抛出异常支持反射引用新增字节分割函数移除php短标签弃用左关联运算符不再向后兼容的变更 短闭包函数 短闭包函数可以减少冗余代码： array_map(function (User $user) { return $user->id; }, $users) array_map(fn...阅读全文
OpenJDK 14 性能提升，但 OpenJDK 8 仍是王者
OpenJDK 14 已于近日 GA，其在性能方面是否有改进、以及有哪些改进引起了不少开发者的关注。本文将会介绍通过运行新的基准测试以考察从 OpenJDK 8 至 14 的所有主要发行版本，同时考察跨多个工作负载的 JVM 性能，以及 OpenJDK 14 与 JVM 先前版本相比性能如何。 此次测试通过在被测试的每个发行版上使用相同的 Java 字节码编译的 Java 程序来查看 JVM 的性能，并使用被测软件包的参考/上游编译版本。为了保证测试受干扰的因素将降至最低，每次都使用相同的选项，除了交换用于测试每个发行版的 OpenJDK x86_64 Linux 构建之外，没有进行任何其他更改。 通过使用 Phoronix 的测试套件，测试内容包含从 SPECjbb 到 Java 2D...阅读全文
Golang 面试题搜集
](https://github.com/lifei6671/interview-go/blob/master/question/q015.md) - [记一道字节跳动的算法面试题](https://github.com/lifei6671/interview-go/blob/master/question/q016.md) - [多协程查询切片问题](https://github.com/lifei6671/interview-go/blob/master/question/q017.md) - [对已经关闭的的chan进行读写，会怎么样？为什么？](https://github.com/lifei6671/interview-go/blob/master/question/q018.md...阅读全文
journalctl 清理journal日志 - 九重霄
使用以1024为基数的 K, M, G, T, P, E 后缀， 分别对应于 1024, 1024², … 字节。 SystemMaxFiles= 与 RuntimeMaxFiles= 限制最多允许同时存在多少个日志文件， 超出此限制后， 最老的日志文件将被删除， 而当前的活动日志文件则不受影响。 默认值为100个。 MaxFileSec= 日志滚动的时间间隔。 通常并不需要使用基于时间的日志滚动策略， 因为由 SystemMaxFileSize= 与 RuntimeMaxFileSize= 控制的基于文件大小的日志滚动策略 已经可以确保日志文件的大小不会超标。 默认值是一个月， 设为零表示禁用基于时间的日志滚动策略。 可以使用 "year", "month", "week", "day...阅读全文
一位资深Java架构师的晋级心得
师之前，应当先成为Java工程师。熟练使用各种框架，并知道它们实现的原理。jvm虚拟机原理、调优，懂得jvm能让你写出性能更好的代码；池技术，什么对象池，连接池，线程池……Java反射技术，写框架必备的技术，但是有严重的性能问题，替代方案java字节码技术；nio，没什么好说的，值得注意的是"直接内存"的特点，使用场景；java多线程同步异步；java各种集合对象的实现原理，了解这些可以让你在解决问题时选择合适的数据结构，高效的解决问题 成为Java架构师，需要掌握哪些技能呢？ 1.框架源码分析 设计模式：Singleton单例模式，Factory工厂模式，Proxy代理模式，Template模板模式，Prototype原型模式等Spring5：Spring提醒结构，IOC注入原理，AOP设...阅读全文
bmon：一个强大的网络带宽监视和调试工具
(初学者说明：RX 表示每秒接收数据，TX 表示每秒发送数据)： $ bmon bmon - Linux 带宽监视按 d 键可以查看更详细的带宽使用情况的图形化统计信息，参考下面的截图。 bmon - Detailed Bandwidth Statistics按 Shift + ? 可以查看快速指南。再次按 Shift + ? 可以退出(指南)界面。 bmon – 快速指南通过 Up 和 Down 箭头键可以查看特定网卡的统计信息。但是，要监视一个特定的网卡，你也可以像下面这样作为命令行参数指定。 选项 -p 指定了要显示的网卡，在下面的例子中，我们会监视网卡 enp1s0： $ bmon -p enp1s0 bmon – 监控以太网带宽要查看每秒位数而不是每秒字节数，可以像下面这样使用 -b...阅读全文
互联网协议正在发生变化
了。 事实上，iQUIC 当前的 ‘短报文头’ 被用于除了握手外的所有包，仅公开一个包编号、一个可选的连接标识符和一个状态字节，像加密密钥轮换计划和包字节（它最终也可能被加密）。 其它的所有东西都被加密 —— 包括 ACK，以提高 通讯分析 攻击的门槛。 然而，这意味着通过观察连接来被动估算 RTT 和包丢失率将不再变得可行；因为没有足够多的信息。在一些运营商中，由于缺乏可观测性，导致了大量的担忧，它们认为像这样的被动测量对于他们调试和了解它们的网络是至关重要的。 为满足这一需求，它们有一个提议是 ‘Spin Bit’ — 这是在报文头中的一个回程翻转的位，因此，可能通过观察它来估算 RTT。因为，它从应用程序的状态中解耦的，它的出现并不会泄露关于终端的任何信息，也无法实现对网络位置的粗略估...阅读全文
理解 Linux 的虚拟内存
理内存的 C 地址。 我们知道系统里的基本单位都是 Byte 字节，如果将每一个虚拟内存的 Byte 都对应到物理内存的地址，每个条目最少需要 8字节（32位虚拟地址->32位物理地址），在 4G 内存的情况下，就需要 32GB 的空间来存放对照表，那么这张表就大得真正的物理地址也放不下了，于是操作系统引入了 页（Page）的概念。 在系统启动时，操作系统将整个物理内存以 4K 为单位，划分为各个页。之后进行内存分配时，都以页为单位，那么虚拟内存页对应物理内存页的映射表就大大减小了，4G 内存，只需要 8M 的映射表即可，一些进程没有使用到的虚拟内存，也并不需要保存映射关系，而且Linux 还为大内存设计了多级页表，可以进一页减少了内存消耗。操作系统虚拟内存到物理内存的映射表，就被称为页表...阅读全文
Web前端知识体系精简
) 对style的操作(对不同的属性操作，影响不一样) 还有一种是用户的操作，比如改变浏览器大小，改变浏览器的字体大小等(回流+重绘) 4、本地存储 本地存储最原始的方式就是 cookie,cookie 是存放在本地浏览器的一段文本，数据以键值对的形式保存，可以设置过期时间。 但是 cookie 不适合大量数据的存储，因为每请求一次页面，cookie 都会发送给服务器，这使得 cookie 速度很慢而且效率也不高。因此cookie的大小被限制为4k左右(不同浏览器可能不同,分HOST)，如下所示： Firefox和Safari允许cookie多达4097个字节，包括名（name）、值（value）和等号。 Opera允许cookie多达4096个字节，包括：名（name）、值（value）和等号...阅读全文
HAProxy用法详解 最详细中文文档
查可能会带来意外问题；此选项用于将其检查的时间间隔长度上增加或减小一定的随机时长； – tune.bufsize
HTTP状态码详解
multipart/byteranges 的多段下载，则每一 multipart 段中都应包含 Content-Range 域用以指示本段的内容范围。假如响应中包含 Content-Length，那么它的数值必须匹配它返回的内容范围的真实字节数。 Date ETag 和/或 Content-Location，假如同样的请求本应该返回200响应。 Expires, Cache-Control，和/或 Vary，假如其值可能与之前相同变量的其他响应对应的值不同的话。 假如本响应请求使用了 If-Range 强缓存验证，那么本次响应不应该包含其他实体头；假如本响应的请求使用了 If-Range 弱缓存验证，那么本次响应禁止包含其他实体头；这避免了缓存的实体内容和更新了的实体头信息之间的不一致。否则，本响应就应当包...阅读全文
得物云原生全链路追踪Trace2.0-采集篇 - OSCHINA
发的全链路影子库路由组件借助了 OpenTracing 随行数据透传机制，且与监控组件是强耦合关系，而基础框架将统筹监控，压测和其他模块，借助Spring Boot Starter 机制，一定程度上做到了功能的开箱即用，无缝集成。而使用字节码增强方式的 Pinpoint, SkyWalking，无法很好地做到与基础框架集成，若并行开发，也会多出基础框架与 Java Agent 两边的管理和维护成本，减缓迭代速度。 在之后将近两年的时间里，应用服务监控覆盖了得物技术部使用的将近 70% 的组件，为得物App在 2021 年实现全年 99.97% 的 SLA 提供了强有力的支持。现在看来，基于 OpenTracing + Prometheus 生态，很好地解决了分布式系统的调用链监控，借助...阅读全文
案例：Redis命令不当 引起数据库雪崩 造成数百万损失
CPU，由于它是单线程作业所以很容易跑满一个逻辑CPU，可以使用redis代理或者是分布式方案来提升redis的CPU使用率。 3.存储的Key一定要设置超时时间 如果应用将Redis定位为缓存Cache使用，对于存放的Key一定要设置超时时间！因为若不设置，这些Key会一直占用内存不释放，造成极大的浪费，而且随着时间的推移会导致内存占用越来越大，直到达到服务器内存上限！另外Key的超时长短要根据业务综合评估，而不是越长越好！ 4.对于必须要存储的大文本数据一定要压缩后存储 对于大文本【+超过500字节】写入到Redis时，一定要压缩后存储！大文本数据存入Redis，除了带来极大的内存占用外，在访问量高时，很容易就会将网卡流量占满，进而造成整个服务器上的所有服务不可用，并引发雪崩效应，造成各个系...阅读全文
Golang 操作 Kafka 样例
务器都是一个代理(Broker). 消费者可以订阅一个或多个话题，并从Broker拉数据，从而消费这些已发布的消息。 5.Partition(分区)：Topic物理上的分组，一个topic可以分为多个partition，每个partition是一个有序的队列。partition中的每条消息都会被分配一个有序的id（offset） Message：消息，是通信的基本单位，每个producer可以向一个topic（主题）发布一些消息。 复制代码 1.1.5. 消息 消息由一个固定大小的报头和可变长度但不透明的字节阵列负载。报头包含格式版本和CRC32效验和以检测损坏或截断 1.1.6. 消息格式 1. 4 byte CRC32 of the message 2. 1 byte "magic...阅读全文
协议介绍之深入了解 gRPC
header 主要有 Call-Definition 以及 Custom-Metadata。Call-Definition 里面包括 Method（其实就是用的 HTTP/2 的 POST），Content-Type 等。而 Custom-Metadata 则是应用层自定义的任意 key-value，key 不建议使用 grpc- 开头，因为这是为 gRPC 后续自己保留的。 Length-Prefixed-Message 主要在 DATA frame 里面派发，它有一个 Compressed flag 用来表示该 message 是否压缩，如果为 1，表示该 message 采用了压缩，而压缩算啊定义在 header 里面的 Message-Encoding 里面。然后后面跟着四字节的...阅读全文
译：Kubernetes 最佳实践
览我之前翻译的Kubernetes 的自动伸缩你用对了吗？；HPA 除了可以基于 CPU 指标伸缩，还可以基于内存，或者自定义指标，可以浏览Kubernetes HPA 基于 Prometheus 自定义指标的可控弹性伸缩。使用资源请求和约束应设置资源请求和约束（可在容器中使用的最小和最大资源量）以避免容器在未分配所需资源的情况下启动，或集群用尽可用资源。在没有限制的情况下，Pod 可以使用比所需更多的资源，从而导致可用资源总量减少，这可能会导致集群上的其他应用程序出现问题。节点可能会崩溃，并且调度程序可能无法正确调度新的 pod。如果没有请求，无法为应用程序分配足够的资源，它可能会在尝试启动或执行异常时失败。资源请求和限制以毫核和兆字节为单位定义可用的 CPU 和内存。请注意，如果进程超出...阅读全文
最全 MongoDB 基础教程
会自动覆盖最早的文档。当该值为 true 时，必须指定 size 参数。 autoIndexId 布尔 （可选）如为 true，自动在 _id 字段创建索引。默认为 false。 size 数值 （可选）为固定集合指定一个最大值，以千字节计（KB）。如果 capped 为 true，也需要指定该字段。 max 数值 （可选）指定固定集合中包含文档的最大数量。 在插入文档时，MongoDB 首先检查固定集合的 size 字段，然后检查 max 字段 实例 # 在test数据库中创建ruochen 集合 use test db.createCollection('ruochen') # 查看已有集合 show collections db.createCollection('test...阅读全文
说透IO多路复用模型_京东云开发者的博客
事件的时候，会触发通知。 针对写操作，也就是当前fd处于EPOLLOUT模式下，即可写。此时意味着缓冲区可以写了，以下buffer都指发送缓冲区： buffer满了，这时候发送出去一些数据，数据变少，此过程会触发通知。 buffer原本有些数据，这时候又发送出去一些数据，数据变少，此过程会触发通知。 这里就是ET这种模式触发的几种情形，可以看出，基本上都是围绕着接收缓冲区或者发送缓冲区的状态变化来进行的。 晦涩难懂？不存在的，举个栗子： 在服务端，我们开启边缘触发模式，然后将buffer size设为10个字节，来看看具体的表现形式。 服务端开启，客户端连接，发送单字符A到服务端，输出结果如下： -->ET Mode: it was triggered once get 1 bytes of...阅读全文
Hadoop 核心 - HDFS 分布式文件系统详解
全模式 6. HDFS 的 block 块和副本机制 HDFS 将所有的文件全部抽象成为 block 块来进行存储，不管文件大小，全部一视同仁都是以 block 块的统一大小和形式进行存储，方便我们的分布式文件系统对文件的管理。 所有的文件都是以 block 块的方式存放在 hdfs 文件系统当中，在 Hadoop 1 版本当中，文件的 block 块默认大小是 64M，Hadoop 2 版本当中，文件的 block 块大小默认是128M，block块的大小可以通过 hdfs-site.xml 当中的配置文件进行指定。
Redis 命令、特性介绍与性能调优
KEYS命令，严格禁止在生产环境中使用） Redis的数据结构和相关常用命令 本节中将介绍Redis支持的主要数据结构，以及相关的常用Redis命令。本节只对Redis命令进行扼要的介绍，且只列出了较常用的命令。如果想要了解完整的Redis命令集，或了解某个命令的详细使用方法，请参考官方文档：https://redis.io/commands Key Redis采用Key-Value型的基本数据结构，任何二进制序列都可以作为Redis的Key使用（例如普通的字符串或一张JPEG图片） 关于Key的一些注意事项： 不要使用过长的Key。例如使用一个1024字节的key就不是一个好主意，不仅会消耗更多的内存，还会导致查找的效率降低 Key短到缺失了可读性也是不好的，例如”u1000flw”比起...阅读全文
最新评论
