在前一篇文章中，我们介绍了 Debian Stretch 环境下，Kubernetes 集群安装的准备工作。本文我们将继续介绍 k8s集群 的安装配置工作。 第4步 - 设置主节点 在本节中，您将设置主节点。 但是，在创建任何Playbooks之前，值得介绍一些概念，例如Pod和Pod网络插件 ，因为您的群集将同时包含这两个概念。 pod是运行一个或多个容器的原子单元。 这些容器共享资源，例如文件卷和网络接口。 Pod是Kubernetes中的基本调度单元：pod中的所有容器都保证在调度pod的同一节点上运行。 每个pod都有自己的IP地址，一个节点上的pod应该能够使用pod的IP访问另一个节点上的pod。 单个节点上的容器可以通过本地接口轻松进行通信。 然而，pod之间的通信更复杂，并...阅读全文
显著的性能提升。 但是观测上图，我们发现了新的性能黑点，如红框所述，我们将其展开,见详细图: 这里主要是一个 toHexString 的操作，竟然占用的cpu资源这么大，这里需要定位。 9.4 ObjectId.toHexString 性能优化 查看这一步转换为16进制的字符串的代码如下，我们结合上面的火焰图可以看出来，主要耗时是在 String.format() 这一步操作。 private String toHexString() { StringBuilder buf = new StringBuilder(24); byte[] bytes = new byte[12]; bytes[0] = int3(this.timestamp); bytes[1] = int2...阅读全文
--num-records 1000000 --record-size 1024 --throughput -1 --producer-props bootstrap.servers=192.168.65.60:9092 acks=1 网络上很多资料都说分区数越多吞吐量越高 ， 但从压测结果来看，分区数到达某个值吞吐量反而开始下降，实际上很多事情都会有一个临界值，当超过这个临界值之后，很多原本符合既定逻辑的走向又会变得不同。一般情况分区数跟集群机器数量相当就差不多了。 当然吞吐量的数值和走势还会和磁盘、文件系统、 I/O调度策略等因素相关。 注意：如果分区数设置过大，比如设置10000，可能会设置不成功，后台会报错"java.io.IOException : Too many open files...阅读全文
title 就很牛 B 的，人外有人，天外有天，做好自己。五年陈留给自己的话：不忘初心，方得始终，未来已来，星辰大海。路就在前方，继续前行。 每个人的成长之路也不一样，我来回想下自己的。 不为过去蹉跎，珍惜当下 很多在菜鸟的时候，肯定或多或少，有过对身边的牛人，报以羡慕的眼光。 当看着别人职位比你高， 当看着别人比你工资领的高， 当看到别人年纪轻轻，就已经是牛逼哄哄。 你会不会有羡慕嫉妒恨的想法： 要是我当年读书的时候，不打游戏，少吃点红瓶、蓝瓶，少放几个水元素，少放几个暴风之锤（寒冰王座）。那么我肯定可以学到更多。 要是我当年不睡懒觉，起早贪黑，去学**，那么我肯定是也会学到很多。 要是。。。 理由从来不嫌多，我自己肯定也有这些想法，平心而论，我现在也有这些想法。但是负能量不能盖过正能量。 不要为...阅读全文
服务化项目服务不可用几十分钟，造成订单数减少几十万笔，损失百万资金。 原因分析 当时是没有定位到具体的原因的，但是下面的原因也是一部分可能引起宕机的情况。 某服务化项目的业务增速非常快，在高峰期，数据库QPS突破35000，系统处于高负荷状态。 在高峰期如果同时执行几个全表扫描的SQL，会造成数据库压力急剧上升，应用超时增多，前端应用超时，用户重试，流量飙升，形成了雪崩效应。 主要原因在与一些老项目的SQL查询性能较差，并且使用的主库，对数据库影响较大。数据库QPS太高，但是缓存方案因为人手原因一直没有落地，慢SQL的问题处理优先级应该提升。 改进方案 针对每个应用建一个数据库账号，严格按照规范使用 缓存优化方案即时落地，慢SQL问题优先处理，集中处理目前已经发现的慢SQL（查询时间超过1S...阅读全文
/ helm delete --purge cassie helm delete --purge prom-one helm delete --purge grafana 结论Cortex是一个强大的工具，可无缝地运行多个Prometheus服务器，同时简化了用户的操作和使用。虽然Thanos确实提供了非常相似的功能，但它们的实现方式却大不相同。通过尝试实现的用例将推动选择Cortex与Thanos。但是，Cortex确实使运行高度可扩展且具有弹性的基于Prometheus的监视系统变得容易。翻译: 云原生生态圈 · Marionxue作者: By Shaunak Deshmukh原文: https://www.infracloud.io/blogs/cortex-prometheus-ha/参考资料...阅读全文
产业领先于全球，因而从价值取向上更加鼓励数据的跨境流动，跨境流动越自由，美方在数据资产控制和利用方面就越主动。 欧盟互联网和信息产业发展相对美国较为滞后，因此与GDPR为数据跨境流动设置层层关口相比，CCPA并未对数据跨境流动设置限制。 因此，中国企业在欧洲开展货物、服务、技术贸易的过程中，更应留意关于跨境传输的各项严格要求，严格履行GDPR关于数据跨境传输协议、跨境安全传输措施、BCR认证、“必要性测试”和“利益平衡测试”（LIA）等义务，避免因跨境传输不当遭受欧盟的严厉处罚。 4. 儿童个人信息处理 因互联网用户中，不满16周岁的未成年人占有相当比例，因而在这里也对两部法案对于儿童个人信息处理的特殊规定进行初步对比： 4.1 GDPR的规定——严格保护 GDPR对于儿童个人信息的处理采取...阅读全文
一、HAProxy简介 （1）HAProxy 是一款提供高可用性、负载均衡以及基于TCP（第四层）和HTTP（第七层）应用的代理软件，支持虚拟主机，它是免费、快速并且可靠的一种解决方案。 HAProxy特别适用于那些负载特大的web站点，这些站点通常又需要会话保持或七层处理。HAProxy运行在时下的硬件上，完全可以支持数以万计的 并发连接。并且它的运行模式使得它可以很简单安全的整合进您当前的架构中， 同时可以保护你的web服务器不被暴露到网络上。 （2）HAProxy 实现了一种事件驱动、单一进程模型，此模型支持非常大的并发连接数。多进程或多线程模型受内存限制 、系统调度器限制以及无处不在的锁限制，很少能处理数千并发连接。事件驱动模型因为在有更好的资源和时间管理的用户端(User...阅读全文
如缓存最近登录的用户信息，当在Redis中找不到时，程序会去DB中读取），可以设置上有效期，这样在内存不够时Redis就会淘汰这部分数据。 配置方法： maxmemory-policy volatile-lru #默认是noeviction，即不进行数据淘汰 Pipelining Pipelining Redis提供许多批量操作的命令，如MSET/MGET/HMSET/HMGET等等，这些命令存在的意义是减少维护网络连接和传输数据所消耗的资源和时间。 例如连续使用5次SET命令设置5个不同的key，比起使用一次MSET命令设置5个不同的key，效果是一样的，但前者会消耗更多的RTT(Round Trip Time)时长，永远应优先使用后者。 然而，如果客户端要连续执行的多次操作无法通过...阅读全文
统资源，所以，随着客户端的增多，其性能也就越差。 而边缘触发，由于监控的是FD的状态变化，所以整体的系统通知并没有那么频繁，高并发下整体的性能表现也要好很多。但是由于此模式下，用户需要积极的处理好每一笔数据，带来的维护代价也是相当大的，稍微不注意就有可能出错。所以使用起来须要非常小心才行。 至于二者如何抉择，诸位就仁者见仁智者见智吧。 行文到这里，关于epoll的讲解基本上完毕了，大家从中是不是学到了很多干货呢？ 由于从netty研究到linux epoll底层，其难度非常大，可以用曲高和寡来形容，所以在这块探索的文章是比较少的，很多东西需要自己照着man文档和源码一点一点的琢磨（linux源码详见eventpoll.c等）。这里我来纠正一下搜索引擎上，说epoll高性能是因为利用mmap技...阅读全文
化。如果一个节点同时是Broker和Controller节点,那么就称之为组合节点。实际工作当中，如果有条件的话，尽量还是将Broker和Controller节点进行分离部署。避免由于服务器资源不够的情况导致OOM等一系列的问题Quorum Voters通过controller.quorum.voters配置来实习哪些节点是Quorum的投票节点,所有想要成为控制器的节点,都必须放到这个配置里面。每个Broker和每个Controller都必须配置Controller.quorum.voters，该配置当中提供的节点ID必须与提供给服务器的节点ID保持一直。每个Broker和每个Controller 都必须设置 controller.quorum.voters。需要注意的是...阅读全文
