索容易许多。 创建大文档集合 MongoDB 乐于把最大 16MB 的文档置于集合中，而 GridFS 设计用于超过 16MB 的大文档。但是，可以容纳大文档并不意味着那是一个好主意。MongoDB 在单个文档的大小为几 KB 时表现最好，处理它们的方式更像宽 SQL 表的行。大文档会导致 多种性能问题 。 使用大数组创建文档 文档可以包含数组。最好是把数组元素的数量保持在四位数以下。如果数组频繁添加，会使得包含它的文档过大，那样， 它在磁盘上的位置就需要移动 ，反过来，这意味着 每个索引都必须更新 。当一个包含大数组的文档重新索引时，由于 每个数组元素都有一个单独的索引条目 ，所以会发生大量的索引重写。此外，这种重新索引在这类文档插入或删除时也会发生。 为了最小化这个问题，MongoDB...阅读全文
Cgroups 来达到上述目的。 CGroup 全称 Linux Control Group， 是 Linux 内核的一个功能，用来限制，控制与分离一个进程组群的资源（如CPU、内存、磁盘输入输出等) 一组按照某种标准划分的进程，其表示了某进程组，Cgroups 中的资源控制都是以控制组为单位实现，一个进程可以加入到某个控制组。而资源的限制是定义在这个组上，简单点说，cgroup 的呈现就是一个目录带一系列的可配置文件。 理解 cgroups 的几个关键字 cgroup 进程组 进程按照某种标准组织成一个控制组，资源的控制定义在这个组上，新加入的进程就继承该组的配置。比如 docker 启动的容器都加入 docker 这个进程组 subsystem 子系统 cgroups 为每种可以控制的资源定义了一个...阅读全文
导语 | kafka3.0的版本已经试推行去zk的kafka架构了，如果去掉了zk，那么在kafka新的版本当中使用什么技术来代替了zk的位置呢，接下来我们一起来一探究竟，了解kafka的内置共识机制和raft算法。一、Kafka简介Kafka是一款开源的消息引擎系统。一个典型的Kafka体系架构包括若干Producer、若干Broker、若干Consumer，以及一个ZooKeeper集群，如上图所示。其中ZooKeeper是Kafka用来负责集群元数据的管理、控制器的选举等操作的。Producer将消息发送到Broker，Broker负责将收到的消息存储到磁盘中，而Consumer负责从Broker订阅并消费消息。（一）Kafka核心组件producer：消息生产者，就是向broker...阅读全文
吗？你不能。你得看看它里面装的是什么型号的处理器，有多少个核，主频多少，有多少 L1 cache，L2 cache……，有多少内存和硬盘，显示器分辨率有多大，显卡是什么 GPU，网卡速度，等等各种“配置”。有时候你还得看各个组件之间的兼容性。 这些配置对应到程序语言里面，就是所谓“语言特性”。举一些语言特性的例子： 变量定义 算术运算 for 循环语句，while 循环语句 函数定义，函数调用 递归 静态类型系统 类型推导 lambda 函数 面向对象 垃圾回收 指针算术 goto 语句 这些语言特性，就像你在选择一台电脑的时候，看它里面是什么配置。选电脑的时候，没有人会说 Dell 一定是最好的，他们只会说这个型号里面装的是 Intel 的 i7 处理器，这个比 i5 的好，DDR3 的内...阅读全文
。每个服务都将自己的运行指标推送到 Atlas 中，用于绘制仪表盘和报警。Atlas 是Netflix的一个内存时间序列数据库。每个服务都将自己的日志发送到 ELK 集群中。每个内部服务除了deck 和 gate 必须用 mutual TLS，并且证书和认证通过 Lemur 进行管理。不允许任何外部流量进入内部服务中。所有的 API 调用必须经过 gate。每个外部服务（除了gate）都要支持 mTLS 或者 SSO。如果某个服务有数据存储的需求，那么只能存在自己的数据库中，服务之间不共享数据存储。 为了保证兼容性，Spinnaker 在开发过程中还会准守一些准则： 保证足够的单元测试和覆盖率。在 code review 的时候特别注意是否会破坏API兼容性。7×24 不间断的执行集成测试。有...阅读全文
某最后一次部署挖矿脚本后，百度通过安全管理监控系统发现大量服务器运行异常，占用公司服务器的运算资源执行了挖矿程序，经过一番排查，最终确定了幕后的操盘手“安某”。 为此，百度还花费 2.7 万元请北京耐特网科技公司提供了应急服务，具体项目包括样本提取、样本分析、服务器日志提取并分析、追踪溯源、报告编写等。 2018 年 7 月，百度正式起诉“安某”，认为其犯有非法控制计算机信息系统罪。经法院的进一步核实，被告人“安某”虽对其行为性质提出辩解，但其到案后及在庭审过程中对其实施的作案过程均能如实交代，故应认定其具有如实供述的情节，同时结合其能退缴涉案违法所得，故可对其从轻处罚。 据此判决： 一、被告人安邦犯非法控制计算机信息系统罪，判处有期徒刑三年，罚金人民币一万一千元。 二、在案扣押的人民币十一...阅读全文
sidecar和prometheus则走原生HTTP接口拿数据。 为了高可用，我们可以部署多个prometheus同时抓取。 为了打散采集/存储压力，我们可以部署多个prometheus各自抓取部分数据。 无论出于上述哪种目标或者混合目标，最终依靠Querier的正确配置都可以提供统一的Promql查询入口给Grafana，这一点是毋庸置疑的。 这里看到了图中有几个陌生的组件： Store Bucket Compactor Prometheus单机存储空间有限，SideCar和Prometheus在同POD内共享数据volume，然后sidecar可以自动将prometheus磁盘数据上传到Bucket里归档存储；后续Querier可以通过Store组件从Bucket拉取到历史数据，这样就实现了历史数据...阅读全文
出来，方便进一步下钻到链路追踪。应用层协议的请求、响应信息有助于对请求内容、返回码进行分析，从而知道具体哪个接口有问题。如需查看代码级别或请求界别的详情，可点击 Trace ID 下钻到链路追踪分析查看。开箱即用的告警功能开箱即用的告警模板，各个不同层次全覆盖，不需要手动配置告警，将大规模 Kubernetes 运维经验融入到告警模板里面，精心设计的告警规则加上智能降噪和去重，我们能够做到一旦告警就是有效的告警，并且告警里面带有关联信息，可以快速定位到异常实体。告警规则全栈覆盖的好处是能及时、主动地将高风险事件报给用户，用户通过排查定位、解决告警、事后复盘、面向失败设计等一系列手段，最终逐步达成更好的系统稳定性。网络性能监测网络性能问题在 Kubernetes 环境中很常见，由于 TCP...阅读全文
我们进行了基于 OpenTelemetry 体系的第三阶段的演进。功能，产品层面均取得了优异的结果。如今，我们即将进行下一阶段的演进，深度结合调用链与相关诊断工具，以第三阶段为基础，让得物全链路追踪技术正式迈入性能分析诊断时代。 六、 关于我们 得物监控团队提供一站式的可观测性平台，负责链路追踪、时序数据库、日志系统，包括自定义大盘、应用大盘、业务监控、智能告警、AIOPS等排障分析。 参考文章： Dapper, a Large-Scale Distributed Systems Tracing Infrastructure https://storage.googleapis.com/pub-tools-public-publication-data/pdf/36356.pdf 大众点评开...阅读全文
放空间 # 需要执行db.repairDatabase() 来回收磁盘空间 db.repairDatabase() db.runCommand({repairDatabase: 1}) remove方法已经过时 # 删除集合下所有文档 db.ruochen.deleteMany({}) # 删除 num 等于1 的全部文档 db.ruochen.deleteMany({num: '1'}) # 删除 num 等于1 的一个文档 db.ruochen.deleteOne({num: '1'}) 查询文档 语法： db.collection.find(query, projection) 参数说明 query: 可选，使用查询操作符指定查询条件 projection: 可选，使用投影操作符指定返...阅读全文
了答案。 从单机到分布式，是追求更快和更高的性能，但也带来了更多的不确定性。比如，不确定计算机何时异常，不确定磁盘何时损坏，不确定网络通信的延迟，也不确定消息是否被正常消费。这些不确定性构成了分布式应用的挑战，简而言之： 异构的机器与网络：稳定性问题普遍的节点故障：可靠性问题不可靠的网络：一致性问题 面对这些挑战，业界提出了诸多的分布式理论、协议，如CAP定理，BASE理论，一致性协议2PC/3PC/ZAB，来保证系统的正常运行。虽然问题貌似是有了解决方案，但是应用的复杂度升高了。应用除了需要实现业务需求，还要兼顾非业务需求，集成诸如服务发现、负载均衡、失效转移、动态扩容、数据分片、调用链路监控等分布式系统的核心功能，对应用有很强的侵入性，这就是以Spring Cloud为代表的微服务框架的...阅读全文
，DPL 代表 Debian 项目去进行关于 Debian 的演讲和演示、参加贸易展览、与其他组织和公司建立良好的关系以及处理一些法律相关问题。也就是说，他是一个形象代表和官方发言人。 在内部，DPL应该与其他 Debian 开发人员交谈，尤其是与代表交谈，以了解他们如何协助开发者的工作。此外就是一些批准预算的财务事宜。也就是一些行政事务。 在多数的公司或组织中，对外品牌和行政都不是核心业务部门，非常边缘化，这些职能常常会面临没有价值感、陷入繁杂琐事的困境。与此同时，DPL 花费时间与精力并不少，却没有任何薪水回报。 这就不难理解为什么会有 DPL 不愿连任。比如，2019年那次轮空事件中接盘的 Sam Hartman，就在 2020年的竞选季中表示不再参选。 02 开发者们的“共同意志” 那么...阅读全文
Redis的一些开发规范和建议： 1.冷热数据分离，不要将所有数据全部都放到Redis中 虽然Redis支持持久化，但是Redis的数据存储全部都是在内存中的，成本昂贵。建议根据业务只将高频热数据存储到Redis中【QPS大于5000】，对于低频冷数据可以使用MySQL/ElasticSearch/MongoDB等基于磁盘的存储方式，不仅节省内存成本，而且数据量小在操作时速度更快、效率更高！ 2.不同的业务数据要分开存储 不要将不相关的业务数据都放到一个Redis实例中，建议新业务申请新的单独实例。因为Redis为单线程处理，独立存储会减少不同业务相互操作的影响，提高请求响应速度；同时也避免单个实例内存数据量膨胀过大，在出现异常情况时可以更快恢复服务！ 在实际的使用过程中，redis最大的瓶颈一般是...阅读全文
、Hyperloglogs等。 Redis具备LRU淘汰、事务实现、以及不同级别的硬盘持久化等能力，并且支持副本集和通过Redis Sentinel实现的高可用方案，同时还支持通过Redis Cluster实现的数据自动分片能力。 Redis的主要功能都基于单线程模型实现，也就是说Redis使用一个线程来服务所有的客户端请求，同时Redis采用了非阻塞式IO，并精细地优化各种命令的算法时间复杂度，这些信息意味着： Redis是线程安全的（因为只有一个线程），其所有操作都是原子的，不会因并发产生数据异常 Redis的速度非常快（因为使用非阻塞式IO，且大部分命令的算法时间复杂度都是O(1)) 使用高耗时的Redis命令是很危险的，会占用唯一的一个线程的大量处理时间，导致所有的请求都被拖慢。（例如时间复杂度为O(N)的...阅读全文
作者：京东零售 石朝阳 在说IO多路复用模型之前，我们先来大致了解下Linux文件系统。在Linux系统中，不论是你的鼠标，键盘，还是打印机，甚至于连接到本机的socket client端，都是以文件描述符的形式存在于系统中，诸如此类，等等等等，所以可以这么说，一切皆文件。来看一下系统定义的文件描述符说明： 从上面的列表可以看到，文件描述符0,1,2都已经被系统占用了，当系统启动的时候，这三个描述符就存在了。其中0代表标准输入，1代表标准输出，2代表错误输出。当我们创建新的文件描述符的时候，就会在2的基础上进行递增。可以这么说，文件描述符是为了管理被打开的文件而创建的系统索引，他代表了文件的身份ID。对标windows的话，你可以认为和句柄类似，这样就更容易理解一些。 由于网上对linux...阅读全文
化为「u」，这会让你看起来像偷懒的傻逼。更有甚者像个小孩似地用火星文来提问，那就绝对是在找死，真的是喊破喉咙也没有人来理你（或者会有人在围观，并给你一大堆指责与挖苦）。 如果你在非母语（中文）的论坛提问，你可以犯点拼写和语法上的小错，但决不能在思考上懒惰（没错，我们能看得出其中的差别）。同时，除非你知道回复者们使用的语言，否则请使用英语书写。如果你用黑客看不懂的语言发送提问，繁忙的黑客一般会直接无视并立即除。英语是互联网上的通用语言，用英语书写可以避免你的问题被直接无视。 如果你要用英文作为第二语言来提问，你可以使用以下的语句来进行说明，降低回答者对你语言使用的不适感： English is not my native language; please excuse typing...阅读全文
Linux 命名空间（包括网络命名空间，IPC 命名空间和 PID 命名空间）。 pause 容器提供了一种方法来管理所有这些命名空间并允许业务容器共享它们，在同一个网络命名空间中的好处是：同一个 Pod 中的容器可以使用 localhost 来相互通信。pause 容器的第二个功能与 PID 命名空间的工作方式相关，在 PID 命名空间中，进程之间形成一个树状结构，一旦某个子进程由于父进程的错误而变成了“孤儿进程”，其便会被 init 进程进行收养并最终回收资源。关于 pause 工作方式的详细信息可以参考：The Almighty Pause Container。 一旦创建好了 pause 容器，下面就会开始检查磁盘状态然后开始启动业务容器。 CNI 和 Pod 网络 现在我们的 Pod 已经有...阅读全文
