对 Docker 的使用大部分都比较熟悉，但是说到 docker 的实现原理很多人还是一知半解。我把在团队内部做的一次 Docker 核心原理分享总结到文章里，以供参考。 Docker 的优势 Build once, Run anywhere 上面这句话很精辟的总结了 docker 的优点。我从下面几点具体描述 docker 带给开发者的能力 应用标准化 无论什么语言开发的应用，我们都能用 dockerfile 和构建脚本方便的进行应用构建打包，代码库 + 构建 + registry 统一了 CI/CD 流程，也提升了效率。 环境一致 由于应用和依赖全部构建成镜像，做到了一次构建多次交付，无论是开发，测试还是上线环境都是一致的。大大提高了开发效率 应用隔离 由于通过 docker 部署的应...阅读全文
在被英特尔碾压多年之后，AMD 终于“平地一声惊雷”般地推出了可之平起平坐的首批 Ryzen 系列高端处理器。尽管不少人对 Ryzen 的超线程（SMT）、互联、Windows 调度、以及较小的动态频率等方面的表现存有疑虑，但 AMD 证实 Ryzen 已经达到了预期。在发布两周之后，AMD 表示 Ryzen 在大多数情况下的表现良好，且无需 Windows 等方面进行太大的调整以充分发挥其性能。 显然，AMD 留意到了有些人在对比测试 Ryzen 在 Windows 7 / 10 系统中的表现。该公司表示其已意识到这件事，所以会与开发者携手给软件带来“针对性的优化”，以更好地发挥新处理器的潜力。 此外，在许多情况下，可以通过微小改动来提升 Ryzen 在特定应用程序中的性能。调查发现，只...阅读全文
Gitlab 12.2 已经发布，此版本将帮助团队优化他们的管道，改进协作，并管理项目之间的相互依赖。更新内容如下： 更快、更灵活的管道 CI 管道的目标是自动化手工构建和测试任务，加速软件交付，同时减少错误。然而，对于某些用例，GitLab CI/CD 管道并没有那样高效。GitLab 12.2 现在支持 Directed Acyclic Graphs (DAG) 作为创建和管理详细作业依赖关系的方法，而不是依赖于顺序阶段。使您的 CI 管道变得更快和更有效率。 设计管理 软件开发是一项团队协作工作，在 12.2 版本中，提供了新的能力，包括在 GitLab 上的设计管理。设计管理将使设计内容的共享、版本和协作变得容易，从而帮助团队更有效地使用单一来源。 跨项目合并请求依赖 复杂系统通常...阅读全文
使用 Debian 这么久，影响最深的小软件莫过于 fail2ban 了。对多数服务器而已，对外开放的服务中，风险相对较高的莫过于 SSH 服务了， fail2ban 是一个轻量、有效、便捷的保护服务器免受暴力攻击的工具。 Fail2ban 使用 iptables 来阻止攻击者。 Fail2ban 的安装非常简单。Debian 及衍生版，可以直接从软件源安装： apt-get install fail2ban 安装结束后便进入可用状态，默认的设置就足够使用了。这就是 Debian 的风格，不需要不必要的人工干预，在不知不觉中就提升了你的效率。我们还是来看一下 fail2ban 的配置文件 /etc/fail2ban/jail.conf ，默认区段如下： [DEFAULT]ignoreip...阅读全文
缩率，Zstd 的压缩率要比内核使用的 Gzip 低，但比 XZ 和 LZMA 高。不过 Zstd 是除了 LZ4 之外，解压速度最快的算法。 根据目前的情况来看，内核对 Zstd 的支持有望在下一个版本中（Linux Kernel 5.9）实现。一旦 Zstd 进入内核主线，Nick 的后续计划是放弃对 BZ2 和 LZMA(1) 的支持。这将有助于清理更多的内核代码，因为 Bzip2 和 LZMA 目前并没有在内核树之外的其他地方使用。...阅读全文
火焰图（flame graph）是性能分析的利器。本文介绍它的基本用法。 一、perf 命令 让我们从 perf 命令（performance 的缩写）讲起，它是 Linux 系统原生提供的性能分析工具，会返回 CPU 正在执行的函数名以及调用栈（stack）。 通常，它的执行频率是 99Hz（每秒99次），如果99次都返回同一个函数名，那就说明 CPU 这一秒钟都在执行同一个函数，可能存在性能问题。 $ sudo perf record -F 99 -p 13204 -g -- sleep 30 上面的代码中，perf record表示记录，-F 99表示每秒99次，-p 13204是进程号，即对哪个进程进行分析，-g表示记录调用栈，sleep 30则是持续30秒。 运行后会产生一个庞大...阅读全文
在真正的生产环境中，如何合理的分配服务器资源、提高利用率、让整个集群运行的更加稳定使得 k8s-scheduler 这个角色在集群中的地位愈发重要。 kube-scheduler的预选(过滤)和精选(打分) api-server会将创建pod的请求发送给kube-scheduler，并且将pod信息记录在etcd数据库中。之后kube-scheduler会根据预选（过滤）规则，首先过滤掉一部分node节点中的pod，没有被过滤掉的pod可以看做是可以被调度的pod，之后再通过更加严格的规则给剩下的pod打分，这一步也叫作优选。打分最高的pod可以看做被优先分配到pod任务。 调度流程简介 创建pod的命令被api-server的api接口接收到。api-server将pod信息存储在...阅读全文
你可以通过 iftop、Nethogs 和 vnstat 这三个 Linux 网络命令，了解有关你网络连接的大量信息。iftop 通过进程号跟踪网络连接，Nethogs 可以快速显示哪个在占用你的带宽，而 vnstat 作为一个很好的轻量级守护进程运行，可以随时随地记录你的使用情况。 iftop iftop 监听你指定的网络接口，并以 top 的形式展示连接。 这是一个很好的小工具，用于快速识别占用、测量速度，并保持网络流量的总体运行。看到我们使用了多少带宽是非常令人惊讶的，特别是对于我们这些还记得使用电话线、调制解调器、让人尖叫的 Kbit 速度和真实的实时波特率的老年人来说。我们很久以前就放弃了波特率，转而使用比特率。波特率测量信号变化，有时与比特率相同，但大多数情况下不是。 如果你只...阅读全文
2023年-美联储利率决议日程、非农就业数据、CPI数据公布时间表 ...阅读全文
谷歌于 1 月下旬曾向 USPTO（美国专利及商标局）递交了名为 “Pigweed” 的新商标申请。根据申请内容来看，Pigweed 商标涵盖“计算机操作软件”。当时，人们猜测这是一款新的操作系统商标，但并未有任何相关信息提供。 昨日，谷歌毫无征兆地公布并开源了 Pigweed。与之前的猜想不同，这是一个嵌入式库（或模块）的集合。使用 Pigweed 模块可以在 32 位微控制器（ 即嵌入单电路芯片中的小型计算机 ）上实现更快、更可靠的开发。 Pigweed 提供的模块可满足嵌入式开发人员的广泛需求。从整个生命周期来看，Pigweed 从设置，到开发，再到代码提交，都能够有效提高嵌入式开发的效率。谷歌以上述开发过程为轴，围绕这几个方面分别介绍了 Pigweed 的一些模块。 嵌入式空间...阅读全文
Netty+Nacos+Disruptor自研企业级API网关 download：https://www.51xuebc.com/thread-566-1-1.html React18+TS+NestJS+GraphQL全栈开发示例 全栈开发是指一位开发人员可以熟练掌握前端、后端和数据库等多个领域的技术，能够完整地开发一个应用程序。在本文中，我们将介绍如何使用React18+TS+NestJS+GraphQL这个技术组合来进行全栈开发。 技术选型 在开始开发之前，我们需要选择合适的技术栈。以下是我们所采用的技术： React 18：React18是React框架最新版本，它具有更好的性能、更好的可访问性、更好的代码拆分等特点，可以提高开发效率和应用性能...阅读全文
，FreeOffice 已经扩展到支持早期的 Microsoft 格式 DOC、XLS 和 PPT 以及标准化文档格式 OpenDocument Text（ODT）。 但是 FreeOffice 并不是开源的软件，Jack 认为这便是 Manjaro 的大胆之处。 虽然有人会认为 Linux 上应该使用开源项目，并且开发者需要能够查看到 FreeOffice 的源码，并且在出问题时能够自行调试代码解决，但是这样影响办公效率的事情实际上很少会发生。“Linux 上拥有另一种选择的想法，尤其是使与 MS Office 的无缝协作更加现实的想法，应该被视为 Linux 桌面的巨大胜利。” Jack 分享了他在 Linux 上文档协作方面的困苦，后来其实也是到了需要求助于 Google Docs 之类的线上工具的地步...阅读全文
"read" from the disk and stored for later use. 2.1 Cache Cache：高速缓存，是位于CPU与主内存间的一种容量较小但速度很高的存储器。 由于CPU的速度远高于主内存，CPU直接从内存中存取数据要等待一定时间周期，Cache中保存着CPU刚用过或循环使用的一部分数据，当CPU再次使用该部分数据时可从Cache中直接调用,这样就减少了CPU的等待时间,提高了系统的效率。 Cache又分为一级Cache(L1 Cache)和二级Cache(L2 Cache)，L1 Cache集成在CPU内部，L2 Cache早期一般是焊在主板上,现在也都集成在CPU内部，常见的容量有256KB或512KB L2 Cache。 2.2 Buffer Buffer：缓...阅读全文
Visual Studio Code 刚刚公布了其 2018 发展路线图。开发团队表示，他们通常会先制定目标，然后将工作分解在后续的 6-12 个月时间内。在当前的规划中，主要会从以下三个角度进行改进： Happy Coding： 为新用户和现有用户提供更愉快的编码体验。 Node、JavaScript 和 TypeScript： 为各种语言和框架实现卓越的端到端体验。 A Rich Extension Ecosystem： 提供更丰富的扩展功能，构建良好的生态系统。 各项大致内容（仅供参考） Happy Coding 计划针对以下方面进行改进： Fundamentals：提高启动性能、减少资源/内存消耗、提高可访问性、支持社区贡献的翻译语言包、改善更新体验、提高可维护性等...阅读全文
根据此前的消息，基于Thunderbolt 3（雷电3）技术的USB 4接口与此前的USB 3.2相比带宽提升了一倍，能够提供40Gbps的带宽与100W的供电，使用USB Type-C 物理接口，所以你可以将USB 4当作是雷电3的大众化版本。目前USB Promoter Group正在努力开发USB 4规范，相关零售产品将于2020年底上市。 根据 AnandTech 的报道，目前USB 4已经来到了0.7版本，并且研发进度比较快。USB Promoter Group表示，USB 4基于雷电3技术，但是由于目前的研发情况非常复杂，所以他们希望能够在保证性能的情况下将部分功能进行简化，同时也在考虑新的产品标识和推广方案。 USB 4将会提供40Gbps（5GB/s）的传输速率并支持...阅读全文
状态图标等。 LMDE 3 中缺少的某些功能也从 Linux Mint 移植而来。LMDE 4 还将支持 Btrfs 子模块和主目录加密： 引导菜单中的 NVIDIA 驱动 一直以来在某些 NVIDIA 卡上存在 Nouveau（开源驱动程序）兼容性问题，在大多数情况下，人们不得不使用 nomodeset，但是当 Nouveau 根本无法识别芯片组时，完全没有图形显示。LMDE 4 中，在启动菜单中添加了一个新条目，该条目可即时安装 NVIDIA 驱动程序，实时会话和已安装的 OS 均可立即使用： Cinnamon 4.6 显示设置 下一版本的 Cinnamon 将允许选择显示器的频率，这是一个呼声很高的功能。 同时 Cinnamon 4.6 还将引入分数缩放功能。目前，缩放比为 100...阅读全文
。 SSD则是外部存储，用来长久保存数据，属于非易失性存储，断电后数据还在，但是相对速度慢、延迟高，HDD机械硬盘、U盘、光盘等也是此类。 SSD的存储介质是NAND闪存颗粒，需要施加不同的电压、改变内部状态来存储数据，随着时间的流逝、读写次数的增加，会出现物理性的损耗，最终不可用。 NAND闪存的寿命一般用P/E编程擦写次数来描述，写满一次容量就损失一次P/E。 SLC大约是10万次，MLC只有5000次左右，TLC就只大概2000次，QLC仅为1000次上下，所以不得不依靠更多管理技术和算法来辅助，以保持寿命。 但另一方面，SLC、MLC、TLC、QLC的存储密度越来越大，SSD容量也越来越大，写满的概率越来越低，所以整个SSD的实际寿命其实并没有大大缩短，一般应用无需过分担忧寿命问题。...阅读全文
以 TICK 监控方式为例，查询最近三天的，CPU 空闲率超过 90% 的主机列表， ``` SELECT usage_idle FROM (SELECT min("usage_idle") as usage_idle FROM "cpu" WHERE ("cpu" = 'cpu-total') AND ("time" > now() - 3d) GROUP BY "host") WHERE usage_idle > 93 GROUP BY "host" ```...阅读全文
SK海力士宣布，已经成功研发出新一代DRAM内存“HBM2E”，可视为HBM2的增强版，拥有业界最高的传输带宽，相比现在的HBM2提升了大约50％，同时容量也翻了一番。 SK海力士的HBM2E每个针脚传输速率为3.6Gbps，搭配1024-bit位宽的话可以提供超过460GB/s的超高带宽，无可比拟。 AMD Radeon VII显卡曾经率先实现1TB/s的显存带宽，但应用了4096-bit的位宽，如果换成HBM2E总带宽可以轻松超过1.8TB/s。 同时得益于TSV硅通孔技术，HBM2E内存可以最多垂直堆叠八颗16Gb芯片，单颗封装总容量因此可达16GB，是目前的两倍。 SK海力士表示，超高带宽的HBM2E可用于工业4.0、高端GPU显卡、超级计算机、机器学习、AI人工智能等各种尖端领域...阅读全文
服务监控系统 Prometheus 2.0 已发布，Prometheus 是一个 Go 语言开发的开源的服务监控系统和时间序列数据库。 Prometheus 2.0 有一个简单而强大的运营模式。然而，基础设施领域也没有停滞不前，像 Kubernetes 和 Mesos 这样的项目正在迅速改变软件的部署和管理方式。受监控的环境变得越来越活跃。 存储 Prometheus 2.0 有性能显着提高，几乎在所有方面都有所改进。查询延迟更加一致，特别是在高系列流失的情况下，它的规模更大。在不同的现实世界生产情景下测量的资源消耗也显着下降： 与 Prometheus1.8 相比，CPU 使用率 降低了 20％ – 40％ 与普 Prometheus1.8 相比， 磁盘空间使用率 降低了 33...阅读全文
持，图形驱动中的异步翻页，用于缓解射频干扰的新 "RFIM "驱动，围绕Rocket Lake和Alder Lake的新设备ID，WiFi驱动内的WiFi 6GHz频段支持，以及其他工作。 在 AMD 方面，主要围绕着改进电源管理和传感器处理，CPU 帧率频率不变性支持（虽然与 Schedutil 在一些系统上处于糟糕的状态），AMD 传感器融合枢纽驱动程序终于被合并，以支持Ryzen笔记本电脑上的传感器功能，以及其他各种改进。 Linux 5.11 还为不知名的设备提供了新的硬件支持，从失败的 OUYA 游戏机到 Guitar Hero Live PS3 / Wii U 扩展坞。 改进内容如下： 处理器: - 经历了 40 多轮的代码审查之后终于整合了 Intel SGX enclaves...阅读全文
每个任务的执行效率更加敏感。 针对Redis的性能优化，主要从下面几个层面入手： 最初的也是最重要的，确保没有让Redis执行耗时长的命令 使用pipelining将连续执行的命令组合执行 操作系统的Transparent huge pages功能必须关闭："echo never > /sys/kernel/mm/transparent_hugepage/enabled" 如果在虚拟机中运行Redis，可能天然就有虚拟机环境带来的固有延迟。可以通过./redis-cli –intrinsic-latency 100命令查看固有延迟。同时如果对Redis的性能有较高要求的话，应尽可能在物理机上直接部署Redis。 检查数据持久化策略 考虑引入读写分离机制 长耗时命令 Redis绝大多数读写命令...阅读全文
摘要： 本文由社区志愿者陈政羽整理，内容源自阿里巴巴技术专家宋辛童 (五藏) 在 8 月 7 日线上 Flink Meetup 分享的《Flink 1.14 新特性预览》。主要内容为： 简介 流批一体 Checkpoint 机制 性能与效率 Table / SQL / Python API 总结 此文章为 8 月 7 日的分享整理，1.14 版本最新进展请注意文中的注释说明。 一、简介 1.14 新版本原本规划有 35 个比较重要的新特性以及优化工作，目前已经有 26 个工作完成；5 个任务不确定是否能准时完成；另外 4 个特性由于时间或者本身设计上的原因，会放到后续版本完成。[1] 1.14 相对于历届版本来说，囊括的优化和新增功能点其实并不算多。通过观察发版的节奏可以发现，通常在 1...阅读全文
【2018-03-07 更新：中午一点半收到短信提醒，网站已成功备案。这效率杠杠的！】 朋友们，大家好： 为了向大家提供更好的服务，我们决定把服务器迁移回国内。为符合国内的政策要求，我们计划给网站备案。 为确保备案顺利完成，本站在本月内将会关闭 8-10 个工作日，待备案完成后重新开放。 关站开始时间我们尚不确定，关站前将不再通知。给你的访问带来不便，敬请谅解。 谢谢！ Debian中国...阅读全文
Ubuntu根本就是个祸害开源社区发行版。资本家是“无利不起早”的。“新人用Ubuntu系列是最不明智的选择，因为很难利用到别人的经验。Ubuntu修改了太多东西造就了和其它发行版的不兼容。 “Ubuntu通过大量散发免费光盘圈走很大一部分初级用户，这部分用户自行解决问题能力相对较差，当遇到问题而又因为系统和别人不兼容而无法获得别人帮助时，最终将屈服于Ubuntu而购买Ubuntu的服务。 “这种称作糖衣炮弹的诈骗手段古往今来屡试不爽。实际上微软也这样，只不过微软是通过放纵盗版来圈客户，并且微软的Windows好歹还有很大一部分是它自己编的；Ubuntu则明着圈初学者，并且利用的工具也基本上不是它自己的，而是GNU/Linux。”（按：在以上大字报贴出一年后，Ubuntu果然提供了比买...阅读全文
近日，Facebook 开源了一套解决重要计算集群管理问题的 Linux 内核组件和相关工具，这些项目覆盖了资源控制、资源利用、工作负载隔离、负载均衡、测量和监控等方面：BPF、Btrfs、Netconsd、Cgroup2、PSI、Oomd。 Facebook 表示这些项目现在已大规模用于其所有基础设施生产环境中，并用于其它许多企业组织的环境中。 BPF：https://facebookmicrosites.github.io/bpf/ BPF 是 Linux 内核中一种高度灵活、高效率的代码执行引擎，可以让字节码在各个 hook 点运行，以使用自定义代码。虽然 BPF 已广泛用于数据包过滤，但是 BPF 的指令集具有很强的通用性和灵活性，足以支持和允许除网络之外的众多使用场合，比如跟踪和...阅读全文
帮助他们采用和适应分布式架构，同时提升开发的质量和速度。 Insnia Designer 的诞生是为了让用户能够模仿团队的工作方式来构建工作流。Insomnia Designer 以 DevOps、CI/CD 和 GitOps 最佳实践为基础构建，能够自动生成 Kubernetes 和 Kong 的声明式配置，使繁琐的流程自动化，并将配置飘移(Configuration Drift)的风险降到最低。 同时，为了提高可视化效果以及协作性，Insomnia Designer 提供了一个文档列表，用于查看和管理 API 规范。此外还提供了用于 API 设计的详细消息以及关于它们的整个 Git 历史记录（已集成 Git）。这样的好处在于用户可以确保对所有 REST 和 GraphQL API 规范文...阅读全文
Cloudpods是一个开源的多云混合云管理平台。Cloudpods首先是一个私有云云平台，具备将计算节点使用开源QEMU/KVM虚拟化技术虚拟出虚拟机，实现私有云的功能。其次，Cloudpods能够纳管其他的云平台，包括主流私有云和公有云，实现云管的功能。 Cloudpods的目标是帮助用户基于本地基础设置以及已有云基础设置，构建一个统一融合的云上之云，达到降低复杂度，提高管理效率的效果。Cloudpods从3.0开始全面拥抱Kubernetes，基于Kubernetes部署运行云平台的服务组件，采用Kubernetes Operator，基于Kubernetes集群自动化部署服务，实现了云平台的服务的容器化分布式部署。本文总结了Cloudpods在过去3年云平台底层容器化改造的经...阅读全文
。去年以来，来自 500 多家公司的 4300 多名开发者对内核做出了贡献。其中 1,670 个是首次贡献，约占贡献者的三分之一。 去年，Linux 内核的十大企业贡献者包括 Intel, Red Hat, Linaro, IBM, Samsung, SUSE, Google, AMD, Renesas 和 Mellanox。微软也仍在 贡献 ，但不再是最大的贡献者。 随着开发人员和公司数量的增加，Linux 的开发速度持续加快。在 2015-16 年，每小时有 7.8 个补丁。去年内核每小时接受的平均更改次数为 8.5 次。这不是打字错误，确实是每小时 8.5 次的代码更改或每天 204 次的代码更改。 因为更高质量的补丁正在被合并，并且社区比以往任何时候都更好地修复回归。此外，英特尔的 0...阅读全文
有些矛盾。于是翻一下资料重新整理一下这些知识，希望下次在用到它们时能更顺畅。转载随意，请注明来源，文章持续修订。 由来 虚拟内存 毋庸置疑，虚拟内存绝对是操作系统中最重要的概念之一。我想主要是由于内存的重要”战略地位”。CPU太快，但容量小且功能单一，其他 I/O 硬件支持各种花式功能，可是相对于 CPU，它们又太慢。于是它们之间就需要一种润滑剂来作为缓冲，这就是内存大显身手的地方。 而在现代操作系统中，多任务已是标配。多任务并行，大大提升了 CPU 利用率，但却引出了多个进程对内存操作的冲突问题，虚拟内存概念的提出就是为了解决这个问题。 虚拟内存简单直观的解释 操作系统有一块物理内存（中间的部分），有两个进程（实际会更多）P1 和 P2，操作系统偷偷地分别告诉 P1 和 P2，我的整个内存...阅读全文
他们赞助该项目的原因： 性能。Rust 非常快且内存效率高：没有运行时或垃圾收集器，它可以为关键性能服务提供支持，可以在嵌入式设备上运行，并且可以轻松地与其他语言集成。可靠性。Rust 的丰富类型系统和所有权模型保证了内存安全性和线程安全性，并能使开发者在编译时消除许多类的错误。生产率。Rust 拥有出色的文档，友好的编译器以及有用的错误消息以及一流的工具——集成的软件包管理器和构建工具，具有自动完成和类型检查的智能多编辑器支持，自动格式化程序等。 接着，AWS 还列举了几个优秀的 Rust 库，并称赞了它的包容性社区，最后表示“Rust 连续四年被评为 Stack Overflow 的最受欢迎语言不足为奇”。 对于 Rust 来说，它可以使用 AWS 服务来执行以下操作： 在 S3 上存储...阅读全文
美光于前日宣布已经开始向业界中的核心客户出样DDR5内存（RDIMM）了，目前他们在DDR5内存上面使用的是自家最新的1z nm工艺。 JEDEC于2016年就开始制定DDR5 SDRAM规范了，不过到目前为止，DDR5标准仍然处于完善期，JEDEC还没有公布它的最终版本，预计它将会在今年正式完成DDR5标准的制定。反而是LPDDR5快了一步，在去年2月份标准就已经正式公布，并且有厂商已经推出了实际产品，并且在今年已经有移动处理器支持它了。 美光的DDR5技术文档也得以让我们一窥DDR5内存的特性。首先，在同样的等效频率下，DDR5内存能够提供更高的有效带宽，比如同样处于3200MT/s下，DDR5-3200的有效带宽比DDR4-3200的要高出36%；其次是DDR5（在JEDEC标准范围...阅读全文
在2018年的 Linux Plumber 大会上，eBPF成了亮点，有24个议题提到了 eBPF，可以预计eBPF会成为一大技术热点。 eBPF(Extended Berkeley Packet Filter) 的核心是驻留在 kernel 的高效虚拟机。最初的目的是高效网络过滤框架，前身是 BPF。 Linux kernel 3.18版本开始包含了eBPF，相对于 BPF 做了一些重要改进，首先是效率，这要归功于 JIB 编译 eBPF 代码；其次是应用范围，从网络报文扩展到一般事件处理；最后不再使用socket，使用map进行高效的数据存储。 根据以上的改进，内核开发人员在不到两年半的事件，做出了包括网络监控、限速和系统监控。目前eBPF可以分解为三个过程： 以字节码的形式创建...阅读全文
数据库。 6. 拥有复杂的数据（视频、图像、文件）——选择 Blob/对象存储。 7. 复杂的计算——使用消息队列和缓存。 8. 海量数据搜索——考虑搜索索引、尝试搜索引擎。 9. 扩展 SQL 数据库 — 实施数据库分片。 10. 高可用性、性能和吞吐量 — 使用负载均衡器。 11. 全球数据交付——考虑使用 CDN。 12. 图形数据（具有节点、边和关系的数据）——利用图形数据库。 13. 扩展各种组件——实现水平扩展。 14. 高性能数据库查询——使用数据库索引。 15. 批量作业处理——考虑批处理和消息队列。 16. 服务器负载管理和防止 DOS 攻击 - 使用速率限制器。 17. 微服务架构——使用 API 网...阅读全文
索引所需的整体空间使用率，同时提高了整体查询性能。 PostgreSQL 13 引入了增量排序，即在查询中较早步骤的排序数据可以加速后面步骤的排序。此外，PostgreSQL 现在可以使用扩展的统计信息（可通过CREATE STATISTICS访问）来为带有OR子句和IN/ ANY查找列表的查询创建改进的计划。 在 PostgreSQL 13 中，更多类型的聚合查询和分组查询可以利用 PostgreSQL 的高效哈希聚合功能，因为具有大型聚合的查询不必完全放入内存。对分区表的查询也得到了性能提升，因为现在有更多的情况下可以修剪分区和直接联接分区。 优化管理 清理(Vacuuming)是 PostgreSQL 管理的一个重要部分，使数据库在更新和删除行后能够回收存储空间。此过程也会带来管理上的...阅读全文
吗？你不能。你得看看它里面装的是什么型号的处理器，有多少个核，主频多少，有多少 L1 cache，L2 cache……，有多少内存和硬盘，显示器分辨率有多大，显卡是什么 GPU，网卡速度，等等各种“配置”。有时候你还得看各个组件之间的兼容性。 这些配置对应到程序语言里面，就是所谓“语言特性”。举一些语言特性的例子： 变量定义 算术运算 for 循环语句，while 循环语句 函数定义，函数调用 递归 静态类型系统 类型推导 lambda 函数 面向对象 垃圾回收 指针算术 goto 语句 这些语言特性，就像你在选择一台电脑的时候，看它里面是什么配置。选电脑的时候，没有人会说 Dell 一定是最好的，他们只会说这个型号里面装的是 Intel 的 i7 处理器，这个比 i5 的好，DDR3 的内...阅读全文
HTTP header。HTTP header 各个 fields 使用 \r\n 分隔，然后跟 body 之间使用 \r\n\r\n 分隔。解析完 header 之后，我们才能从 header 里面的 content-length 拿到 body 的 size，从而读取 body。 这套流程其实并不高效，因为我们需要读取多次，才能将一个完整的 HTTP 请求给解析出来，虽然在代码实现上面，有很多优化方式，譬如： 一次将一大块数据读取到 buffer 里面避免多次 IO read 读取的时候直接匹配 \r\n 的方式流式解析 但上面的方式对于高性能服务来说，终归还是会有开销。其实最主要的问题在于，HTTP/1.x 的协议是 文本协议，是给人看的，对机器不友好，如果要对机器友好，二进制协议才是更好的...阅读全文
Nginx 1.14.1 稳定版和 Nginx 1.15.6 主线版已发布，主要修复了 HTTP/2 （CVE-2018-16843，CVE-2018-16844）以及 MP4 模块（CVE-2018-16845）中的漏洞，具体如下： Nginx 1.14.1 Security: 在使用 HTTP/2 时可能导致客户端内存消耗过大 (CVE-2018-16843)，CPU 使用率过高 (CVE-2018-16844)； Security: 使用 ngx_http_mp4_module 处理特制的 mp4 文件可能导致工作进程内存泄露（CVE-2018-16845）； Bugfix: 使用 gRPC 后端可能会导致内存过度消耗。 Nginx 1.15.6 在 1.14.1 的基础上额外包含...阅读全文
得益于传输距离更广（300 米）、功耗更低、速度更快（2Mbps）、可同时连接两个音频设备等特性，蓝牙 5.0（2016 年 6 月正式发布）正快速普及中。 本周，蓝牙 SIG 组织宣布， 蓝牙 5.1 已交付开发者，新变化中最值得一说的便是位置查找（ “direction finding” ）特性。蓝牙组织希望借助 5.1 标准，取代 Wi-Fi 的辅助定位角色，为需要 GPS 等位置服务的场景助力， 包括确定距离甚至精确位置 。 蓝牙 SIG 称，5.1 的定位精度可达厘米级（目前 1 到 10 米），在室内导航、快速找寻手环/遥控板等情景，将发挥重要作用。 其它特性还有优化的 GATT（通用属性配置文件），提高配对和通信速度；有助于避免数据包冲突的随机信道索引确保蓝牙广告抵达率等。...阅读全文
ip2region 是准确率 99.9% 的 IP 地址定位库，0.0x 毫秒级查询，提供了 Java、PHP、C、Python、Node.js、Golang、C#、Rust、Lua 的查询绑定和 Binary、B 树、内存三种查询算法，妈妈再也不同担心我的 IP 地址定位！ ip2region 1.9 更新如下： 数据升级至 2019/05/02 的版本，国外的数据增加了大量城市级别的数据，ip2region.db 增长到 7MB。开源了 ip2region.db 的生成程序，目前提供了 java 语言的实现，在${ip2region_root}/maker 目录下，便于对 ip2region 的研究或者更改自定义生成配置等，后期会提供 C 语言的实现。 下载地址： Gitee...阅读全文
Tesla P100上商用了HBM 2技术，不过消费级市场上使用HBM 2技术还是AMD去年的RX Vega显卡，但是因为HBM 2显存的成本太过昂贵，RX Vega上实际上使用了两组4GB HBM 2，等效位宽比第一代减少一半，尽管频率大幅提升，所以实际带宽反而低了一些。 见识过HBM的玩家对该技术肯定印象深刻，那么未来它又该如何发展呢？HPE（惠普企业级）公司的Nicolas Dube日前分享了他的一些观点，在他看来DDR内存要走到尽头了（DDR is Over），特别是一些需求高带宽的场合中。 根据他分享的一些数据，HBM 2内存将在2018年大量应用，HBM 3将在2020年左右应用，改进版的HBM 3+技术在2022年应用，2024年则会有HBM 4内存，带宽及容量也会逐级增长，比如现在的...阅读全文
随着 Raspberry Pi 4 主板的问世，了解如何使用Raspbian Buster设置您的操作系统。你的新Pi 4到了邮箱，你已经设置了办公桌，您已准备好安装操作系统。 对于初学者来说，Raspbian为Pi制造商提供了出色的桌面体验。最重要的是，Raspbian Buster是专为树莓派 4创建的。考虑到这些情况，我们将在 microSD卡上载入这个操作系统，用其启动树莓派。 下载 Raspbian Buster 首先，访问 Raspbian 下载页面，下载最新版 Raspbian Buster 的图像文件。第一个链接 “桌面+推荐软件版” 附带了处理日常需求所需的大部分软件，建议初学者使用。如果你计划在命令行下使用你的Pi，桌面就不需要了，可以选择第三个 Lite 的选项。 下...阅读全文
#2342TiFlash添加上报 DeltaTree 引擎读写负载相关 metrics 信息支持 fromUnixTime 和 dateFormat 函数下推默认禁用粗粒度索引过滤器TiDB Ansible新增 TiFlash 监控 #1253 #1257优化 TiFlash 配置参数 #1262 #1265 #1271优化 TiDB 启动脚本 #1268 Bug 修复 TiDB修复 merge join 在某些场景下 panic 的问题 #15920修复在计算选择率时重复考虑某些表达式的问题 #16052修复极端情况下 load 统计信息可能出现的 panic 的问题 #15710修复 SQL query 中存在等价表达式在某些情况下无法识别导致报错的问题 #16015修复从一个数据库中查询另一个数据库的...阅读全文
的战略文件战略方法关键考虑因素其他组成确定投资回报率投资目标 这里关键的第一步是创建和将你的开源策略形成文字，该策略将“帮助你最大限度地提高组织从开源中获得的利益。”同时，你详细的策略可以帮助你避免因错误而导致的困难，例如：选择错误的许可证或不正确地维护代码。根据指南，该文件还可以： 让领导者感到兴奋并参与帮助在公司内获得支持促进分散的多部门组织的决策帮助建立一个健康的社区解释贵公司的开源方式和对其使用的支持明确贵公司在社区驱动的外部研发中投资的地方，以及贵公司将重点放在增值差异化的地方 Salesforce 的软件架构师兼本指南的撰稿人 Ian Varley 说：“在 Salesforce 内，我们有内部文件，我们将这些围绕开源战略指导和鼓励的文件分发给我们的工程团队。其中鼓励创建和使用开...阅读全文
率最低。 最后要注意的是，如果往不存在的topic写数据，kafka会⾃动创建topic，partition和replication的数量 默认配置都是1。 2.1.5. Topic和数据⽇志 topic 是同⼀类别的消息记录（record）的集合。在Kafka中，⼀个主题通常有多个订阅者。对于每个 主题，Kafka集群维护了⼀个分区数据⽇志⽂件结构如下： 每个partition都是⼀个有序并且不可变的消息记录集合。当新的数据写⼊时，就被追加到partition的末 尾。在每个partition中，每条消息都会被分配⼀个顺序的唯⼀标识，这个标识被称为offset，即偏移 量。注意，Kafka只保证在同⼀个partition内部消息是有序的，在不同partition之间，并不能保证消息 有序...阅读全文
：现在科学界对AI的应用分为两种。一种是将AI工具直接用于科学目的，如AlphaFold（用于蛋白质结构预测），它们可以创造巨大价值，相信未来会出现无数这样的工具。 另一种是将AI工具用于提升科研工作效率，如帮科学家和工程师找到新研究方向、写代码等。Copilot编程工具就是一个例子。但AI工具的能力远不止于此。上述两种AI应用将会大大推动科技前进。 此外，目前科学界也在探索对AI的第三种应用方式——让AI成为可以“自我改进”的科学家。这件事情既有好处也有风险。 好的一面是，可以利用AI将人类的工作内容自动化，教会AI做任何人类可以做的事情：探索新科学、提出理论解释、验证、思考等，或许还可借此解决困扰人类已久的“AI对齐问题（Alignment Problem）”（即如何让AI系统的目标符合人...阅读全文
分配器在固定大小的内存池中可实现即时内存分配，这能够显著减少创建一个会话的时长； 6，树型存储：侧重于使用作者多年前开发的弹性二叉树，实现了以O(log(N))的低开销来保持计时器命令、保持运行队列命令及管理轮询及最少连接队列； 7，优化的HTTP首部分析：优化的首部分析功能避免了在HTTP首部分析过程中重读任何内存区域； 8，精心地降低了昂贵的系统调用，大部分工作都在用户空间完成，如时间读取、缓冲聚合及文件描述符的启用和禁用等； 所有的这些细微之处的优化实现了在中等规模负载之上依然有着相当低的CPU负载，甚至于在非常高的负载场景中，5%的用户空间占用率和95%的系统空间占用率也是非常普遍的现象，这意味着HAProxy进程消耗比系统空间消耗低20倍以上。因此，对OS进行性能调优是非常重要的...阅读全文
在 Linux Kernel 5.10 代码中已经增加了对 EXT4 文件系统的更新，其中包括在 DAX/DIO 模式下大幅改进文件覆盖的效率。尤其是在运行英特尔 Optane DCPMM 存储的情况下，并行写入尤其是随机覆盖性能可以提升 10 倍以上，常规操作也能提升 2 倍以上。但是您必须使用 EXT4 iommap 代码（例如在DAX / DIO模式下），并且此更改不会影响 EXT4 的常规操作。 另一项针对 EXT4 的重大改变是由谷歌 Harshad Shirwadkar 提交的 “fast commits”。fast commits 模式和在有序模式（挂载选项 data=ordered）运行的 EXT4 用户有关，在保持最小增量的情况下与 JBD2 日志共享的快速提交空间中重新...阅读全文
WireGuard 是 Linux Kernel 5.6 新增的重要功能之一，经过多年的开发，现在可以作为内核代码树之外的模块提供（DKMS）。Linux Kernel 5.6 也已将其合并进内核主线。诸如 Ubuntu 20.04 LTS 之类的发行版也已经反向移植 WireGuard 到其内核。 现在，Debian 在测试的内核构建中已启用 WireGuard，它已进入到 Debian 的 Linux 内核树的 Kconfig 中。鉴于 WireGuard 的成功，Debian 大概率会对它进行深度定制。对于希望继续采用 WireGuard 的 Debian 11 来说，这是个好消息。 对于内核版本较旧的现有 Debian 稳定版本用户以及其他发行版/操作系统，请参阅...阅读全文
Keep是一款功能强大的开源告警管理和AIOps平台，它专注于帮助开发和运维团队更高效地处理告警问题。该平台提供了集中式的仪表板界面，支持与Prometheus、Grafana、Datadog、Slack等主流监控工具和通信平台的双向集成。 平台的一大特色是支持通过YAML文件声明式地定义工作流，用户可以轻松配置告警的触发条件、处理步骤和响应动作，实现告警处理的自动化。同时，Keep采用API优先的设计理念，开发者可以直接通过代码管理工作流，便于与现有系统无缝集成。 值得一提的是，Keep正在积极开发AI关联和AI摘要等智能化功能，未来将进一步提升告警处理的智能化水平，帮助团队更好地降低告警噪音，提升运维效率。这些特性使Keep成为一个极具前景的开源运维工具。...阅读全文
