Refer to https://www.linkedin.com/pulse/system-design-rules-navneet-kumar-p6n7f/ 系统设计很复杂，它需要设计者有深厚的计算机知识和专业知识，没有一种通用的设计可以适应所有业务场景。尽管如此，还是有一些比较通用的规则可以供你设计系统时参考，也能帮助你在面试中摆脱困境。 1. 对于数据密集型系统 — 考虑使用缓存。 2. 对于写入量大的系统 — 使用消息队列进行异步处理 3. 对于低延迟要求 — 考虑使用缓存和 CDN。 4. 需要𝐀原子性、𝐂一致性、𝐈隔离性、𝐃耐用性兼容数据库 — 选择 RDBMS/SQL 数据库。 5. 对于非结构化数据——可以选择NoSQL...阅读全文
富的组件和主题，可以快速构建美观、易用的页面。 Axios：Axios是一种流行的HTTP请求库，它可以轻松地处理异步请求、拦截器等功能。 ECharts：ECharts是一款优秀的图表库，它可以提供多种类型的图表和交互方式，可以方便地展示数据。 功能设计 商城后台管理系统通常包含以下功能： 登录/注销：管理员可以通过用户名和密码进行登录，并可以退出登录。 权限管理：管理员可以对用户和角色进行管理，控制用户的访问权限。 商品管理：管理员可以添加、修改、删除商品信息，包括商品名称、价格、库存、图片等。 订单管理：管理员可以查看订单列表、订单详情、订单状态等。 数据统计：管理员可以查看系统中的数据统计报表，包括销售额、订单量、会员数等。 开发流程 下面是商城后台管理系统的开发流程： 1. 搭建环...阅读全文
PostgreSQL 13 已正式发布，新版本对索引和查找系统进行了重大改进，大型数据库因此受益甚多，包括节省了空间并提高了索引的性能，使用聚合或分区的查询的响应时间更快，使用增强的统计信息时更好的查询计划(query planning)等。 除了并行化清理(parallelized vacuuming)和增量排序(incremental sorting)等呼声较高的功能外，PostgreSQL 13 还为大大小小的工作负载提供了更好的数据管理体验，并对日常管理进行了优化，为应用开发者提供了更多便利，并增强了安全性。 性能提升 在先前 PostgreSQL 版本的基础上，PostgreSQL 13 可以有效地处理 B 树索引（PostgreSQL 的标准索引）中的重复数据，从而降低 B 树...阅读全文
理内存，当物理内存还有空闲时(还够用)，不会释放其占用内存，就算占用内存的程序已经被关闭了，该程序所占用的内存用来做缓存使用，对于开启过的程序、或是读取刚存取过得数据会比较快。有关linux内存机制参考： Linux 内存机制 Mem：表示物理内存统计。 -/+ buffers/cached：表示物理内存的缓存统计 Swap：表示硬盘上交换分区的使用情况。只有mem被当前进程实际占用完,即没有了buffers和cache时，才会使用到swap。 Mem 行(第一行)数据说明： Total：1035108KB。表示物理内存总大小。 Used：1008984KB。表示总计分配给缓存(包含buffers 与cache )使用的数量，但其中可能部分缓存并未实际使用。 Free：26124KB。表示未...阅读全文
(初学者说明：RX 表示每秒接收数据，TX 表示每秒发送数据)： $ bmon bmon - Linux 带宽监视按 d 键可以查看更详细的带宽使用情况的图形化统计信息，参考下面的截图。 bmon - Detailed Bandwidth Statistics按 Shift + ? 可以查看快速指南。再次按 Shift + ? 可以退出(指南)界面。 bmon – 快速指南通过 Up 和 Down 箭头键可以查看特定网卡的统计信息。但是，要监视一个特定的网卡，你也可以像下面这样作为命令行参数指定。 选项 -p 指定了要显示的网卡，在下面的例子中，我们会监视网卡 enp1s0： $ bmon -p enp1s0 bmon – 监控以太网带宽要查看每秒位数而不是每秒字节数，可以像下面这样使用 -b...阅读全文
设计处理器的消息。亚马逊最近几年比较受欢迎的另外一个云计算产品是“Lambda”，该产品将会在某种触发条件下完成计算工作。比如一个用户在社交网络上传照片之后，系统将启动计算，自动生成一个微缩小图。上述产品被开发者描述为“无服务器”，意思是服务商并不要求开发者自己来管理服务器基础设施。行业研究报告显示，亚马逊对Lambda计算服务的收费是EC2实例的两倍之多。数据存储：S3和EBS亚马逊云计算的另外一个鼻祖服务是“简单计算存储”，简称S3，产品推出于2006年，客户可用该服务在网络上保存各种数据对象，包括照片、视频或其他文件类型。科技从业者丹·阿尔瓦雷兹（Don Alvarez）是上述服务的早期用户。他早年曾经在华盛顿州西雅图的新创科技公司工作，主要为电影制片人群体开发协作软件。当年，科技公司...阅读全文
田全球各地员工机器、网络相关的数据，而这些数据清楚表明了本田内部在使用哪家端点安全供应商，哪些设备在使用最新的安全防护软件，哪些设备依旧在运行旧版操作系统。 此外，这些数据包含了清楚的标记，可以非常容易地识别出 CEO、CFO 以及 CSO 等级别对应的电脑，本田 CEO 的完整电子邮件、全名、MAC 位置、Windows 操作系统版本、IP 及设备类型均可查到，甚至一些字符提供的信息与本田在日本的办事处位置相对应。 在研究人员提交该漏洞后，本田方面迅速封闭了该漏洞，并回复称：“非常感谢您指出漏洞。您发现的安全问题可能允许外部各方访问本田的一些基于云的数据，这些数据包括与员工及其计算机相关的信息。我们调查了系统的访问日志，发现没有任何第三方下载数据的迹象。目前，没有证据表明数据泄露，不包括您...阅读全文
：请求持续时间，响应大小。可以对观察结果采样，分组及统计。例如设置一个name为web_request_duration_seconds的Histogram 的metrics,并设置区间值为[0.1,0.5,1]会对区间点生成一条统计数据. # 响应时间小于0.1s的请求有5次 web_request_duration_seconds_bucket{endpoint="/query",method="GET",le="0.1"} 3 # 响应时间小于0.5s的请求有次 web_request_duration_seconds_bucket{endpoint="/query",method="GET",le="0.5"} 5 # 响应时间小于1s的请求有7次...阅读全文
恢复有要求的用户；希望轻松管理系统的用户。支持互联网应用，如电子商务、论坛、社交网络、企业网站和办公自动化系统；4.与租用物理服务器相比，云服务器的主要优势是什么？云服务器的租赁价格低于传统物理服务器，不需要押金。凭借快速供应和部署的能力，用户在提交租赁申请后，可以实时打开云主机并立即获得服务。支持业务平滑扩展，当用户业务规模扩大时，可以快速实现业务扩展。5.云服务器可以申请多个IP吗？云服务器将根据用户选择的不同线路配备不同数量的IP地址。默认情况下，单线会有一个独立的IP，双线会有两个独立的IP。由于IP的增加，带宽无法限制，所以暂时不会增加IP。6.云服务器出租产品是为了赋予产权吗？不送产权。云服务器是基于云计算平台的主机产品。用户实际上为云计算平台的计算和存储能力以及高质量的网络带宽...阅读全文
CERN 无需过多介绍了吧。CERN 创建了 万维网(World Wide Web)（WWW）和 大型强子对撞机(Large Hadron Collider)（LHC），这是世界上最大的 粒子加速器(particle accelerator)，就是通过它发现了 希格斯玻色子(Higgs boson)。负责该组织 IT 操作系统和基础架构的 Tim Bell 表示，他的团队的目标是“为全球 13000 名物理学家提供计算设施，以分析这些碰撞，了解宇宙的构成以及是如何运转的。”CERN 正在进行硬核科学研究，尤其是大型强子对撞机，它在运行时 生成大量数据。“CERN 目前存储大约 200 PB 的数据，当加速器运行时，每月有超过 10 PB 的数据产生。这必然会给计算基础架构带来极大的挑战，包...阅读全文
PROGRAM DEV SENT RECEIVED 7690 carla /usr/lib/firefox wlan0 12.494 556.580 KB/sec 5648 carla .../chromium-browser wlan0 0.052 0.038 KB/sec TOTAL 12.546 556.618 KB/sec Nethogs 选项很少：在 kb/s、kb、b 和 mb 之间循环；通过接收或发送的数据包进行排序；并调整刷新之间的延迟。请参阅 man nethogs，或者运行 nethogs -h。 vnstat vnstat 是最容易使用的网络数据收集器。它是轻量级的，不需要 root 权限。它作为守护进程运行，并记录你网络统计信息。它默认显示所有的网络接口。使用 -i 选项选择单个...阅读全文
CTO 招聘需求 ** 职位介绍：** 1. 全面负责技术层面的整体运营，制定研发战略和计划，负责全面实施，并与业务发展需求. 系统现状等结合起来； 2. 全面支持平台日常安全运营. 系统维护. 升级，确保公司各项投融资业务能在网站上安全. 有序开展，保障系统和数据的安全. 稳定； 3. 负责平台的研发与核心技术管理工作，组织制定和实施重大技术决策和技术方案； 4. 研究决策网站技术发展路线，规划公司产品的技术构架，负责互联网产品技术框架的选型与搭建，程序开发及技术攻坚； 5. 网站的技术团队的梯队化建设及管理，包括技术团队的培养； 6. 主导公司技术架构. 数据库结构. 业务逻辑等编码工作； 7. 负责制定技术开发规范. 编码规范等技术团队...阅读全文
以同时管理多个 Kubernetes 集群，更方便地管理多个集群。 丰富的权限管理 ：将资源抽象化为部门、项目级别，角色的权限可以更细化的控制，适用于多部门、多项目的统一集中管理。 多种登录模式 ：支持企业级 LDAP 登录、支持 OAuth2 登录，支持数据库登录多种模式。 完备的审计 ：所有操作都会有完整的审计功能，方便追踪操作历史。 开放平台 ：支持 APIKey 开放平台，用户可自主申请相关 APIKey 并管理自己的项目。 多层次监控 ：提供多级别的监控统计信息，实时关注集群的运行状态。 架构图 整体采用前后端分离的方案： 前端采用 Angular 框架进行数据交互和展示，使用 Ace 编辑器进行 Kubernetes 资源模版编辑。 后端采用 Beego 框架做数据接口处理，使用...阅读全文
随着希捷、东芝先后推出16TB容量的HDD硬盘，现今的垂直磁道PMR机械硬盘不论容量还是技术水平应该是到头了，西数计划今年出样18TB及20TB的硬盘，会用上MAMR全新技术。 访问购买页面： 西部数据自营旗舰店 机械硬盘要想再提高容量，现在的磁记录技术已经没多少潜力可挖了，新一代HDD硬盘技术会转向HAMR热磁辅助记录技术，不过西数认为HAMR使用激光辅助加热，技术复杂，成本高，可靠性也低，所以他们更倾向于MAMR微波辅助磁记录技术。 根据西数所说，MAMR硬盘技术的成本和传统垂直记录类似，复杂性、可靠性也都更可控(99.99％的MAMR磁头写入寿命HAMR磁头高出几个数量级)，生态方面也不需要更换新的主机管理损耗均衡。 西数最新表态今年底会推出两款MAMR技术的容量，一款是18TB容量...阅读全文
中小型公司，尤其是互联网行业的创业公司，本身并没有太多的技术人员，如果设计系统时需要考虑诸多的技术问题，例如 Web 应用服务器如何配置、数据库如何配置、消息服务中间件如何搭建等等，那对于他们来说人员成本、系统成本会很高，Serverless 架构的出现，让这种情况可能可以大幅度改善。 初识 Serverless？ 在目前主流云计算 IaaS（Infrastructure-as-a-Service，基础设施即服务）和 PaaS（Platform-as-a-Service，平台即服务）中，开发人员进行业务开发时，仍然需要关心很多和服务器相关的服务端开发工作，比如缓存、消息服务、Web 应用服务器、数据库，以及对服务器进行性能优化，还需要考虑存储和计算资源，考虑负载均衡和横向扩展能力，考虑服务...阅读全文
中共中央办公厅、国务院办公厅印发了《推进互联网协议第六版（IPv6）规模部署行动计划》，计划全面推进部署 IPv6，协同推进网络实名制。 通知称，用 5 到 10 年时间，建成全球最大规模的 IPv6 商业应用网络。具体计划包括： 1．到 2018 年末，IPv6 活跃用户数达到 2 亿，在互联网用户中的占比不低于 20%，并在以下领域全面支持 IPv6：国内用户量排名前 50 位的商业网站及应用，省部级以上政府和中央企业外网网站系统，中央和省级新闻及广播电视媒体网站系统，工业互联网等新兴领域的网络与应用；域名托管服务企业、顶级域运营机构、域名注册服务机构的域名服务器，超大型互联网数据中心（IDC），排名前 5 位的内容分发网络（CDN），排名前 10 位云服务平台的 50% 云产品；互联...阅读全文
码的困境结束，从而实现更快的开发。 简而言之，Web框架可以简化Web开发。 如果您想深入了解Web框架及其优点，请点击此处。 为什么Django是Python开发者的最佳选择 Django是一个Python编写的，高级的，MVC风格的开源库。 Django也被称为“完美主义者的最终框架”，它最初是为新闻网站设计的，因为它允许开发人员编写数据库驱动的Web应用程序，而无需从头开始编码。 除了更快完成常见的Web开发任务，Django还可以保持设计干净且实用。 Django是Python Web开发新人的最佳选择，因为官方文档和教程是几个（同类）软件开发框架中最好的。 技术市场充斥着一系列网络框架，但Django在最受欢迎的服务器端Web框架里处于顶峰位置。设计Django背后的座右铭很简单...阅读全文
西部数据开发了有一段时间的Zonefs已经确定要在Linux 5.6内核中登场了，这并不是一个传统意义上面的通用文件系统（比如Ext4、NTFS），而是一个针对特定硬件设备的文件系统，它为分区式存储设备进行了高度的优化。 熟悉Linux的朋友应该知道，在Linux下面内核会将存储设备视为块设备，比如目前会将SATA存储设备视为/dev/sdX。传统文件系统是在这个块设备上面进行操作，而应用程序则是通过系统提供的接口对块设备上面的数据进行访问。 但SMR HDD（叠瓦式硬盘）有一个毛病，它只有在顺序写入时才能正常发挥性能，一旦要进行数据覆盖写入，就需要改写这块数据所在区块内的所有磁道，造成严重的性能下降。传统的文件系统不会因为SMR HDD的特性而特别对待它，而Zonefs就是西部数据对...阅读全文
LPDDR5X DRAM和36Gbps GDDR7 DRAM，它们将为数据中心、HPC、移动、游戏和汽车市场领域带来新的功能。除了传统的DRAM之外，三星还强调了定制的DRAM解决方案的重要性，如HBM-PIM、AXDIMM和CXL，它们可以推动系统级创新，更好地处理全球数据的爆炸性增长。2030年达到1000多个V-NAND层自十年前成立以来，三星的V-NAND技术已经发展了八代，带来了10倍的层数和15倍的比特增长。三星最新的512Gb第八代V-NAND的比特密度提高了42%，达到了迄今为止512Gb三层单元（TLC）存储器产品中的行业最高比特密度。世界上最高容量的1Tb TLC V-NAND将在今年年底前提供给客户。该公司还指出，其第九代V-NAND正在开发中，并计划于2024年进行大规模生产。到...阅读全文
Grafana 图表工具，做到了灵活的指标监控，融合基础框架，让业务方开箱即用…然而，我们说第二阶段是基于 OpenTracing 全链路采样监控，随着业务的高速发展，这套架构的不足点也逐渐显露出来。 3.3 架构特点 体验层面 指标：覆盖面广，维度细，能清晰地根据各模块各维度来统计分析，基本做到了监控灵活的图表配置需求。但不可否认它是一种时序聚合数据，无法细化为个体。假如在某个时间点发生过几次高耗时操作，当吞吐量达到一定时，平均耗时指标曲线仍然趋于平稳，没有明显的突出点，导致问题发现能力降低。 链路：1%的采样率使得业务服务基本不会因调用链发送量大而导致性能问题，但同时也往往无法从错误，高耗时的场景中找到正好采样的链路。期间，我们曾经考虑将头部采样策略改为尾部采样，但面临着非常高昂的 SDK 改造成本...阅读全文
Ceph v10.2.7 发布了。Ceph 是加州大学 Santa Cruz 分校的 Sage Weil（DreamHost 的联合创始人）专为博士论文设计的新一代自由软件分布式文件系统。自 2007 年毕业之后，Sage 开始全职投入到 Ceph 开 发之中，使其能适用于生产环境。Ceph 的主要目标是设计成基于 POSIX 的没有单点故障的分布式文件系统，使数据能容错和无缝的复制。 该版本更新日志尚未找到，了解更多请查看 提交记录 或关注 官方博客 。 下载地址 Source code (zip) Source code (tar.gz)...阅读全文
结果发布到IM中，比如 HipChat、JIRA 或者 Slack 等。 自动修复 - 识别和验证OpenStack计算节点上的硬件故障，正确排空实例并向管理员发送关于潜在停机时间的电子邮件，但如果出现任何问题 - 冻结工作流程并呼叫PagerDuty唤醒人员。 持续部署 - 与Jenkins一起构建和测试，配置新的AWS群集，基于NewRelic的应用程序性能数据，打开负载均衡器的一些流量，以及前滚或回滚。 Stackstorm工作原理 主要组件角色： 传感器（Sensors） 用于分别接收或监视事件的入站或出站集成的Python插件。 当来自外部系统的事件发生并由传感器处理时，StackStorm触发器将发射到系统中。 触发器（Triggers）外部事件的StackStorm表示形式...阅读全文
储系统. HDFS 使用多台计算机存储文件，并且提供统一的访问接口，像是访问一个普通文件系统一样使用分布式文件系统。 HDFS文件系统 2. HDFS架构 HDFS架构 HDFS是一个主/从（Mater/Slave）体系结构，由三部分组成： NameNode 和 DataNode 以及 SecondaryNamenode： NameNode 负责管理整个文件系统的元数据，以及每一个路径（文件）所对应的数据块信息。 DataNode 负责管理用户的文件数据块，每一个数据块都可以在多个 DataNode 上存储多个副本，默认为3个。 Secondary NameNode 用来监控 HDFS 状态的辅助后台程序，每隔一段时间获取 HDFS 元数据的快照。最主要作用是辅助 NameNode 管理元数...阅读全文
题。 Cgroup2：https://facebookmicrosites.github.io/cgroup2/ Cgroup2 是下一代 Linux 内核机制，用于分组和构造工作负载，以及控制分配给每个组的系统资源量。它具有内存、I/O、中央处理单元等控制器，它还允许隔离工作负载，并为每个工作负载确定资源分配的优先级和配置。 PSI：https://facebookmicrosites.github.io/psi/ PSI（Pressure Stall Information，压力失速信息）首次提供了一种规范，通过内存、CPU 和 I/O 这三种主要资源的新压力指标来量化资源短缺。这些压力指标与此次开源的其它内核和用户空间工具相结合，可以在智能开发和响应时检测资源短缺。PSI 统计数据为即...阅读全文
Google 开发的这个容器管理系统很快成为开源历史上最成功的案例之一。Kubernetes 是一个在过去几年中快速流行起来的开源容器管理平台。它被众多大企业用于关键任务，已成为开源方面最成功的案例之一。这是怎么发生的？该如何解释 Kubernetes 的广泛流行呢？ Kubernetes 的背景：起源于 Google 的 Borg 系统 随着计算世界变得更加分布式、更加基于网络、以及更多的云计算，我们看到了单个大型的应用慢慢地转化为多个敏捷微服务。这些微服务能让用户单独缩放应用程序的关键功能，以处理数百万客户。除此之外，我们还看到像 Docker 这样的容器等技术出现在企业中，为用户快速构建这些微服务创造了一致的、可移植的、便捷的方式。 随着 Docker 继续蓬勃发展，管理这些微服务器...阅读全文
Linux Mint 19 “Tara”系统后续会有三个维护更新，分别为 Linux Mint 19.1/19.2/19.3 ，而 Cinnamon, MATE 和 Xfce 桌面环境版本同样会有三个更新。 其他方面，LMDE 3 只搭载 Cinnamon 3.8 桌面环境上线，支持 32/64 位系统。除了一些基础功能之外，团队正在为 Linux Mint 19 “Tara”主目录进行加密，但是 LMDE 3 不支持全盘或者主目录加密。 另个有趣的地方在于， Linux Mint 19 “Tara”明确表示不会收集/发送你的隐私或者系统数据，并且确认不会搭载 Canonical 部署在 Ubuntu 18.04 LTS 中的“ubuntu-report”，该服务可允许选择发送的数据类型。...阅读全文
Foundation）为例，它将Kubernetes和其他平台即服务（PaaS）云计划结合在一起。在过去的5年中，LFN项目大大加速了网络创新，使数据网络在未来数十年以前所未有的速度发展。” 在LNF下，每个项目都将继续按照现有的章程运作，保持技术的独立性，社区的亲和力，项目的发布路线图和以及网站的存在。 LFN 长远的目标是形成从网络协议栈到数据平面到控制平面，协调，自动化，端到端（end-to-end ）测试等的协作基础。LFN 有 83 个成员组织参与： 90%排名前10位的开源网络项目 超过60％由参与公司提供支持的全球移动用户 十大网络和企业供应商中的大多数 顶级系统集成商 顶级云提供商 换句话说，LFN有了业务和开发者社区的支持，它就要有所作为。希望 LFN 能带来更好的跨项目协同效应，更快的采用...阅读全文
4月1日，腾讯公司发布了一段短片，跟大家开了个愚人节玩笑。腾讯宣布，筹备近两年的“AI生态鹅厂”已在贵州贵安新区完成项目主体建设，预计于年内投产运行。由于企鹅所需饲养条件较高，目前腾讯将先以贵州平坝灰鹅作为试点，未来或考虑引入天鹅和企鹅。据说还有鹅脸识别、鹅语翻译、觅影治鹅、鹅屎咖啡等技术。 今天腾讯宣布，养鹅是不存在的，但贵州贵安新区的那个山洞却是真正存在的。它叫腾讯贵安七星数据中心，是一个特高等级数据中心。 2017年10月，腾讯贵安七星数据中心工程正式进入项目建设施工阶段，项目主体为五横一竖共六个隧道。工程建成后,整个数据中心的工作、电力等设备将全部置于其中。 腾讯表示，它具有高度安全，高隐蔽、高防护的特点，将用来放置腾讯业务最核心的数据，代表着腾讯在数据产业的前瞻战略。 数据中心是...阅读全文
据 Dgraph Labs 创始人 Manish Rai Jain 在其宣布 1.0.0 版本正式发布 的 文章 中透漏，他们已完成了由贝恩资本投资公司的 Salil Deshpande 领头的 300 万融资。凭借早期在基础设施软件和开源软件方面的经验，Salil 将加入 Dgraph 董事会。Jain 表示，这一轮融资正好是我们扩大云服务的时机，并继续建立世界上最先进的图数据库。 Dgraph 是一个可扩展的，分布式的，低延迟的图数据库，于 2015 年开源，最初是出于希望消除传统关系型数据库的典型弱点而创建的。为了解决组织在数据库增长超过单个服务器时面临的一些问题，Dgraph 以更有效的方式分割数据，这使查询可以在没有通用视图的情况下执行。它还减少了网络调用和磁盘查询需要执行查询的...阅读全文
作为社区 RoadMap 的重要组成部分，是大数据实时化必然的趋势。但是另一方面，传统离线的计算需求其实并不会被实时任务完全取代，而是会长期存在。 在实时和离线的需求同时存在的状态下，以往的流批独立技术方案存在着一些痛点，比如： 需要维护两套系统，相应的就需要两组开发人员，人力的投入成本很高； 另外，两套数据链路处理相似内容带来维护的风险性和冗余； 最重要的一点是，如果流批使用的不是同一套数据处理系统，引擎本身差异可能会存在数据口径不一致的问题，从而导致业务数据存在一定的误差。这种误差对于大数据分析会有比较大的影响。 在这样的背景下，Flink 社区认定了实时离线一体化的技术路线是比较重要的技术趋势和方向。 Flink 在过去的几个版本中，在流批一体方面做了很多的工作。可以认为 Flink...阅读全文
MongoDB 服务器都很重要。尤其是，除非有非常好的理由要使用mapReduce、group 或 $where，否则你应该 在配置文件中设置 javascriptEnabled:false，禁用 JavaScript。因为标准 MongoDB 的数据文件是不加密的，另外， 使用专门的用户运行 MongoDB 也是一个明智的做法，对数据文件的完全访问仅限于那个用户，这样就可以使用操作系统自带的文件访问控制了。 没有设计一个模式 对于模式，MongoDB 没有强制要求。这不是说它不需要模式。如果你真想保存文档而又没有一致的模式，那么你可以非常快速、简单地保存它们，但是 检索会十分麻烦 。 “MongoDB 模式设计的六大经验原则 ”是一篇值得一读的经典文章，而第三方工具（如 Studio 3T）提供的类似...阅读全文
Spring Cloud：Eureka注册中心，Ribbon集成REST实现负载均衡，OpenFeign声明式服务调用，Hystrix实现服务限流熔断降级和数据监控，Zuul实现微服网关，Config分布式统一配置中心，分布式链路跟踪，集成Spring Cloud实现统一整合方案虚拟化容器Docker：Docker环境搭建和使用，搭建Docker私有仓库，Docker分布式集群部署，Kubernetes简介 4. 分布式 Java并发编程和网络编程：Java线程状态，线程池，线程通信，线程安全，Netty高性能原理分布式开发框架：分布式系统口调用技术：RPC，Apache分布式系统Zookeeper原理与应用，阿里Dubbo设计思想与应用分布式中间件：分布式服务器治理，分布式消息通信，分布式数据缓存...阅读全文
电子测量企业 Keysight Technologies 近日推出了业界第一个完整的 DDR5 DRAM 测试与验证系统“N6475A DDR5 Tx”，为新一代内存的研发打开了方便之门。 这套系统包括 Keysight N6475A DDR5 Tx 兼容测试软件、M8040A 64 Gbaud 高性能比特误码率测试仪 (BERT) 和 Infiniium UXR 系列实时示波器两种硬件，可对 DDR5 内存进行抖动、电子、时序、波形、眼图方面的测试，包括 DDR5 芯片、数据缓冲、寄存器芯片的发射器物理层。 程序会自动将测试结果与 DDR5 标准规范的兼容标准进行对比，展示产品是否通过每一项测试。 在此之前，DDR5 产品的开发者们必须自己设计软件，或者手动执行所有测试、分析，现在有了...阅读全文
开发和发布时间表后，新版本的 Linux kernel 现在基本每隔 66 天左右发布一次。 18、Linux 不是 Linus Trovalds 唯一知名的作品，还有 Git 版本控制系统和潜水应用 SubSurface 。 19、据估计，90％ 的好莱坞视觉效果在生产流程的某个阶段依赖于 Linux 。 20、根据 openhub.net 的统计数据，超过 95％ 的 Linux 是用 C 语言编写的。 21、最新版本的 Linux kernel 可能有 13.3％的代码由空行组成。这并非毫无意义，空行是严谨的编码风格的一部分，使内核保持整洁、高效和有序。 22、基于 Linux 的 Android 是目前全球最成功的移动操作系统。 23、Linux 的每个内核版本都有一个有趣的代号，比...阅读全文
Gitlab 官方 宣布 ，将从 12.1 版本开始不再支持 MySQL 数据库。早在 2017 年 7 月，Gitlab 就计划将弃用对 MySQL 的支持。而目前这个决定将从 12.1 版本开始。 官方列出几个 MySQL 不能满足 Gitlab 需求的地方： 无法支持嵌套分组查询（详情）必须使用黑科技来提升 MySQL 对列的限制，这将导致 MySQL 拒绝存储数据MySQL 无法添加 TEXT 类型字段的长度限制MySQL 不支持分区索引还有类似 Geo 为了解决上面这些问题，Gitlab 创建了许多专门针对 MySQL 的代码。 在某些情况下，这导致合并请求的复杂性要高一倍，因为它们必须支持第二个数据库后端。 创建和维护这些代码会消耗我们的循环时间和速度，并且会降低我们的迭代值...阅读全文
树莓派（Raspberry Pi）微型计算机是备受全球开发者和极客们欢迎的产品，树莓派基金会于去年6月发布了Raspberry Pi 4 Model B，换用了速度更快的CPU，并提供了4GB大内存版本，还引入了USB 3.0，支持双屏4K输出与H.265解码。 今年，树莓派即将迎来8岁生日，为了庆祝，树莓派基金会宣布，2GB内存版的树莓派4B降价，由原价45美元下调至35美元，同时原售价35美元的1GB版本停止发售。而4GB内存版价格保持不变，仍然是55美元。 根据去年底的统计数据，树莓派累计销量已超3000万件。树莓派4B算是一次较为重大的升级，核心处理器为博通BCM2711，采用四核Cortex A72架构，28nm工艺，主频1.5GHz。最高可选4GB LPDDR4内存，并提供千兆...阅读全文
PromQL 是 Prometheus 提供的一个函数式的表达式语言，可以使用户实时地查找和聚合时间序列数据。表达式计算结果可以在图表中展示，也可以在 Prometheus表达式浏览器中以表格形式展示，或者作为数据源，以 HTTP API 的方式提供给外部系统使用。PromQL 虽然以 QL 结尾，但是它不是类似 SQL 的语言，因为在时间序列上执行计算类型时，SQL 语言相对缺乏表达能力。而 PromQL 语言表达能力非常丰富，可以使用标签进行任意聚合，还可以使用标签将不同的标签连接到一起进行算术运算操作。内置了时间和数学等很多函数可以使用 选择序列选择指定指标名称的序列最新样本： my_metric_name选择指定指标名称序列5分钟的样本范围： my_metric_name[5m]筛...阅读全文
，也可以在一台不同的远程计算机上工作。 Chrony 和 NTPD 精度对比测试 我们可以从 Chrony 的官方网站上可以看到与 NTPD 各维度详细对比： 从其测试结果上看似乎是各维度性能都可以吊打 NTPD。因此 Chrony 的整体评价还是比较高的。 Chrony 相较于 NTPD 服务的优势 更快的同步只需要数分钟而非数小时时间，从而最大程度的减少时间和频率误差，这对于并非全天运行的台式计算机或系统而言非常有用。能够更好的响应时间频率的快速变化，这对于具备不稳定时钟的虚拟机或导致时钟频率反复变化的节能技术而言非常有用。在初始同步后，它并不会停止时钟，以防对需要系统时间保持单调的程序造成影响。在应对临时非对称延迟时，（例如：大规模下载造成连接饱和时）提供了更好的稳定性。无需对服务器进行...阅读全文
有更好的吞吐量，内置的分区，冗余及容错性，这让Kafka成为了一个很好的大规模消息处理应用的解决方案。消息系统 一般吞吐量相对较低，但是需要更小的端到端延时，并尝尝依赖于Kafka提供的强大的持久性保障。在这个领域，Kafka足以媲美传统消息系统，如ActiveMR或RabbitMQ 站点的用户活动追踪: 为了更好地理解用户行为，改善用户体验，将用户查看了哪个页面、点击了哪些内容等信息发送到每个数据中心的Kafka集群上，并通过Hadoop进行分析、生成日常报告。 流处理：保存收集流数据，以提供之后对接的Storm或其他流式计算框架进行处理。很多用户会将那些从原始topic来的数据进行 阶段性处理，汇总，扩充或者以其他的方式转换到新的topic下再继续后面的处理。例如一个文章推荐的处理流程...阅读全文
Elasticsearch 7.6.0 发布了，Elasticsearch 是一个分布式的 RESTful 风格的搜索和数据分析引擎。 更新内容较多，摘取部分新特性： Aggregations 新的直方图字段映射器，支持百分位数聚合 #48580 (issue: #48578)对字符串术语实施统计汇总 #47468 Analysis 实施 Lucene EstonianAnalyzer，投票 #49149 (issue: #48895) Authentication 受密码保护的密钥库 (Feature Branch) #49210 Features/ILM+SLM 等待 SLM 策略执行的 ILM 操作 #50454 (issue: #45067)添加 ILM histore 商店索引...阅读全文
都要用G1垃圾收集器，因为年轻代内存比较大，用G1可以设置GC最大停顿时间，不至于一次minor gc就花费太长时间，当然，因为像kafka，rocketmq，es这些中间件，写数据到磁盘会用到操作系统的page cache，所以JVM内存不宜分配过大，需要给操作系统的缓存留出几个G。 2.1 线上问题及优化 2.1.1 消息丢失情况 消息发送端： （1）acks=0： 表示producer不需要等待任何broker确认收到消息的回复，就可以继续发送下一条消息。性能最高，但是最容易丢消息。大数据统计报表场景，对性能要求很高，对数据丢失不敏感的情况可以用这种。 （2）acks=1： 至少要等待leader已经成功将数据写入本地log，但是不需要等待所有follower是否成功写入。就可以继续发...阅读全文
GitHub的高级技术副总裁Jason Warner在2018的技术趋势中挑出了数据、工作流集成（workflow integration）以及开源工具，他认为这些是一个公司在2018年能够取得成功的关键。 Warner写道，数据将成为2018年全球增长的最重要因素： 现如今，所有的公司都是数据公司，不论他们是否意识到这个情况。在2018年，只要团队知道如何使用数据，数据就会成为他们最大的资产。 数据的重要性日益增长，也标志着云服务平台从分布式云计算平台转型成为数据处理的云平台，其中还包括数据分析和机器学习。这将重点反映到三个关键领域： Warner说，许多重要的系统目前都很脆弱，尽管它们的规模越来越大。为了应对在2018年变得更加频繁的攻击，将会有更多的财力和开发资源分配到改进安全性上...阅读全文
谷歌已宣布将其内部使用的 Tsunami 漏洞扫描程序进行开源，以帮助其他组织保护用户数据。Tsunami 将不会成为谷歌的正式品牌产品，而是由开源社区以类似于管理 Kubernetes（另一种谷歌内部工具）的方式来维护。 “我们已经向开源社区发布了 Tsunami 安全扫描引擎。我们希望该引擎可以帮助其他组织保护其用户数据。我们还希望促进协作，并鼓励安全界在 Tsunami 之上创建和共享新的探测器。” 与其他漏洞扫描程序不同的是，Tsunami 本就是秉承着以大型企业为使用对象的初衷而进行构建的，旨在查找包含数十万个设备的大型网络中的漏洞。谷歌方面表示，其设计的漏洞扫描程序具有极强的适应性，Tsunami 能够扫描多种设备类型，而无需为每种设备运行不同的扫描仪。 Tsunami 在扫描...阅读全文
Debian 项目组宣布计划从下个月开始终止对 Debian GNU/Linux 8 “Jessie” 系列操作系统提供定期安全更新支持，仅有数量有限的软件包仍将受支持。 根据开发者 Moritz Muehlenhoff 在 Debian-security-announce 邮件列表上发布的 安全通告 ，截至 2018 年 6 月 17 日，Debian GNU/Linux 8 “Jessie” 系列操作系统将不会再接收到定期的安全更新。但是，数量有限的部分软件包仍将会更新一段时间。Moritz Muehlenhoff 表示这是一个预先通知，与以前的版本一样，6 月 17 日后，只会为更少的架构和软件包提供额外的 LTS 支持。 LTS 支持将提供至 2020 年 6 月 6 日 2018...阅读全文
#2342TiFlash添加上报 DeltaTree 引擎读写负载相关 metrics 信息支持 fromUnixTime 和 dateFormat 函数下推默认禁用粗粒度索引过滤器TiDB Ansible新增 TiFlash 监控 #1253 #1257优化 TiFlash 配置参数 #1262 #1265 #1271优化 TiDB 启动脚本 #1268 Bug 修复 TiDB修复 merge join 在某些场景下 panic 的问题 #15920修复在计算选择率时重复考虑某些表达式的问题 #16052修复极端情况下 load 统计信息可能出现的 panic 的问题 #15710修复 SQL query 中存在等价表达式在某些情况下无法识别导致报错的问题 #16015修复从一个数据库中查询另一个数据库的...阅读全文
输数据，在不使用的情况下默认不会传输任何 UDP 数据包，所以比常规VPN省电很多，可以像ShadowSocks一样一直挂着使用。 WireGuard协议的速度几乎秒杀其它VPN协议，测试结果如下图； WireGuard 受到 Linus 本人的推荐，将整合到最新版Linux Kernel中，安装部署更方便。WireGuard 总共几千行代码，只需十分钟就能搞定一台WireGuard服务器。 Wireguard安全性高。极佳的VPN漫游特性，设备支持广泛。内核级别的端对端隧道加密技术，拥有良好的加密特性。Wireguard配置文件由两部分组成：interface和peer。服务器端、客户端互为平等关系。支持预共享密钥preshared key加密，防止量子计算攻击。 国际著名项目，开源代码审...阅读全文
欧洲云计算巨头 OVH 位于法国斯特拉斯堡的机房昨日发生严重火灾，该区域总共有 4 个数据中心 (Strasbourg Data Center)，发生起火的 SBG2 数据中心被完全烧毁，另有一个数据中心 SBG1 的建筑物部分受损，SBG3 因受到消防保护暂未受影响，以及 SBG4 确认没有受到波及。不过出于安全起见，OVH 位于斯特拉斯堡的全部数据中心暂时关闭了服务。OVH 在全球拥有 27 个数据中心，其中 15 个位于欧洲。昨天这场灾难被认为已导致超过 350 万个网站下线，而这一切发生在 OVH 启动了首次公开募股 (IPO) 计划两天后。Rust 旗下的游戏工作室 Facepunch Studios 证实，他们的数据已在这场大火中全部丢失，即使数据中心重新上线后，也无法恢复...阅读全文
的数据平面和先进的控制平面，极大地降低了各团队使用的难度。Kuma 可以在 Kubernetes、虚拟机、容器、裸机和传统环境等任意平台上运行，以落实整个组织中的云原生体验。 得益于成熟的控制平面，Kuma 开箱即用地使得下层网络安全、可靠和可观测，而无需更改代码。Kuma 高效的数据平面和先进的控制平面，允许用户通过少量的 Kubernetes 原生 CRD 或者 RESTful API 请求来方便地设置权限，暴露监控数据和设置路由规则。 Kuma 的主要功能包括： 软件定义安全（Software Defined Security）：Kuma 支持所有第四层流量的双向 TLS（mutual TLS）。用户可以通过简单的权限设置来实现访问控制。强大的生产力功能 ：Kuma 使得用户能快速实现...阅读全文
PIM存内计算是近年来的热门领域，与传统诺伊曼体系面临着越来越严重的存储贷款瓶颈不同，PIM直接在存储芯片上集成了计算功能，而不是CPU、内存数据分离，这样就能极大地提高带宽，在AI人工智能领域这个更重要。得益于这一突破，三星首发的HBM-PIM技术实现了2倍的性能，同时功耗还降低了70%，还能兼容目前的HBM接口，便于客户通过HBM-PIM来构建自己的AI加速器。三星计划今年上半年推出HBM-PIN芯片完成客户验证工作，何时量产、商用还没信息。...阅读全文
=tsm1_compact_group op_event=start ... #省略 ... #第四次全量压缩结束 ts=2021-01-05T10:44:13.931365Z lvl=info msg="TSM compaction (end)" log_id=0RVRbtjl000 engine=tsm1 tsm1_strategy=full tsm1_optimize=false trace_id=0RWXOKGG000 op_name=tsm1_compact_group op_event=end op_elapsed=851881.724ms ... ...此时influxdb进行分片数据的第四次的全量压缩，会进行大量的磁盘io及cpu压缩计算，导致服务的压力增大，所以调用方队列出现数据堆积，相关参数见配置文件...阅读全文
