Apache 软件基金会宣布 Apache Superset 成为顶级项目 (Top-Level Project, TLP)。 Apache Superset 是一款现代化的开源数据工具，用于数据探索和数据可视化。它提供了简单易用的无代码可视化构建器和声称是最先进的 SQL 编辑器，用户可以使用这些工具快速地构建数据仪表盘。 Apache Superset 将 SQL IDE、数据浏览工具、拖拽式仪表板编辑器和插件组合使用，以构建自定义的可视化效果，支持从许多关系数据库和非关系数据库中创建仪表板，这些数据库包括 SQLite、MySQL，以及 ClickHouse、Google BigQuery、Snowflake、Oracle 数据库、IBM DB2 和其他各种兼容的数据源，并且可以连接...阅读全文
SQLite 3.30.0 发布了，SQLite 是一个 C 实现的 SQL 数据库引擎，它的特点是小型、快速、自包含、高可靠性和功能齐全。SQLite 嵌入在所有手机和大多数计算机中，也捆绑在为数众多的其它应用中，是世界上使用量最大的数据库引擎。 此版本更新内容包括： 添加对聚合函数的 FILTER 子句的支持添加对 ORDER BY 子句中的 NULLS FIRST 和 NULLS LAST 语法的支持增强了 index_info和index_xinfo 编译指示，以提供有关 WITHOUT ROWID 表在磁盘上的表示形式的信息新增 sqlite3_drop_modules() 接口，使应用程序可以禁用不需要的自动加载的虚拟表改进 CLI 中的 .recover dot...阅读全文
MySQL 8.0 系列的首个正式版 8.0.11 已发布，官方表示 MySQL 8 要比 MySQL 5.7 快 2 倍，还带来了大量的改进和更快的性能！ 需要注意的是从 MySQL 5.7 升级到 MySQL 8.0 仅支持通过使用 in-place 方式进行升级，并且不支持从 MySQL 8.0 降级到 MySQL 5.7（或从某个 MySQL 8.0 版本降级到任意一个更早的 MySQL 8.0 版本）。作为替代方案，在升级之前请对数据进行全量备份。 本文简要介绍 MySQL 8 中值得关注的新特性和改进。 1. 性能：MySQL 8.0 的速度要比 MySQL 5.7 快 2 倍。MySQL 8.0 在这些方面带来了更好的性能：读/写工作负载、IO 密集型工作负载、以及高竞争...阅读全文
TimescaleDB 1.0 正式发布了，开发团队表示，自 9 月分宣布第一个候选版本以来，Timescale 的工程师团队合并了 50 多个 PR，以加强数据库，提高稳定性和易用性。 今天，TimescaleDB 1.0 宣布正式推出，官方表示该版本已可用于生产环境，是首个支持完整 SQL 和扩展的企业级时序数据库。TimescaleDB 是基于 PostgreSQL 数据库开发的一款时序数据库，以插件化的形式打包提供，随着 PostgreSQL 的版本升级而升级，不会因为另立分支带来麻烦。 TimescaleDB 架构 数据自动按时间和空间分片 (chunk) 更新亮点： 更广泛的可用性改进 后台作业自动化和调度的基础 增强了数据库强化和测试 构建开源监控堆栈：对 Grafana 和...阅读全文
理内存，当物理内存还有空闲时(还够用)，不会释放其占用内存，就算占用内存的程序已经被关闭了，该程序所占用的内存用来做缓存使用，对于开启过的程序、或是读取刚存取过得数据会比较快。有关linux内存机制参考： Linux 内存机制 Mem：表示物理内存统计。 -/+ buffers/cached：表示物理内存的缓存统计 Swap：表示硬盘上交换分区的使用情况。只有mem被当前进程实际占用完,即没有了buffers和cache时，才会使用到swap。 Mem 行(第一行)数据说明： Total：1035108KB。表示物理内存总大小。 Used：1008984KB。表示总计分配给缓存(包含buffers 与cache )使用的数量，但其中可能部分缓存并未实际使用。 Free：26124KB。表示未...阅读全文
获取数据时的延迟。此功能在大规模的应用程序上十分重要，因为数据离应用程序越近，程序就能更快获取到数据。 antirez 受 Ben Malec 演讲的启发，他想到可以将大部分需要频繁存和取的数据直接放在服务器的内存中，以便让 Redis 为客户端完成部分工作，并使客户端缓存更简单、更有效。这个就是 Client side caching（客户端缓存）的概念。 不过这个思路有一个需要解决的问题是，如何控制数据的有效时间？在程序允许的情况下，虽然可以直接设置数据的有效时间，让数据在一段时间后失效。但 antirez 表示，大多数的应用程序无法接受提供过时的数据的风险，因此必须找到更理想的方案来控制数据的失效时间。 所以 antirez 决定开发新的协议 RESP3，在协议中加入新特性来支持客户端...阅读全文
近日，一位安全研究员在博客上表示发现了本田公司的云端数据库未设密码，这可能导致 1.34 亿份文档，约 40GB 数据被泄漏，其中包括机器主机名、MAC 地址、内部 IP 及操作系统版本等。在收到该研究员的提醒后，本田方面已对漏洞进行修复。 本田 1.34 亿份文档，40GB 数据险遭泄漏 根据安全研究员 Justin Paine 的说法，自 2019 年 7 月 1 日起，他就发现了本田对外暴露的 ElasticSearch 数据库未设置任何密码，内部包含大约 1.34 亿份文档，这些文档可以转换为大约 40GB 数据，而这些数据的日期最早可以追溯至 2019 年 3 月左右。 最初，Justin Paine 以为这些数据来自本田的一家经销商，但他很快否定了这一想法，因为这些文档包含了本...阅读全文
都包含了其它数据中心中不存在的写入，因此无法安全地将主要数据库故障转移到美国东海岸数据中心。 GitHub 工程师发现问题后进行了一系列抢救措施，“最终没有用户数据丢失，但是，几秒钟的数据库写入的手动协调仍在进行中。” GitHub 对所有受影响的用户表示歉意，并表示“我们已经吸取了教训，并且采取了一系列急救措施，我们希望更好地确保不再发生类似情况。” 同时 GitHub 也表示接下来将解决由此导致的数据不一致问题。详细分析与事件时间线请查阅 GitHub 公告。...阅读全文
件公司Tableau卖给了Salesforce公司。AWS业务有点像自助餐，给开发者和终端用户提供了几百种在线服务自由选择，另外每年还不断推陈出新。从财务角度看，这一业务还是个“黑箱”。亚马逊没有披露云计算业务的具体营收来源，也没有给出各个子版块的利润率情况。AWS诞生初期，就是作为一个基础计算服务的外包供应商，包括计算资源和数据存储等。可以判断，该业务大部分收入和利润仍然来自这些业务。科技业人士克里·奎因（Corey Quinn）曾经在私营的Duckbill集团担任首席云经济学家，帮助客户公司降低他们在亚马逊云计算的开支。奎因预测，AWS一半以上的收入来自于EC2计算服务。这一服务相当于让企业用户在亚马逊数据中心租赁到了实体服务器虚拟的“一部分”。奎因表示，计算服务再加上“弹性块存储...阅读全文
11 月 1 日，开源数据库 MariaDB 在官网正式宣布已完成由阿里巴巴领投的 C 轮 2700 万美元的融资。融资完成后，MariaDB 将具备更强的实力参与数据库竞争。阿里巴巴集团旗下云计算部门阿里云已在今年 3 月成为 MariaDB 白金赞助商，双方后续将继续合作，为云端和新兴用例提供新的解决方案。 MariaDB 公司创始人 Michael Wideneus 表示：“ MariaDB 获得本轮融资，得益于基于我们为下一代应用而推出的一整套完备的数据基础应用功能建设。同时，在发布基于人工智能的，面向云和自动化的新一代解决方案之后，这轮融资将使得 MariaDB 未来得以高速发展。” 阿里云副总裁李津也表示：“ MariaDB 正在成为企业级开源数据库的标准。我们相信，在开源社区...阅读全文
，会获取到此套接字的文件描述符。 然后，bind到指定的地址进行监听listen。这样，服务端就在特定的端口启动起来并进行监听了。 之后，利用开启accept方法来监听客户端的连接请求。一旦有客户端连接，则将获取到当前客户端连接的connection文件描述符。 双方建立连接之后，就可以进行数据互传了。需要注意的是，在循环开始的时候，务必每次都要重新设置当前connection的文件描述符，是因为文件描描述符表在内核中被修改过，如果不重置，将会导致异常的情况。 重新设置文件描述符后，就可以利用select函数从文件描述符表中，来轮询哪些文件描述符就绪了。此时系统会将用户态的文件描述符表发送到内核态进行调整，即将准备就绪的文件描述符进行置位，然后再发送给用户态的应用中来。 用户通过...阅读全文
据 Dgraph Labs 创始人 Manish Rai Jain 在其宣布 1.0.0 版本正式发布 的 文章 中透漏，他们已完成了由贝恩资本投资公司的 Salil Deshpande 领头的 300 万融资。凭借早期在基础设施软件和开源软件方面的经验，Salil 将加入 Dgraph 董事会。Jain 表示，这一轮融资正好是我们扩大云服务的时机，并继续建立世界上最先进的图数据库。 Dgraph 是一个可扩展的，分布式的，低延迟的图数据库，于 2015 年开源，最初是出于希望消除传统关系型数据库的典型弱点而创建的。为了解决组织在数据库增长超过单个服务器时面临的一些问题，Dgraph 以更有效的方式分割数据，这使查询可以在没有通用视图的情况下执行。它还减少了网络调用和磁盘查询需要执行查询的...阅读全文
MongoDB 创建数据库 - 格式：use DATABASE_NAME - use ruochen - db 创建数据库需要插入一条数据才会在列表中显示 - db.ruochen.insert({'name': '若尘'}) - show dbs 删除数据库 格式：db.dropDatabase() use ruochen db.dropDatabase() show dbs 创建集合 - 格式：db.createCollection(name, options) - name: 要创建的集合名称 - options: 可选参数，指定有关内存大小及索引的选项 字段 类型 描述 capped 布尔 （可选）如果为 true，则创建固定集合。固定集合是指有着固定大小的集合，当达到最大值时，它...阅读全文
channel通道golang的并发模型是序列通信处理CSP（communicating sequential process）——使用通信来共享内存 ，避免goroutine因竞争共享内存频繁加锁产生的性能问题。基本数据结构golang中提供了一个特殊的类型channel实现goroutine之间的通信。channel类似于队列，先进先出。channel数据结构源码在src/runtime/chan.go下。chan 使用 hchan 表示，它的传参与赋值始终都是指针形式，每个 hchan 对象代表着一个 chan。hchan 中包含一个缓冲区 buf，它表示已经发送但是还未被接收的数据缓存。buf 的大小由创建 chan 时的参数来决定。qcount 表示当前缓冲区中有效数据的总量...阅读全文
PromQL 是 Prometheus 提供的一个函数式的表达式语言，可以使用户实时地查找和聚合时间序列数据。表达式计算结果可以在图表中展示，也可以在 Prometheus表达式浏览器中以表格形式展示，或者作为数据源，以 HTTP API 的方式提供给外部系统使用。PromQL 虽然以 QL 结尾，但是它不是类似 SQL 的语言，因为在时间序列上执行计算类型时，SQL 语言相对缺乏表达能力。而 PromQL 语言表达能力非常丰富，可以使用标签进行任意聚合，还可以使用标签将不同的标签连接到一起进行算术运算操作。内置了时间和数学等很多函数可以使用 选择序列选择指定指标名称的序列最新样本： my_metric_name选择指定指标名称序列5分钟的样本范围： my_metric_name[5m]筛...阅读全文
目前非常流行的RDBMS PostgresSQL已经在几周前发布了它的第10个版本。由于Postgres的可靠性、节约成本、成熟，当然还有它的开源，已经21岁的Postgres在开发者之中仍旧非常流行。 Postgres 10带来了一些新特性，其中一些特性另开发者感到十分兴奋。10Clouds在博客中详细介绍了其中的一些特性。通过消除主表（master table）中触发器（trigger）的需求，本地分区（native partitioning）现在变得更简单了。这意味着创建分区表将变得更简单，并且从开发者的角度来看，现在从分区数据表中进行查询和插入与在非分区的数据表进行这些操作是完全一致的。 多列统计（multicolumn statistics）是Postgres 10的另一项改进...阅读全文
每次项目进度都很紧张、项目发版时间总是一延再延、每个版本bug数量堆积成山、测试期间各种bug总是层出不穷、临近上线发现严重bug，如果项目经理总是被这些问题围绕，那么项目总结迫在眉睫。项目经理如何进行项目总结才能让项目顺利进行，让领导一看就喜欢，今天把经验分享给大家，帮助你做好项目总结。总结的思维模式想写好一份项目总结，总结人员必须具备一定的结构化思维，对问题、数据进行结构分析，且能够通过结构化思维表达出来。结构化思维具备以下四个特点。结论：问题比较多的时候，要进行抽象归纳，做到抓大放小，先解决当前最主要的问题。总结的目的✤对项目进行复盘，发现项目中存在的问题，针对问题找到根本原因并提出解决方案；✤提高项目质量，让项目“健康”前行;✤通过数据衡量当前版本的质量，对项目整体情况进行评估...阅读全文
2023年-美联储利率决议日程、非农就业数据、CPI数据公布时间表 ...阅读全文
4月1日，腾讯公司发布了一段短片，跟大家开了个愚人节玩笑。腾讯宣布，筹备近两年的“AI生态鹅厂”已在贵州贵安新区完成项目主体建设，预计于年内投产运行。由于企鹅所需饲养条件较高，目前腾讯将先以贵州平坝灰鹅作为试点，未来或考虑引入天鹅和企鹅。据说还有鹅脸识别、鹅语翻译、觅影治鹅、鹅屎咖啡等技术。 今天腾讯宣布，养鹅是不存在的，但贵州贵安新区的那个山洞却是真正存在的。它叫腾讯贵安七星数据中心，是一个特高等级数据中心。 2017年10月，腾讯贵安七星数据中心工程正式进入项目建设施工阶段，项目主体为五横一竖共六个隧道。工程建成后,整个数据中心的工作、电力等设备将全部置于其中。 腾讯表示，它具有高度安全，高隐蔽、高防护的特点，将用来放置腾讯业务最核心的数据，代表着腾讯在数据产业的前瞻战略。 数据中心是...阅读全文
任何数据。OVH 创始人兼董事长 Oktave Klaba 在推特实时更新了大火的情况，并建议客户启动容灾恢复计划。他表示将在接下来的 1-2 周对服务器进行紧急修复，完全恢复时间待定。...阅读全文
Google 宣布了 新拥堵控制算法 TCP BBR。Google 官方博客称新算法将 google.com 和 YouTube 的全球网络吞吐量平均改进了 4%，在某些国家改进了 14%+。 Google 解释说，现有的 TCP 拥堵控制算法源自 1980 年代，是为低带宽数据传输设计的，解决拥堵主要考虑丢包，也就是在网络堵塞的时候路由器将会丢弃新的数据包。BBR 代表 Bottleneck Bandwidth and Round-trip propagation time，它的拥堵控制采用了不同的方法，考虑了网络实际的数据交付率有多快。根据最近测量的网络交付率和往返时间构建显示模型，最大化近期可用带宽和最小化近期往返延迟。BBR 使用这些数据决定数据发送速率有多快。 Google 已经...阅读全文
富的组件和主题，可以快速构建美观、易用的页面。 Axios：Axios是一种流行的HTTP请求库，它可以轻松地处理异步请求、拦截器等功能。 ECharts：ECharts是一款优秀的图表库，它可以提供多种类型的图表和交互方式，可以方便地展示数据。 功能设计 商城后台管理系统通常包含以下功能： 登录/注销：管理员可以通过用户名和密码进行登录，并可以退出登录。 权限管理：管理员可以对用户和角色进行管理，控制用户的访问权限。 商品管理：管理员可以添加、修改、删除商品信息，包括商品名称、价格、库存、图片等。 订单管理：管理员可以查看订单列表、订单详情、订单状态等。 数据统计：管理员可以查看系统中的数据统计报表，包括销售额、订单量、会员数等。 开发流程 下面是商城后台管理系统的开发流程： 1. 搭建环...阅读全文
索引所需的整体空间使用率，同时提高了整体查询性能。 PostgreSQL 13 引入了增量排序，即在查询中较早步骤的排序数据可以加速后面步骤的排序。此外，PostgreSQL 现在可以使用扩展的统计信息（可通过CREATE STATISTICS访问）来为带有OR子句和IN/ ANY查找列表的查询创建改进的计划。 在 PostgreSQL 13 中，更多类型的聚合查询和分组查询可以利用 PostgreSQL 的高效哈希聚合功能，因为具有大型聚合的查询不必完全放入内存。对分区表的查询也得到了性能提升，因为现在有更多的情况下可以修剪分区和直接联接分区。 优化管理 清理(Vacuuming)是 PostgreSQL 管理的一个重要部分，使数据库在更新和删除行后能够回收存储空间。此过程也会带来管理上的...阅读全文
AMD表示，公司最新发布的“米兰”服务器芯片比目前最好的数据中心芯片处理速度更快。据悉，AMD完成该芯片的设计，并委托台积电采用7nm芯片制造工艺来实现量产。很快，Intel也要反击，其将在未来几周推出最新的“冰湖”（Ice Lake）服务器芯片，这将是首款采用Intel 10nm制造工艺量产的服务器芯片（据说性能相当于7nm制造工艺的“米兰”芯片）。无论这两款芯片的速度如何，但AMD仍有望拥有一些优势，比如每个芯片上的计算内核数更多，这使得芯片可以同时处理更多的软件应用程序。AMD服务器业务部门高级副总裁兼总经理丹·麦克纳马拉（Dan McNamara）表示，如果公司继续将客户反馈整合到新一代芯片中，就能保住领先地位。第三代EPYC 7003系列采用和锐龙5000系列同款的Zen3架构...阅读全文
)、consumer(消息消费者)都可以是分布式的。 在消息的生产时可以使用一个标识topic来区分，且可以进行分区；每一个分区都是一个顺序的、不可变的消息队列， 并且可以持续的添加。 同时为发布和订阅提供高吞吐量。据了解，Kafka每秒可以生产约25万消息（50 MB），每秒处理55万消息（110 MB）。 消息被处理的状态是在consumer端维护，而不是由server端维护。当失败时能自动平衡 1.1.3. 常用的场景 监控：主机通过Kafka发送与系统和应用程序健康相关的指标，然后这些信息会被收集和处理从而创建监控仪表盘并发送警告。 消息队列： 应用程度使用Kafka作为传统的消息系统实现标准的队列和消息的发布—订阅，例如搜索和内容提要（Content Feed）。比起大多数的消息系统来说，Kafka...阅读全文
的定制能力。ECharts 底层依托了开源渲染引擎 ZRender ，支持 Canvas 和 SVG 等多种方式的渲染，支持 PC 、移动端、数据大屏、服务端渲染等多种设备场景。 目前，在 2018 年初发布的新版本 ECharts (4) 中，一些常用图表已支持最高达千万级的数据可视化，并且提供了小程序、无障碍访问等支持。基于 WebGL 的 ECharts-GL 能支持各种 3D 图表渲染、以及海量数据的渲染加速。目前，各种基于 ECharts 的扩展库，以及相关的可视化服务系统已经形成了丰富的产品体系和活跃的社区环境。ECharts 目前在 GitHub 上拥有 25k+ 的关注和 2k+ 的相关项目。大量的社区的反馈和贡献使 ECharts 不断地迭代进化。 业内人士认为，进入...阅读全文
Grafana 6.3.3 发布了，Grafana 是一个功能丰富的指标标准仪表板和图形编辑器，用于分析和监控 Graphite、Elasticsearch、OpenTSDB、Prometheus 和 InfluxDB。 新版本更新主要是 Bug修复，具体如下： Annotations：修复取消时间序列查询时，失败的注释查询 #18532Auth：如果 cookie_samesite 为 none，请不要设置 SameSite cookie 属性 #18462DataLinks：正确地将范围变量应用于数据链接 #18454DataLinks：在图形上下文菜单中显示数据点的时间戳时，遵守时区 #18461DataLinks：插值变量时，正确使用数据点时间戳 #18459Explore：修复空...阅读全文
Linux Mint 19 “Tara”系统后续会有三个维护更新，分别为 Linux Mint 19.1/19.2/19.3 ，而 Cinnamon, MATE 和 Xfce 桌面环境版本同样会有三个更新。 其他方面，LMDE 3 只搭载 Cinnamon 3.8 桌面环境上线，支持 32/64 位系统。除了一些基础功能之外，团队正在为 Linux Mint 19 “Tara”主目录进行加密，但是 LMDE 3 不支持全盘或者主目录加密。 另个有趣的地方在于， Linux Mint 19 “Tara”明确表示不会收集/发送你的隐私或者系统数据，并且确认不会搭载 Canonical 部署在 Ubuntu 18.04 LTS 中的“ubuntu-report”，该服务可允许选择发送的数据类型。...阅读全文
知名市场研究公司IDC周四发布报告称，2018年，亚马逊公司在技术上的投入超过136亿美元，成为全球IT支出最高的公司。IDC追踪了4800家公司，他们在去年的总IT支出预计达到1.1万亿美元，前十大公司占据了总支出的7%。谷歌母公司Alphabet、沃尔玛公司分别排在第二、第三位，他们去年在软件、硬件、服务、电信设备以及员工上的支出分别接近120亿美元。 IDC客户洞察和分析研究经理大卫·拉特斯曼(David Lantsman)表示，亚马逊和谷歌向寻求降低自主IT预算的其他公司销售云服务、服务器和其他数据中心基础设施占据了他们的大部分支出。 2018年前十大IT支出公司 沃尔玛是前十大IT支出公司中的唯一一家零售商，去年的IT支出预计为117亿美元。沃尔玛执行副总裁兼首席技术官杰里米·金...阅读全文
基本概念 Prometheus 所有采集的监控数据均以指标（metric）的形式保存在内置的时间序列数据库当中（TSDB）：属于同一指标名称，同一标签集合的、有时间戳标记的数据流。除了存储的时间序列，Prometheus 还可以根据查询请求产生临时的、衍生的时间序列作为返回结果。 样本在时间序列中的每一个点称为一个样本（sample），样本由以下三部分组成： 指标（metric）：指标名称和描述当前样本特征的 labelsets； 时间戳（timestamp）：一个精确到毫秒的时间戳； 样本值（value）： 一个 folat64 的浮点型数据表示当前样本的值。
本文将介绍如何远程升级 Debian 11 Bullseye 到最新的稳定版 Debian 12 Bookworm。本升级流程简单、快速，适用于绝大部分运行在 公有云 上的主机实例。 在升级之前，建议妥善备份重要的数据，InfraPub 有一个简单的备份策略，只需要一个文件列表 记录需要备份的文件及目录，即可实现快速备份， ``` ## cat /root/backup.list /var/lib/mysql /etc/mysql /var/www /etc/nginx ``` 随后使用一条命令即可备份: `tar czvf /tmp/backup.tgz --files-from /root/backup.list` 稳妥期间，备份时把数据库类的服务停一下...阅读全文
PostgreSQL 继续向着将在 2017 年 9 月份发布的第 10 个主版本迈进，EnterpriseDB 首席架构师和 PostgreSQL 贡献者 Robert Hass 根据 PostgreSQL官方路线图 编制 了一份 PostgreSQL 10 重要特性列表。 数月之前发布的 PostgreSQL 10 路线图包含多个单独的路线图，每个路线图对应一个特定的公司或个体贡献者。想要概括地了解路线图的内容并不容易。以下是 Hass 选出的一部分特性： 表分区 ：这可以视为是表继承的简化版本，在表继承中，父表总是为空，子表（分区）有一个隐式约束，当元组插入父表时，它可以影响元组实际上添加到哪个分区。当使用继承关系推导表的属性时，表分区有望简化这个过程，让特定的优化成为可能。 逻辑复...阅读全文
(初学者说明：RX 表示每秒接收数据，TX 表示每秒发送数据)： $ bmon bmon - Linux 带宽监视按 d 键可以查看更详细的带宽使用情况的图形化统计信息，参考下面的截图。 bmon - Detailed Bandwidth Statistics按 Shift + ? 可以查看快速指南。再次按 Shift + ? 可以退出(指南)界面。 bmon – 快速指南通过 Up 和 Down 箭头键可以查看特定网卡的统计信息。但是，要监视一个特定的网卡，你也可以像下面这样作为命令行参数指定。 选项 -p 指定了要显示的网卡，在下面的例子中，我们会监视网卡 enp1s0： $ bmon -p enp1s0 bmon – 监控以太网带宽要查看每秒位数而不是每秒字节数，可以像下面这样使用 -b...阅读全文
#2342TiFlash添加上报 DeltaTree 引擎读写负载相关 metrics 信息支持 fromUnixTime 和 dateFormat 函数下推默认禁用粗粒度索引过滤器TiDB Ansible新增 TiFlash 监控 #1253 #1257优化 TiFlash 配置参数 #1262 #1265 #1271优化 TiDB 启动脚本 #1268 Bug 修复 TiDB修复 merge join 在某些场景下 panic 的问题 #15920修复在计算选择率时重复考虑某些表达式的问题 #16052修复极端情况下 load 统计信息可能出现的 panic 的问题 #15710修复 SQL query 中存在等价表达式在某些情况下无法识别导致报错的问题 #16015修复从一个数据库中查询另一个数据库的...阅读全文
query using _interval_ms variable throws error #14507 而 Grafana 在 6.0 版本的主要新特性有： Explore – 一个新的查询，专注于数据探索和故障排除的工作流程。Grafana Loki – 与 Grafana Labs 的新开源日志聚合系统集成。Gauge Panel – 一个新的独立仪表板。New Panel Editor UX 改进面板编辑，在不同可视化间的切换变得容易。Google Stackdriver Datasource 已经退出测试，并正式发布。Azure Monitor 插件从外部插件移植到核心数据源。React Plugin 支持（React Plugin support）为构建插件提供了更简单的方式...阅读全文
核心重要参数Controller服务器不管是kafka2还是kafka3当中，controller控制器都是必不可少的，通过controller控制器来维护kafka集群的正常运行，例如ISR列表的变更，broker的上线或者下线，topic的创建，分区的指定等等各种操作都需要依赖于Controller，在kafka2当中，controller的选举需要通过zk来实现，我们没法控制哪些机器选举成为Controller,而在kafka3当中,我们可以通过配置文件来自己指定哪些机器成为Controller,这样做的好处就是我们可以指定一些配置比较高的机器作为Controller节点,从而保证controller节点的稳健性。被选中的controller节点参与元数据集群的选举，每个...阅读全文
随着技术的发展，我们使用的存储器也各种各样，虽然都基于芯片颗粒，但表现截然不同，比如说读写次数限制，或者叫寿命，SSD固态硬盘就有限制，DRAM内存却没有。 按照分布位置的不同，DRAM内存属于内部存储器，紧挨着CPU处理器，用来临时存放后者需要的运算数据，并与外部存储器进行交换，起到桥梁的作用。 DRAM内存的特点是读写速度快、延迟低，但属于易失性存储，也就是一旦断电，数据就会全部丢失。 DRAM内存颗粒利用晶体管加电容来保存数据，而且只是临时存储数据，并没有实质性的写入，不涉及对物理单元结构、属性的改变，所以可以无限次读写。 当然，这并不意味着DRAM内存就可以永久使用，毕竟其中的晶体管、电容等物理结构也会慢慢老化，所有电子设备都是如此，只是这个过程非常非常缓慢，正常使用根本感觉不到...阅读全文
本文从 Redis 的基本特性入手，通过讲述Redis的数据结构和主要命令，对 Redis 的基本功能进行直观介绍。之后概览Redis提供的高级能力，并在部署、维护、性能调优等多个方面进行进一步的介绍。本文适合使用Redis的普通开发人员，以及对Redis进行选型、架构设计和性能调优的架构设计人员。 目录 概述 Redis的数据结构和相关常用命令 数据持久化 内存管理与数据淘汰机制 Pipelining 事务与Scripting Redis性能调优 主从复制与集群分片 Redis Java客户端的选择 概述 Redis是一个开源的，基于内存的结构化数据存储媒介，可以作为数据库、缓存服务或消息服务使用。 Redis支持多种数据结构，包括字符串、哈希表、链表、集合、有序集合、位图...阅读全文
Vsftpd的安装： aptitude update //更新数据源列表 aptitude install vsftpd //安装vsftpd Vsftpd的文件结构： /usr/sbin/vsftpd —- VSFTPD的主程序 /etc/init.d/vsftpd —- 启动脚本 /etc/vsftpd.conf —- 主配置文件 /etc/pam.d/vsftpd —- PAM认证文件 /etc/ftpusers —-记录不允许访问FTP服务器的用户名单 /home/ftp —-Vsftpd的根目录 此外VSFTPD的日志文件为/var/log/vsftpd.log。 Vsftpd的管理控制。 /etc/init.d/vsftpd start //启动vsftpd /etc...阅读全文
。 TypeScript：TypeScript是JavaScript的超集，它可以增加类型检查、接口声明等特性，减少错误和提高可读性。 NestJS：NestJS是一种流行的Node.js框架，它采用面向对象的编程方式，提供了路由、中间件、模块化等丰富的功能。 GraphQL：GraphQL是一款优秀的数据查询和操作语言，它可以帮助我们快速构建API，并减少网络传输的数据量。 功能设计 我们将开发一个电商平台，包含以下主要功能： 用户管理：用户可以注册、登录、修改个人信息等，管理员可以查看用户列表并进行管理。 商品管理：管理员可以添加、修改、删除商品信息，包括商品名称、价格、库存、图片等。 购物车：用户可以将商品加入购物车，并在结算时进行支付。 订单管理：管理员可以查看订单列表、订单详情、订单状态等。 开发流程 下面是全栈开发的开发流...阅读全文
prometheus存在单点问题，具体痛点可以这么描述： prometheus单机存储和抓取能力都有上限，容易单点故障。 虽然有一种方式是通过部署N个prometheus分别抓取不同的target来分摊压力的，但是grafana就要为不同的图表配置不同的prometheus地址，复杂程度比较棘手。 thanos+prometheus可以解决这个问题，它提供了一个核心能力： 1，thanos querier组件可以反向代理到N个prometheus，然后grafana直接指向thanos querier即可，thanos querier会从N个prometheus同时查询数据，返回满足Promql的数据结果； 2，如果N个prometheus抓取的数据存在重复的，那么thanos...阅读全文
据外媒报道，磁性随机存取内存(MRAM)将在今年达到一个新的里程碑。Everspin宣布开始尝试打造1Gb (128MB)的ST-MRAM芯片，另外他们已经将这款高寿命、非易失性的内存芯片生产提上议程。 Everspin的ST-MRAM能够提供持久的记忆能力，相较于普通的NAND闪存技术，它可以减少写入放大倍数并拥有更好的耐用性。 这款新芯片采用的则是一个兼容DDR4的接口。这家公司表示，供应商可以利用持久的记忆技术设计企业级SSD或对现有的储存产品展开进一步的改善。 据了解，ST-MARAM的密度要比公司旗下现有的任何256MB(32MB)芯片大得多。Everspin指出，从Global Foundries的40nm工艺到foundry 28nm工艺的转变是开发这种千兆级芯片的关键，另外...阅读全文
当 Torvalds 将某些代码标记为“dontuse”，通常表明这个问题比较大。在 5.12 首个候选版本更新中，破坏了交换文件（swapfile）的处理。具体来说，更新后的代码会失去指向 swapfile 开头的正确偏移。用 Torvalds 自己的话来说，“交换还是会发生，但它发生在文件系统的错误部分，最终结果显然是灾难性的”。这样 Linux 内核如果想要将内存中的内容分页到磁盘上的时候，数据就会落在相同磁盘和 swapfile 活跃的分区的随机部分上，而且这不是作为文件，而是作为垃圾直接写入到磁盘的原始扇区。这意味着不仅要覆盖现有文件中的数据，还要覆盖相当大块的元数据，这些元数据的损坏很可能会导致整个文件系统无法挂载和使用。Torvalds 继续指出，如果你根本不使用 swap...阅读全文
)，并支持多种数据、显示协议，包括DisplayPort，可以一起充分利用高速带宽，也支持USB PD供电。 至于USB4设备何时面世，USB-IF组织并未给出明确时间表，显然还有的等，毕竟，USB 3.2(20Gbps)还没有成熟起来呢。 了解更多：USB-IF (1),(2)...阅读全文
head 信息对模型进行 数据库级别约束对于 runserver 兼容性的调整 ，以改进浏览大量文件进行更改时的性能 随着 Django 2.2 的发布，Django 2.1 已到达获得主流支持的终点 —— 今天发布了最后的小错误修复版本 2.1.8。Django 2.1 将在 2019 年 12 月之前收到安全问题和数据丢失的修复程序。因此鼓励所有用户在此之前升级以继续接收安全问题的修复程序。 有关受支持版本以及未来发布计划的安排表，请参阅 下载页面 。 Django roadmap 路线发布计划 Django 生命周期...阅读全文
于更好的机器学习和数字信号处理。在安全方面，armv9 会获得 Arm Confidential Compute Architecture (CCA)，在使用时屏蔽数据的访问，在硬件层面保护数据。此外，还会有一个叫做 Realms 的东西，应用程序可以在安全和非安全区域之外使用。ARM 并没有透露首款基于 armv9 的新芯片何时会发布，不过可以肯定的是还需要再等待一段时间。...阅读全文
如果你看过谍战片、动作片或犯罪电影，你就会在脑海中勾勒出黑客坐在电脑屏幕前的样子：一行行快速移动的代码，大量的矩阵中的十六进制数字代码像雨水一样飞过。也许有一张世界地图，上面有一些发光点和一些快速更新的图表，也许还会有三维几何图形。如果可能的话，这一切还可以显示在多个显示器上面。 当然，我们这些技术人员很快意识到这完全是胡说八道。虽然我们中的许多人都有双显示器（或更多），但闪烁的数据通常与专注于工作这一目的背道而驰。编写代码、管理项目和管理系统与股票交易不同。我们遇到的大多数情况都需要我们对试图解决的问题进行大量思考，与利益相关者进行良好的沟通，进行一些研究以及组织信息，然后还有占工作量很少的快速打字。 但这并不意味着我们不想和电影中的黑客一样。有时，我们只是想让自己看起来“有效率”。 旁...阅读全文
的文本文件。如果一台服务器有16个 CPU，每秒抽样99次，持续30秒，就得到 47,520 个调用栈，长达几十万甚至上百万行。 为了便于阅读，perf record命令可以统计每个调用栈出现的百分比，然后从高到低排列。 $ sudo perf report -n --stdio 这个结果还是不易读，所以才有了火焰图。 二、火焰图的含义 火焰图是基于 perf 结果产生的 SVG 图片，用来展示 CPU 的调用栈。 y 轴表示调用栈，每一层都是一个函数。调用栈越深，火焰就越高，顶部就是正在执行的函数，下方都是它的父函数。 x 轴表示抽样数，如果一个函数在 x 轴占据的宽度越宽，就表示它被抽到的次数多，即执行的时间长。注意，x 轴不代表时间，而是所有的调用栈合并后，按字母顺序排列的。 火焰图就...阅读全文
Zoom 视频通信公司日前公布了 Zoom 5.0 的详细信息，这是对其视频会议客户端的一次重大更新，以解决最近几周发现的许多安全和隐私问题。在即将发布的版本中，用户可以从增加的 AES 256 位 GCM 加密功能中受益，同时还可以选择通话路由。 Zoom 的首席运营官 Oded Gal 表示，Zoom 从整体上考虑用户的隐私和平台的安全性。从 Zoom 网络到 Zoom 功能集到用户体验，所有的一切都要经过严格的审查。在后端，AES 256 位 GCM 加密技术将提升用户数据在传输过程中的安全标准。在前端，Zoom 最兴奋的是会议菜单栏中的安全图标。这将会把所有安全功能，无论是现有的还是新的，都放在会议主持人的前面和中心位置，这将确保用户可以在会议中即时访问重要的安全控制功能...阅读全文
在三星宣布量产 QLC SATA SSD 之后，英特尔这边也宣布了自家的最新竞品 —— 价格媲美 SATA 型号、但支持 NVMe 协议的 660p 系列 SSD 。据 Anandtech 所述， 英特尔 660p 采用了自家的 64 层 1-Tb 3D QLC NAND 闪存，容量有 512GB / 1TB / 2TB 三档，但性能表现颇为一致。此外，660p 还搭配了大容量伪 SLC 缓存机制、辅以 256MB DRAM 。 英特尔 660p 系列 SSD 采用了 M.2 2280 封装规格 据悉，512GB 版本可选择调用 6~76GB 的容量当做缓存，1TB 版本可动用 12~140GB，2TB 版本则是 24~280GB 。当然，随着数据的大量写入，SLC 缓存机制的效用会明显下...阅读全文
