TimescaleDB 1.0 正式发布了，开发团队表示，自 9 月分宣布第一个候选版本以来，Timescale 的工程师团队合并了 50 多个 PR，以加强数据库，提高稳定性和易用性。 今天，TimescaleDB 1.0 宣布正式推出，官方表示该版本已可用于生产环境，是首个支持完整 SQL 和扩展的企业级时序数据库。TimescaleDB 是基于 PostgreSQL 数据库开发的一款时序数据库，以插件化的形式打包提供，随着 PostgreSQL 的版本升级而升级，不会因为另立分支带来麻烦。 TimescaleDB 架构 数据自动按时间和空间分片 (chunk) 更新亮点： 更广泛的可用性改进 后台作业自动化和调度的基础 增强了数据库强化和测试 构建开源监控堆栈：对 Grafana 和...阅读全文
SolydXK 9 已正式发布，它基于最近发布的 Debian 9。 自上个 beta 版本发布以来，团队一直在测试、改进和开发。除了基于新的 Debian 9，SolydXK 已默认删除了 Backports 存储库（尽管可以重新启用），添加了一个工具来协助分区加密以及引入新的桌面主题。 更新内容： SolydX 和 SolydK 的新主题，可以选择一个亮色或暗色的主题 SolydXK 系统现在有一个 GUI，你可以在其中加密分区（和你的 USB闪存驱动器），本地化你的系统，选择最快的存储库，管理软件包和清理系统。此应用程序的加密部分现可正常工作，但仍处于测试阶段，注意风险 默认情况下，后端存储库已被删除，但可以在新的 SolydXK 系统应用程序中启用 solydx/k-info 软件...阅读全文
为了帮助实现更加开放、让每个人都能轻松访问到的分布式互联网技术，Mozilla 于去年与美国国家科学基金会携手提供了 200 万美元的奖金。现在，这个项目似乎已经取得了积极的成果。 Mozilla 刚刚宣布，自 Firefox 59 开始，用户将能够通过扩展来启用“分布式互联网协议”。Firefox 59 的正式版定于 2018 年 3 月份推出，其中包含了对一些新批准的协议的支持，比如 Dat Project、IPFS、以及 Secure Scuttlebutt 。 此举意味着 Mozilla 在积极为当前占主导地位的“客户端-服务器”模型（CS Model）寻找替代方案。需要指出的是，协议实施的重担并没有落在 Mozilla 身上，只是 Firefox 浏览器会将其认定为合法的而已。此...阅读全文
西部数据开发了有一段时间的Zonefs已经确定要在Linux 5.6内核中登场了，这并不是一个传统意义上面的通用文件系统（比如Ext4、NTFS），而是一个针对特定硬件设备的文件系统，它为分区式存储设备进行了高度的优化。 熟悉Linux的朋友应该知道，在Linux下面内核会将存储设备视为块设备，比如目前会将SATA存储设备视为/dev/sdX。传统文件系统是在这个块设备上面进行操作，而应用程序则是通过系统提供的接口对块设备上面的数据进行访问。 但SMR HDD（叠瓦式硬盘）有一个毛病，它只有在顺序写入时才能正常发挥性能，一旦要进行数据覆盖写入，就需要改写这块数据所在区块内的所有磁道，造成严重的性能下降。传统的文件系统不会因为SMR HDD的特性而特别对待它，而Zonefs就是西部数据对...阅读全文
Intel 最近为其 10 亿级用户的核芯显卡真是操醉了心，一方面进一步公布了 第 11 代核显的架构细节 ，另一方面升级驱动程序带来了全新的控制中心 。 而在对新驱动进行了一番挖掘之后，赫然发现 Intel 已经将第 11 代核显的诸多型号隐藏在了其中，显然硬件部分已经 OK，进入了驱动开发阶段。 Intel 目前的核显架构是第 9 代 (以及升级版 9.5 代)，从六代酷睿 Skylake 一直到九代酷睿 Coffee Lake Refresh 都是它，最多 24 个执行单元 (EU)，而接下来 Intel 将跳过第 10 代，直接奔向第 11 代，架构规格都会有翻天覆地的变化。 11 代核显将全面用于 Intel 10nm 处理器，包括 主流桌面的 Ice Lake、3D 封装超低功...阅读全文
Kubernetes 1.14 发布了，些版本主要关注可扩展性并支持更多工作负载，带来了 30多项功能增强，其中包括从 beta 到稳定的 10 项功能。亮点包括以下几部分。 持久化本地存储 持久性本地存储的主要用例是数据库和分布式文件系统。这是一个重要里程碑，显然，本地存储的性能优于远程磁盘，无论该存储是由云提供商提供的本地 SSD 还是连接到裸机系统的磁盘。 Windows 节点的生产级支持 绝大多数企业都拥有包含 Windows 工作负载的异构环境，现在不必寻找其它协调器来管理这些 Windows 容器。Kubernetes v1.14 改进支持了 pod、服务类型、工作负载控制器和 metrics/quotas，使得与 Linux 功能相当。 PID 限制 目前处在测试阶段...阅读全文
Tmux 简单来说就是终端里的『窗口管理器』，如果我使用终端登录到远程主机并运行前台程序，那么这个窗口等于就被占用了，想要看一下 CPU 的使用率，就得再连接一次。但是如果在远程主机上运行 tmux，那么就可以开启多个控制台（类似于窗口），相当高效，比方说可以像下面这样： 需要注意的是，这里是在我本地使用 tmux，最好在远程主机也安装 tmux，这样就只需要连接一次。 Hello World 前面提到的窗口管理只是 tmux 功能的一小部分，另一个很有用的功能就是，连接到远程主机之后，一旦断开，那么当前账户登录的任务就被取消了，但是使用 tmux 可以在断开之后继续工作，下次登录可以查看。其他的功能还有： 窗口切换，每个窗口里还可以分割面板 配置方便，可以使用脚本 类似 vim 的双层操...阅读全文
并记牢，超级管理员账户啊。 建立新用户，这个只是个昵称，不是登录时的用户名，可以根据自己喜好填。 这玩意就是登录时的用户名了，设置时要多注意，并且一定要记住（其实记不住也没事，还有root呢）。 设置用户密码。 接下来该磁盘分区了，我用的虚拟机，但是方法上都一样的。 有空闲分区的话推荐使用安装程序进行自动分区，当然也可以手动分区。自动分区的话如果是新手推荐“将所有文件放在同一个分区中”，有经验的就根据自己喜好调整吧。 手动分区的话一定要记住挂载/根目录，否则会报错。Swap分区（交换分区）推荐大小为物理内存的两倍，比如我的实际内存为2G，swap给上4G就行了。 完成调整后保存分区表即可。需要注意的是需要记住挂载 根目录/ 的分区号，方便后面安装grub， 选是。 对于软件安装，教程既然写的...阅读全文
能够统一面向多个接入口进行自动化操作的定义与管理。 在本次峰会之前，红帽的 Linux发行版RHEL OpenStack发行版RDO OpenShift（Kubernetes） 存储产品Cepht与Gluster 已经与Ansible集成。本次峰会上，红帽又发布了Red Hat Insights（红帽的监控预警产品）和CloudForms与Ansible的集成。 为什么是Ansible？ 其中一个很重要的原因在于，Ansible连不懂技术的业务人员也可以拿来用。甚至可以这么说：任何一个能够阅读英文的人都能看懂Ansible Playbook的用法。红帽认为Ansible代表了自动化的未来，在此投入了大量研发力量与资源。 2、Red Hat Insights作为统一的数据分析层 Red Hat...阅读全文
不久前，我们写过一篇关于 teleconsole 的介绍，该工具可用于快速分享终端给任何人（任何你信任的人）。今天我们要聊一聊另一款类似的应用，名叫 tmate。 tmate 有什么用？它可以让你在需要帮助时向你的朋友们求助。 什么是 tmate？ tmate 的意思是 teammates，它是 tmux 的一个分支，并且使用相同的配置信息（例如快捷键配置，配色方案等）。它是一个终端多路复用器，同时具有即时分享终端的能力。它允许在单个屏幕中创建并操控多个终端，同时这些终端还能与其他同事分享。 你可以分离会话，让作业在后台运行，然后在想要查看状态时重新连接会话。tmate 提供了一个即时配对的方案，让你可以与一个或多个队友共享一个终端。 在屏幕的地步有一个状态栏，显示了当前会话的一些诸如...阅读全文
PostgreSQL 13 已正式发布，新版本对索引和查找系统进行了重大改进，大型数据库因此受益甚多，包括节省了空间并提高了索引的性能，使用聚合或分区的查询的响应时间更快，使用增强的统计信息时更好的查询计划(query planning)等。 除了并行化清理(parallelized vacuuming)和增量排序(incremental sorting)等呼声较高的功能外，PostgreSQL 13 还为大大小小的工作负载提供了更好的数据管理体验，并对日常管理进行了优化，为应用开发者提供了更多便利，并增强了安全性。 性能提升 在先前 PostgreSQL 版本的基础上，PostgreSQL 13 可以有效地处理 B 树索引（PostgreSQL 的标准索引）中的重复数据，从而降低 B 树...阅读全文
动态主机配置协议（DHCP）是一种用于使主机能够从服务器自动分配 IP 地址和相关的网络配置的网络协议。DHCP 服务器分配给 DHCP 客户端的 IP 地址处于“租用”状态，租用时间通常取决于客户端计算机要求连接的时间或 DHCP 服务器配置的时间。 DHCP 如何工作？ 以下是 DHCP 实际工作原理的简要说明： 一旦客户端（配置为使用 DHCP 的机器）连接到网络后，它会向 DHCP 服务器发送DHCPDISCOVER数据包。 当 DHCP 服务器收到DHCPDISCOVER请求报文后会使用DHCPOFFER包进行回复。 然后客户端获取到DHCPOFFER数据包，并向服务器发送一个DHCPREQUEST包，表示它已准备好接收DHCPOFFER包中提供的网络配置信息。 最后，DHCP...阅读全文
Ubuntu 的创始人 Mark Shuttleworth 分享了更多关于 Ubuntu 为什么选择放弃 Unity 的细节。上周发布的 Ubuntu 17.10 是自 2011 年推出以来，首次没有使用 Unity 桌面的 Ubuntu。 创始人 Mark Shuttleworth 表示已和 Canonical 公司的其他“领导者”达成了共识，认为他们应该让公司成为上市公司。所以为了吸引潜在的投资者，该公司不得不专注于其盈利领域 —— 但是 Unity、Ubuntu 手机、Unity 8 和一体化都不能盈利。缺乏盈利能力可能意味着 Unity 的死亡，但更广泛的 Ubuntu 项目则是十分健康的。 Mark Shuttleworth 表示他最骄傲的一件事就是过去七年中，Ubuntu 已经...阅读全文
osquery 是 SQL 驱动的分析和监控操作系统的工具，是操作系统分析框架，支持 OS X 和 Linux 系统。osquery 能帮助监控和分析低水平的操作系统，提供更直观的性能监控。 4.1.0 版本内容如下： New Features / Under the Hood improvements 还原扩展 SDK 和构建支持改进文档在整个代码库中添加更多的测试允许使用标志配置更多 Linux Audit 设置添加 logger_tls_max_lines 标志添加对 AWS Session Token 支持 Build 在所有平台上将 OpenSSL 升级到 1.0.2t在 Windows 和 MacOS 上使用 SQLite 3.29.0在 Windows 和 MacOS 上使用...阅读全文
Go 语言官方博客公布了 2016 年 Go 语言使用调查。在 3,595 名被调查者中，89% 称他们在工作中或工作之外用 Go 编程；63% 称他们的工作是 Web 开发，但只有 9% 的人只从事 Web 开发，一半以上被调查者的工作涉及三个以上领域；63% 的人用 Go 开发命令行程序，60% 写 API 或 RPC 服务，52% 写 Web 服务。 被调查者对 Go 的满意度非常高（这显然与被调查者这一群体高度相关），他们主要在 Linux 上进行开发，其次是 MacOS，第三是 Windows；最爱的编辑器是 Vim，其次是 VSCode、Atom、IntelliJ、Sublime Text 和 Emacs；大部分人主要通过 Stack Overflow 寻找 Go 相关问题的答...阅读全文
安装Proxmox VE最好的方式是用官方ISO，刻录成光盘后安装。但是也可以用Debian官方的ISO先装操作系统，然后在 Debian 上安装Proxmox VE。具体步骤可以参考Proxmox VE官方wiki. 在 Debian Jessie 上安装 Proxmox VE 的过程如下： 使用Debian官方ISO安装操作系统。在安装过程中，使用LVM方式划分磁盘分区，并设置swap、root、data三个LV，其中swap用于交换分区，root挂载到/，data挂载到 /var/lib/vz。 安装好操作系统后，修改/etc/apt/sources.list文件，添加如下内容以设置Proxmox官方源。 deb http://download.proxmox.com/debian...阅读全文
。CI_COMMIT_REG_NAME就是一个很好的例子，它的值表示用于构建项目的分支或tag名称。除了在.gitlab-ci.yml中设置变量外，还有可以通过GitLab的界面上设置私有变量。 更多关于variables。 cache Gitlab Runner v0.7.0 开始引入。 cache用来指定需要在job之间缓存的文件或目录。只能使用该项目工作空间内的路径。 从GitLab 9.0开始，pipelines和job就默认开启了缓存 如果cache定义在jobs的作用域之外，那么它就是全局缓存，所有jobs都可以使用该缓存。 缓存binaries和.config中的所有文件： rspec: script: test cache: paths: - binaries/ - .config 缓存git中没有被跟踪的文件...阅读全文
火焰图（flame graph）是性能分析的利器。本文介绍它的基本用法。 一、perf 命令 让我们从 perf 命令（performance 的缩写）讲起，它是 Linux 系统原生提供的性能分析工具，会返回 CPU 正在执行的函数名以及调用栈（stack）。 通常，它的执行频率是 99Hz（每秒99次），如果99次都返回同一个函数名，那就说明 CPU 这一秒钟都在执行同一个函数，可能存在性能问题。 $ sudo perf record -F 99 -p 13204 -g -- sleep 30 上面的代码中，perf record表示记录，-F 99表示每秒99次，-p 13204是进程号，即对哪个进程进行分析，-g表示记录调用栈，sleep 30则是持续30秒。 运行后会产生一个庞大...阅读全文
都要用G1垃圾收集器，因为年轻代内存比较大，用G1可以设置GC最大停顿时间，不至于一次minor gc就花费太长时间，当然，因为像kafka，rocketmq，es这些中间件，写数据到磁盘会用到操作系统的page cache，所以JVM内存不宜分配过大，需要给操作系统的缓存留出几个G。 2.1 线上问题及优化 2.1.1 消息丢失情况 消息发送端： （1）acks=0： 表示producer不需要等待任何broker确认收到消息的回复，就可以继续发送下一条消息。性能最高，但是最容易丢消息。大数据统计报表场景，对性能要求很高，对数据丢失不敏感的情况可以用这种。 （2）acks=1： 至少要等待leader已经成功将数据写入本地log，但是不需要等待所有follower是否成功写入。就可以继续发...阅读全文
最近的互联网线上事故发生比较频繁，9月19日网上爆料出顺丰近期发生了一起线上删库事件，在这里就不介绍了。 这里分享一下最近发生在我公司的事故，以及如何避免，并且如何处理优化。 该宕机的直接原因是使用 Redis 的 keys * 命令引起的，一共造成了某个服务化项目的两次宕机。 间接原因还有很多，技术跟不上业务的发展，由每日百万量到千万级是一个大的跨进，公司对于系统优化的处理优先级不高，技术开发人手的短缺。 第一次宕机 2018年9月13日的某个点，公司某服务化项目的 RDS 数据库实例连接飙升，CPU 升到 100%，拒绝了其他应用的所有请求服务。 整个过程如下： 监控报警，显示RDS的CPU使用率达到80%以上，DBA介入，准备KILL慢SQL 1分钟内，没有发现明显阻塞的SQL...阅读全文
Ruby 2.5 系列第一个稳定版本发布，新版包括了一系列新的特性和性能改进。主要变化包括：rescue/else/ensure 允许直接与 do/end 块使用，yield 增加 yield_self，Struct.new 能创建接受关键字参数的类，最高级常量查询不再可用，移除所有 trace 指令提升 5-10% 性能，SecureRandom 将更偏向使用操作系统提供的 SSL 库等。 此版本包括数个新特性和性能提升，例如： 新特性 允许在 do/end 中直接使用 rescue/else/ensure。[功能 #12906] 新增 yield_self 来使用当前上下文 yield 代码块。不同于 tap，此方法会返回代码块的运行结果。[功能 #6721] 支持测量分支代码覆盖和方...阅读全文
Apache 软件基金会发布了包含许多新特性和改进的 Kafka 3.3.1。这是第一个标志着可以在生产环境中使用KRaft（Kafka Raft）共识协议的版本。在几年的开发过程中，它先是在 Kafka 2.8 早期访问版本中发布，然后又在 Kafka 3.0 预览版本中发布。KRaft 是一种共识协议，可以直接在 Kafka 中管理元数据。元数据的管理被整合到了Kafka当中，而不需要使用像ZooKeeper这样的第三方工具，这大大简化了 Kafka 的架构。这种新的 KRaft 模式提高了分区的可伸缩性和弹性，同时简化了 Kafka 的部署，现在可以不依赖 ZooKeeper 单独部署 Kafka 了。KRaft 使用了Raft共识算法的一种基于事件的变体，因此得名。随 KRaft...阅读全文
Debian和Ubuntu都有一组官方授予的针对贡献者的成员角色，他们可以以参加选举或其他官方决策等方式参与到项目的治理中，同时这也是给贡献者分配工作的一种手段，大部分贡献者对他们获得的身份都感到很自豪。 在一个发行版的发展过程中，成员结构扮演中重要的角色：它定义了受项目欢迎的贡献者类型，以及项目对贡献者的期望和贡献者拥有的权利。最后，这种方式形成了项目招募新贡献者的吸引力，而只有不断吸收新贡献者才能使项目保持活力。 本文将以Debian和Ubuntu对比为例，介绍不同背景的社区成员是如何进行贡献以及官方认可的。 简介 在具体介绍开始之前，先为大家简单的介绍一下Debian和Ubuntu这两个项目。 Debian是由各种开源协议下的自由软体组成的作业系统，由“Debian计划”组织维护...阅读全文
基本概念 Prometheus 所有采集的监控数据均以指标（metric）的形式保存在内置的时间序列数据库当中（TSDB）：属于同一指标名称，同一标签集合的、有时间戳标记的数据流。除了存储的时间序列，Prometheus 还可以根据查询请求产生临时的、衍生的时间序列作为返回结果。 样本在时间序列中的每一个点称为一个样本（sample），样本由以下三部分组成： 指标（metric）：指标名称和描述当前样本特征的 labelsets； 时间戳（timestamp）：一个精确到毫秒的时间戳； 样本值（value）： 一个 folat64 的浮点型数据表示当前样本的值。
AMD即将推出第二代Ryzen 2000系列处理器，各方面全面提升，从最近泄露的规格和性能看十分值得期待。Ryzen二代基于12nm新工艺和Zen+新架构，频率平均提升400MHz，并支持更高级的动态加速技术，超频空间也更大，同时改进了缓存、内存性能。 权威评测软件SiSoftware不小心泄露了一份Ryzen 7 2700X、Ryzen 5 2600的评测报告，虽然很快被撤下还是有网友保留了下来。这份评测都是考察SiSoftware的理论性能项目，没有实际应用和游戏测试，但是Ryzen二代的架构提升已经十分明显。 首先来看一下这两款新品的主要规格和 SiSoftware 的评价： 内存频率： 2400MHz提高到2933MHz，可以大大改进内存性能，就是现在高频内存太贵了。 核心线程...阅读全文
MongoDB 4.2 正式发布了，MongoDB Server 4.2 提高了现代事务和分析数据平台的技术水平。 Mongodb-4.2 的主要改动包括： 分布式事务将 MongoDB 的多文档 ACID 从副本集扩展到共享集群，能够为更广泛的用例服务按需物化视图使用新的 $Merge 运算符，在集合中缓存大型聚合的输出是一种常见的模式，新的 $Merge 运算符将可以有效地更新这些结果，而不是完全重新计算它们通配符索引使建模像产品目录这样的高度异构的集合变得简单和自然，而不牺牲对索引的支持。只需定义一个过滤器，它将自动索引集合中所有匹配的字段、子文档和数组MongoDB 查询语言增强功能，如更有表现力的更新、新的数学运算符和扩展的 regex 支持。此版本的 update 和...阅读全文
知名市场研究公司IDC周四发布报告称，2018年，亚马逊公司在技术上的投入超过136亿美元，成为全球IT支出最高的公司。IDC追踪了4800家公司，他们在去年的总IT支出预计达到1.1万亿美元，前十大公司占据了总支出的7%。谷歌母公司Alphabet、沃尔玛公司分别排在第二、第三位，他们去年在软件、硬件、服务、电信设备以及员工上的支出分别接近120亿美元。 IDC客户洞察和分析研究经理大卫·拉特斯曼(David Lantsman)表示，亚马逊和谷歌向寻求降低自主IT预算的其他公司销售云服务、服务器和其他数据中心基础设施占据了他们的大部分支出。 2018年前十大IT支出公司 沃尔玛是前十大IT支出公司中的唯一一家零售商，去年的IT支出预计为117亿美元。沃尔玛执行副总裁兼首席技术官杰里米·金...阅读全文
前不久组内又有一次我比较期待的分享：“Linux 的虚拟内存”。是某天晚上加班时，我们讨论虚拟内存的概念时，leader 发现几位同事对虚拟内存认识不清后，特意给这位同学挑选的主题。 我之前了解一些操作系统的概念，主要是毕业后对自己大学四年的荒废比较懊恼，觉得自己有些对不起计算机专业出身，于是在工作之余抽出时间看了哈工大在网易云课堂的操作系统公开课，自己也读了一本讲操作系统比较浅的书 《Linux内核设计与实现》，而且去年自己用 C 写简单的服务器时，也追根究底了解了更多的系统底层知识。多亏了这些知识，让我对应用层的知识更有掌控感，也在上次排查问题时（从应用到内核查接口超时）助了我一臂之力。 前几天另一位同事来问另一个虚拟内存相关的问题，我才发现对于虚拟内存，我的理解还不够深刻，一些概念还...阅读全文
摘要： 本文由社区志愿者陈政羽整理，内容源自阿里巴巴技术专家宋辛童 (五藏) 在 8 月 7 日线上 Flink Meetup 分享的《Flink 1.14 新特性预览》。主要内容为： 简介 流批一体 Checkpoint 机制 性能与效率 Table / SQL / Python API 总结 此文章为 8 月 7 日的分享整理，1.14 版本最新进展请注意文中的注释说明。 一、简介 1.14 新版本原本规划有 35 个比较重要的新特性以及优化工作，目前已经有 26 个工作完成；5 个任务不确定是否能准时完成；另外 4 个特性由于时间或者本身设计上的原因，会放到后续版本完成。[1] 1.14 相对于历届版本来说，囊括的优化和新增功能点其实并不算多。通过观察发版的节奏可以发现，通常在 1...阅读全文
Backport的含义是”向后移植”，就是将软件新版本的某些功能移植到旧版本上来,这就称为backport。 Debian向来以稳定性著称，所以就存在一个问题，官方源分发的软件版本比软件本身的版本总是要慢不少，所以就有了 backports 源。 backports 主要从 testing 源，部分安全更新从unstable源重新编译包，使这些包不依赖于新版本的库就可以在 debian 的 stable 发行版上面运行。所以 backports 是 stable 和 testing 的一个折衷。 backports 源的使用方法 这里以 Jessie 为例加入 163.com 的源, 编辑 /etc/apt/sources.list 文件, 在文件中添加以下条目， deb http...阅读全文
Linux内核维护者Greg Kroah-Hartman在私人Google+发布一条短消息，将Linux Kernel 4.9分支标记为“longterm”，意味着4.9版本将会作为长期支持版本。 事实上关于Linux Kernel 4.9是否是长期支持版本的故事要从2016年8月12日开始说起，当时Greg Kroah-Hartman在Google+上发布信息，说“4.9 == next LTS kernel”；去年9月6日，Greg Kroah-Hartman改变了这个想法，表示将会在Kernel.org网站上保留给4.9当作“长期支持”的权利。 在他的私人博客中写道：“因为很多人滥用这个通知这给我们造成了很大的困扰， 因此我保留是否选择4.9作为长期支持的权利。如果是这样，我可能会重...阅读全文
据 Dgraph Labs 创始人 Manish Rai Jain 在其宣布 1.0.0 版本正式发布 的 文章 中透漏，他们已完成了由贝恩资本投资公司的 Salil Deshpande 领头的 300 万融资。凭借早期在基础设施软件和开源软件方面的经验，Salil 将加入 Dgraph 董事会。Jain 表示，这一轮融资正好是我们扩大云服务的时机，并继续建立世界上最先进的图数据库。 Dgraph 是一个可扩展的，分布式的，低延迟的图数据库，于 2015 年开源，最初是出于希望消除传统关系型数据库的典型弱点而创建的。为了解决组织在数据库增长超过单个服务器时面临的一些问题，Dgraph 以更有效的方式分割数据，这使查询可以在没有通用视图的情况下执行。它还减少了网络调用和磁盘查询需要执行查询的...阅读全文
在 Linux 5.2 发布一周后，第一个修订版本 5.2.1 也已经发布了，用来处理各种错误/回归。需要注意的是5.2并非长期支持（LTS）分支，推荐注重稳定的用户还是使用当前的LTS内核。 5.2.1版只是修改一些小小的问题，主要有以下方面： 修复 Perf减少 RTL 8712 驱动程序的堆栈使用fscrapt 将不再为 dead 目录设置策略还有一个新的文档部分，详细说明了 Spectre 的 CPU 漏洞 完整列表查看发布说明。 Linux Kernel 5.2的亮点包括Sound Open Firmware，这是一个支持DSP音频设备的开源固件。此外还新增了用于挂载文件系统的新挂载API，面向ARM Mail设备的全新开源GPU驱动，在EXT4文件系统中支持不区分大小写，以及对...阅读全文
是 nginx 的标准组件，但部分 Web 托管商仍会将其作为标准 PHP 托管环境的一部分。 Web 托管商 Nextcloud 就是其中一个例子，该公司于10月24日向其客户发出安全警告，督促客户将 PHP 更新至最新版本 7.3.11 和 7.2.24，其中包含针对 CVE-2019-11043 漏洞的修复程序。另外，许多其他虚拟主机供应商也被怀疑正在运行易受攻击的 nginx + PHP-FPM 组合。 但是也有一些网站由于技术限制而无法更新 PHP，或无法从 PHP-FPM 切换到另一个 CGI 处理器。 修复建议 将 PHP 7.1.X 更新至 7.1.33 https://github.com/php/php-src/releases/tag/php-7.1.33将 PHP...阅读全文
Go 1.16 正式发布，该版本主要包括支持 macOS ARM64、工具链优化、运行时和库的实现优化。并且，该版本保留了Go 1兼容性的承诺，几乎所有 Go 程序都能像以前一样继续编译和运行。 部分更新内容： - Go 1.16 通过 GOOS=darwin，GOARCH=arm64 在macOS（也称为 Apple Silicon）上添加了对 64 位 ARM 架构的支持。与 darwin/amd64 一样，darwin/arm64 也支持 cgo、内部和外部链接、c-archive、c-shared 和 pie build 模式、竞争检测器 - Go 现在在 NetBSD（netbsd/arm64）上支持 64 位 ARM 体系架构 - Go 现在在 OpenBSD（openbsd...阅读全文
一、0xcc开篇 2020年3月，得物技术团队在三个月的时间内完成了整个交易体系的重构，交付了五彩石项目，业务系统也进入了微服务时代。系统服务拆分之后，虽然每个服务都会有不同的团队各司其职，但服务之间的依赖也变得复杂，对服务治理等相关的基础建设要求也更高。 对服务进行监控是服务治理、稳定性建设中的一个重要的环节，它能帮助提早发现问题，预估系统水位，以及对故障进行分析等等。从 2019 年末到现在，得物的应用服务监控系统经历了三大演进阶段，如今，整个得物的应用微服务监控体系已经全面融入云原生可观测性技术 OpenTelemetry。 回顾过去十年间，应用服务监控行业的竞争也很激烈，相关产品如雨后春笋般涌现，如推特在 2012 年开源的 Zipkin，韩国最大的搜索引擎和门户网站 Naver...阅读全文
本文从 Redis 的基本特性入手，通过讲述Redis的数据结构和主要命令，对 Redis 的基本功能进行直观介绍。之后概览Redis提供的高级能力，并在部署、维护、性能调优等多个方面进行进一步的介绍。本文适合使用Redis的普通开发人员，以及对Redis进行选型、架构设计和性能调优的架构设计人员。 目录 概述 Redis的数据结构和相关常用命令 数据持久化 内存管理与数据淘汰机制 Pipelining 事务与Scripting Redis性能调优 主从复制与集群分片 Redis Java客户端的选择 概述 Redis是一个开源的，基于内存的结构化数据存储媒介，可以作为数据库、缓存服务或消息服务使用。 Redis支持多种数据结构，包括字符串、哈希表、链表、集合、有序集合、位图...阅读全文
图片来自于 Youtube 关于近期关于放弃 Unity 的决定，Google+用户 Maartin Kozub 在文章中写道： 这个决定并不能简单的用惋惜和悲伤而形容，因为 Canonical 所从事开始的多个项目也宣告了死亡。 我认为当前最大的问题是大部分开源开发者无法深入理解，也不会进而欣赏面向对象的编程语言（C++）。他们依然还习惯使用 C 语言来编程一些丑陋的代码，也许有些时候利用个性化定制功能能够让 C 更加接近于 C++，但无疑会增加门槛和降低可读性。所以，为何不直接使用 C++？最典型的例子就是 Wayland。 在另一方面，Canonical 是目前极少数创建优秀和简洁开源 C++代码的公司/社区，就像 Mir 一样能够充分利用各种现代化 C++功能。 Mark...阅读全文
GitHub的高级技术副总裁Jason Warner在2018的技术趋势中挑出了数据、工作流集成（workflow integration）以及开源工具，他认为这些是一个公司在2018年能够取得成功的关键。 Warner写道，数据将成为2018年全球增长的最重要因素： 现如今，所有的公司都是数据公司，不论他们是否意识到这个情况。在2018年，只要团队知道如何使用数据，数据就会成为他们最大的资产。 数据的重要性日益增长，也标志着云服务平台从分布式云计算平台转型成为数据处理的云平台，其中还包括数据分析和机器学习。这将重点反映到三个关键领域： Warner说，许多重要的系统目前都很脆弱，尽管它们的规模越来越大。为了应对在2018年变得更加频繁的攻击，将会有更多的财力和开发资源分配到改进安全性上...阅读全文
GitHub 刚刚通过官方博客发布了 21 日“挂掉”的事件分析。GitHub 指出此次事件发生的原因是在 10 月 21 日 22:52 UTC 进行日常维护——更换发生故障的 100G 光学设备时导致美国东海岸网络中心与美国东海岸数据中心之间的连接断开。 更具体地，GitHub 分析，虽然两地的连接在 43 秒内恢复，但这次短暂的中断引发了一系列事件，这才导致了长达 24 小时 11 分钟的服务降级。 为了大规模提高性能，GitHub 的应用程序将直接写入每个群集的相关主数据库，但在绝大多数情况下将读取请求委派给副本服务器的子集。GitHub 使用 Orchestrator 来管理 MySQL 集群拓扑并处理自动故障转移，Orchestrator 在此过程中考虑了许多变量，并在...阅读全文
言，框架建立在不断增长的世界级攻击性内容库的框架基础上。另外，此次更新还包括了可用性改进和大规模开发的支持，数据库和自动化 API 的改进等。 在 4.x 现有的 Postgresql 数据库后端之上，Metasploit 5.0 增加了将数据库本身作为 RESTful 服务运行的功能，使用该服务可以与多个 Metasploit 控制台甚至外部工具进行交互。5.0 版本的这个变更还将取消数据库服务的一些批量操作，从而通过并行处理数据库和常规 msfconsole 操作来提高性能。 新的发布周期 过去的一年，Metasploit 的开发包括两个分支：一个是 4.x 的稳定分支，支持 Metasploit Pro 和像 Kali Linux、ParrotSec Linux、和 Rapid7 自己...阅读全文
这两天开源配置管理工具 saltstack 爆出了CVSS得分为10分的漏洞。如果你对CVSS的评分没有概念，那么前几年震惊互联网的 openssl心脏滴血漏洞，CVSS base评分是5.0，由此可知这次爆出来的 saltsatck 漏洞是多么严重。 漏洞信息： 该漏洞是 F-secure 研究人员在3月份发现的，目前该漏洞已经在最新版本中修复。本次极高危漏洞，是由两个不同的漏洞引起的，一个是身份验证绕过漏洞 CVE-2020-11651，一个是目录遍历漏洞没有过滤掉不受信任的输入 CVE-2020-11652，从而导致攻击者可以不受限制的访问 salt-master 的整个文件系统。 攻击者获取salt-master的权限后，便可以控制整个被salt-master管理的数据中心的各主机...阅读全文
Chaos Mesh 的基本功能，包括故障注入、混沌实验场景、可视化操作、安全保障。故障注入故障注入是混沌实验的核心。Chaos Mesh 充分考虑分布式系统可能出现的故障，提供全面、细粒度的故障类型，分为基础资源类型故障、平台类型故障和应用层故障三大类。基础资源类型故障：PodChaos：模拟 Pod 故障，例如 Pod 节点重启、Pod 持续不可用，以及特定 Pod 中的某些容器故障。NetworkChaos：模拟网络故障，例如网络延迟、网络丢包、包乱序、各类网络分区。DNSChaos：模拟 DNS 故障，例如 DNS 域名解析失败、返回错误 IP 地址。HTTPChaos：模拟 HTTP 通信故障，例如 HTTP 通信延迟。StressChaos：模拟 CPU 抢占或内存抢占场景...阅读全文
Redis 创始人兼核心开发者 antirez 在博客 介绍 了将在 Redis 6 提供的新功能 —— Client side caching（客户端缓存）。 antirez 表示 全新的 Redis 协议 RESP3 将是 Redis 6 中最重要的特性，并解释了他为何如此急切地改进 Redis 协议，原因主要有两个，一是因为希望能为客户端提供更多的语义化回复（semantical replies），以开发使用旧协议难以实现的功能；另一个原因也是 antirez 认为最重要的一个，实现 Client side caching（客户端缓存）功能 。 这个功能十分常见，但 Redis 尚未提供。 当使用者需要进行快速存储或快速取操作时，就需要在客户端内存中存储一小部分信息，这是为了降低程序...阅读全文
Go 语言设计者 Robert Griesemer 和 Ian Lance Taylor 近日在 Golang 官方论坛发帖讨论关于泛型及其括号使用的问题。 他们提到很多人表达了对泛型语法的担忧，特别是在类型参数声明和函数实例以及泛型的括号选择方面。 常见的计算机键盘提供了四对单字符对称括号，分别是小括号 ( )、方括号 [ ]、花括号 { } 以及尖括号 < >。基于此，他们解释了目前泛型草案在示例代码中使用小括号的原因。首先，Go 使用花括号来划分代码块、复合字面量(composite literals)和一些复合类型，因此几乎不可能在没有严重语法问题的情况下将花括号用于泛型。至于尖括号，解析器在某些情况下要求 <> 需要 unbounded lookahead。 所以只剩下...阅读全文
谷歌开源了一套代码评审（Code Review）规范，它是谷歌一套通用的工程实战指南，几乎涵盖了所有编程语言与各种类型的项目，这个规范代表了谷歌长期发展以来最佳实战经验的集合，谷歌表示希望开源项目或其他组织能够从这套规范中受益。 代码评审，也称代码复查，如果一个团队正在使用任务分支工作流，那么在所有代码编写完成并通过自动化测试之后，在代码合并之前，就会启动代码评审。通常的目的是查找系统缺陷，保证软件总体质量和提高开发者自身水平，代码评审的所有工具和过程都是为了这个目的而构建的。代码评审对于敏捷团队来说的作用如下： 代码评审共享知识通过代码评审可以更好的进行工作评估代码评审能让你享受休假通过代码评审指导新工程师 既然代码评审要进行众多的检查，那么找一个优秀的评审者就非常重要了。一般对于变更列...阅读全文
Secret 时，大量的 watch 事件会急剧增加 kube-apiserver 的负载，并会导致错误配置过快传播到整个集群。在这种情况中，给不需要经常修改的 ConfigMap 和 Secret 设置 immutable: true 就可以避免类似的问题。注意，设置 immutable: true 之后，ConfigMap 和 Secret 内容更新时需要删除并重新创建，且使用它们的 Pod 也需要删除重建。IPv4/IPv6 双栈支持 BetaIPv4/IPv6 双栈支持在 v1.20 的时候进行了重构，并将于 v1.21 中进入 Beta 版本（默认开启），kubeadm 也已经支持创建 IPv4/IPv6 双栈集群。该特性开启后，Kubernetes Service 和 Pod 会同时分配...阅读全文
prometheus存在单点问题，具体痛点可以这么描述： prometheus单机存储和抓取能力都有上限，容易单点故障。 虽然有一种方式是通过部署N个prometheus分别抓取不同的target来分摊压力的，但是grafana就要为不同的图表配置不同的prometheus地址，复杂程度比较棘手。 thanos+prometheus可以解决这个问题，它提供了一个核心能力： 1，thanos querier组件可以反向代理到N个prometheus，然后grafana直接指向thanos querier即可，thanos querier会从N个prometheus同时查询数据，返回满足Promql的数据结果； 2，如果N个prometheus抓取的数据存在重复的，那么thanos...阅读全文
让我们先探讨什么是基于主机的入侵检测系统。如前所述，入侵检测系统是一种硬件或软件应用程序，可在检测到恶意活动时检测并警告管理员。HIDS主要专注于监视和分析日志文件，以便 基于预定义的策略和一组规则来检测异常和未经授权的更改。换句话说，HIDS与您添加的预先建立的规则一样有效。对于大量存储的日志，提取有意义的信息对于检测异常至关重要。提取的信息应准确。因此，确保这些日志的安全性对于防御日志操纵至关重要。1. OSSECOSSEC是开源安全事件关联器的缩写。这个建立良好且信誉良好的解决方案是OSSEC基金会开发和维护的免费和开放源代码的基于主机的入侵检测系统，这要归功于众多的贡献者。它后来归趋势科技所有。这是一个不断发展的项目，每月下载约5000次，并且具有可扩展性和多平台方面的特点，因为它...阅读全文
CDS Archives 默认类数据共享归档文件344Abortable Mixed Collections for G1 可中止的 G1 Mixed GC346Promptly Return Unused Committed Memory from G1 G1 及时返回未使用的已分配内存 下边分别来看看： Shenandoah: A Low-Pause-Time Garbage Collector (Experimental) Shenandoah：低暂停时间的 GC（实验性功能） 新增了一个名为 Shenandoah 的 GC 算法，通过与正在运行的 Java 线程同时进行 evacuation 工作来减少 GC 暂停时间。使用 Shenandoah 的暂停时间与堆大小无关，这意味着无论堆是...阅读全文
