本文翻译自 Wasm Labs @ VMware OCTO 的 blog： WebAssembly: Docker without container，已获得授权这是 Wasm Labs 在 2022 年 12 月 15 日在冬季 Docker Community All Hands 7 的关于 Docker+WebAssembly 的演讲的文字版。作者：Asen Alexandrov，Wasm Labs 工程师文中的我们均指作者或 Wasm Labs。由于文章内容翔实、篇幅较长我们将分成上下两篇分享，上篇将注重在概念阐释，如 Wasm 是什么，Wasm 与 Docker 的关系是什么。下篇文章将更具实践性，将以 PHP 为例带领大家实践 Docker + Wasm。最近，Docker 宣...阅读全文
域名，是用以简化记录服务器IP地址的马夹，所以，域名只有通过解析到具体的IP地址才能访问网站，就相当于给IP地址穿上的一件马夹，避免我们去记那一长串的数字。可以说，域名的价值是依托于服务器的，没有域名的服务器，可以用IP地址访问，而不解析的域名，就仅仅只是一串字符而已。 商标，是用以区分商品(或服务)来源的一种显著标志，不同公司提供的相同商品，对于大众而言，商品上印刷的标志，代表的就是不同公司。商标的价值，是依托于产品和公司的。 由这一点来看，商标和域名是有其相似性的，广义上来说，它们都是一种指代的符号而已。 但是，域名由于其技术特性，它是虚拟的和全球唯一的，同样的域名不可能同时被两个人注册，它遵循着先注先得的原则，而商标，则允许在不同领域，由不同的人持有相同的商标，比如中国的“中华...阅读全文
page 很好的介绍了 namespace 的作用。 namespace提供了一种内核级别隔离系统资源的方法，通过将系统的全局资源放在不同的 namespace 中，来实现资源隔离的目的。不同 namespace 的进程拥有相互隔离的系统资源。 这里指的资源隔离包含以下这些： Mount: 隔离文件系统挂载点 UTS: 隔离主机名和域名信息 IPC: 隔离进程间通信 PID: 隔离进程的 ID Network: 隔离网络资源 User: 隔离用户和用户组 通过下面的 clone 系统调用可以创建新的进程，参数 flags 控制创建的进程所属的 namespace, 多个 flags 可以同时创建多个 namespace。 1 int clone(int (*child_func)(void...阅读全文
上的延伸。"之前的PCIe解决了电脑系统与周边设备的数据传输问题，UCIe解决的是小芯片和小芯片，封装片上独立模块与模块之间的数据传输问题，如果没有统一的电气信号标准，就不会形成多家企业共同完成系统集成的生态合作，如果没有合作，入局Chiplet的单个企业就很难完成行业发展所需的生态建设。"刘宏钧说到。王宏波也表达了同样的观点，"PC时代，英特尔主导建立的x86体系就有一系列标准，例如：PCIe标准，可以让其他家的产品能够同英特尔的CPU分工协作，x86体系的一系列标准，构建了整个PC时代的硬件体系，到了Chiplet时代，其实是将PC时代建立生态体系的逻辑缩小复刻到芯片中，Chiplet作为一个芯片组合，也需要靠UCIe标准将不同公司的芯片设计方便的组合在一个芯片中，通过这种方式建立生态并...阅读全文
的，而虚拟机对于像运行 LAMP 堆栈这样的单一应用程序使用情况是更好的。 Linux 容器 vs 虚拟机 – 安全性 与容器相比，虚拟机提供了更多的安全性。这并不是说容器不能被保护，而是说，默认的虚拟机提供了更大的隔离。请记住，容器可以共享系统资源而虚拟机不行。 在运行容器时，可以采取一些措施来降低风险，包括避免超级用户权限，确保从可信来源获取容器，并且保持最新状态。有些容器是数字签名的，这有助于确定您可以从可信来源获取容器。 最后，你需要保持容器的单一功能职责。一旦你开始在一个容器下结合软件职责，你会发现还是使用虚拟机最好。重申一下，容器是用于单一用途的应用程序，虚拟机用于多用途的应用程序。坚持这种做法，你将在安全性和整体功能方面处于更好的状况。 Linux 容器 vs 虚拟机 – 选择...阅读全文
/etc/hosts type ext4 (rw,relatime,errors=remount-ro,data=ordered) devpts on /dev/console type devpts (rw,nosuid,noexec,relatime,gid=5,mode=620,ptmxmode=000) 上面是在我的demo容器中看到的挂载点。为了创建一个新的mount namespace，我们使用CLONE_NEWNS标志位。大家可以注意到这个标志位名称有点奇怪，为什么不是 CLONE_NEWMOUNT或者CLONE_NEWMNT呢？这是因为mount namespace是Linux中的第一个命名空间，所以这里的这里的标记位参数名字有点不符合常规，经常我们在编码实现一个新的特性或者应用的...阅读全文
出现的原因，又是谁在何时报告了某个功能缺陷等等。 使用版本控制系统通常还意味着，就算你乱来一气把整个项目中的文件改的改删的删，你也照样可以轻松恢复到原先的样子。 但额外增加的工作量却微乎其微。 1.1.1集中化的版本控制系统，代表Svn 缺点： 1、依赖中央服务器。 如果宕机一小时，那么在这一小时内，谁都无法提交更新，也就无法协同工作。 2、如果中心数据库所在的磁盘发生损坏，又没有做恰当备份，将丢失所有数据——包括项目的整个变更历史，只剩下人们在各自机器上保留的单独快照。 3、整个项目的历史记录被保存在单一位置，就有丢失所有历史更新记录的风险 4、必须联网才能工作，如果在局域网还可以，带宽够大，速度够快，如果在互联网下，如果网速慢的话，效率就很低了。 1.1.2分布式版本控制系统，代表Git...阅读全文
/repositories/gitlab/gitlab-ee/script.deb.sh | sudo bash 安装的过程中会有个蓝色的窗口提示你输入名称，这个是gitlab的访问域名，因为默认通过nginx进行解析的时候，指向的是你配置的这个域名，并且通过80端口。安装完成后可以看nginx的conf文件。 sudo apt-get install gitlab-ce 3. 启动GitLab 这个会加载所有的配置，启动相应的服务。所以说，和网络上其他的安装教程来比，新版本安装起来实在是太爽了。 sudo gitlab-ctl reconfigure 配置 更换域名 如上图，域名被替换为域名了，但是之前是字符串git@debian...，因为在安装的时候，蓝色窗口弹出的时候直接按了回车使用了默认值。修改方法如下...阅读全文
。”Pigweed 项目团队希望名字有趣，又能反映项目本身的成长，就像快速生长的杂草 Pigweed 一样。 目前，Pigweed 已提供了不少模块，后续将会有更多模块被添加进来。需要注意的是，它仍处于早期开发阶段，目前不适合用于生产。...阅读全文
OpenJDK 14 已于近日 GA，其在性能方面是否有改进、以及有哪些改进引起了不少开发者的关注。本文将会介绍通过运行新的基准测试以考察从 OpenJDK 8 至 14 的所有主要发行版本，同时考察跨多个工作负载的 JVM 性能，以及 OpenJDK 14 与 JVM 先前版本相比性能如何。 此次测试通过在被测试的每个发行版上使用相同的 Java 字节码编译的 Java 程序来查看 JVM 的性能，并使用被测软件包的参考/上游编译版本。为了保证测试受干扰的因素将降至最低，每次都使用相同的选项，除了交换用于测试每个发行版的 OpenJDK x86_64 Linux 构建之外，没有进行任何其他更改。 通过使用 Phoronix 的测试套件，测试内容包含从 SPECjbb 到 Java 2D...阅读全文
) CONFIG_LIBNL32=y # IEEE 802.11n (High Throughput) support CONFIG_IEEE80211N=y 之后使用 make && make install 命令进行编译。系统将在 /usr/local/bin 目录下生成两个文件名为 hostapd、hostapd_cli 的可执行文件。 2.3 使用命令 cp hostapd.conf /etc/hostapd/ 将 hostapd 配置文件复制到 /etc/hostapd/ 文件夹下，并将相关字段修改为如下内容： interface=wlan1 driver=nl80211 ssid=CMSS hw_mode=g channel=7 macaddr_acl=0 auth_algs=3...阅读全文
LXD 3.8 发布了，LXD 是下一代容器管理程序，它提供类似于虚拟机的用户体验，但使用的是 Linux 容器。LXD 的核心是一个特权守护程序，它通过本地 unix 套接字以及网络暴露 REST API。随后客户端通过该 REST API 执行所有操作，这意味着无论是与本地主机还是远程服务器通信，都以相同的方式运行。LXD 附带提供命令行客户端。 此版本改进了许多功能，还带来一些新功能，包括： 自动化容器快照 引入了三个配置键来控制自动快照并配置它们的命名方式。 支持项目之间的复制/移动 lxc copy 和 lxc move 都添加了一个新的 –target-project 选项，可以在项目之间复制或移动容器。 cluster.https_address 服务器选项 以往，集群...阅读全文
real 0m5.315s user 0m0.028s sys 0m0.019s 迁移至 Alpine 基础镜像 目前大部分 Docker 官方镜像都已经支持 Alpine 作为基础镜像，可以很容易进行迁移。例如： ubuntu/debian -> alpine python:2.7 -> python:2.7-alpine ruby:2.3 -> ruby:2.3-alpine 另外，如果使用 Alpine 镜像替换 Ubuntu 基础镜像，安装软件包时需要用 apk 包管理器替换 apt 工具，如， $ apk add --no-cache Alpine 中软件安装包的名字可能会与其他发行版有所不同，可以官方网站上搜索并确定安装包名称。如果需要的安装包不在主索引内，但是在测试或社区索引中。那么...阅读全文
遇到问题，当然应该大胆提问！但绝对不是随便截个图丢给其他人，等待解决方案。原文请见 提问的智慧 (How To Ask Questions The Smart Way) 。这篇文章对于社区提问给出了很多建议，现作要点精简如下。请你做到完成了 RTFM (Read The Fucking Manual) 和 STFW (Search The Fucking Web) 两个步骤。通常，用这两句之一回答你的人会给你一份包含你需要内容的手册或者一个网址，而且他们打这些字的时候也正在读着。这些答复意味着回答者认为你需要的信息非常容易获得；你自己去搜索这些信息比灌给你，能让你学到更多。按发生时间先后列出问题症状问题发生前的一系列操作，往往就是对找出问题最有帮助的线索。因此，你的说明里应该包含你的操作步...阅读全文
很重要，因为在 K8s 中没有为这些设置默认值。例如，如果一个 pod 需要 20 秒才能启动并且缺少就绪探测，那么在启动期间定向到该 pod 的任何流量都会导致失败。就绪探针应该是独立的，并且不考虑对其他服务的任何依赖，例如后端数据库或缓存服务。存活探针试应用程序是否正在运行以将其标记为健康。例如，可以测试 Web 应用程序的特定路径以确保其响应。如果不是，该 pod 将不会被标记为健康，并且探测失败将导致 kubelet 启动一个新的 pod，然后将再次对其进行测试。这种类型的探测用作恢复机制，以防进程无响应。译者：在 Kubernetes 1.18 引入了 StartUp（启动）探针。当容器启动时间较长（要花较长的时间完成初始化工作），此时应该使用启动探针。如果启动探针探测不成功，其他...阅读全文
Learmonth 要求为他的包换一个不同的名字的时候，他得到了一个「有趣」的回复： 应该注意到， live-build 不是一个 Debian 项目，它是一个声称自己是官方 Debian 项目的外部项目，这是一个需要我们解决的问题。 这不是命名空间的问题，我们要将以目前维护的 live-config 和 live-boot 包为基础，把它们加入到 Debian 的本地项目。如果迫不得已的话，这将会有很多分支，但是我希望它不要发生，这样的话我们就可以把这些包整合到 Debian 中并继续以一种协作的方式去开发。 live-build 已经被 debian-cd 放弃，live-build-ng 将会取代它。至少在一个精简的 Debian 环境中，live-build 会被放弃。我们（开发团队）正在与...阅读全文
什么是装饰器？ 装饰器（Decorator）相对简单，咱们先介绍它：“装饰器的功能是将被装饰的函数当作参数传递给与装饰器对应的函数（名称相同的函数），并返回包装后的被装饰的函数”，听起来有点绕，没关系，直接看示意图,其中 a 为与装饰器 @a 对应的函数， b 为装饰器修饰的函数，装饰器@a的作用是： 简而言之：@a 就是将 b 传递给 a()，并返回新的 b = a(b) 栗子： 上面使用@dobi来表示装饰器，其等同于：qinfeng = dobi(qinfeng)因此装饰器本质上就是个语法糖，其作用为简化代码，以提高代码可读性，运行上段代码的结果为： 解析过程是这样子的： 1.python 解释器发现@dobi，就去调用与其对应的函数（ dobi 函数） 2.dobi 函数调用前要指...阅读全文
Apache 软件基金会宣布 Apache Superset 成为顶级项目 (Top-Level Project, TLP)。 Apache Superset 是一款现代化的开源数据工具，用于数据探索和数据可视化。它提供了简单易用的无代码可视化构建器和声称是最先进的 SQL 编辑器，用户可以使用这些工具快速地构建数据仪表盘。 Apache Superset 将 SQL IDE、数据浏览工具、拖拽式仪表板编辑器和插件组合使用，以构建自定义的可视化效果，支持从许多关系数据库和非关系数据库中创建仪表板，这些数据库包括 SQLite、MySQL，以及 ClickHouse、Google BigQuery、Snowflake、Oracle 数据库、IBM DB2 和其他各种兼容的数据源，并且可以连接...阅读全文
4月1日，腾讯公司发布了一段短片，跟大家开了个愚人节玩笑。腾讯宣布，筹备近两年的“AI生态鹅厂”已在贵州贵安新区完成项目主体建设，预计于年内投产运行。由于企鹅所需饲养条件较高，目前腾讯将先以贵州平坝灰鹅作为试点，未来或考虑引入天鹅和企鹅。据说还有鹅脸识别、鹅语翻译、觅影治鹅、鹅屎咖啡等技术。 今天腾讯宣布，养鹅是不存在的，但贵州贵安新区的那个山洞却是真正存在的。它叫腾讯贵安七星数据中心，是一个特高等级数据中心。 2017年10月，腾讯贵安七星数据中心工程正式进入项目建设施工阶段，项目主体为五横一竖共六个隧道。工程建成后,整个数据中心的工作、电力等设备将全部置于其中。 腾讯表示，它具有高度安全，高隐蔽、高防护的特点，将用来放置腾讯业务最核心的数据，代表着腾讯在数据产业的前瞻战略。 数据中心是...阅读全文
GitHub 刚刚通过官方博客发布了 21 日“挂掉”的事件分析。GitHub 指出此次事件发生的原因是在 10 月 21 日 22:52 UTC 进行日常维护——更换发生故障的 100G 光学设备时导致美国东海岸网络中心与美国东海岸数据中心之间的连接断开。 更具体地，GitHub 分析，虽然两地的连接在 43 秒内恢复，但这次短暂的中断引发了一系列事件，这才导致了长达 24 小时 11 分钟的服务降级。 为了大规模提高性能，GitHub 的应用程序将直接写入每个群集的相关主数据库，但在绝大多数情况下将读取请求委派给副本服务器的子集。GitHub 使用 Orchestrator 来管理 MySQL 集群拓扑并处理自动故障转移，Orchestrator 在此过程中考虑了许多变量，并在...阅读全文
!版权声明：本博客内容均均为原创,每篇博文作为知识积累,写博不易,转载请注明出处。 目录[-] 参考地址： Nacos 官方文档 系统环境： Nacos 版本：1.4.1 Mysql 版本：8.0.19 Kubernetes 版本：1.20.1 项目示例地址： Kubernetes 中部署 Nacos 的部署文件 Kubernetes 中部署 Mysql 数据库部署文件 如果该文章对你有帮助，别忘了 Github 帮忙点颗星哦~ 一、什么是 Nacos Nacos 是阿里开源的服务注册中心与配置中心组件，能够帮助开发人员快速实现动态服务发现、服务配置、服务元数据及流量管理。同时能够与 SpringCloud、Kubernetes、Dubbo 等开源生态无缝集成。 Nacos 支持如下核心特...阅读全文
欧洲云计算巨头 OVH 位于法国斯特拉斯堡的机房昨日发生严重火灾，该区域总共有 4 个数据中心 (Strasbourg Data Center)，发生起火的 SBG2 数据中心被完全烧毁，另有一个数据中心 SBG1 的建筑物部分受损，SBG3 因受到消防保护暂未受影响，以及 SBG4 确认没有受到波及。不过出于安全起见，OVH 位于斯特拉斯堡的全部数据中心暂时关闭了服务。OVH 在全球拥有 27 个数据中心，其中 15 个位于欧洲。昨天这场灾难被认为已导致超过 350 万个网站下线，而这一切发生在 OVH 启动了首次公开募股 (IPO) 计划两天后。Rust 旗下的游戏工作室 Facepunch Studios 证实，他们的数据已在这场大火中全部丢失，即使数据中心重新上线后，也无法恢复...阅读全文
SQLite 3.30.0 发布了，SQLite 是一个 C 实现的 SQL 数据库引擎，它的特点是小型、快速、自包含、高可靠性和功能齐全。SQLite 嵌入在所有手机和大多数计算机中，也捆绑在为数众多的其它应用中，是世界上使用量最大的数据库引擎。 此版本更新内容包括： 添加对聚合函数的 FILTER 子句的支持添加对 ORDER BY 子句中的 NULLS FIRST 和 NULLS LAST 语法的支持增强了 index_info和index_xinfo 编译指示，以提供有关 WITHOUT ROWID 表在磁盘上的表示形式的信息新增 sqlite3_drop_modules() 接口，使应用程序可以禁用不需要的自动加载的虚拟表改进 CLI 中的 .recover dot...阅读全文
基本概念 Prometheus 所有采集的监控数据均以指标（metric）的形式保存在内置的时间序列数据库当中（TSDB）：属于同一指标名称，同一标签集合的、有时间戳标记的数据流。除了存储的时间序列，Prometheus 还可以根据查询请求产生临时的、衍生的时间序列作为返回结果。 样本在时间序列中的每一个点称为一个样本（sample），样本由以下三部分组成： 指标（metric）：指标名称和描述当前样本特征的 labelsets； 时间戳（timestamp）：一个精确到毫秒的时间戳； 样本值（value）： 一个 folat64 的浮点型数据表示当前样本的值。
在真正的生产环境中，如何合理的分配服务器资源、提高利用率、让整个集群运行的更加稳定使得 k8s-scheduler 这个角色在集群中的地位愈发重要。 kube-scheduler的预选(过滤)和精选(打分) api-server会将创建pod的请求发送给kube-scheduler，并且将pod信息记录在etcd数据库中。之后kube-scheduler会根据预选（过滤）规则，首先过滤掉一部分node节点中的pod，没有被过滤掉的pod可以看做是可以被调度的pod，之后再通过更加严格的规则给剩下的pod打分，这一步也叫作优选。打分最高的pod可以看做被优先分配到pod任务。 调度流程简介 创建pod的命令被api-server的api接口接收到。api-server将pod信息存储在...阅读全文
TimescaleDB 1.0 正式发布了，开发团队表示，自 9 月分宣布第一个候选版本以来，Timescale 的工程师团队合并了 50 多个 PR，以加强数据库，提高稳定性和易用性。 今天，TimescaleDB 1.0 宣布正式推出，官方表示该版本已可用于生产环境，是首个支持完整 SQL 和扩展的企业级时序数据库。TimescaleDB 是基于 PostgreSQL 数据库开发的一款时序数据库，以插件化的形式打包提供，随着 PostgreSQL 的版本升级而升级，不会因为另立分支带来麻烦。 TimescaleDB 架构 数据自动按时间和空间分片 (chunk) 更新亮点： 更广泛的可用性改进 后台作业自动化和调度的基础 增强了数据库强化和测试 构建开源监控堆栈：对 Grafana 和...阅读全文
随着技术的发展，我们使用的存储器也各种各样，虽然都基于芯片颗粒，但表现截然不同，比如说读写次数限制，或者叫寿命，SSD固态硬盘就有限制，DRAM内存却没有。 按照分布位置的不同，DRAM内存属于内部存储器，紧挨着CPU处理器，用来临时存放后者需要的运算数据，并与外部存储器进行交换，起到桥梁的作用。 DRAM内存的特点是读写速度快、延迟低，但属于易失性存储，也就是一旦断电，数据就会全部丢失。 DRAM内存颗粒利用晶体管加电容来保存数据，而且只是临时存储数据，并没有实质性的写入，不涉及对物理单元结构、属性的改变，所以可以无限次读写。 当然，这并不意味着DRAM内存就可以永久使用，毕竟其中的晶体管、电容等物理结构也会慢慢老化，所有电子设备都是如此，只是这个过程非常非常缓慢，正常使用根本感觉不到...阅读全文
ssh 命令之类的共享信息。 tmate 是怎么工作的？ 运行 tmate 时，会通过 libssh 在后台创建一个连接到 tmate.io （由 tmate 开发者维护的后台服务器）的 ssh 连接。 tmate.io 服务器的 ssh 密钥通过 DH 交换进行校验。 客户端通过本地 ssh 密钥进行认证。 连接创建后，本地 tmux 服务器会生成一个 150 位(不可猜测的随机字符)会话令牌。 队友能通过用户提供的 SSH 会话 ID 连接到 tmate.io。 使用 tmate 的必备条件 由于 tmate.io 服务器需要通过本地 ssh 密钥来认证客户机，因此其中一个必备条件就是生成 SSH 密钥 key。 记住，每个系统都要有自己的 SSH 密钥。 $ ssh-keygen -t...阅读全文
需要花费大量时间与精力，但它是没有薪水回报的。公开信表示，如果之后确认这正是问题所在，那么社区可能会考虑做出一些改变，创造一个有偿的职位来承担领导人的工作。 目前没有一位开发者提名，根据 Debian 的章程，提名期延长了一周，也就是 3 月 17 日截止。如果在这个时间之前还没有人提名，那么提名期还会再延长一周。该流程将无限持续下去，“直到有人屈服并提交他们的名字”。 而除了无人提名的尴尬，更严重的问题是，根据章程，只要任期结束，当前的 Debian 领导人 Chris Lamb 就可以不再履行职责，如果在那个时候还没有选出新的领导人（毕竟提名期是可以无限延长的），那么社区就会处在群龙无首的状态，Debian 将会陷入困境，项目运作的各方面都会停滞不前。 然而，好消息是，Debian 章程...阅读全文
Intro Dapr 官方团队已于最近（2021.1.17）正式发布Dapr v1.0，Dapr已正式生产可用，可以部署到自托管环境或 Kubernetes 集群。对于绝大多数开发者来说，想必对Dapr只是有所耳闻，而具体是什么（What），可以解决什么样的问题（Why&How），有怎样的应用场景（Where），并不知悉。本文就尝试简要梳理下Dapr，并尝试回答以上问题。 What's Dapr Distributed Application Runtime. An event-driven, portable runtime for building microservices on cloud and edge. 分布式应用运行时。一个事件驱动、可移植的运行时用于在云上和边缘计算上构建...阅读全文
本文翻译自 Wasm Labs @ VMware OCTO 的 blog： WebAssembly: Docker without container。这是 Wasm Labs 在 2022 年 12 月 15 日在冬季 Docker Community All Hands 7 的关于 Docker+WebAssembly 的演讲的文字版。作者：Asen Alexandrov，Wasm Labs 工程师。文中的我们均指作者或 Wasm Labs。本篇文章将更具实践性，将以 PHP 为例带领大家实践 Docker + Wasm。上篇文章我们了解了服务端 Wasm 为什么有着重要的作用、什么是 WasmEdge 以及如何让解释型语言编写的程序在 Wasm 里运行，这篇文章，我们将通过动手示例了...阅读全文
Solo 是一款 一个命令 就能搭建好的 Java 开源博客系统，如果你想开个独立博客，请一定不要错过！2.5.0 版本主要支持了 Markdown/JSON 格式数据导出，并改进了 Markdown 渲染。 另外，我们 新的博客产品 Pipe（golang 开发）已经开源 ，欢迎大家来围观！ 安装 下载 安装包 解压后执行 java -cp WEB-INF/lib/*;WEB-INF/classes org.b3log.solo.Starter 从 2.4.0 升级只需将已有的配置拷贝覆盖即可，启动后会自动升级。 文档 用户指南 ：安装、配置、备份以及常见问题 开发指南 ：开发环境、项目结构、框架说明 皮肤开发 ：开发步骤、模版变量 插件开发 ：插件机制、处理流程 项目...阅读全文
随着希捷、东芝先后推出16TB容量的HDD硬盘，现今的垂直磁道PMR机械硬盘不论容量还是技术水平应该是到头了，西数计划今年出样18TB及20TB的硬盘，会用上MAMR全新技术。 访问购买页面： 西部数据自营旗舰店 机械硬盘要想再提高容量，现在的磁记录技术已经没多少潜力可挖了，新一代HDD硬盘技术会转向HAMR热磁辅助记录技术，不过西数认为HAMR使用激光辅助加热，技术复杂，成本高，可靠性也低，所以他们更倾向于MAMR微波辅助磁记录技术。 根据西数所说，MAMR硬盘技术的成本和传统垂直记录类似，复杂性、可靠性也都更可控(99.99％的MAMR磁头写入寿命HAMR磁头高出几个数量级)，生态方面也不需要更换新的主机管理损耗均衡。 西数最新表态今年底会推出两款MAMR技术的容量，一款是18TB容量...阅读全文
云存储服务商Backblaze发布了二季度的硬盘故障率统计报告。 此次统计涵盖了BB旗下的177935块机械硬盘，总的年化故障率为1.01%。 硬盘出问题数量最多型号来自希捷4TB（ST4000DM000），但需要注意的是其通电服役时间同样比较长，整体年化故障率1.94%。 有三款硬盘在统计周期内没有故障发生，分别是希捷6TB（ST6000DX000）、HGST 12TB（HUH72122ALE600）和西数16TB（WUH72186ALE6L0）。 综合来看，在二季度，西数以及西数旗下的HGST硬盘，可靠性整体表现还是最为可圈可点。 另外，BB还统计了从2013年至今的硬盘故障率表格，并得出东芝16TB、西数14TB和HGST的12TB/4TB是年化故障率最低的三块硬盘。 - THE...阅读全文
Google 宣布了 新拥堵控制算法 TCP BBR。Google 官方博客称新算法将 google.com 和 YouTube 的全球网络吞吐量平均改进了 4%，在某些国家改进了 14%+。 Google 解释说，现有的 TCP 拥堵控制算法源自 1980 年代，是为低带宽数据传输设计的，解决拥堵主要考虑丢包，也就是在网络堵塞的时候路由器将会丢弃新的数据包。BBR 代表 Bottleneck Bandwidth and Round-trip propagation time，它的拥堵控制采用了不同的方法，考虑了网络实际的数据交付率有多快。根据最近测量的网络交付率和往返时间构建显示模型，最大化近期可用带宽和最小化近期往返延迟。BBR 使用这些数据决定数据发送速率有多快。 Google 已经...阅读全文
PromQL 是 Prometheus 提供的一个函数式的表达式语言，可以使用户实时地查找和聚合时间序列数据。表达式计算结果可以在图表中展示，也可以在 Prometheus表达式浏览器中以表格形式展示，或者作为数据源，以 HTTP API 的方式提供给外部系统使用。PromQL 虽然以 QL 结尾，但是它不是类似 SQL 的语言，因为在时间序列上执行计算类型时，SQL 语言相对缺乏表达能力。而 PromQL 语言表达能力非常丰富，可以使用标签进行任意聚合，还可以使用标签将不同的标签连接到一起进行算术运算操作。内置了时间和数学等很多函数可以使用 选择序列选择指定指标名称的序列最新样本： my_metric_name选择指定指标名称序列5分钟的样本范围： my_metric_name[5m]筛...阅读全文
prometheus存在单点问题，具体痛点可以这么描述： prometheus单机存储和抓取能力都有上限，容易单点故障。 虽然有一种方式是通过部署N个prometheus分别抓取不同的target来分摊压力的，但是grafana就要为不同的图表配置不同的prometheus地址，复杂程度比较棘手。 thanos+prometheus可以解决这个问题，它提供了一个核心能力： 1，thanos querier组件可以反向代理到N个prometheus，然后grafana直接指向thanos querier即可，thanos querier会从N个prometheus同时查询数据，返回满足Promql的数据结果； 2，如果N个prometheus抓取的数据存在重复的，那么thanos...阅读全文
对于 Python 开发者来说，web 开发框架真可谓玲琅满目。然而 Django , 毋庸置疑的成为最受青睐的 web 框架。通过本篇博客，我来为大家讲解下为什么相比 Flask、Pyramid、Tornado、Bottle、Diesel、Pecan、Falcon 这些流行的 Python web 框架，Python 开发者更倾向于选择 Django。 再大肆宣扬Django之前，让我们简单了解一下web框架 Web框架是一个代码库，使开发人员更容易构建动态网站、Web应用程序和Web服务。 众所周知的是，每个网站都有一些通用的功能（如处理会话，数据验证等等），一些您每次创建网站时都需要编写的功能。 这使开发任务平淡乏味。 然而，使用Web框架可以让您每次创建网站都需要重新编写通用功能代...阅读全文
Scrapy 是一个为了爬取网站数据，提取结构性数据而编写的应用框架。 可以应用在包括数据挖掘、信息处理或存储历史数据等一系列的程序中。本文着重介绍 Scrapy 架构及其组件之间的交互。 Scrapy 组件介绍 Scrapy Engine 引擎负责控制数据流在系统中所有组件中流动，并在相应动作发生时触发事件。 详细内容查看下面的数据流(Data Flow)部分。 调度器(Scheduler) 调度器从引擎接受request并将他们入队，以便之后引擎请求他们时提供给引擎。 下载器(Downloader) 下载器负责获取页面数据并提供给引擎，而后提供给spider。 Spiders Spider 是 Scrapy用户编写用于分析response并提取item(即获取到的item)或额外跟进的...阅读全文
据 Dgraph Labs 创始人 Manish Rai Jain 在其宣布 1.0.0 版本正式发布 的 文章 中透漏，他们已完成了由贝恩资本投资公司的 Salil Deshpande 领头的 300 万融资。凭借早期在基础设施软件和开源软件方面的经验，Salil 将加入 Dgraph 董事会。Jain 表示，这一轮融资正好是我们扩大云服务的时机，并继续建立世界上最先进的图数据库。 Dgraph 是一个可扩展的，分布式的，低延迟的图数据库，于 2015 年开源，最初是出于希望消除传统关系型数据库的典型弱点而创建的。为了解决组织在数据库增长超过单个服务器时面临的一些问题，Dgraph 以更有效的方式分割数据，这使查询可以在没有通用视图的情况下执行。它还减少了网络调用和磁盘查询需要执行查询的...阅读全文
11 月 1 日，开源数据库 MariaDB 在官网正式宣布已完成由阿里巴巴领投的 C 轮 2700 万美元的融资。融资完成后，MariaDB 将具备更强的实力参与数据库竞争。阿里巴巴集团旗下云计算部门阿里云已在今年 3 月成为 MariaDB 白金赞助商，双方后续将继续合作，为云端和新兴用例提供新的解决方案。 MariaDB 公司创始人 Michael Wideneus 表示：“ MariaDB 获得本轮融资，得益于基于我们为下一代应用而推出的一整套完备的数据基础应用功能建设。同时，在发布基于人工智能的，面向云和自动化的新一代解决方案之后，这轮融资将使得 MariaDB 未来得以高速发展。” 阿里云副总裁李津也表示：“ MariaDB 正在成为企业级开源数据库的标准。我们相信，在开源社区...阅读全文
作为社区 RoadMap 的重要组成部分，是大数据实时化必然的趋势。但是另一方面，传统离线的计算需求其实并不会被实时任务完全取代，而是会长期存在。 在实时和离线的需求同时存在的状态下，以往的流批独立技术方案存在着一些痛点，比如： 需要维护两套系统，相应的就需要两组开发人员，人力的投入成本很高； 另外，两套数据链路处理相似内容带来维护的风险性和冗余； 最重要的一点是，如果流批使用的不是同一套数据处理系统，引擎本身差异可能会存在数据口径不一致的问题，从而导致业务数据存在一定的误差。这种误差对于大数据分析会有比较大的影响。 在这样的背景下，Flink 社区认定了实时离线一体化的技术路线是比较重要的技术趋势和方向。 Flink 在过去的几个版本中，在流批一体方面做了很多的工作。可以认为 Flink...阅读全文
Nginx 发布了 mainline version 1.13.0（即通常说的开发版）。更新内容如下： Change: SSL renegotiation is now allowed on backend connections. 后端连接现在允许 SSL 重新协商 Feature: 用于邮件代理和流模块的 “listen” 指令的 “rcvbuf” 和 “sndbuf” 参数 Feature: t 现在可以使用 “return” 和 “error_page” 指令返回 308 重定向 Feature: “ssl_protocols” 指令的 “TLSv1.3” 参数。 Feature: 当出现登录信号时，nginx 现在会记录发送信号的进程的 PID Bugfix: 内存分配错误...阅读全文
可以提供一个可选的整型参数，用于设置该channel的缓冲区大小。该值缺省为0，用来构建默认的“无缓冲channel”，也称为“同步channel”。 Channel作为goroutine间的一种通信机制，与操作系统的其它通信机制类似，一般有两个目的：同步，或者传递消息。 2. 同步 c := make(chan int) // Allocate a channel. // Start the sort in a goroutine; when it completes, signal on the channel. go func() { list.Sort() c <- 1 // Send a signal; value does not matter...阅读全文
CERN 无需过多介绍了吧。CERN 创建了 万维网(World Wide Web)（WWW）和 大型强子对撞机(Large Hadron Collider)（LHC），这是世界上最大的 粒子加速器(particle accelerator)，就是通过它发现了 希格斯玻色子(Higgs boson)。负责该组织 IT 操作系统和基础架构的 Tim Bell 表示，他的团队的目标是“为全球 13000 名物理学家提供计算设施，以分析这些碰撞，了解宇宙的构成以及是如何运转的。”CERN 正在进行硬核科学研究，尤其是大型强子对撞机，它在运行时 生成大量数据。“CERN 目前存储大约 200 PB 的数据，当加速器运行时，每月有超过 10 PB 的数据产生。这必然会给计算基础架构带来极大的挑战，包...阅读全文
一 Kafka可视化管理工具kafka-manager 安装及基本使用可参考：https://www.cnblogs.com/dadonggg/p/8205302.html 二 线上环境规划 JVM参数设置 kafka是scala语言开发，运行在JVM上，需要对JVM参数合理设置，参看JVM调优专题 修改bin/kafka-start-server.sh中的jvm设置，假设机器是32G内存，可以如下设置： export KAFKA_HEAP_OPTS="-Xmx16G -Xms16G -Xmn10G -XX:MetaspaceSize=256M -XX:+UseG1GC -XX:MaxGCPauseMillis=50 -XX:G1HeapRegionSize=16M" 这种大内存的情况一般...阅读全文
可能有问题。自go 1.6之后， 并发地读写map会报错，这在一些知名的开源库中都存在这个问题，所以go 1.9之前的解决方案是额外绑定一个锁，封装成一个新的struct或者单独使用锁都可以。 群众的呼声是响亮的，并发map在项目中大量使用，所以Go 1.9中在包sync加入了新的map， 查询、存储和删除都是平均常数时间，可以并发访问。 Monotonic Time 先前的time包的实现都是基于wall time的，但是当机器的时钟调整后会有问题。 比如在计算duration的时候，如果时钟往回拨，可能导致end时间比start时间还早。 所以Go 1.9使用monotonic Time来实现大部分的time中的函数，在计算duration的时候不会出现因为时钟调整出现的误差了。 设计文...阅读全文
Prometheus已成为cloud-native世界中的默认监控应用程序和系统。对于真是使用案例，Prometheus应该是高可用的，这是有挑战的。一旦在高可用性模式下运行Prometheus，就会遇到很多问题，例如数据重复，为重复数据实现single pane等。为了解决此问题，Cortex诞生了。Cortex是一个CNCF sandbox project，旨在为使用Prometheus 收集的指标提供长期存储和全局指标视图。首先让我们看一下Cortex的主要目标，然后看一下它为Prometheus解决的一些问题。水平可伸缩性– Cortex可以分成多个微服务，每个微服务都可以独立地水平伸缩。例如，如果许多Prometheus实例正在向Cortex发送数据，则可以扩展Ingester微...阅读全文
JBoot 是一个基于 JFinal 和 Undertow 开发的微服务框架。提供了 AOP、RPC、分布式缓存、限流、降级、熔断、统一配置中心、Opentracing 数据追踪、metrics 数据监控、分布式 session、代码生成器、shiro 和 jwt 安全控制、swagger api 自动生成等功能。 Jboot v1.7.1 主要更新如下： 新增：redis 添加自定义序列化配置的功能 新增：Jboot.java 添加方法 service(Class clazz, JbootrpcServiceConfig config) 方便获取 rpc service 新增：JbootController 添加 getRawObject() 方便获取 api 传过来的 json 数据...阅读全文
Bug、回应用户请求），来使你的 sponsor 相信你已经有能力来处理好某个特定软件包，这样他们才会在接下来的申请流程中推荐你。 一些 sponsor 会在他们觉得合适时向你提议申请 DM，另外一些不会，作为新维护人员要在自己觉得差不多合适的情况下和 sponsor 进行沟通，听取他的意见看是否可以申请。 6. 申请 DM 前要让至少一位你 sponsor 之外的 DD 对你的 GPG 密钥进行数字签名，且密钥本身至少要 2048 RSA 或更强。签署密钥不需要对技能的考察，其目的是确认每个密钥的控制者确实是他本人，从而构建 Web of Trust，因而任何人都可以参与到密钥签名活动当中。签名时一般需要双方在现实生活中见面，互相检查身份证或护照确认无误后，交换事先打印好的 GPG key...阅读全文
