近已经达成一些重要的项目目的，技术上方面比如：Windows wheels 和持续集成。组织方面有管理结构、代码准则和路线图。 我们中很多人都有点完美主义，所以不情愿称某东西是 1.0 了，因为这样或许就暗示「已做完」或「我们对此 100% 满意」。虽然很多开源项目都这样，但我们承认自己项目并不完美，总有些边边角角有灰尘的。 虽然我们有如此想法，但对用户来说，SciPy 极为实用，有着高于平均水平的高质量代码和文档，稳定性和向后兼容性均很好。 SciPy 的重要里程碑 2001 年：第一版 SciPy 发布； 2005 年：过渡到 NumPy； 2007 年：scikits 的诞生； 2008 年：scipy.spatial 模块以及首个 Cython 代码的增加； 2010 年：进入 6...阅读全文
使用的东西。密集字段将使用与以前相同的空间量，但稀疏字段将显着减小。这不仅可以减少磁盘空间使用量，还可以减少合并时间并提高查询吞吐量，因为可以更好地利用文件系统缓存。 完整更新内容请点此查阅...阅读全文
网站目录。 接着，重新加载 systemd daemon，让配置生效。 sudo systemctl daemon-reload 让 Caddy 开机自启： sudo systemctl enable caddy.service 至此，Caddy 已经成功注册服务，并能够开机自动运行了。 配置Caddy 这部分的内容我不打算详细记录，主要是官方文档已经写的很详细了。下面是我的配置， example.com { proxy / 127.0.0.1:9001 { header_upstream Host {host} header_upstream X-Real-IP {remote} header_upstream X-Forwarded-For {remote...阅读全文
4月1日，腾讯公司发布了一段短片，跟大家开了个愚人节玩笑。腾讯宣布，筹备近两年的“AI生态鹅厂”已在贵州贵安新区完成项目主体建设，预计于年内投产运行。由于企鹅所需饲养条件较高，目前腾讯将先以贵州平坝灰鹅作为试点，未来或考虑引入天鹅和企鹅。据说还有鹅脸识别、鹅语翻译、觅影治鹅、鹅屎咖啡等技术。 今天腾讯宣布，养鹅是不存在的，但贵州贵安新区的那个山洞却是真正存在的。它叫腾讯贵安七星数据中心，是一个特高等级数据中心。 2017年10月，腾讯贵安七星数据中心工程正式进入项目建设施工阶段，项目主体为五横一竖共六个隧道。工程建成后,整个数据中心的工作、电力等设备将全部置于其中。 腾讯表示，它具有高度安全，高隐蔽、高防护的特点，将用来放置腾讯业务最核心的数据，代表着腾讯在数据产业的前瞻战略。 数据中心是...阅读全文
我司使用钉钉作为主要的内部通讯工具，基本上大家在电脑和手机上都开着，消息可以第一时间查看，报警消息的即时性要求比较高，我们计划使用钉钉来发送报警通知。本文将简要介绍发送消息的API使用样例。钉钉的API接口文档，请查阅钉钉开放平台。 介绍如何用 Python 实现钉钉自动发送消息，你可以用来和报警平台整合，或者做ChatOps。 获取 access token 要使用钉钉发送消息，首先需要获取access token，代码如下： def get_access_token(): url = 'https://oapi.dingtalk.com/gettoken?corpid=%s&corpsecret=%s' % (corp_id, corp_secret) request...阅读全文
Flatpak，Linux应用程序沙箱和分发框架（以前称为XDG-App），用于在Linux桌面上构建和分发托管应用程序，今天已经达到1.0里程碑。 经过三年多的开发，广泛使用的Flatpak Linux应用程序沙盒和分发框架终于达到了1.0版本，这意味着它已经足够成熟，可以在生产环境中部署和使用，用于分发和运行Linux应用程序。 “Flatpak 1.0是新稳定版系列中的第一个版本。这个新的1.x系列是0.10.x系列的继承者，它于2017年10月首次推出.1.0是新标准的Flatpak版本，推荐使用发行版尽快更新，“开发商Alexander Larsson说。 与Flatpak 0.10.0系列相比，Flatpak 1.0版本的亮点包括一个新的Flatpak门户，允许Linux应用程...阅读全文
长期模式。这也意味着 Django 现在完全依靠的是没有酬劳的贡献者，并已经开始供不应求。 通常来说，修复小 bug 或添加小功能是吸纳贡献者的好机会，但这些事情 Django 的现有成员都会完成。短期内还好，但按这个形势发展下去，Django 会一直无法吸引到新的贡献者，来取代那些不活跃的甚至完全沉寂的人。 为解决 Django 的发展困境，“改革草案”提议重组 Django 核心团队（也称 Committer，提交者）。James Bennett 解释到，按照 Django 现有的管理模式，任何人都可以提交更改及补丁，但只有 Django 的提交者和技术委员会才有权作出决定。提交者可对项目做出任意更改，只需对其他成员和技术委员会负责。而事实上，很少有提交者直接使用他们的提交权限，决策基本...阅读全文
LXD 3.8 发布了，LXD 是下一代容器管理程序，它提供类似于虚拟机的用户体验，但使用的是 Linux 容器。LXD 的核心是一个特权守护程序，它通过本地 unix 套接字以及网络暴露 REST API。随后客户端通过该 REST API 执行所有操作，这意味着无论是与本地主机还是远程服务器通信，都以相同的方式运行。LXD 附带提供命令行客户端。 此版本改进了许多功能，还带来一些新功能，包括： 自动化容器快照 引入了三个配置键来控制自动快照并配置它们的命名方式。 支持项目之间的复制/移动 lxc copy 和 lxc move 都添加了一个新的 –target-project 选项，可以在项目之间复制或移动容器。 cluster.https_address 服务器选项 以往，集群...阅读全文
随着 Python 之父 Guido van Rossum 逐步卸任 BDFL，Python（CPython）的未来之路牵动了万千开发者的心。没了首领，Python 今后的发展会怎么样？社区将如何运作？谁来领导 Python 这门语言和社区呢？这些问题不得不解决，而用什么样的方式解决，这就需要先由社区讨论并最终决定。 前两天我们分析过目前 Python 社区已经提出的 7 种正在进行投票的治理方案，而最新消息是，目前投票环节已经结束，最终 PEP 8016 当选了新时代的 Python 社区治理方案。 PEP 8016 治理方案采用指导委员会模式，其特点是引导治理的迭代，该方案由 Nathaniel J. Smith 和 Donald Stufft 提出。 PEP 8016 中提出了不信任...阅读全文
固态硬盘近年来也是随着计算机的发展而得到了迅速的发展，目前已经隐隐有要取代机械硬盘的势头。但是关于固态硬盘相关的概念实在是繁琐，很多人选购固态硬盘时，看到商家宣传NVMe，PCIE 却不懂是什么意思，今天我们就来为大家详解这些概念。 首先我们要把 M2 跟 SATA 放一起说，我们常说的 M2 其实是 M.2，更多是指一种尺寸或者插槽，就是上图中右边的尺寸较小的直接插主板上的这种，而 SATA 通常是指上图左边那个尺寸较大的一大块那种。 还要提的是M.2插槽也是有两种的，一种是金手指有两个缺口的Socket 2跟金手指只有一个缺口的Socket 3，这两种可以走不同的通道，我们后面会说到。 接下来要搞懂的是 SATA 跟 PCIE，这两个东西是指串行接口或者就是数据走的通道，相信有人看到这...阅读全文
自动生成证书的有效期为 1 年。这意味着如果您在大约 1 年前创建了 Rancher 配置集群，那么 1 年后需要轮换证书，否则证书过期后集群将进入错误状态。现在，2.2.2 的用户在 UI 上即可完成轮换工作，再也无需过去繁复的操作了。 Rancher 研发团队也将尽快为 Rancher 2.0 和 2.1 用户提供后端端口解决方案，这样 2.0 和 2.1 的用户也可以在现有集群上轮换证书了。 对 Kubernetes v1.14.1 的实验性支持 Rancher v2.2.2 中实现了对 Kubernetes v1.14.1 的实验性支持。这也为我们在后期更新版本中对 Windows 的支持提供了途径。上个月 Kubernetes 的最新版本 v1.14 发布，是第一个对...阅读全文
于 RPM 的 Linux 发行版上安装、更新和删除软件包。引入 Cockpit 服务器远程管理器，这是一个简单、轻量级但功能强大的交互式 GNU/Linux 服务器远程管理器，可通过 Web 浏览器提供实时 Linux 会话。 内核 modinfo 命令已更新，可识别和显示使用 CMS 和 PKCS#7 格式签名的模块签名信息。一组内核模块移动到 kernel-modules-extra 包中，这意味着默认情况下这些模块都不安装，非 root 用户也无法加载这些组件，因为默认情况下它们也被列入黑名单。内存总线限制已扩展到 128 PiB 的虚拟地址空间和 4 PB 的物理内存容量。Linux 内核中的 I/O 内存管理单元（IOMMU）代码也会更新以启用 5 级分页表。kdump 特性可以...阅读全文
推荐的加密和散列证书，而不是使用不安全算法的老化证书。 不过，本周一时，DigiCert 的 Timothy Hollebeek 却反对将证书有效期缩短至 13 个月，他认为，缩短证书寿命确实带来的好处，但意味着要有更好的方法来确保证书是最新的和安全的，同时也存在一些麻烦，企业不得不每年续签一次付费证书，并且增加其成本。 换句话说，减少有效期可能会促使企业免费使用 Let's Encrypt TLS/SSL，就不会向 Digicert 这样的机构支付费用。Let's Encrypt 可以免费发放 90 天的 HTTPS 证书，使用提供的软件客户端来自动更新和部署证书，而由于几乎所有浏览器和操作系统都支持 Let's Encrypt TLS/SSL 证书，导致该服务正给向 HTTPS 证书收费...阅读全文
的 Manjaro 一直在致力于使 Arch Linux 变得对用户友好，随着新公司的创建，这方面的能力应该会有所提升。 Manjaro 的另一项重要举措包含在前阵子发布的 18.1 版本 “Juhraya” 中，该版本中的办公文档可以自行选择。系统中预装了 LibreOffice，但是用户可以在安装过程中选择德国软件开发商 SoftMaker 的免费 Office 套件 FreeOffice 2018，或仍然使用 LibreOffice，甚至可以跳过安装任何 Office 套件。 FreeOffice 套件面向那些重视与 Microsoft Office 无缝兼容的用户，它本身使用当前的 Microsoft 文件格式 DOCX、XLSX 和 PPTX。由于 Manjaro 社区的需求...阅读全文
在Debian及其衍生的系统中，我们需要经常使用的软件包管理命令，对系统进行管理，以便系统达到预期的状态。Debian系统中，常用的软件包命令有 apt、apt-get、dpkg、apt-cache等，这里我们着重列举常见的一些用法。 软件包查询（不需要sudo权限） $ apt-cache search pkg_keyword #列出匹配关键字的软件包 $ apt search pkg_keyword #列出匹配关键字的软件包，包括了版本信息 $ apt list pkgname #查找该软件包，会显示版本信息 $ apt-cache show pkgname #查询软件包详细信息 $ apt show pkgname #查询软件包详细信息 $ apt-cache depends...阅读全文
随着 Raspberry Pi 4 主板的问世，了解如何使用Raspbian Buster设置您的操作系统。你的新Pi 4到了邮箱，你已经设置了办公桌，您已准备好安装操作系统。 对于初学者来说，Raspbian为Pi制造商提供了出色的桌面体验。最重要的是，Raspbian Buster是专为树莓派 4创建的。考虑到这些情况，我们将在 microSD卡上载入这个操作系统，用其启动树莓派。 下载 Raspbian Buster 首先，访问 Raspbian 下载页面，下载最新版 Raspbian Buster 的图像文件。第一个链接 “桌面+推荐软件版” 附带了处理日常需求所需的大部分软件，建议初学者使用。如果你计划在命令行下使用你的Pi，桌面就不需要了，可以选择第三个 Lite 的选项。 下...阅读全文
是 Linux 文件系统的一种新压缩技术，你可以选择待定的文件扩展技术。 4、解决 32 位系统的 2038 年问题 Unix 和 Linux 将时间值以 32 位有符号整数格式存储，其最大值为 2147483647。时间值如果超过这个数值则将由于整数溢出而存储为负数。 这意味着对于 32 位系统，时间值不能超过 1970 年 1 月 1 日后的 2147483647 秒。也就是说，在 UTC 时间 2038 年 1 月 19 日 03:14:07 时，由于整数溢出，时间将显示为 1901 年 12 月 13 日而不是 2038 年 1 月 19 日。 Linux kernel 5.6 解决了这个问题，因此 32 位系统也可以运行到 2038 年以后。 5、改进硬件支持 很显然，在下一个发布...阅读全文
随着 Debian Buster 10.3 的发布，Debian Buster 日趋稳定。如果在生产上使用了 Debian 9 的系统，现在是可以安全的，灰度升级到 Debian Buster 做前期验证了。这里我们整理一下国内较知名的镜像站点，共大家在生产环境中使用。 如何更新系统安装源 一般我们修改 /etc/apt/sources.list 文件，将 Debian 的默认源地址改成新的地址即可，比如将 http://deb.debian.org 改成 https://mirrors.163.com，可使用以下这条命令： sed -i 's#http://deb.debian.org#https://mirrors.163.com#g' /etc/apt/sources.list 注意...阅读全文
IngressClass 扩展 Ingress 并替换不推荐使用的注解 此版本 Ingress 有两个重要的附加功能：一个新的 pathType 字段和一个新的 IngressClass 资源。pathType 字段允许指定如何匹配路径。除了默认的 ImplementationSpecific 类型，还有新的 Exact 和 Prefix 路径类型。 IngressClass 资源用于描述 Kubernetes 集群内的 Ingress 类型。此新资源和字段替换了不推荐使用的 kubernetes.io/ingress.class 注解。 SIG-CLI 引入 kubectl alpha debug 命令 SIG-CLI到底需不需要调试功能，一直是个颇具争议的问题。随着即席容器[1]的发展，这个问题变得愈发尖锐...阅读全文
(container_network_receive_bytes_total{image!=""}[1m])) by (pod_name) 本文由“跟着大数据和AI去旅行”发布于“简书”，转载时有增删和错误修正。...阅读全文
Radeon HD 7000 系列图形卡和其他精选 GCN 1.0 / 1.1 产品的用户可以使用 “amdgpu.cik_support = 1 amdgpu.si_support = 1 radeon.cik_support = 0 radeon.si_support = 0” 启动其内核，以使用 AMDGPU 内核默认情况下，该驱动程序也意味着需要 Vulkan 支持，可能的性能改进以及仅享受更现代的代码库。 4.树莓派 VC4 支持 对树莓派 VC4 的支持已经并入到 mainline 内核中。终于添加了对树莓派 4 的图形显示支持，而且 Mesa 20.3 为树莓派4提供了 V3DV Vulkan 驱动支持。 5. 带有UMIP（用户模式指令防护）的SLDT和STR指令仿真 这个简单的解释是...阅读全文
持，图形驱动中的异步翻页，用于缓解射频干扰的新 "RFIM "驱动，围绕Rocket Lake和Alder Lake的新设备ID，WiFi驱动内的WiFi 6GHz频段支持，以及其他工作。 在 AMD 方面，主要围绕着改进电源管理和传感器处理，CPU 帧率频率不变性支持（虽然与 Schedutil 在一些系统上处于糟糕的状态），AMD 传感器融合枢纽驱动程序终于被合并，以支持Ryzen笔记本电脑上的传感器功能，以及其他各种改进。 Linux 5.11 还为不知名的设备提供了新的硬件支持，从失败的 OUYA 游戏机到 Guitar Hero Live PS3 / Wii U 扩展坞。 改进内容如下： 处理器: - 经历了 40 多轮的代码审查之后终于整合了 Intel SGX enclaves...阅读全文
加密项目，预计8月1日起，商家将无法获得订单收获信息中用户的手机号、姓名、收货地址等信息，这些信息将以加密字符串的形式输出，导出数据也逐步会变成密文。 海豚智库创始人李成东告诉记者，客户信息加密后，商户和快递公司均将无法获取到客户相关信息。这意味着，“双十一”或者“618”前，商户疯狂对客户短信轰炸的局面不会再出现了。 一位TMT领域的专家表示，打击信息泄露、保护用户信息安全是当下互联网平台治理的重点方向。电商平台与其坐等政策干预，还不如主动求变，提前做好准备。...阅读全文
Scrapy 是一个为了爬取网站数据，提取结构性数据而编写的应用框架。 可以应用在包括数据挖掘、信息处理或存储历史数据等一系列的程序中。本文着重介绍 Scrapy 架构及其组件之间的交互。 Scrapy 组件介绍 Scrapy Engine 引擎负责控制数据流在系统中所有组件中流动，并在相应动作发生时触发事件。 详细内容查看下面的数据流(Data Flow)部分。 调度器(Scheduler) 调度器从引擎接受request并将他们入队，以便之后引擎请求他们时提供给引擎。 下载器(Downloader) 下载器负责获取页面数据并提供给引擎，而后提供给spider。 Spiders Spider 是 Scrapy用户编写用于分析response并提取item(即获取到的item)或额外跟进的...阅读全文
派拓网络全球威胁情报团队 Unit 42 在这份报告中指出：“机构平均支付赎金从 2019 年的 115123 美元增加到 2020 年的 312493 美元，同比增长 171%。此外，组织支付的最高赎金从 2019 年到 2020 年翻了一番，从500万美元增加到1000万美元”。报告中还表示，网络犯罪分子已经变得越来越贪婪。从 2015-2019 年间，勒索软件的最高赎金要求是 1500 万美元。不过在 2020 年，当世界还在从冠状病毒大流行的公共健康和金融影响中恢复过来时，最高的勒索软件需求增长到 3000 万美元。值得注意的是，2020 年 Maze 勒索软件的平均赎金为 480 万美元，与 2020 年所有勒索软件的平均赎金 847,344 美元相比，有了显着增长。网络犯罪分子...阅读全文
近日，OSCHINA 和 Gitee 联合发布了《2022 中国开源开发者报告》。其中，云原生社区创始人宋净超在报告中对开源云原生服务网格领域进行了深入解读，以下为主要观点。2022 云原生服务网格五大趋势2022 年，云原生展露了一些趋势。因我更多地关注服务网格领域，在此就该方向谈谈我的观点，欢迎其他专家交流。一是 零信任的云原生安全备受关注。CNCF 在《云原生安全白皮书》中指出，“我们需要在应用安全生命周期中采用更自动化和安全的架构设计（如零信任）”，这表明云原生安全越来越受重视。零信任安全意味着默认情况下，网络内外都不信任任何人，并且要对试图访问网络资源的每一个人进行验证。部署服务网格有助于缩小云原生部署的攻击面，并为构建零信任应用网络提供关键框架。二是 API 网关与服务网格融合...阅读全文
Ubuntu根本就是个祸害开源社区发行版。资本家是“无利不起早”的。“新人用Ubuntu系列是最不明智的选择，因为很难利用到别人的经验。Ubuntu修改了太多东西造就了和其它发行版的不兼容。 “Ubuntu通过大量散发免费光盘圈走很大一部分初级用户，这部分用户自行解决问题能力相对较差，当遇到问题而又因为系统和别人不兼容而无法获得别人帮助时，最终将屈服于Ubuntu而购买Ubuntu的服务。 “这种称作糖衣炮弹的诈骗手段古往今来屡试不爽。实际上微软也这样，只不过微软是通过放纵盗版来圈客户，并且微软的Windows好歹还有很大一部分是它自己编的；Ubuntu则明着圈初学者，并且利用的工具也基本上不是它自己的，而是GNU/Linux。”（按：在以上大字报贴出一年后，Ubuntu果然提供了比买...阅读全文
Apache 软件基金会发布了包含许多新特性和改进的 Kafka 3.3.1。这是第一个标志着可以在生产环境中使用KRaft（Kafka Raft）共识协议的版本。在几年的开发过程中，它先是在 Kafka 2.8 早期访问版本中发布，然后又在 Kafka 3.0 预览版本中发布。KRaft 是一种共识协议，可以直接在 Kafka 中管理元数据。元数据的管理被整合到了Kafka当中，而不需要使用像ZooKeeper这样的第三方工具，这大大简化了 Kafka 的架构。这种新的 KRaft 模式提高了分区的可伸缩性和弹性，同时简化了 Kafka 的部署，现在可以不依赖 ZooKeeper 单独部署 Kafka 了。KRaft 使用了Raft共识算法的一种基于事件的变体，因此得名。随 KRaft...阅读全文
目前非常流行的RDBMS PostgresSQL已经在几周前发布了它的第10个版本。由于Postgres的可靠性、节约成本、成熟，当然还有它的开源，已经21岁的Postgres在开发者之中仍旧非常流行。 Postgres 10带来了一些新特性，其中一些特性另开发者感到十分兴奋。10Clouds在博客中详细介绍了其中的一些特性。通过消除主表（master table）中触发器（trigger）的需求，本地分区（native partitioning）现在变得更简单了。这意味着创建分区表将变得更简单，并且从开发者的角度来看，现在从分区数据表中进行查询和插入与在非分区的数据表进行这些操作是完全一致的。 多列统计（multicolumn statistics）是Postgres 10的另一项改进...阅读全文
的影响，Mozilla在2016年11月初着手在部分beta用户中开展移除SHA-1的beta测试。Firefox默认使用手动安装的认证。 Edge Mircosoft Edge和Internet Explorer 11浏览器将于2017年2月14日停止加载使用SHA-1认证的网站，同时让用户决定是否忽视无效认证的警告并依然继续访问该网站。同样，手动安装的或自签名的SHA-1认证将不会受到影响。 Safari Safari的提供商Apple也开始逐步停止使用SHA-1和3DES这类被认为是不安全的算法。在最新版本的macOS中已经可以看到，对于SHA-1签名认证的网站，Safari浏览器将不再显示那个原有的绿色挂锁标志。在Sierra的发行说明中也建议应尽快停止使用SHA-1，但是并未给出更...阅读全文
据外媒（PCWorld）报道，之前在戴尔担任服务器业务总经理，以直言不讳性格著称的AMD的现任服务器业务主管Forrest Norrod表示：面向企业级市场的Naples(那不勒斯)高性能服务器处理器正式亮相后，将重振芯片大厂AMD在服务器领域的辉煌，该处理器采用最新Zen架构，拥有32个核心。这是AMD回归服务器市场的第一个大动作。 Naples芯片将在今年第二季度正式上市，直接瞄准被英特尔牢牢占据的服务器市场。AMD高级副总裁兼企业、嵌入式和半定制(EESC)事业群总经理Norrod毫不掩饰同英特尔一争高下的战略意图。 如今英特尔占据着超过90%的服务器芯片市场份额。而AMD的目标是逐步地吸引客户。价格因素或将成为AMD的秘密武器。英特尔的芯片因高昂的价格著称，其中最贵的芯片售价...阅读全文
在使用了一段时间后，决定由 CentOS 转移到 Debian 上，以便在低配置的服务器上网站能更加的稳定，Shadowsocks 服务也有之前的 python 版本转移到了 shadowsocks-libev 版本，原因是 libev 的版本是用 C 语言写的，会更加的节省内存，更重要的是该 libev 一直在不断的维护着，更新也很频繁。 搭建环境 本人还是在 Vultr.com 的 VPS 上安装了 Debian 8.0 x86 minimal 系统，在 Debian 8(Jessie) 编译 libev 版本需要开启 debian-backports 来安装 dh-systemd 和 init-system-helpers. 首先要在 debian 的源列表中添加 backports...阅读全文
状态，从而导致不可预知的问题。随着，虚拟化技术以及建立在这之上的云计算基础设施的引入，极大的降低了获取标准化基础设施的成本。同时，容器技术的引入也让我们可以方便的打包构建应用及其运行时的依赖环境，这样我们就可以方便的构建不可变的，可版本化管理的服务（这里包括了标准化实例，运行环境及应用服务）。在构建云原生时，要实现不变基础设施我们实践以下几点：使用云端虚拟化基础设施作为构建基础通过容器技术来打包及整体构建服务运行环境实现容器镜像的自动化构建及版本化管理通过持续部署系统，进行自动化部署...阅读全文
机会，并了解两件主要的事。 首先，Go 泛型是否有意义，能给用户带去怎样的惊喜，错误提示消息是否有价值；其次，很多人曾说过需要 Go 泛型，但他们不一定确切知道这意味着什么，那么泛型的设计草案是否以有用的方式解决了此问题。另外，假如有一个问题让人认为“如果 Go 具有泛型，我就可以解决此问题”，那么使用此工具是否可以解决问题？ 至于具体的推进计划，Go 团队表示要根据从社区收集的反馈而定。如果设计草案受到好评，并且不需要进行重大更改，那么下一步将是正式的语言变更提案。 为了保证符合预期，如果每个人都对设计草案完全满意，并且不需要进行任何进一步的调整，则最早可以在计划于2021年8月发布的 Go 1.17 中添加泛型。不过可能存在无法预料的问题，所以这是一个乐观的时间表，团队也无法做出任何明确...阅读全文
本指南解释了从 Debian 10 升级到 Debian 11 的步骤。 Debian 的大版本发布是很罕见的，因为它往往需要社区的多年努力。这就是为什么 Debian 是真正的通用操作系统，并且在稳定性方面坚如磐石。 代号 Bullseye 的 Debian 11 即将正式发布。2021 年 7 月 15 日，Debian 11 进入完全冻结状态，这意味着发行在即。虽然官方发布日期还没有最终确定，但你现在就可以从 Debian 10 安装或升级到 Debian 11。 以下是方法。 前提条件 升级的过程非常简单明了。然而，采取某些预防措施是一个好的做法。特别是如果你正在升级一台服务器。 对你的系统进行备份，包括所有重要的数据和文件。 尝试禁用/删除你可能在一段时间内添加的任何外部仓库...阅读全文
.deb 包并双击安装。 下载 MultiBootUSB 步骤 2 推荐的文件系统是 FAT32，因此在创建多引导 U 盘之前，请确保格式化 U 盘。 步骤 3 下载要安装的 Linux 发行版的 ISO 镜像。 步骤 4 完成这些后，启动 MultiBootUSB。 MultiBootUSB 主屏幕要求你选择 U 盘和你打算放到 U 盘上的 Linux 发行版镜像文件。 MultiBootUSB 支持 Ubuntu、Fedora 和 Debian 发行版的持久化，这意味着对 Linux 发行版的现场版本所做的更改将保存到 USB 上。 你可以通过拖动 MultiBootUSB 选项卡下的滑块来选择持久化（Persistence）大小。持久化为你提供了在运行时将更改保存到 U 盘的选项。 步骤 5...阅读全文
访问：天猫6·18 “开门红”超级红包活动主会场 | 手机版京东6·18“京享红包”25日12点开始领取 最大面额高达18618元 （图 via Orozco 2018）据悉，工程团队中有三位核心成员，且他们对 QUIC 的承诺深信不疑。其中包括 IETF QUIC 工作组只需 Mark Nottingham，协议主要贡献者兼 quicly 创作者 Kazuho Oku，以及核心文档集编辑、杰出工程师 Jana Iyengar 。最新消息是，互联网工程任务组（IETF）已经发布了 RFC 9000，且得到了 RFC 9001 / 9002 / 8999 支持，意味着 QUIC 已从草稿阶段转向了 1.0 正式版。与此同时，基于 QUIC 的 HTTP/3 也有望紧随其后很快发表。对于...阅读全文
。Pi Zero W 简化了所有一切，增加的售价大体上符合添加 WiFi（或蓝牙）的成本。Pi Zero W 的另一个优点是使用了瑞典公司 Proant 授权的印刷电路板（PCB）谐振空腔天线，相比传统的 USB 加密锁能提供更好的性能。 Pi Zero 的最初型号自 2015 年 11 月发布以来，就一直受着供货问题的困扰。在封面上免费赠送 Pi Zero 的《The MagPi》纸质版杂志立刻在英国一售而空。看上去 Pi Zero 一直是供不应求的状态。因此当有库存后，开始限制每个用户只能下一个订单。这导致了一个不好的情况，就是对原本十分便宜的计算机额外地增加了一大笔快递费用。截止本文撰写时，Pi Zero W 在英国供应商处尚有库存，依然限制每个客户只能提交一个订单。据报道，Pi Zero...阅读全文
。 仪表板的发布在进行中，工程团队将Bugsnag的后端功能分解成称之为管道（pipeline）的微服务体系。将管道扩展到支持发布，意味着增加新的服务，并修改现有服务，也可预见到许多新的服务器和客户端的交互。为了处理上述架构的变化，需要采用一致性的方式来设计，实施和集成企业的服务。Bugsnag是一家多语言的公司，服务是用Java，Ruby，Go和Node.js等多语言编写，因此企业需要一种与平台无关的方法。 本文将介绍为什么我们最终选择了gRPC作为Pipeline的默认通信框架。 达到REST API设计的极限 现有系统传统上使用具有JSON有效载荷的REST API进行同步通信。这种选择是基于占压倒性比例的成熟度、熟悉度和工具的可用性做出的，但是随着跨洲际工程团队的增长，企业需要设计一致的...阅读全文
作为社区 RoadMap 的重要组成部分，是大数据实时化必然的趋势。但是另一方面，传统离线的计算需求其实并不会被实时任务完全取代，而是会长期存在。 在实时和离线的需求同时存在的状态下，以往的流批独立技术方案存在着一些痛点，比如： 需要维护两套系统，相应的就需要两组开发人员，人力的投入成本很高； 另外，两套数据链路处理相似内容带来维护的风险性和冗余； 最重要的一点是，如果流批使用的不是同一套数据处理系统，引擎本身差异可能会存在数据口径不一致的问题，从而导致业务数据存在一定的误差。这种误差对于大数据分析会有比较大的影响。 在这样的背景下，Flink 社区认定了实时离线一体化的技术路线是比较重要的技术趋势和方向。 Flink 在过去的几个版本中，在流批一体方面做了很多的工作。可以认为 Flink...阅读全文
然避免不了，为了更加从容的应对这些故障，就搞了一个工具 Chaos Monkey 会随机停止生产环境中的虚拟机，通过观察系统在真实故障中的表现来确保程序的健壮性，也通过实战来验证各种高可用技术是否靠谱。接着冒出了 Chaos Gorilla，会停止一整个可用域中的所有机器；最后还有Chaos Kong，直接停掉一整个 Region，非常有挑战精神（丧心病狂）。 为了更好的观察系统在故障时的情况，还研发了全局可视化系统，代号 Flux，可以将整个系统的逻辑架构和各服务之间的流量可视化在大屏幕上，效果图如下： 他们每个月有一个活动：将一个 Region 里的机器全部关掉，看 Netflix 服务是否正常。有兴趣看视频的可以移步这里。 另外，Netflix 除了云服务，还有自建CDN，即 Open...阅读全文
channel通道golang的并发模型是序列通信处理CSP（communicating sequential process）——使用通信来共享内存 ，避免goroutine因竞争共享内存频繁加锁产生的性能问题。基本数据结构golang中提供了一个特殊的类型channel实现goroutine之间的通信。channel类似于队列，先进先出。channel数据结构源码在src/runtime/chan.go下。chan 使用 hchan 表示，它的传参与赋值始终都是指针形式，每个 hchan 对象代表着一个 chan。hchan 中包含一个缓冲区 buf，它表示已经发送但是还未被接收的数据缓存。buf 的大小由创建 chan 时的参数来决定。qcount 表示当前缓冲区中有效数据的总量...阅读全文
。 RetentionPolicy还包含了其他两个值： RetentionPolicy.CLASS:意味着该注释需要被保存在.class文件中，但是在运行时是不可用的。这是retention默认的值。 RetentionPolicy.SOURCE:意味着该注释只在源代码中可用，而不是在.class文件，也不是在运行时。 @Target 你可以指定那些Java元素(类、方法等)可以使用你自定义的注释。可以在定义你的Annotaion添加@Target来实现。如下： import java.lang.annotation.ElementType; import java.lang.annotation.Target; @Target({ElementType.METHOD}) public @interface...阅读全文
针对性地使用Btrfs的一些特性来提高我们手头工作的性能。我们比较关注在系统任务管理、快照之类的事情上。 Linux.com：我们都知道Facebook是Linux的重度用户。在Facebook庞大的基础设施里，哪些地方用到了Linux？ Chris Mason：简单地说，Facebook所有的基础设施都使用了Linux。围绕分布式操作系统我们利用了Btrfs的很多特性，比如分布式任务管理、利用快照功能快速更新以及哈希校验功能，等等。 我们在相当数量的机器上运行着Gluster——既支持XFS也支持Btrfs，我们的目标就是做好存储这件事。在Gluster上喜欢用Btrfs的其中一个原因是，数据循环冗余校验（cyclic redundancy checks）和元数据循环冗余校验使我们能够检测...阅读全文
起初GNU/Linux系统中只有.tar.gz。用户 必须自己编译他们想使用的每一个程序。在Debian出现后，人们认为有必要在系统 中添加一种机 制用来管理 安装在计算机上的软件包。人们将这套系统称为 dpkg。至此着名的package首次在GNU/Linux上出现。不久之後红帽子也开始着手建立自己的包管理系统 rpm。 GNU/Linux的创造者们很快又陷入了新的窘境。他们希望通过一种快捷、实用而且高效的方式来安装软件包。这些软件包可以自动处理相互之间 的依赖关系，并且在升级过程中维护他们的配置文件 。Debian又一次充当了开路先锋的角色。它首创了APT（Advanced Packaging Tool）。这一工具后来被Conectiva 移植到红帽子系统中用于对RPM包的管理。在其他...阅读全文
。 现在，核心互联网协议的重要改变已经开始了。虽然它们意图与互联网大部分兼容（因为，如果不兼容的话，它们不会被采纳），但是它们可能会破坏那些在协议中没有规定的地方，或者根本就假设那些地方不存在变化。 为什么我们需要去改变互联网 有大量的因素推动这些变化。 首先，核心互联网协议的局限性越来越明显，尤其是考虑到性能的时候。由于在应用和传输协议方面的结构性问题，网络没有得到高效使用，导致终端用户认为性能不能满足要求（特别是，网络延迟）。 这就意味着人们有强烈的动机来演进或者替换这些协议，因为有 大量的经验表明，即便是很小的性能改善也会产生影响。 其次，演进互联网协议的能力 —— 无论在任何层面上 —— 会随着时间的推移变得更加困难，这主要是因为上面所讨论的对网络的非预期使用。例如，尝试去压缩响应的...阅读全文
索容易许多。 创建大文档集合 MongoDB 乐于把最大 16MB 的文档置于集合中，而 GridFS 设计用于超过 16MB 的大文档。但是，可以容纳大文档并不意味着那是一个好主意。MongoDB 在单个文档的大小为几 KB 时表现最好，处理它们的方式更像宽 SQL 表的行。大文档会导致 多种性能问题 。 使用大数组创建文档 文档可以包含数组。最好是把数组元素的数量保持在四位数以下。如果数组频繁添加，会使得包含它的文档过大，那样， 它在磁盘上的位置就需要移动 ，反过来，这意味着 每个索引都必须更新 。当一个包含大数组的文档重新索引时，由于 每个数组元素都有一个单独的索引条目 ，所以会发生大量的索引重写。此外，这种重新索引在这类文档插入或删除时也会发生。 为了最小化这个问题，MongoDB...阅读全文
始化容器不会被开始执行。因此，如果启动任务很长，则可以考虑将其分为多个步骤，每个步骤都由一个初始化容器处理，以便您知道哪些步骤失败。 如果任何初始化容器失败，则将重新启动整个Pod（除非您将restartPolicy设置为Never）。重新启动Pod意味着再次重新执行所有容器，包括任何初始化容器。因此，您可能需要确保启动逻辑允许多次执行而不会导致重复。例如，如果数据库迁移已经完成，则应仅忽略再次执行迁移命令。 初始化容器是延迟应用程序初始化直到一个或多个依赖项可用的很好的选择。例如，如果您的应用程序依赖于施加API请求速率限制的API，则您可能需要等待一段时间才能接收来自该API的响应。在应用程序容器中实现此逻辑可能很复杂；因为它需要与健康和就绪状态探测器结合使用。一种更简单的方法是创建一个...阅读全文
对于云主机与云主机之间，只有轻微差异（小包场景下，pps 会有 3~5% 损耗），而且Pod网络性能各项指标(吞吐量，包量，延迟等)不会随着节点规模增大而削减。而Flannel UDP，VXLan模式和Calico IPIP的模式存在明显的性能消耗。Pod能直通公有云和物理云。对于使用公有云和物理云的用户而言，业务上K8S少了一层障碍，多了一份便利。而Flannel的host gw模式下，容器无法访问公有云和物理云主机。 而CNI的工作流程如下所示。 创建Pod网络过程： 删除Pod网络过程： Pod IP 消失问题的排查与解决 为了测试CNI插件的稳定性，测试同学在UK8S上部署了一个CronJob，每分钟运行一个Job任务，一天要运行1440个任务。该CronJob定义如下...阅读全文
送下一条消息。这种情况下，如果follower没有成功备份数据，而此时leader又挂掉，则消息会丢失。 （3）acks=-1或all： 这意味着leader需要等待所有备份(min.insync.replicas配置的备份个数)都成功写入日志，这种策略会保证只要有一个备份存活就不会丢失数据。这是最强的数据保证。一般除非是金融级别，或跟钱打交道的场景才会使用这种配置。当然如果min.insync.replicas配置的是1则也可能丢消息，跟acks=1情况类似。 消息消费端： 如果消费这边配置的是自动提交，万一消费的数据还没处理完，就自动提交offset了，但是此时你consumer直接宕机了，未处理完的数据丢失了，下次也消费不到了。所以消费端也要设置为手动提交； 2.1.2 消息重复消费...阅读全文
