Facebook 工程师 Nick Terrell 近日向 Linux 内核提交了使用 Zstd 压缩 Linux 内核镜像的补丁，这些补丁显示了使用 Zstd 对内核、ramdisk 和 initramfs 进行压缩操作具备巨大潜力。 Nick 发现，在 x86_64 硬件上，当初始 RAM 文件系统将压缩算法从 XZ 切换到 Zstd 时，解压时间从 12 秒下降到只需 3 秒，此次切换整体上还给系统的引导时间带来了两秒的改进。同样看到较大改进的场景包括从 LZMA 切换到 Zstd，Nick 在切换至 Zstd 的 Facebook 服务器上发现解压时间从 12 秒下降到了 8 秒。 相关基准测试结果可查看 https://lkml.org/lkml/2020/7/1/722 至于压...阅读全文
由 Red Hat 工程师牵头的团队，正在为 Linux/开源社区研究名为 NVFS 的文件系统。NVFS 的目标是成为像英特尔 Optane DCPMM 那样的高速文件系统。NVFS面向基于DAX的设备（直接访问），并将整个设备映射成一个线性地址空间，从而绕过 Linux 内核的块层（block layer）和缓冲区缓存。 在 NVFS 文件系统之前，开源社区有个用于持久性内存的 NOVA 文件系统，但该项目在去年意外结束了。在没有另一个面向高性能持久性内存设备的 Linux 文件系统的情况下，Red Hat 的 Mikulas Patocka 一直在领导 NVFS 的工作。 尽管 NVFS 是面向基于 DAX 的设备，但它采用了与 EXT4 类似的设计方法，并与 Linux 的 VFS...阅读全文
适用于 Debian 11 “Bullseye”的壁纸评选工作已经于11月9日结束，在通过投票统计之后 Debian 团队宣布“Homeworld”这款壁纸胜出，将会作为 Debian 11 的默认壁纸和全球用户见面。 Debian 11 登录界面 Debian 11 安装界面 在关于该壁纸的说明中写道：“Homeworld 是一款受包豪斯运动启发的一款主题。包豪斯运动是 19 世纪诞生于德国的一种艺术风格，特征是独特的结构和设计方法。由于结构和设计是软件建设的核心，我希望在这种艺术风格和 Debian 之间建立某种联系”。 在用户安装和使用 Debian 11 中，用户会在多个地方看到“Homeworld”主题。首先是在 Debian 的安装程序中，在横幅上会显示 Homeworld 的...阅读全文
电子测量企业 Keysight Technologies 近日推出了业界第一个完整的 DDR5 DRAM 测试与验证系统“N6475A DDR5 Tx”，为新一代内存的研发打开了方便之门。 这套系统包括 Keysight N6475A DDR5 Tx 兼容测试软件、M8040A 64 Gbaud 高性能比特误码率测试仪 (BERT) 和 Infiniium UXR 系列实时示波器两种硬件，可对 DDR5 内存进行抖动、电子、时序、波形、眼图方面的测试，包括 DDR5 芯片、数据缓冲、寄存器芯片的发射器物理层。 程序会自动将测试结果与 DDR5 标准规范的兼容标准进行对比，展示产品是否通过每一项测试。 在此之前，DDR5 产品的开发者们必须自己设计软件，或者手动执行所有测试、分析，现在有了...阅读全文
Linux 5.10作为最新的长期支持版本在宣布时只打算维护到2022年底，但在足够多的公司加紧帮助测试之后，Linux 5.10 LTS现在已经确认可以被维护到2026年底。Linux 5.10 LTS原本只是要维护到明年年底，但是之前的内核如Linux 5.4 LTS被维护到2024年，甚至Linux 4.19 LTS和4.14 LTS也会进入2024年，这就让人觉得比较奇怪。 Linux 5.10 LTS的生命周期很短是因为帮助测试与发布候选程序和/或承诺使用这个内核LTS系列的资源的开发者/组织的数量有限。但是现在有足够的参与者致力于此，这就使得Greg Kroah-Hartman有信心确认他和Sasha Levin将维护内核到2026年12月。 此次改动之后，将使Linux...阅读全文
WireGuard.com 安装页面以获取设置详细信息。 WireGuard 是一个 VPN 内核实现，代码行数少，优先考虑性能，配置简单，试图在做到配置简单的同时提供高性能。WireGuard 基于 UDP，数据包在一端加密之后封装在 UDP 包内发送到远程端点，然后解密。...阅读全文
Interface (SAI) 来编写程序控制交换机的动作，开发者无需关心底层的硬件细节。而底层的硬件必须实现 SAI ，微软已经将 SAI 贡献给 OCP 组织。 这里有一篇博客详细的描述了 SONiC 系统。SONiC 系统基于 Debian Linux 构建，可通过微软的 Azure GitHub repo 获取到，该系统使用包括 GPL 和 Apache 在内的许可证。 via theregister...阅读全文
里. OpenSSL 现在支持 DTLS（通过 UDP 的 TLS）和 ALPN。 NVM-Express 内核驱动程序现在支持 NVMe Over Fabric。 各种安装包的加密功能有所增强。 I.e. sendmail now supports ECDHE, OpenSSH now using SHA2 for public key signatures, ... among others. All changes are too numerous to mention here, so please take a look at the upstream release notes. 各安装包已重新设计。Some of those are openLDAP, samba...阅读全文
query using _interval_ms variable throws error #14507 而 Grafana 在 6.0 版本的主要新特性有： Explore – 一个新的查询，专注于数据探索和故障排除的工作流程。Grafana Loki – 与 Grafana Labs 的新开源日志聚合系统集成。Gauge Panel – 一个新的独立仪表板。New Panel Editor UX 改进面板编辑，在不同可视化间的切换变得容易。Google Stackdriver Datasource 已经退出测试，并正式发布。Azure Monitor 插件从外部插件移植到核心数据源。React Plugin 支持（React Plugin support）为构建插件提供了更简单的方式...阅读全文
Git 2.26 现已发布，项目贡献者 Taylor Blau 介绍了此版本带来的一些特性上的亮点，包括将传输协议 V2（第二版） 作为默认协议 、一些新的配置技巧以及更新到 git sparse-checkout。 该版本具体更新内容如下： Changes 传输协议V2（第二版）已成为默认协议。继续准备最终对象名称将使用 SHA-256 哈希的工作。继续致力于改进不同子命令的 Bash / CLI 自动完成功能。改进的 fsmonitor-watchman hook 可避免以前版本中的 race 情况。对于 CLI 着色，七种颜色现在具有更亮的颜色选项。解除了 Git 先前使用线程 grep 的限制。Git rebase 现在默认使用合并后端。较低的内存占用量和更好的性能 git...阅读全文
DDR4 内存目前还是绝对主流，不断被深入挖潜，频率已经突破 5GHz，不过下一代 DDR5 也已经蠢蠢欲动了。Cadence 公司今天就宣布了 DDR5 的全新进展，无论工艺还是频率都相当领先。 目前，JEDEC 标准组织正在研究 DDR5 内存规范，已经有了初步版本，Cadence 此番拿出的就是面向新规范的第一个 DDR5 IP物理层接口芯片。 该测试芯片采用台积电7nm工艺制造，数据率可达4400MT/s，也就是频率高达4400MHz，相比目前商用最快的DDR4-3200快了多达37.5％。 为了支持Cadence DDR5 PHY物理层的验证和协作，美光也向其提供了DDR5内存初步版本的工程原型。 在此之前，Rambus也曾经提到过7nm工艺下的DDR5 IP，并预计DDR5内存...阅读全文
2500 万美元，打败了 12 家竞争公司从 ICANN 手中拍得了顶级域名 .app，一举创下域名的最高交易记录。.app 是诸多站长非常渴望拥有的域名后缀，因为它可以和应用程序相连接。...阅读全文
SwitchHosts 是一个用于快速切换本地 hosts 文件的小程序，便于开发人员快速修改测试域名的解析记录。SwitchHosts 基于 Electron 开发，同时使用了 React、Ant Design 以及 CodeMirror 等框架/库，项目主页为 https://oldj.github.io/SwitchHosts/。 SwitchHosts 主界面 SwitchHosts 功能特性 快速切换本地 hosts 文件hosts 文件语法高亮在线 hosts 方案系统托盘图标快速切换macOS: 支持 Alfred workflow 快速切换 下载安装 switchhosts 你可以直接下载源码到本地运行或编辑，或者在下面下载可执行版本： SwitchHosts! 下载地址1...阅读全文
Let’s Encrypt是一家得到Mozilla Firefox和Google Chrome支持的自动化证书颁发机构。今天该机构宣布了一项新措施，从而进一步保护用户免受网络攻击的侵害。这项新功能称之为多角度域验证（multi-perspective domain validation），可帮助证书颁发机构（CA）证明申请人对他们想要获得证书的域具有掌控权。 单角度域验证方式 多角度域验证方式 域验证并不是什么新问题，但在验证过程中还存在很多的漏洞，这意味着网络攻击者可以诱使CA机构错误的颁发证书。通过多角度域认证，网络攻击者需要同时破坏三个不同的网络路径，这不仅大大提高了安全系数，而且在互联网拓扑社区中也能更快发现网络攻击行为。 在新闻稿中，Let’s Encrypt特别感谢了普林斯顿大...阅读全文
定要配置重试要根据业务情况而定。也可以用同步发送的模式去发消息，当然acks不能设置为0，这样也能保证消息发送的有序。 kafka保证全链路消息顺序消费，需要从发送端开始，将所有有序消息发送到同一个分区，然后用一个消费者去消费，但是这种性能比较低，可以在消费者端接收到消息后将需要保证顺序消费的几条消费发到内存队列(可以搞多个)，一个内存队列开启一个线程顺序处理消息。 如果为了性能好，不允许所有消息只在同一个分区，同时又要保证顺序消费，那么可以给每条消息加一个下标，当消费者拿到消息后先不急着消费，而是先判断下标，然后根据下标以此进行消费； 2.1.4 消息积压 1）线上有时因为发送方发送消息速度过快，或者消费方处理消息过慢，可能会导致broker积压大量未消费消息。 此种情况如果积压了上百万未...阅读全文
体系下，客户需要将软件做容器化打包和微服务改造，这个是有成本的。K8S 的特点决定它是运维和研发之间的桥梁，这样就要求公司的研发过程需要跟着改造。我们看到很多公司的运维人员有动力去推动，而研发人员则没有动力，因为它改变了研发的习惯和流程，增加了负担；当然也有的公司是研发希望用 K8S 管理应用，而需要运维跟着变。这样导致迁移到 K8S 的工作较重，但一旦这个阶段过去了，迁移后的效率和成本优势就体现出来了。 因此，这是个新技术落地的问题，涉及到用户教育和习惯的改变，这个需要社区和商业公司一起完成。而且每家公司的技术路线和文化不一样，上 K8S 的路径也不一样，所以没有一个放之四海皆准的最佳实践，但随着容器和微服务逐渐落地，K8S 作为事实标准，会逐步普及。 除了改造业务的成本，另外一方面是...阅读全文
些AI应用还可令科学家如虎添翼。在他眼中，AI是一个可以孵化出无数工具，推动各行各业前进的基础平台。 随着AI行业的不断进步，AI应用不再只是充斥着行业热词的纸上项目，已经发展为成熟的工具，助力多个行业的生产服务，也必将催生出无数新企业。 各种AI工具已显现出巨大的日常应用潜力，可以实现人类的各种想法，改善人类的工作方式，比如由Stability.ai发布的开源Stable Diffusion模型，Microsoft和OpenAI联合打造的AI编程工具Copilot，OpenAI开发的语言生成模型GPT-3和图像生成平台DALL-E以及爆火的聊天机器人模型ChatGPT。 Sam Altman还表示，5年后，我们应该不会再使用Transformer模型了。虽然Transformer很好，但他...阅读全文
较于PHP、Python、Java来说，JavaScript是最有可能在物联网大行其道的解释性语言。 JavaScript在浏览器没有对手，nodejs在服务器端也在不停的攻城拔寨，积累了大量的资源，构建了一个完整的应用开发生态环境。 JavaScript语言本身特点适合互联网，事件驱动，异步使单线程处理网络事件得心应手。 JavaScript已经跨界到物联网，受到了行业巨头的关注，各种项目发展的如火如荼。 未来的物联网开发 如果JavaScript在物联网获得成功，那么物联网的开发将会发生巨大的变化。 底层驱动由C实现，应用开发者不需要关注硬件，大量的互联网、移动互联网应用开发者加入物联网开发。 传统的交叉编译、烧写、调试的开发方式使用范围将急剧缩小 所见即所得，上位机和下位机的架构由C...阅读全文
图片来自于 Youtube 关于近期关于放弃 Unity 的决定，Google+用户 Maartin Kozub 在文章中写道： 这个决定并不能简单的用惋惜和悲伤而形容，因为 Canonical 所从事开始的多个项目也宣告了死亡。 我认为当前最大的问题是大部分开源开发者无法深入理解，也不会进而欣赏面向对象的编程语言（C++）。他们依然还习惯使用 C 语言来编程一些丑陋的代码，也许有些时候利用个性化定制功能能够让 C 更加接近于 C++，但无疑会增加门槛和降低可读性。所以，为何不直接使用 C++？最典型的例子就是 Wayland。 在另一方面，Canonical 是目前极少数创建优秀和简洁开源 C++代码的公司/社区，就像 Mir 一样能够充分利用各种现代化 C++功能。 Mark...阅读全文
性就是序列 ID，它允许基于操作的分片恢复。 以前，如果由于网络问题或节点重启而从集群断开连接的节点，则节点上的每个分区都必须通过将分段文件与主分片进行比较并复制任何不同的分段来重新同步。 这可能是一个漫长而昂贵的过程，甚至使节点的滚动重新启动非常缓慢。 使用序列 ID，每个分片将只能重放该分片中缺少的操作，使恢复过程更加高效。 使用排序索引更快查询 通过索引排序，只要收集到足够的命中，搜索就可以终止。它对通常用作过滤器的低基数字段（例如 age, gender, is_published）进行排序时可以更高效的搜索，因为所有潜在的匹配文档都被分组在一起。 稀疏区域改进 以前，每个列中的每个字段都预留了一个存储空间。如果只有少数文档出现很多字段，则可能会导致磁盘空间的巨大浪费。现在，你付出你...阅读全文
。Warner强调说，安全性必须是代码不可分割的一部分，不能简单地在生产过程中才添加至系统。Warner看到了由于对机器学习的关注，对目前的安全领域产生了巨大影响，这种趋势最终会导致构建的系统会受一个自动的保护机制所保护。 云服务基础设施方面将会有工具和服务的增长，这些工具和服务将减少开发人员对基础设施的关注，开发人员能够更自由地专注于构建他们的产品和项目。这一过程将会与Warner所谓的“工作流战争（workflow war）”相关联： 随着大型科技公司开始收购那些专注于提升开发人员体验、解决基础设施问题以及构建更好的工作流工具的小型企业，企业的并购活动将会升温。 开源软件将在2018年继续发展，并将成为许多开发封闭源代码系统公司的重要竞争对手。据Warner所说，这一趋势在过去的10年中一直都很强劲...阅读全文
在本教程中，我们将使用 Gogs 在 Debian 9 上按步骤指导您安装和配置您的私有 Git 服务器。这篇教程中涵盖了如何在 Debian Stretch 上安装 Go 语言、PostgreSQL 和安装并且配置 Nginx 网页服务器作为 Go 应用的反向代理的细节内容。 步骤 4 - 使用 Gogs 安装 Git 服务 使用 git 用户登录并且使用 go 命令从 GitHub 下载 Gogs， su - git go get -u github.com/gogits/gogs 此命令将在 $GOPATH/src 目录下载 Gogs 的所有源代码。 切换至 $GOPATH/src/github.com/gogits/gogs 目录，并且使用下列命令搭建 Gogs。 cd...阅读全文
而蓬勃发展的组织，拥有由志愿者组成的无数自组织团队。虽然它通常看起来很混乱，但该项目由两个主要的组织文件维持：Debian 社会契约(Debian Social Contract)，用以提供改善社会的愿景，以及 Debian 自由软件指南(Debian Free Software Guidelines)，它用于指示哪些软件是可以被使用的。项目章程和行为准则充当了重要的补充，章程(Constitution)规定了项目结构，行为准则(Code of Conduct)为项目内的互动奠定了基调。 在这个特别的时刻，我们应该感谢 Debian 项目及其背后的所有人。如果你是 Linux 和开源的粉丝，今天也应该花一点时间来感谢 Debian，即便你不使用这款操作系统 —— 或基于它的发行版，因为...阅读全文
片的反应“令人愉快”，Norrod说。 这一代Naples仅面向单插槽以及双插槽市场。双插槽系统最多支持八个内存通道，适合数据库等对宽带有更高要求的内存应用程序。 Naples比同级别的英特尔芯片提供更多I/O和内存容量。这一特性将为机器学习带来方便，特别是在芯片与GPU等协处理器协同运行时。AMD希望将Zen芯片与即将推出的Vega GPU配对，打造专为机器学习而生的芯片组合。 芯片中连接两个插槽的高带宽架构独一无二，这使得它成为双插槽服务器的理想选择。 AMD已授权中国天津海光先进技术投资有限公司（简称THATIC)生产Zen芯片。 Naples芯片将同英特尔Skylake服务器芯片进行直接对决，目前谷歌云服务使用的便是Skylake。高性能应用是AMD的弱项，而英特尔一直在高性能计算领...阅读全文
的战略文件战略方法关键考虑因素其他组成确定投资回报率投资目标 这里关键的第一步是创建和将你的开源策略形成文字，该策略将“帮助你最大限度地提高组织从开源中获得的利益。”同时，你详细的策略可以帮助你避免因错误而导致的困难，例如：选择错误的许可证或不正确地维护代码。根据指南，该文件还可以： 让领导者感到兴奋并参与帮助在公司内获得支持促进分散的多部门组织的决策帮助建立一个健康的社区解释贵公司的开源方式和对其使用的支持明确贵公司在社区驱动的外部研发中投资的地方，以及贵公司将重点放在增值差异化的地方 Salesforce 的软件架构师兼本指南的撰稿人 Ian Varley 说：“在 Salesforce 内，我们有内部文件，我们将这些围绕开源战略指导和鼓励的文件分发给我们的工程团队。其中鼓励创建和使用开...阅读全文
launchctl load -w /Library/LaunchDaemons/com.tenablesecurity.nessusd.plist 停止服务：sudo launchctl unload -w /Library/LaunchDaemons/com.tenablesecurity.nessusd.plist （2）使用浏览器访问：https://:8834，注意忽略证书警告 （3）选择 “Managed Scanner” （4）选择 Tenable.sc （5）创建管理员帐号和密码 （6）编译插件（新安装编译过程很快） （7）自动登录，安装成功 此时只有 “Setting”（没有 “Scans”）且显示未注册。 四、 安装插件和创建配置文件 此时下面两个配置文件都是空白的 /Library...阅读全文
Server 的管理员访问权限。 此问题会影响以下版本的 Rancher：v2.0.0-v2.0.13，v2.1.0-v2.1.8 和 v2.2.0-2.2.1。 现在，Rancher v2.2.2 中提供了 CVE-2019-11202 的修复程序。Rancher v2.2.2 中，Rancher 在重新启动时将不会再重新创建一个管理员帐户。针对版本 v2.1.x 和 v2.0.x 的修复程序将在不久后发布。不过不用担心的是，对于所有的 Rancher 版本，只要通过禁用默认管理员帐户而不是完全删除它，就可以不受此漏洞影响。 通过 UI 轮换集群证书 在 Rancher 2.2.2 中，用户通过 UI 操作即可完成集群证书轮换了！在 Rancher 2.0 和 2.1 中，Rancher 配置集群的...阅读全文
} -n {namespace} -o yaml | kubectl replace --force -f - 在这个命令中，由于没有 yaml 文件，且启动的是 Pod 对象，我们先 get 当前运行的 pod 的 yaml 声明定义，通过管道重定向输出到 kubectl replace 命令的标准输入，来达到上一条命令同样的效果。 总结，我们可以通过多种方式来重启对象，最通用的方式是使用 replace 命令，强制替换 Pod 的这个： kubectl get pod {podname} -n {namespace} -o yaml | kubectl replace --force -f - 这种方式，也适用于多种其他对象。值得一提的是，重启 Pod 并不会修复运行程序的 bug，想要解决程...阅读全文
统的消失 许多用户都在哀叹他们最喜爱的发行版和软件项目中不再支持32位操作系统。越来越少的产品继续支持32位平台，这将会带来市场份额的降低和用户的流失。幸运的是，我们谈论的是开源，所以只要有人还在关心32位平台，你至少会有几个32位系统可选择。 5.不支持X-forwarding 很多长期用户经常使用X-forwarding，并将其看作一个关键功能。但随着Linux有越来越多的人使用，其对于X-forwarding的测试和支持有所减少，尤其是新应用程序。随着网络的透明度不断发展，情况可能会在好转之前变得更糟。 与去年相比有哪些变化 ·视频（特别是加速器加速；最新的视频卡；专用驱动程序；高效的电源管理） ·蓝牙支持，特定的wifi芯片和打印机，电源管理以及暂停/恢复，对许多用户来说仍然是麻烦的...阅读全文
文可见：DNSCrypt简明教程 - Jiajun的编程随想我们输入 jiajunhuang.com 之后，浏览器是需要将 jiajunhuang.com 翻译成IP，然后才能建立TCP连接的。而将域名翻译成IP地址， 就是DNS服务器的事情，但是有一个小问题，DNS是明文的。也就是说，尽管你使用了HTTPS，由于在建立TLS连接之前，你得先查询域名所对应的IP，因此，还是可以通过监控你的DNS来推测你准备 访问什么流量，更坏一点的情况，可以给你伪造一个响应，返回错误的地址，这种情况就叫做“DNS污染”。所以我们需要使用DNSCrypt来加密我们的DNS通信：$ sudo pacman -S dnscrypt-proxy然后编辑 /etc/dnscrypt-proxy/dnscrypt...阅读全文
Software Guidelines)，它用于指示哪些软件是可以被使用的。项目章程和行为准则充当了重要的补充，章程(Constitution)规定了项目结构，行为准则(Code of Conduct)为项目内的互动奠定了基调。 在这个特别的时刻，我们应该感谢 Debian 项目及其背后的所有人。如果你是 Linux 和开源的粉丝，今天也应该花一点时间来感谢 Debian，即便你不使用这款操作系统 —— 或基于它的发行版，因为 Debian 无疑对 Linux 和开源做出了积极的贡献。Debian 对 GNU 和 UNIX 精神的坚持，也获得开源社区、自由软件和开源软件信奉者的支持。...阅读全文
源、本地、免费、加密的在线文档应用成为这些用户的期待。然而，在关注一年多后，Anytype 的官方内测依然在小规模进行，还没有进入 Beta 阶段。Anytype Anytype还有更多的选择吗？在互联网遨游过程中，我发现了 Focalboard——一款免费、开源的类 Notion 应用。Focalboard 看板视图FocalboardFocalboard 的自我定位是“Trello、Notion 和 Asana 的开源、自托管替代品”。产品定位：Focalboard 本质上属于项目管理工具，主要帮助个人和团队对任务进行组织、跟踪和管理。外观和操作方式：Focalboard 提供了类似 Notion 的列表视图、看板视图、Gallery 视图，没有 Notion 的时间轴等视图。编辑方式...阅读全文
生态 微软 CEO Nadella 谈到了微软在过去几年中如何成为 GitHub 上最活跃的组织，提交了超过 200 万次的项目 commits 和 updates ，并表示微软正在全身心地投入开源。 至于 GitHub 将如何发展成为一家微软公司，Nadella 主要关注三大策略：在开发周期的各个阶段为开发者赋能，加速 GitHub 用于企业开发，并利用该平台让更多用户使用微软的开发工具和服务。 2、保持 GitHub 的开放性 GitHub 创始人 Chris Wanstrath 表示，无论使用的是哪种编程语言、平台、操作系统或编码设备，GitHub 都会是面向所有开发者的开放平台。像之前的 LinkedIn 和 Minecraft 一样，Nadella 时期的微软会让被收购的公司保持其...阅读全文
、Hyperloglogs等。 Redis具备LRU淘汰、事务实现、以及不同级别的硬盘持久化等能力，并且支持副本集和通过Redis Sentinel实现的高可用方案，同时还支持通过Redis Cluster实现的数据自动分片能力。 Redis的主要功能都基于单线程模型实现，也就是说Redis使用一个线程来服务所有的客户端请求，同时Redis采用了非阻塞式IO，并精细地优化各种命令的算法时间复杂度，这些信息意味着： Redis是线程安全的（因为只有一个线程），其所有操作都是原子的，不会因并发产生数据异常 Redis的速度非常快（因为使用非阻塞式IO，且大部分命令的算法时间复杂度都是O(1)) 使用高耗时的Redis命令是很危险的，会占用唯一的一个线程的大量处理时间，导致所有的请求都被拖慢。（例如时间复杂度为O(N)的...阅读全文
zookeeper仅使用内存作为存储，所以不能存储太多东西。并发访问zk问题多最好单线程操作zk客户端，不要并发，临界、竞态问题太多。基于以上各种问题，所以提出了脱离zk的方案，转向自助研发强一致性的元数据解决方案，也就是KIP-500。KIP-500议案提出了在Kafka中处理元数据的更好方法。基本思想是"Kafka on Kafka"，将Kafka的元数据存储在Kafka本身中，无需增加额外的外部存储比如ZooKeeper等。去zookeeper之后的kafka新的架构在KIP-500中，Kafka控制器会将其元数据存储在Kafka分区中，而不是存储在ZooKeeper中。但是，由于控制器依赖于该分区，因此分区本身不能依赖控制器来进行领导者选举之类的事情。而是，管理该分区的节点必须实现自我管理的Raft...阅读全文
储系统. HDFS 使用多台计算机存储文件，并且提供统一的访问接口，像是访问一个普通文件系统一样使用分布式文件系统。 HDFS文件系统 2. HDFS架构 HDFS架构 HDFS是一个主/从（Mater/Slave）体系结构，由三部分组成： NameNode 和 DataNode 以及 SecondaryNamenode： NameNode 负责管理整个文件系统的元数据，以及每一个路径（文件）所对应的数据块信息。 DataNode 负责管理用户的文件数据块，每一个数据块都可以在多个 DataNode 上存储多个副本，默认为3个。 Secondary NameNode 用来监控 HDFS 状态的辅助后台程序，每隔一段时间获取 HDFS 元数据的快照。最主要作用是辅助 NameNode 管理元数...阅读全文
Web前端技术由html、css和javascript三大部分构成，是一个庞大而复杂的技术体系，其复杂程度不低于任何一门后端语言。而我们在学习它的时候往往是先从某一个点切入，然后不断地接触和学习新的知识点，因此对于初学者很难理清楚整个体系的脉络结构。本文将对Web前端知识体系进行简单的梳理，对应的每个知识点点到为止，不作详细介绍。目的是帮助大家审查自己的知识结构是否完善，如有遗漏或不正确的地方，希望共勉。 JAVASCRIPT 篇 0、基础语法 Javascript基础语法包括：变量定义、数据类型、循环、选择、内置对象等。 数据类型有string,number,boolean,null,undefined,object等。其中，string,number和boolean是基础类型,null...阅读全文
允许服务以安全且受控的方式从生产环境的一种状态变化到另一种状态。 在Shakespeare服务里，前端的控制平面是Borg API，它配置了相应的job并且在每个集群里运行这些job。 本文将job定义为一系列类似的任务，和Kubernetes的ReplicaSet类似。任务是单个运行着的实例，通常是单个进程，类似于Kubernetes的Pod。某个job在单个集群里运行所有任务。集群是一系列能够运行多个任务和集群的计算节点，通常物理上是放在一起的。 在Shakespeare服务里，每个前端是给定集群里的一个job。 下一节我们重点介绍如何为生产环境引入控制平面来改进变更管理。 我们的挑战 服务设计倾向于关注服务基础架构，解决重要也很基础的问题：用户请求如何响应？你的服务使用哪些服务器和数据...阅读全文
以及QLC闪存？ TLC = Trinary-Level Cell，即3bit/cell（每个Cell单元储存3个数据，有8个状态，具体如上图，有八种不同电压状态）。主要特点：成本低，容量大，但速度慢，寿命短，约500-1000次擦写寿命。但随着技术的成熟，寿命问题已经得到改善（约1500-2000次擦写寿命），并成为目前闪存颗粒中的最主流产品。 QLC=Quad-Level Cell，即4bit/cell（每个Cell单元储存4个数据，有16个状态，具体如上图，有十六种不同电压状态）。相比于TLC来说，成本比更低，容量更大，而可靠、稳定性及寿命则更差些（此前几年预计的理论可擦写100-150次），不过目前东芝宣称，他们的QLC NAND拥有多达1000次左右的P/E编程擦写循环，几乎已经和...阅读全文
的变更可能导致政府对互联网及其用户实行更集中、自上而下的控制，这将对安全和人权产生影响。 华为对此解释称，开发 New IP 只是为了满足快速发展的数字世界的技术要求，并没有将任何一种控制机制做入到设计中。同时，华为还指出，New IP 的研究和创新向全世界的科学家和工程师开放，他们可以参与进来，并为之贡献。 另外，关于安全方面的质疑，华为表示该架构将具有“关闭命令”功能，可以使中心点断开特定信号源的连接。 除了对 New IP 质疑，还存在从根本上否定 New IP 的观点。IETF（The Internet Engineering Task Force，互联网工程任务组）主席 Alissa Cooper 表示，互联网的发展是通过模块化和弱耦合的构建模块实现的，这是互联网的卓越之处。即使是...阅读全文
互联网工程指导委员会(IETF)释出了传输层安全性协议的最新版本 TLS 1.3。TLS 被广泛用于创建安全连接，TLS 1.3 是基于 TLS 1.2，主要区别是移除了较少使用的弱加密算法，移除 MD5 和 SHA-224 哈希支持，请求数字签名，集成 HKDF，移除许多不安全或过时特性的支持，不再支持静态 RSA 密钥交换，握手将默认使用前向安全 Diffie-Hellman，客户端只需要一次往返就能与服务器建立安全和验证的连接，等等。Firefox 和 Chrome 都已经支持 TLS 1.3 的草拟版本。 TLS 1.3是一种新的加密协议，它既能提高各地互联网用户的访问速度，又能增强安全性。我们把使互联网实现安全通信的基础性技术称为传输层安全协议（TLS）。TLS是安全套接层协议...阅读全文
正如体育界不成文的规定一样，这些规则基本上不会出现在官方文档和正式记录上。比如说，在棒球运动中，从比分领先时不要盗垒，到跑垒员跑了第一时也不要放弃四坏球保送。对于圈外人来讲，这些东西很难懂，甚至觉得没什么意义。但是对于那些想成为 MVP 的队员来说，这些都是理所当然的。 软件开发，特别是开源软件开发中，也有一套不成文的规定。和其它的团队运动一样，这些规定很大程度上决定了开源社区如何看待一名开发者，特别是新加入社区的开发者。 按部就班，循序渐进 在参与社区之前，比如开放源代码或者其它什么的，你需要做一些基本工作。对于有眼界的开源贡献者，这意味这你需要理解社区的目标，并学习应该从哪里起步。人人都想贡献源代码，但是只有少量的人做过准备，并且乐意、同时也有能力完成这项艰苦卓绝的工作：测试补丁、复审...阅读全文
起初GNU/Linux系统中只有.tar.gz。用户 必须自己编译他们想使用的每一个程序。在Debian出现后，人们认为有必要在系统 中添加一种机 制用来管理 安装在计算机上的软件包。人们将这套系统称为 dpkg。至此着名的package首次在GNU/Linux上出现。不久之後红帽子也开始着手建立自己的包管理系统 rpm。 GNU/Linux的创造者们很快又陷入了新的窘境。他们希望通过一种快捷、实用而且高效的方式来安装软件包。这些软件包可以自动处理相互之间 的依赖关系，并且在升级过程中维护他们的配置文件 。Debian又一次充当了开路先锋的角色。它首创了APT（Advanced Packaging Tool）。这一工具后来被Conectiva 移植到红帽子系统中用于对RPM包的管理。在其他...阅读全文
Mason：因为在主线内核上我们无法做自己想做的事——我们不得不fork一个自己的版本，以便微调、修改和允许在我们特有使用情况下打补丁到这个内核里。我们的目标是，在人力可控的范围内将fork版做到最小。在我们把内核从4.0升级到4.6的过程中（我们现在还没完成），当我们只用一个补丁就能够获得一个相当可观的生产工作负载性能提升时，我打心里为此感到高兴。我们打过补丁的4.0版本的内核拥有和未修改的普通4.6版本的内核相同的性能。这也是我们团队的长期目标：紧随主线内核的步伐，以便我们能从一个内核版本快速过渡到另一个版本。 Linux.com：我见过太多跑在旧内核上的Linux机器，然而您的目标却是尽可能使用新版本的内核。这样做有什么好处？ Chris Mason：对一个工程师团队来说，最大的好处就是利于我...阅读全文
务，可根据业务事件灵活触发。 16、任务进度监控：支持实时监控任务进度； 17、Rolling 实时日志：支持在线查看调度结果，并且支持以 Rolling 方式实时查看执行器输出的完整的执行日志； 18、GLUE：提供 Web IDE，支持在线开发任务逻辑代码，动态发布，实时编译生效，省略部署上线的过程。支持 30 个版本的历史版本回溯。 19、脚本任务：支持以 GLUE 模式开发和运行脚本任务，包括 Shell、Python、NodeJS、PHP、PowerShell 等类型脚本; 20、命令行任务：原生提供通用命令行任务 Handler（Bean 任务，”CommandJobHandler”）；业务方只需要提供命令行即可； 21、任务依赖：支持配置子任务依赖，当父任务执行结束且执行成功后...阅读全文
prometheus存在单点问题，具体痛点可以这么描述： prometheus单机存储和抓取能力都有上限，容易单点故障。 虽然有一种方式是通过部署N个prometheus分别抓取不同的target来分摊压力的，但是grafana就要为不同的图表配置不同的prometheus地址，复杂程度比较棘手。 thanos+prometheus可以解决这个问题，它提供了一个核心能力： 1，thanos querier组件可以反向代理到N个prometheus，然后grafana直接指向thanos querier即可，thanos querier会从N个prometheus同时查询数据，返回满足Promql的数据结果； 2，如果N个prometheus抓取的数据存在重复的，那么thanos...阅读全文
在用 Golang 开发过程中，我们一定能在代码里很多函数或方法都会传递 context, 也会经常遇到这样的报错 context deadline exceeded。你有想过或去探究过 context 到底是什么吗，为什么会遇到上述的报错。在这里我们就分析一下 context 是什么及用途。 首选 Golang 中的 context 值得是 context.Context 接口,Golang 在 1.7 版本中引入标准库的接口。context 主要用来在 goroutine 之间传递上下文信息，包括：取消信号、截止时间、key-value 等。 Context 定义 Context 接口定义如下 1 2 3 4 5 6 7 8 9 10 type Context interface...阅读全文
Prometheus已成为cloud-native世界中的默认监控应用程序和系统。对于真是使用案例，Prometheus应该是高可用的，这是有挑战的。一旦在高可用性模式下运行Prometheus，就会遇到很多问题，例如数据重复，为重复数据实现single pane等。为了解决此问题，Cortex诞生了。Cortex是一个CNCF sandbox project，旨在为使用Prometheus 收集的指标提供长期存储和全局指标视图。首先让我们看一下Cortex的主要目标，然后看一下它为Prometheus解决的一些问题。水平可伸缩性– Cortex可以分成多个微服务，每个微服务都可以独立地水平伸缩。例如，如果许多Prometheus实例正在向Cortex发送数据，则可以扩展Ingester微...阅读全文
SparkyLinux 采用的是滚动更新模式，日前已更新到 5.0 版本，并已提供下载使用。SparkyLinux 5.0 基于测试版的 Debian 10 "Buster"，并带来了 LXQt, Xfce 和 MATE 桌面环境下的镜像文件。 SparkyLinux 5.0 代号 "Nibiru"，与旧的 SparkyLinux 4.5 系列相比，SparkyLinux 5.0 "Nibiru" 版本附带了一个完全最新的系统，与2017年7月14日发布的 Debian 测试版本同步，默认使用 Linux Kernel 4.11.6，不过用户可以从“不稳定”仓库中安装 Linux Kernel 4.12。 该版本使用最新的 Calamares 3.1.1 作为默认系统安装程序，从而修复了较...阅读全文
Ubuntu Kylin。Lubuntu和Ubuntu Studio并未随本次Beta版本一同上线，不过有望在下月，Ubuntu Release团队发布Final Beta里程碑的时候上线。 下载地址： Kubuntu 18.04 Beta 1可以从以下网站下载 http://cdimage.ubuntu.com/kubuntu/releases/18.04/beta-1/ The Ubuntu Budgie 18.04 Beta 1可以从以下网站下载 http://cdimage.ubuntu.com/ubuntu-budgie/releases/18.04/beta-1/ The Ubuntu Kylin 18.04 Beta 1 可以从以下网站下载 http...阅读全文
