因。也有其他人认为，systemd的日志记录并不是很好，二进制日志被很多人所诟病，虽然systemd提供了更快的索引，但二进制日志本身就有问题，而且systemd的日志损坏也不是第一次发生了。而且systemd真正令人反感的是设计不够灵活，对很多人而言，systemd阻止了他们的选择自由，考虑到kFreeBSD分支的软件源无法纳入systemd，为与其他分支保持一致，Debian的开发者尽力避免纳入systemd。但Lennart Poettering本人对此并不在意，并称“Debian GNU/kFreeBSD不过是玩具系统”。 systemd目前还处于中间发展阶段，那些想要超级安全或超级小或超快速系统的人都不适合使用。事实的真相是，systemd的很多反对者并不真正关心“底层”，只是抱怨...阅读全文
Kubernetes 1.7已经发布，该版本聚焦于安全、存储和扩展性等交付特性，其中包括Network Policy API、StatefulSets自动升级策略以及可扩展的API聚合层。Kubernetes的上一个发布版1.6版侧重于解决规模化和自动化上的问题，显然最新的1.7发布版力图为Kubernetes在企业组织中的进一步采用夯实基础。需注意的是，虽然1.7版的核心集群编排功能是以稳定版提供，但是其中给出的一些头条发布特性在文档中被标为Alpha版或Beta版。 新提供的安全特性包括：Network Policy API。该API当前已提升到稳定版，在实现为网络插件时，用户可以设置并强制使用规则，指定可相互通信的Pod（类似于在用的网络/云ACL）；节点授权器（Node...阅读全文
Ceph 块设备，它可以在 Linux 环境中用作常规块设备，使你可以像访问常规 Linux 硬盘一样来使用 Ceph。Ceph 还有 CephFS，它是针对 Linux 环境编写的 Ceph 文件系统。 最近，SUSE 添加了一个 iSCSI 接口，使得运行 iSCSI 客户端的客户端能像任何其他 iSCSI 目标一样访问 Ceph 存储。 所有这些功能使得 Ceph 成为异构环境的更好选择，而不仅仅是使用 Linux 操作系统。 所以 Ceph 是一个更灵活的产品，更容易集成到非 Linux 环境中。对于许多公司来说，这足以让它们在 Ceph 而不是 GlusterFS 上构建存储产品。对于仅运行 Linux 的环境，此功能不够有说服力，所以来谈谈另一个非常重要的事情：速度。 为了比较...阅读全文
练的开发人员、强大的技术管理，开放和平等的文化，风险回报权衡管理、客观回顾失败以及有专注力的小团队。 Facebook 的准连续部署系统具备这几个优点：没有推送热补丁的手工开销，对分布式工程师团队有更好的支持，为工程师提供了更快的反馈循环。...阅读全文
此跨平台框架。如果想要添加新的关键字（通过 RF 测试库 API ），需要具备 Java / Python / C 语言的基础知识。 2. JUnit JUnit 是一款针对 Java 应用的单元测试框架，用于编写和运行可重复的测试。 优点： 纯 Java 编写。 支持测试驱动开发（TDD）。 允许创建自己的单元测试用例套件。 能很好地与其他工具（如 Maven ）和 IDE（如 IntelliJ ）集成。 长时间发展，有自己庞大的用户群体，可以很容易找到文档。 缺点： 如果需要 mocking 能力，则需要额外添加 Mockito（或其他模拟库）。 因 JUnit 中的方法名称受 Java 约定限制等原因，非技术人员很难读懂测试结果。 如果你正在为你的 Java 应用编写单元测试，那这可能...阅读全文
不久前，我们写过一篇关于 teleconsole 的介绍，该工具可用于快速分享终端给任何人（任何你信任的人）。今天我们要聊一聊另一款类似的应用，名叫 tmate。 tmate 有什么用？它可以让你在需要帮助时向你的朋友们求助。 什么是 tmate？ tmate 的意思是 teammates，它是 tmux 的一个分支，并且使用相同的配置信息（例如快捷键配置，配色方案等）。它是一个终端多路复用器，同时具有即时分享终端的能力。它允许在单个屏幕中创建并操控多个终端，同时这些终端还能与其他同事分享。 你可以分离会话，让作业在后台运行，然后在想要查看状态时重新连接会话。tmate 提供了一个即时配对的方案，让你可以与一个或多个队友共享一个终端。 在屏幕的地步有一个状态栏，显示了当前会话的一些诸如...阅读全文
60k 服务器可以被利用，并且这些服务器往往拥有较高的带宽资源。 基于以上特点，作者认为该攻击方式可以被利用来发起大规模的DDoS攻击，某些小型攻击团队也可能因此获得原先没有的大流量攻击能力。 在 DDoSMon 上观察到的现网趋势 自批露以来，我们就一直利用 DDoSMon 的统计页面 持续监控Memcache DRDoS在实际现网中的情况。在过去的几个月中，这种类型攻击的频率和单次破坏性都不大，但是自2018-02-24开始，这种情况发生了较大变化。 近期，Memcache DRDoS 的攻击频率上升到了平时的10+倍，从每天小于50件，上升到每天300~400件，直到今天的1484件（实际上，离今天结束还有1个小时），如下图所示。 需要指出，当前 Memcache DRDoS 仍然还不是...阅读全文
最近有一些关于新版本发布周期的讨论。 Thymeleaf 的创始人兼首席开发人员 Daniel Fernández 最近发推文： 2016 年：“Java 命中注定！它发展得如此之慢！每一个好想法都需要很长时间才能实现！” 2018 年：“Java 命中注定！它发展得太快了！没有人能跟得上！” 对 Fernández 的推文有一些有趣的回应，包括： “Kotlin？” “2020 年将会发生什么？Java 命中注定！没有它，我就无法过好我的生活！Java 在我家里随处可见，这个小咖啡杯究竟有什么威力，为什么它可以控制我的家，包括我的身体。” “Java 命中注定，因为他们专注于完整性而不是简单性。” “我们从中得到的教训是，变化不如过渡本身那么重要……事实上，这似乎是人生和计算机科学中一再出...阅读全文
Fio（Flexible I/O Tester） 是一款由 Jens Axboe 开发的用于测评和压力/硬件验证的自由开源的软件。它支持 19 种不同类型的 I/O 引擎 (sync、mmap、libaio、posixaio、SG v3、splice、null、network、 syslet、guasi、solarisaio，以及更多)， I/O 优先级（针对较新的 Linux 内核），I/O 速度，fork 的任务或线程任务等等。它能够在块设备和文件上工作。 Fio 接受一种非常简单易于理解的文本格式的任务描述。软件默认包含了几个示例任务文件。 Fio 展示了所有类型的 I/O 性能信息，包括完整的 IO 延迟和百分比。 它被广泛的应用在非常多的地方，包括测评、QA，以及验证用途。它支持...阅读全文
需要花费大量时间与精力，但它是没有薪水回报的。公开信表示，如果之后确认这正是问题所在，那么社区可能会考虑做出一些改变，创造一个有偿的职位来承担领导人的工作。 目前没有一位开发者提名，根据 Debian 的章程，提名期延长了一周，也就是 3 月 17 日截止。如果在这个时间之前还没有人提名，那么提名期还会再延长一周。该流程将无限持续下去，“直到有人屈服并提交他们的名字”。 而除了无人提名的尴尬，更严重的问题是，根据章程，只要任期结束，当前的 Debian 领导人 Chris Lamb 就可以不再履行职责，如果在那个时候还没有选出新的领导人（毕竟提名期是可以无限延长的），那么社区就会处在群龙无首的状态，Debian 将会陷入困境，项目运作的各方面都会停滞不前。 然而，好消息是，Debian 章程...阅读全文
，同时保留 32 位 ARM 实现和 64 位 aarch64。 JDK 中存在两套 64 位 ARM 实现，主要存在于 src/hotspot/cpu/arm 和 open/src/hotspot/cpu/aarch64 目录。两者都实现了 aarch64，现在将只保留后者，删除由 Oracle 提供的 arm64。这将使贡献者将他们的精力集中在单个 64 位 ARM 实现上，并消除维护两套实现所需的重复工作。 Default CDS Archives 默认类数据共享归档文件 针对 64 位平台，使用默认类列表增强 JDK 构建过程以生成类数据共享（class data-sharing，CDS）档。 Abortable Mixed Collections for G1 可中止的 G1...阅读全文
10 月 20 日，2021 云栖大会上，阿里云发布全新操作系统“龙蜥”并宣布开源。同时，阿里达摩院操作系统实验室也宣告成立。 龙蜥操作系统定位于服务器端，支持 x86、ARM 等多种芯片架构和计算场景，兼容 CentOS 生态，支持一键迁移，并提供全栈国密能力。 阿里云在大会上透露，龙蜥操作系统已经在阿里巴巴内部打磨 10 年，... 30 13 阿里平头哥宣布开源四款玄铁 RISC-V 系列处理器 10 月 19 日，2021 云栖大会现场，阿里云智能总裁张建锋宣布，平头哥开源玄铁 RISC-V 系列处理器，并开放系列工具及系统软件。 此次开源的 OpenXuantie 系列 RISC-V 处理器，包括玄铁 E902、E906、C906、C910 等 4 款量产处理器，以及基于...阅读全文
的联合身份用户。如果使用不属于 aws-auth ConfigMap 的 IAM 用户或角色访问 Amazon EKS 控制台，则无法看到 Kubernetes 工作负载。也不会看到集群的概览详细信息。所以要向其他 AWS 用户或角色授予与集群交互的能力，您必须在 Kubernetes 中编辑 aws-auth ConfigMap。 因为部门有不通的角色，所以想基于不通的角色分配不同的权限，下面是记录添加一个对 EKS 只有只读权限的 AIM 用户。 {{< notice info "注意：" >}} 如果您在运行 AWS 命令行界面 (AWS CLI) 命令时遇到错误，请确保您使用的是最新版的 AWS CLI。 {{< /notice >}} 为 IAM 用户或角色配置权限 要查找具有主要...阅读全文
作为社区 RoadMap 的重要组成部分，是大数据实时化必然的趋势。但是另一方面，传统离线的计算需求其实并不会被实时任务完全取代，而是会长期存在。 在实时和离线的需求同时存在的状态下，以往的流批独立技术方案存在着一些痛点，比如： 需要维护两套系统，相应的就需要两组开发人员，人力的投入成本很高； 另外，两套数据链路处理相似内容带来维护的风险性和冗余； 最重要的一点是，如果流批使用的不是同一套数据处理系统，引擎本身差异可能会存在数据口径不一致的问题，从而导致业务数据存在一定的误差。这种误差对于大数据分析会有比较大的影响。 在这样的背景下，Flink 社区认定了实时离线一体化的技术路线是比较重要的技术趋势和方向。 Flink 在过去的几个版本中，在流批一体方面做了很多的工作。可以认为 Flink...阅读全文
) { process(r) // May take a long time. } func Serve(queue chan *Request) { for { req := <-queue go handle(req) // Don't wait for handle to finish. } } 一般来说，server的处理能力不是无限的，所以，有必要限制线程（或者goroutine）的数量。在C/C++编程中，我们一般通过信号量来实现，在go中，我们可以通过channel达到同样的效果： var sem = make(chan int, MaxOutstanding) func handle(r *Request) { sem <- 1 // Wait for active queue to drain...阅读全文
软件包，或者安装手动下载的软件包。 然而，它们都方便。使用得当，它们可以节省时间和精力，一些工具可以帮助你避免常见问题。确定自己有什么样的要求，然后选择最适合的工具。 原文标题：Improving Debian Linux Package Management: Seven Tools，51CTO译稿，中文原始链接这里。...阅读全文
。 pipeline 在图片的中部，有两个小企鹅扛着管道（PipeLine）在行走，一只小企鹅可以把自己手上的东西通过这个管道，传递给后面的小企鹅。不过怎么看起来前面这种（男？）企鹅累得满头大汗，而后面那只（女？）企鹅似乎游刃有余——喂喂，前面那个，裤子快掉了~ Wine 在这一层还有另外的一个小企鹅，它手上拿着一杯红酒，身上写着 411，看起来有点不胜酒力。它就是红酒（Wine）小企鹅,它可以干（执行）一些来自 Windows 的任务。 跃层 在一层之上，还有一个跃层，这里有很多不同的屏幕，每个屏幕上写着 TTY（这就是对外的终端）。比如说最左边 tty4 上输入了“fre”——这是想输入“freshmeat...”么 ：d ；它旁边的 tty2 和 tty3 就正常多了，看起来是比较正常的命令；tty7...阅读全文
WordPress 本质上并没大家认为的那么危险，而且开发者也在努力工作，以确保危险漏洞能被快速修复。但不幸的是，WordPress 的成功使其成为众矢之的：如果你能攻破一个 WordPress 安装，那么可能会有数以百万计的网站向你 “开放”。而且即使 WordPress 是安全的，也并不是所有的主题和插件都会有同样级别的开发重视程度。 有些人攻击 WordPress 是为了挑战或造成恶意的损害，这些行为都很容易被发现。最糟糕的罪魁祸首是那种潜入内容的行为，它们会将钓鱼网站深入到文件夹结构，或使用你的服务器发送垃圾邮件。一旦你安装的 WordPress 被破解，可能需要删除所有内容并从头重新安装。 庆幸的是，有很多简单的方案来提升安全性。下面提到的安全修复方案都不会超过几分钟。 1. 切...阅读全文
、Hyperledger 项目执行董事以及 Docker、红帽等企业；还有Open Networking Foundation 网络方面一些项目的代表；中国企业华为、阿里巴巴、百度等以及国外Google、IBM、亚马逊等顶尖企业及开发者，共同探讨开源方面的商业和技术。 一个开发者精英和一个普通软件开发者的区别，就如毕加索和一个普通画家的区别一样大。LC3 大会给大家提供了和世界上最优秀的开发和计算方面的专家共同探讨问题的机会，我们也希望通过这次活动让大家了解到怎么样更好地利用开源来开发新的产品和服务，我们也是致力于和中国的开发者、行业进行密切地合作，开发出来更多的可以带来价值的开源的代码。” 【转自开源中国】...阅读全文
，每一个节点上创建一个 Pod 已经有了一个更新特性，在1.7中添加了更加机智的回滚和历史回溯能力。 一个新的 StorageOS 卷插件能从本地的和连接的节点存储中提供高可用的、集群范围的持久性卷。 可扩展性： 运行时的 API 聚合是这次发布中最强大的特性，可以让高级用户向集群中添加预先构建的、第三方的或者用户自制的具有Kubernetes风格的API。 容器运行时接口（CRI）通过新的从运行时获取容器指标的 RPC 调用得到增强。CRI 的验证测试已经发布，和containerd 1.0的整合处于 alpha 状态，现在支持基本的 Pod 生命周期和镜像管理。可以阅读我们之前深入介绍 CRI 的文章。 其他特性： 引入了对于外部的准入控制器的支持，现在处于 alpha 状态，提供了两种选...阅读全文
完全构建之前，您也可以从外部贡献者处获取有关信息。 这就是Django的力量。 该框架使您能够快速轻松地从应用模型生成管理站点。 代码设计 与大多数 Web 框架相反，Django 通过使用称为 app 的东西，更容易地将新功能添加到产品中。 因此，开发者可以感受到 Django 鼓励大家编写模块化的代码。 Django对ORM的完善支持 Django的对象关系映射 (ORM) 对数据库进行了完善的支持。所以，它用于查询数据库所需的数据时，没有处理结构化查询语言（SQL）的麻烦。 与许多通过SQL直接在数据库上工作的Python框架不同，Django开发人员有一个独特的选择来操纵相应的Python的Model对象。 Django对于PostgreSQL，MySQL，SQLite和Oracle...阅读全文
在这个互联网时代，游戏、电影、照片等数据越来越大，硬盘容量将会面临着前所未有的挑战。虽然传统的机械硬盘可以解决容量问题，但是速度太慢，体验糟糕，并不是最优的个人存储解决方案。我们渴求大容量的SSD，不过超过TB大容量SSD动不动就几千元的售价，对于支付能力有限用户实际上没有意义。SSD的成本主要来源于闪存，在TLC闪存能够实现TB容量可惜价格未能降下来。只有不断开发新类型的闪存，解决容量与价格的矛盾，才能让SSD真正在大数据时代发挥应有作用。 这时，QLC 闪存就应运而生， 目前，东芝和西数先后宣布成功开发基于四比特单元3D NAND闪存芯片，即QLC闪存，这也意味着QLC SSD将要来临。那么，它与TLC闪存又有什么区别，能否取代TLC成为SSD主流闪存之选？ 先来了解一下什么是TLC...阅读全文
Kotlin 使用 React.js 创建现代 Web 应用。 使用 create-react-kotlin-app，可让开发者无需费心于项目设置和配置构建这些工作，能专注于快速开始客户端应用开发，同时体会到静态类型语言的优势以及由 JavaScript 生态系统带来的强大配套资源。详情点此了解。 未来的发展方向 Kotlin 语言的未来发展方向主要是在 Kotlin 支持的平台之间实现更好、更广泛的代码重用。官方表示计划通过使用同一 API 以扩展全部平台上的可用库资源集合，其中涵盖 I/O、网络、序列化以及日期处理等。 编译器方面，1.3 版本仍集中关注内部层面的变更，而不是外部可见的语言特性。内部的改变能提高性能、改进类型推断、为所有目标平台生成更高效的代码，以及带来更好的 IDE 插件响应能力...阅读全文
合适的工具 无论虚拟机或容器类型如何，选择适合您需求的关键都在于研究每个选项的能力。在容器领域，Docker 提供了强大的企业解决方案。这就吸引了那些关注 Docker 容器的公司，因为公司知道如果出现任何问题，他们可以得到他们所需要的支持。Docker 是企业用户友好的选择，特别是在 Docker Swarms 中 。而将 Docker Swarms 与 Kubernetes 相比，Kubernetes 在高级环境中的设置要复杂得多。 回到虚拟机方面，我一直发现 Virtualbox 可以提供更好的面向桌面的虚拟机环境。而 VMware 在服务器方面做了各种各样的产品，VMware 拥有从存储到云服务器解决方案的各种虚拟机解决方案，还有其他选择（各种管理程序等）。但我认为...阅读全文
来看，DevOps 的采用率从 2015 年到 2016 年增加了约 8％，预计这一数字将在 2019 年大幅增长。 根据 Statista 的报告，很多商业组织正在采用 DevOps，2018 年增长率高达 17％，而 2017 年则为 10％左右。 你可以在 RightScale 上查看完整的报告。Forrester 的报告中也明确提到了 2018 年将是 DevOps 年。我们看到了将影响来年 DevOps 发展的八个事实。 焦点从 CI 管道转到 DevOps 装配线 管道为应用程序提供了从源码控制到生产环境的一套完整的可视化视图。你可以在某个地方看到所有的内容。现在不仅要做 CI（持续集成），还要做 CD（持续交付）。企业正投入时间和精力，以便更多地了解如何自动化完整的软件开发过程...阅读全文
等方式已经越来越无法满足开发人员对配置管理的需求。Apollo 配置中心应运而生！ Apollo 配置中心功能特点 正是基于配置的特殊性， Apollo 在设计之初就立志于成为一个有治理能力的配置管理平台。当前提供了以下一些特性， 统一管理不同环境、不同集群的配置 Apollo 提供了一个统一界面集中式管理不同环境（environment）、不同集群（cluster）、不同命名空间（namespace）的配置。同一份代码部署在不同的集群，可以有不同的配置，通过命名空间（namespace）可以很方便的支持多个不同应用共享同一份配置，同时还允许应用对共享的配置进行覆盖。 配置修改实时生效（热发布） 用户在 Apollo 修改完配置并发布后，客户端能实时（1秒）接收到最新的配置，并通知到应用程序...阅读全文
前言 在 DevOps 实践中，基础设施即代码如何落地是一个绕不开的话题。像 Chef，Puppet 等成熟的配置管理工具，都能够满足一定程度的需求，但有没有更友好的工具能够满足我们绝大多数的需求？笔者认为 Terraform 是一个很有潜力的工具，目前各大云平台也都支持的不错，尤其是使用起来简单明了。本文会简单的介绍一下 Terraform 相关的概念，然后通过一个小 demo 带大家一起进入 Terraform 的世界。说明：本文的演示环境为 ubuntu 16.04。 Terraform 是什么？ Terraform 是一种安全有效地构建、更改和版本控制基础设施的工具(基础架构自动化的编排工具)。它的目标是 "Write, Plan, and create...阅读全文
：更新了 42821 个软件包（占 buster 软件包总数的 72%）。而且，由于各种原因，有相当数量的软件包（9519 个，占 buster 软件包总数的 16%）从这次发行中被删除了。您将不会看到这些包有任何更新，而且在包管理软件中它们会被标记为“过时的”；桌面程序和软件包如往常一样，Debian 也提供了多个桌面程序和环境。提供的桌面环境包括 GNOME 3.38，KDE Plasma 5.20，LXDE 11，LXQt 0.16，MATE 1.24，以及 Xfce 4.16。生产力应用也得到了升级，包括办公套件：LibreOffice 已升级到 7.0 版；Calligra 已升级到 3.2 版；GNUcash 已升级到 4.4 版；这次发行包含了许多软件的更新，其中包括：无驱动扫...阅读全文
AMI全过程一般用时费力不易配备，并且容易错误。因此 大家必须一个专用工具来自动化技术全部建立AMI的全过程，与此同时叙述建立AMI的编码能够储存而且根据再配备重复使用，来很大地优化和管理方法AMI建立的全过程。 Packer就这样一个自动化技术建立AMI的专用工具。如下图所显示，Packer根据JSON文件模板来叙述一个建立AMI的全过程，如何配置AMI都由编码叙述。客户只需根据改动这一软件更新来随后实行一个简洁的指令来自动生成订制的AMI。那样订制AMI的全过程则能够直接进入版本号智能管理系统，便捷消费者查看和跟踪订制全过程的转变 。...阅读全文
再用AWS的建立镜像工具转化成一个订制的AMI。那样手动式建立的AMI全过程一般用时费力不易配备，并且容易错误。因此 大家必须一个专用工具来自动化技术全部建立AMI的全过程，与此同时叙述建立AMI的编码能够储存而且根据再配备重复使用，来很大地优化和管理方法AMI建立的全过程。 Packer就这样一个自动化技术建立AMI的专用工具。如下图所显示，Packer根据JSON文件模板来叙述一个建立AMI的全过程，如何配置AMI都由编码叙述。客户只需根据改动这一软件更新来随后实行一个简洁的指令来自动生成订制的AMI。那样订制AMI的全过程则能够直接进入版本号智能管理系统，便捷消费者查看和跟踪订制全过程的转变 。...阅读全文
Apache APISIX Ingress Controller 是一款以 Apache APISIX 作为数据面的 Kubernetes Ingress Controller 开源工具，目前已经更新到 v1.3 版本，实现了如证书管理、负载均衡、金丝雀发布等功能。 长久以来，证书管理都不是一件简单的事情，虽然 Apache APISIX Ingress Controller 支持从 Kubernetes Secrets 资源中提取证书和私钥，并转换为 Apache APISIX 可识别的 SSL 对象，但这只是整个证书管理链中的一部分，证书的颁发、轮转、吊销逻辑依然需要管理员执行，尤其当证书数量比较多时，工作量往往并不小，因而会占用管理员不少的时间。 Cert Manager 是一款致力...阅读全文
streams 在上面发送 frame，那么在一些场景下面，我们还是希望 stream 有优先级，方便对端为不同的请求分配不同的资源。譬如对于一个 Web 站点来说，优先加载重要的资源，而对于一些不那么重要的图片啥的，则使用低的优先级。 我们还可以设置 Stream Dependencies，形成一棵 streams priority tree。假设 Stream A 是 parent，Stream B 和 C 都是它的孩子，B 的 weight 是 4，C 的 weight 是 12，假设现在 A 能分配到所有的资源，那么后面 B 能分配到的资源只有 C 的 1/3。 Flow Control HTTP/2 也支持流控，如果 sender 端发送数据太快，receiver 端可能因为太忙，或者压力太大...阅读全文
。 现在，核心互联网协议的重要改变已经开始了。虽然它们意图与互联网大部分兼容（因为，如果不兼容的话，它们不会被采纳），但是它们可能会破坏那些在协议中没有规定的地方，或者根本就假设那些地方不存在变化。 为什么我们需要去改变互联网 有大量的因素推动这些变化。 首先，核心互联网协议的局限性越来越明显，尤其是考虑到性能的时候。由于在应用和传输协议方面的结构性问题，网络没有得到高效使用，导致终端用户认为性能不能满足要求（特别是，网络延迟）。 这就意味着人们有强烈的动机来演进或者替换这些协议，因为有 大量的经验表明，即便是很小的性能改善也会产生影响。 其次，演进互联网协议的能力 —— 无论在任何层面上 —— 会随着时间的推移变得更加困难，这主要是因为上面所讨论的对网络的非预期使用。例如，尝试去压缩响应的...阅读全文
前不久组内又有一次我比较期待的分享：“Linux 的虚拟内存”。是某天晚上加班时，我们讨论虚拟内存的概念时，leader 发现几位同事对虚拟内存认识不清后，特意给这位同学挑选的主题。 我之前了解一些操作系统的概念，主要是毕业后对自己大学四年的荒废比较懊恼，觉得自己有些对不起计算机专业出身，于是在工作之余抽出时间看了哈工大在网易云课堂的操作系统公开课，自己也读了一本讲操作系统比较浅的书 《Linux内核设计与实现》，而且去年自己用 C 写简单的服务器时，也追根究底了解了更多的系统底层知识。多亏了这些知识，让我对应用层的知识更有掌控感，也在上次排查问题时（从应用到内核查接口超时）助了我一臂之力。 前几天另一位同事来问另一个虚拟内存相关的问题，我才发现对于虚拟内存，我的理解还不够深刻，一些概念还...阅读全文
”、“梅花”等。从这一点上看，域名的独有性，似乎更好一些。 从商业的角度来看，域名因其独特性，可以把它当作一个企业的网上商标。不过，可以肯定地说，域名与商标没有绝对的联系。 在这个眼球经济时代，作为企业，最理想的状态，当然是希望它的实物商标与网上商标保持高度一致的，以使大众无论从哪个途径，都能将目光聚焦在它的身上，为此，企业们也付出了巨大的努力，比如商标之争比较有名的当属“加多宝”和“王老吉”，域名方面，作为米农，所听到见到的域名仲裁案例也不在少数。 由于域名和商标分属不同领域的不同系统，再加上时间差的原因，一般企业想要达到理想状态，是有难度的。比如说，自已注册的商标，其对应的域名不一定是未注册状态，这个时候，域名权与商标权，甚至商号权、网站名称权等就形成了冲突。除了收购外，另外一个途径就是仲裁...阅读全文
，使用了很多叫做arena的memory pool,缺省配置在64bit下面是每一个arena为64M，一个进程可以最多有 cores * 8个arena。假设你的机器是4核的，那么最多可以有4 * 8 = 32个arena，也就是使用32 * 64 = 2048M内存。 当然你也可以通过设置环境变量来改变arena的数量.例如 export MALLOC_ARENA_MAX=1 hadoop推荐把这个值设置为4。当然了，既然是多核的机器，而arena的引进是为了解决多线程内存分配竞争的问题，那么设置为cpu核的数量估计也是一个不错的选择。设置这个值以后最好能对你的程序做一下压力测试，用以看看改变arena的数量是否会对程序的性能有影响。 mallopt(M_ARENA_MAX, xxx)如果...阅读全文
，这不仅为 ARM 阵营 IC 设计公司多了一个技术实力极强的流片渠道，也使 ARM 芯片可以在采用更好的制造工艺下获得更好的性能。 然而，目前 Intel 对外开放代工的时机却略显晚了一些，虽然在制造工艺上 Intel 依然领先，但至少在命名上，三星和台积电已经超越了 Intel。对于原本不大规模对外开放代工业务的 Intel 来说，三星和台积电在制造工艺上注水压根就无所谓。 但是对于准备对外开放代工业务，和台积电、三星抢生意的 Intel 来说，如果坐视台积电和三星在制造工艺命名上耍花招，就很可能会使自己失去一些订单，蒙受利益损失。特别是在当前制造工艺命名比较乱的情况下，继台积电推出 12nm 制造工艺后，三星推出 6nm、8nm 制造工艺。 因此，Intel 推出新的衡量半导体工艺水平的...阅读全文
述。 Go 1 和 Go 2 之间的主要区别在于主导权的不同。谁将影响设计，又该如何做出决策？我们都知道，Go 1 的诞生是小团队努力的结果，受外部影响不大；而到了 Go 2，尤其是经过将近 10 年的发展后，Go 语言的生态已经十分庞大，因此它也更多地受到社区的驱动和影响。经历了这些，Go 开发团队也了解到了更多一开始不知道的与语言特性和库相关的知识 —— 这些都来自于 Go 社区的反馈。 2015年，Go 开发团队引入了提案流程，以收集特定类型的反馈：针对语言和库变更方面的提案。由 Go 开发团队高级成员组成的委员会定期审查、分类和决定社区提交的提案。这个流程十分有效，但作为该过程的一部分，他们忽略了所有不向后兼容的提案，只是将其标记至 Go 2。到了2017年，Go 开发团队也停止进行...阅读全文
资源，从而获取虚拟货币的一种程序，需要较高的硬件配置及用电量。 而单凭一个矿工的力量是挖不到比特币的。于是“安某”便想到可以利用自己的职务之便利用百度的服务器来开启自己的发家致富之路，只是他可能没想到的是事情会败露的这么快。 那么，他具体是怎么做的呢？ 首先，他用自己的工作账户上传了一个压缩文件 miner.tar.gz ，其中包含一个名为 java_4u3 的脚本， 而这个脚本可以自动执行解压缩、创建目录、删除目录、自动连接代理进行网络交换，达到控制服务器的目的。 然后，编译了一个挖矿程序，并将上述程序部署非法控制了百度的 155 台服务器上，利用公司为其配备的苹果电脑上的 iterm 软件控制所有服务器的中控机，通过中控机上传挖矿脚本，并通过 iterm 软件发出批量下载指令，让 200...阅读全文
，主进程和工作进程需要进程交互。交互依赖于 Socket 实现的管道来实现。 Master-Worker 交互 这条管道与普通的管道不同，它是由主进程指向工作进程的单向管道，包含主进程向工作进程发出的指令，工作进程 ID 等；同时主进程与外界通过信号通信；每个子进程具备接收信号，并处理相应的事件的能力。 worker-worker 交互 这种交互是和 Master-Worker 交互是基本一致的，但是会通过主进程。工作进程之间是相互隔离的，所以当工作进程 W1 需要向工作进程 W2 发指令时，首先找到 W2 的进程 ID，然后将正确的指令写入指向 W2 的通道。W2 收到信号采取相应的措施。 五. 总结 通过这篇文章，我们对 Nginx 服务器的整体架构有了一个整体的认识。包括其模块化的设计...阅读全文
，以避免出现代码丢失等问题。在切换分支的时候，我们需要确保其他人都知道这个操作，并且保证他们的代码状态是干净的。六、SVN切换分支的优缺点在软件开发中，我们需要经常进行分支管理，因此，SVN的分支管理功能就显得尤为重要了。下面我们来看一下，SVN切换分支的优缺点。1. 优点SVN切换分支的最大优点就是方便快捷。通过SVN我们可以很方便地将工作副本切换到不同的分支，这样可以让我们更加高效地进行代码管理和开发工作。此外，SVN还提供了完善的分支合并机制，可以帮助我们更好地保持代码的稳定性。2. 缺点SVN的缺点主要体现在以下几个方面：（1）SVN对源代码有一定的限制；（2）SVN操作过程较为繁琐；（3）SVN的并发处理能力相对较差。七、总结综上所述，SVN切换分支是一项非常重要的基础操作，在软件开...阅读全文
解决这个问题之前，我们依赖于传统的工作流引擎。比如，一个工作流列出部署新二进制文件的步骤：在集群X上做金丝雀测试，然后将N部署到集群Y和Z上，运行测试等等。 创建工作流本身就需要大量工作，因此我们只为经常需要做的事情创建工作流，比如二进制文件的版本更新。我们通常手动处理不那么常见的情况，比如重启。已有的脚本经常会过期而不再适用。 对于运维人员来说，这些工作流很容易实现：做X，然后Y。想要添加压力测试？只需要添加一个步骤。但是随着工作流使用规模的扩大，它的问题也显露出来。 首先，扩展工作流会造成很多重复。每个服务都有很好的理由要求一些特殊逻辑，这意味着需要定制化的实现。尝试了几次整合工作流的实现，但是只有适用于某个特定模型的服务才能使用。这样导致的重复让服务变得不一致。最佳实践，比如跨集群的有...阅读全文
Ajax做了限制，不允许Ajax跨域请求服务器,就是只能访问当前域名下的url。 当然，如果确信你的站点不存在跨域的风险，可以在服务端主动开启跨域请求。 也可以直接通过CORS或JSONP来实现。 JSONP是利用脚本(script)跨域能力来模拟Ajax请求。 CORS是一个W3C标准，全称是"跨域资源共享"（Cross-origin resource sharing）。它允许浏览器向跨源服务器，发出XMLHttpRequest请求，从而克服了AJAX只能同源使用的限制。 关于CORS的介绍请参考：跨域资源共享 CORS 详解 8、DOM对象 document document对象里保存着整个web页面dom结构，在页面上所有的元素最终都会映射为一个dom对象。 document也提供了很多...阅读全文
- 框架类组件配置，比如CAT客户端的配置。虽然这类框架类组件是由其他团队开发、维护，但是运行时是在业务实际应用内的，所以本质上可以认为框架类组件也是应用的一部分。这类组件对应的配置也需要有比较完善的管理方式。 2、Why Apollo 正是基于配置的特殊性，所以Apollo从设计之初就立志于成为一个有治理能力的配置管理平台，目前提供了以下的特性： 统一管理不同环境、不同集群的配置 Apollo提供了一个统一界面集中式管理不同环境（environment）、不同集群（cluster）、不同命名空间（namespace）的配置。同一份代码部署在不同的集群，可以有不同的配置，比如zk的地址等通过命名空间（namespace）可以很方便的支持多个不同应用共享同一份配置，同时还允许应用对共享的配置进行覆...阅读全文
中小型公司，尤其是互联网行业的创业公司，本身并没有太多的技术人员，如果设计系统时需要考虑诸多的技术问题，例如 Web 应用服务器如何配置、数据库如何配置、消息服务中间件如何搭建等等，那对于他们来说人员成本、系统成本会很高，Serverless 架构的出现，让这种情况可能可以大幅度改善。 初识 Serverless？ 在目前主流云计算 IaaS（Infrastructure-as-a-Service，基础设施即服务）和 PaaS（Platform-as-a-Service，平台即服务）中，开发人员进行业务开发时，仍然需要关心很多和服务器相关的服务端开发工作，比如缓存、消息服务、Web 应用服务器、数据库，以及对服务器进行性能优化，还需要考虑存储和计算资源，考虑负载均衡和横向扩展能力，考虑服务...阅读全文
望的唯一方式是把它直接和另一种类型的数据库如 RDBMS 比较，或者对它有特别的期待。这就像把桔子和叉子比较。数据库系统有它们的用途。最好是理解并领会这些差别。强迫 MongoDB 开发人员按照 RDBMS 的方式做事就太遗憾了，我希望继续看到解决旧问题的有趣的新方法，如确保数据完整性、使数据系统具有从故障和恶意破坏中恢复的能力。 在 4.0 版本中，MongoDB 引入了 ACID 事务处理，这是以创新方式引入重大改善的一个很好的例子。多文档、多语句事务现在是原子的了，它允许开发人员调整用于获取锁的时间，过期挂起事务以及修改隔离级别。 关于作者 Phil Factor（为保护作者隐去真名），又称数据库摩尔，他有将近四十年的数据库密集型应用程序经验。在 20 世纪 80 年代初的一次展览会上...阅读全文
服务化项目服务不可用几十分钟，造成订单数减少几十万笔，损失百万资金。 原因分析 当时是没有定位到具体的原因的，但是下面的原因也是一部分可能引起宕机的情况。 某服务化项目的业务增速非常快，在高峰期，数据库QPS突破35000，系统处于高负荷状态。 在高峰期如果同时执行几个全表扫描的SQL，会造成数据库压力急剧上升，应用超时增多，前端应用超时，用户重试，流量飙升，形成了雪崩效应。 主要原因在与一些老项目的SQL查询性能较差，并且使用的主库，对数据库影响较大。数据库QPS太高，但是缓存方案因为人手原因一直没有落地，慢SQL的问题处理优先级应该提升。 改进方案 针对每个应用建一个数据库账号，严格按照规范使用 缓存优化方案即时落地，慢SQL问题优先处理，集中处理目前已经发现的慢SQL（查询时间超过1S...阅读全文
： rspec: script: test cache: untracked: true 缓存binaries下没有被git跟踪的文件： rspec: script: test cache: untracked: true paths: - binaries/ job中优先级高于全局的。下面这个rspecjob中将只会缓存binaries/下的文件： cache: paths: - my/files rspec: script: test cache: key: rspec paths: - binaries/ 注意，缓存是在jobs之前进行共享的。如果你不同的jobs缓存不同的文件路径，必须设置不同的cache:key，否则缓存内容将被重写。 缓存只是尽力而为之，所以别期望缓存会一直存在。查看更多详细...阅读全文
列中某个节点宕掉的后果： 当slave宕掉了，除了与slave相连的客户端连接全部断开之外，没有其他影响。 当master宕掉时，会有以下连锁反应： 与master相连的客户端连接全部断开；选举最老的slave节点为master。若此时所有slave处于未同步状态，则未同步部分消息丢失；新的master节点requeue所有unack消息，在此我向大家推荐一个架构学习交流圈：830478757 帮助突破瓶颈 提升思维能力,因为这个新节点无法区分这些unack消息是否已经到达客户端，亦或是ack消息丢失在老的master的链路上，亦或者是丢在master组播ack消息到所有slave的链路上。所以处于消息可靠性的考虑，requeue所有unack的消息。此时客户端可能有重复消息；如果客户端连着...阅读全文
对 Docker 的使用大部分都比较熟悉，但是说到 docker 的实现原理很多人还是一知半解。我把在团队内部做的一次 Docker 核心原理分享总结到文章里，以供参考。 Docker 的优势 Build once, Run anywhere 上面这句话很精辟的总结了 docker 的优点。我从下面几点具体描述 docker 带给开发者的能力 应用标准化 无论什么语言开发的应用，我们都能用 dockerfile 和构建脚本方便的进行应用构建打包，代码库 + 构建 + registry 统一了 CI/CD 流程，也提升了效率。 环境一致 由于应用和依赖全部构建成镜像，做到了一次构建多次交付，无论是开发，测试还是上线环境都是一致的。大大提高了开发效率 应用隔离 由于通过 docker 部署的应...阅读全文
