Nuster 是一个基于 HAProxy 的高性能缓存服务器。Nuster 完全兼容 HAProxy，并且利用 HAProxy 的 ACL 功能来提供非常细致的缓存规则，比如 请求地址为某某时缓存 请求参数中的 X 为 Y 时缓存 响应头中的 X 为 Y 时缓存 请求速率超过多少时缓存 等等 Nuster 性能评测 非常快, 单进程模式下是 nginx 的 3 倍，多进程下 nginx 的 2 倍，varnish 的 3 倍。详见benchmark 安装 Nuster git clone https://github.com/jiangwenyuan/nuster.git cd nuster make TARGET=linux2628 make install 详情请参照 HAProxy...阅读全文
器容灾稳定性等非专业逻辑的开发。这些服务器的运维和开发知识、经验极大地限制了开发者进行业务开发的效率。设想一下，如果开发者直接租用服务或者开发服务而无须关注如何在服务器中运行部署服务，是否可以极大地提升开发效率和产品质量？这种去服务器而直接使用服务的架构，我们称之为 Serverless 架构（无服务器架构）。 Serverless 架构的问世 2014 年，云厂商 AWS 推出了“无服务器”的范式服务。其实，最初“无服务器”意在帮助开发者摆脱运行后端应用程序所需的服务器设备的设置和管理工作。这项技术的目标并不是为了实现真正意义上的“无服务器”，而是指由第三方供应商负责后端基础结构的维护，以服务的方式为开发者提供所需功能，例如数据库、消息，以及身份验证等。这种服务基础结构通常可以叫做后端即服...阅读全文
允许服务以安全且受控的方式从生产环境的一种状态变化到另一种状态。 在Shakespeare服务里，前端的控制平面是Borg API，它配置了相应的job并且在每个集群里运行这些job。 本文将job定义为一系列类似的任务，和Kubernetes的ReplicaSet类似。任务是单个运行着的实例，通常是单个进程，类似于Kubernetes的Pod。某个job在单个集群里运行所有任务。集群是一系列能够运行多个任务和集群的计算节点，通常物理上是放在一起的。 在Shakespeare服务里，每个前端是给定集群里的一个job。 下一节我们重点介绍如何为生产环境引入控制平面来改进变更管理。 我们的挑战 服务设计倾向于关注服务基础架构，解决重要也很基础的问题：用户请求如何响应？你的服务使用哪些服务器和数据...阅读全文
如果你经常让你的系统经历休眠周期，那么从即将开始的 Linux 5.10 周期开始，性能应该会好很多。在即将到来的Linux 5.10合并窗口中，有一个变化允许对休眠/恢复的I/O请求进行批处理，以加快休眠和恢复进程。 到目前为止，Linux 内核依靠为每一页数据提交单独的 I/O 请求，但现在 Linux 5.10+ 的时候，它设置为使用 batch 与 blk_plug。 开发者Xiaoyi Chen的内核补丁解决了这一问题：合并I/O请求让系统休眠和恢复的速度提升了一个数量级以上。在使用的32GB内存中，16GB内存的一个休眠和恢复周期在改变前需要21分钟左右，在存储IOPS有限的系统上，改变后仅需要1分钟。" Xiaoyi Chen在亚马逊EC2旗下主导了这项工作，这项改变是在系统...阅读全文
特性和业务模型的第 4 层上。Dizme 生态系统预计将包括利用 Hyperledger堆栈和添加基于Algorand 区块链协议的货币化层的各种技术组件，这将使可验证凭证的交换和新的垂直应用程序的开发成为可能。身份凭证通过三个级别的保证进行管理：低级别的自我声明信息；中等级别的自动检查；以及可靠的实质性标识。这些级别的保证将使行业拥有更安全、创新和成本效益高的入职流程。 Linux基金会成立于 2000 年，有超过 1000 名成员支持，是世界上在开源软件、开放标准、开放数据和开放硬件方面进行合作的主要机构。Linux 基金会的项目对包括 Linux、Kubernetes、Node.js 等等。作为 Linux 基金会的一部分，DizmeID 基金会将利用开放治理和区块链技术社区的现有创新...阅读全文
不更新，尤其是系统中的共享库文件。 方法一： 使用 apt-mark 锁定应用程序 使用 apt-mark 命令可以阻止命令（比如 apt upgrade 或 apt-get upgrade）对锁定的应用程序进行升级。你可以使用以下命令，管理锁定的软件： sudo apt-mark hold PACKAGE_NAME #锁定软件版本。可以一次指定多个包sudo apt-mark showhold #显示系统中被标记为锁定的软件包sudo apt-mark unhold PACKAGE_NAME #解除对软件包的锁定。可以一次指定多个包。 方法二：使用 dpkg 防止软件包更新 有一些不遵守规则的图形包管理器，会忽略 apt-mark 锁定的软件，为了保险起见，我们还可以使用 dpkg 防止软...阅读全文
前言 在 DevOps 实践中，基础设施即代码如何落地是一个绕不开的话题。像 Chef，Puppet 等成熟的配置管理工具，都能够满足一定程度的需求，但有没有更友好的工具能够满足我们绝大多数的需求？笔者认为 Terraform 是一个很有潜力的工具，目前各大云平台也都支持的不错，尤其是使用起来简单明了。本文会简单的介绍一下 Terraform 相关的概念，然后通过一个小 demo 带大家一起进入 Terraform 的世界。说明：本文的演示环境为 ubuntu 16.04。 Terraform 是什么？ Terraform 是一种安全有效地构建、更改和版本控制基础设施的工具(基础架构自动化的编排工具)。它的目标是 "Write, Plan, and create...阅读全文
了一个小时。但是我的水平有限，结果可想而知。我肯定也知道没过，然后我就请教面试官，需要提升的地方，学**哪方面的内容。 于是我去学习，一个月过去了。 第二次面试，也是阿里 B2B 的岗位，我不知道那个时候有没有招聘的公海，按照我的理解是没有的，然后我肯定不会有这么多次机会。这次的面试和上次很像，只不过内容换成了多线程并发相关的知识。我又不知道，面试官还是很容忍我，最后没通过，我同样为了需要什么提高。 于是我去学习，一个月又过去了。 第三次面试，是淘宝，应该是广告部门。这次面试，我觉得除了不知道的内容，其他的内容都还回答的蛮正确的。但是面试官，拿着面试题就和我聊了，然后讲到一个数据库方面的知识时（内连接，外连接），我说不知道。面试官说：这么基础的问题你都不会，这是不能容忍的，其实当时很伤心。有...阅读全文
Systemd 是 Linux下的一款系统和服务管理器，兼容 SysV 和 LSB 的启动脚本。Systemd 的特性有：支持并行化任务；同时采用socket式 与 D-Bus 总线式激活服务；按需启动守护进程（daemon）；利用 Linux 的 cgroups 监视进程；支持快照和系统恢复；维护挂载点和自动挂载点；各服务间基于依赖关系进行精密控制。 其中的监视和控制功能的主要命令就是systemctl。 Systemd 有很多不同类型的使用单元，主要包括：系统服务（.service）、挂载点（.mount）、sockets（.sockets）、系统设备（.device）、交换分区（.swap）、文件路径（.path）、启动目标（.target）。一般我们常用的是其中的系统服务。 对于系...阅读全文
ComplianceIntegrated with many AWS servicesEventually ConsistentFree to use 基本概念 User 您可以在账户中创建与组织中的用户对应的各 IAM 用户，而不是与他人共享您的根账户凭证。IAM 用户不是单独的账户；它们是您账户中的用户。每个用户都可以有自己的密码以用于访问 AWS 管理控制台。您还可以为每个用户创建单独的访问密钥，以便用户可以发出编程请求以使用账户中的资源。 Group IAM中，组是 IAM 用户的集合。利用组，可为多个用户指定权限，以便更轻松地管理这些用户的权限。例如，您可能有一个名为 Admins 的组，并向该组授予管理员通常需要的权限类型。该组中的任何用户均自动具有分配给该组的权限。如果有新用户加入您的组织，并且需要管理员权限，则可...阅读全文
工业和信息化部将会同相关部门尽快发布实施《移动互联网应用程序个人信息保护管理的暂行规定》（简称《规定》）。《规定》将为个人信息保护提供更加坚实的政策保障。在新规的引导下，多个电商平台已经主动加强了对客户信息的保护力度。 工业和信息化部信息通信管理局的人士近日透露：“在充分吸收社会各界意见的基础上，工业和信息化部会同相关部门制定了《规定》的征求意见稿，社会各界提出了一些好的意见和建议，我们正在研究采纳。在此基础上，尽快会同有关部门发布实施。”  在征求意见稿中，管理部门明确了App开发运营者的信息保护义务。 《规定》要求...阅读全文
source /etc/profile Hadoop文件配置 配置文件都在etc/hadoop/文件夹下 1. hadoop-env.sh # jdk环境变量 （因为要远程调用 ${java_home}找不到变量） export JAVA_HOME=/usr/lib/jvm/jdk 2. workers # 添加所有slave机器的hostname slave1 slave2 slave3 3. core-site.xml