这些年，机械硬盘容量的提升速度十分缓慢，大有被SSD全面赶超的趋势，不过每个季度，希捷、西部数据都会更新路线图，展望机械硬盘在技术、容量上的发展趋势，尤其是希捷。近日，希捷更是公布了详细的未来技术路线图，计划在2026年左右达到50TB左右，2030年则可以超过120TB。机械硬盘最近几年普遍基于PMR(垂直存储技术)，但即便经过各种优化加强，也已经逼近极限，新的存储技术、机械结构迫在眉睫。比如希捷研发近20年的HAMR(热辅助磁记录)，终于已经开花落地，去年底交付了20TB HAMR硬盘，同时新的多传动器(Muti-Actuator)结构也已经基本成熟，二者结合可让机械硬盘的容量跨上新台阶，2026年达到50TB就靠它们了。类似未来的半导体工艺制程，要想实现更进一步的突破，全新的存储介质...阅读全文
。 SSD则是外部存储，用来长久保存数据，属于非易失性存储，断电后数据还在，但是相对速度慢、延迟高，HDD机械硬盘、U盘、光盘等也是此类。 SSD的存储介质是NAND闪存颗粒，需要施加不同的电压、改变内部状态来存储数据，随着时间的流逝、读写次数的增加，会出现物理性的损耗，最终不可用。 NAND闪存的寿命一般用P/E编程擦写次数来描述，写满一次容量就损失一次P/E。 SLC大约是10万次，MLC只有5000次左右，TLC就只大概2000次，QLC仅为1000次上下，所以不得不依靠更多管理技术和算法来辅助，以保持寿命。 但另一方面，SLC、MLC、TLC、QLC的存储密度越来越大，SSD容量也越来越大，写满的概率越来越低，所以整个SSD的实际寿命其实并没有大大缩短，一般应用无需过分担忧寿命问题。...阅读全文
错性能提升，电压2.5V，支持最新的NANG Flash闪存介质。面向工业领域如汽车自动驾驶，工作温度零下40摄氏度到高温105摄氏度。 至于 UFSHCI v3.0 规范则面向主控厂商参考，用于简化通行设计。 至于UFS存储卡v1.1，则实现了对HS-Gear1/2/3的全部兼容，这样存储速度就达到最高1.5GB/s。 另外，三星已经宣布，将在2018年第一季首发推出UFS 3.0接口的产品。由于骁龙845、Exynos 9810等尚无证据支持UFS 3.0接口，所以是否对应Galaxy S9终端或者仅仅是主控、闪存这类零部件，暂不得而知。...阅读全文
Arch Linux 是第一个以全新的 ISO 镜像在 2020 年启动的 GNU / Linux 发行版之一，该镜像是第一个基于最新 Linux 内核系列的镜像。 Arch Linux 2020.01.01 是 2020 年的第一个 ISO 版本，由 Linux 5.4 内核系列提供支持，带来了许多新功能和增强功能。例如，对 Microsoft exFAT 文件系统的支持、“lockdown”安全功能、以及对 Android 上的应用程序内存管理的改进。 最重要的是，Arch Linux 2020.01.01 发行版还附带了整个 2019 年 12 月的所有软件包更新和安全补丁程序发行版，对于想要在新计算机上部署 Arch Linux 的人来说，该 ISO 镜像将是最新的安装介质。 值得...阅读全文
GitLab 于上周发布了 12.5 新版本，官方在发布说明中介绍到，为了尽可能高效地交付高质量的软件，企业会经常需要跨多云以支持广泛的基础架构，因此新版带来了 EKS 集群和环境面板等功能以支持跨各种配置的项目配置，更方便监控和管理。 轻松创建并部署 EKS 集群 在新版本中 GitLab 添加了 EKS 集成，因此我们可以在 GitLab 集群页面中选择 EKS 作为选项，然后系统会提示进行身份验证以使用 AWS 账户。一旦通过身份验证，只需为集群指定所需的参数，GitLab 将负责完成其余的工作。因此在新版本中，我们只需单击几下就可以在 Amazon 的 EKS 上创建 Kubernetes 集群。 使用 Crossplane 配置多云托管服务 在 GitLab 12.5 中，我们可...阅读全文
Proxmox VE 6.2 现已发布，该版本基于新发布的 Debian 10.4，同时引入了 Linux 5.4 LTS 内核、QEMU 5.0、LXC 4.0 和其他更新的软件组件，包括 OpenZFS 0.8.3。Proxmox VE（Proxmox Virtual Environment）是一个非常棒的集成 OPENVZ 支持 KVM 应用的环境。 Proxmox VE 6.2 的一些亮点内容如下 基于 Web 的管理界面的高级选项： 除了已经存在的基于 HTTP 的验证模式之外，Proxmox VE 还通过基于 DNS 的质询机制为 Let’s Encrypt TLS 证书实现了域的内置验证。完全支持多达八个 corosync 网络链接。使用的链接越多，集群可用性就越高。在存储内...阅读全文
Debian 项目今天宣布发布 Debian GNU/Linux 9 “Stretch” 操作系统系列的第8个版本。Debian 9.8 具有许多更新的软件包，可以解决各种错误，安全更新范围从QEMU 和 Ceph 到 Chromium 和 systemd，更新的 Python 3 依赖关系到多个软件包，解决可能的DoS漏洞以及一系列其他修复。 在Debian GNU/Linux 9.7 紧急版本发布仅一个月之后，Debian GNU/Linux 9.8 版本发布在这里作为最新的安装媒价包含众多内容，其中仅包含 APT 软件包管理器的重要安全更新。安全性和错误修复，为用户提供安装 Debian GNU/Linux 9 “Stretch” 操作系统系列的方法，而无需从官方软件存储库下载数百个...阅读全文
件进行版本控制。 除此之外，Insomnia Designer 还提供了与 Kong 平台的强大集成。通过使用 Insomnia 插件，用户可以在 Insomnia Designer UI 中自动将 Kong 网关策略直接嵌入到他们的 API 规范文件中。意思就是，开发者可以将 Kong 网关策略直接存储到规范本身。通过选择 Kong Plugins 的功能（如身份验证或速率限制），用户可以将管理其 API 行为的策略直接写入代码中。 更多介绍查看 https://insomnia.rest/blog/introducing-designer下载地址 https://insomnia.rest/download/...阅读全文
普通人来说,也没有那么可怕。一般人平均每天的写入量很少能超过10GB，那么我们就假设是10GB，120GB QLC SSD，写入寿命达到120 TB。假设写入放大系数则假定为3，甚至5，那么三年之内，很难写坏它。且QLC闪存拥有高容量，也意味着其在QLC驱动器中可通过超额配置以延长产品本身的有效寿命。 目前TLC SSD在质保期普遍达到3年，有的质保期甚至达到5年。那么QLC 寿命问题又有什么好担心？ 2、稳定性 QLC闪存是存储4位电荷，有16种状态，而TLC存储3位电荷，有8种状态 。这意味着QLC闪存单位存储密度更大，是TLC的2倍，单颗芯片可达到256GB甚至512GB。但是，也因如此，QLC闪存的电压更难控制，干扰更复杂，而这些问题都会影响QLC闪存的性能、可靠性及稳定性。不过...阅读全文
”、“简单存储服务”等数据存储业务，再加上保存和提取数据的”关系数据库服务”和数据迁移费，这占到了亚马逊云计算的七成收入。不过在今天，亚马逊更加注重更复杂的高级云计算功能，它们不仅利润率高，而且让企业客户切换服务商的成本更高。比如在五月份，塞林普斯基在Twitter上介绍了一个新服务“应用运行器”（App Runner），可以在虚拟容器中部署应用软件，这可以让企业用户把精力集中在业务构建上，而不是管理“容器”或是“基础设施”。美国贝尔斯登研究公司六月份发布的一份报告指出，2015年，亚马逊云计算14%的收入来自于高毛利的“平台即服务”云计算产品，其余来自于低端的“基础设施即服务”产品。但是贝尔斯登认为，在去年上半年，平台即服务的收入占比已经提高到了18%。美国科技业人士乔·金塞拉（Joe...阅读全文
程序可以处理这些更复杂的工作负载之前，还有很多工作要做。甚至由于驱动程序错误或未实现的 Vulkan 功能，连 Sascha 的一些演示都无法运行。 为此，接下来几个月的工作将集中在支持基本的 Vulkan 1.0 功能集，至少涉及支持计算着色器、输入附件、纹理像素缓冲区、存储镜像、pipeline 缓存和多重采样。在 Vulkan 1.0 中，还需要支持其它一些功能，例如健壮的缓冲区访问等。 一旦完成了功能开发，则可能会将重心转移到 CTS 一致性上，这将全部用于 bug 修复，并处理特殊情况。最后也会有许多性能调整和优化工作。 Raspberry Pi 基金会还介绍，目前已经将驱动程序的开发转移到一个开放的存储库中，开发者可以在其中找到有关如何构建和安装驱动的说明。...阅读全文
注释、类注释、方法注释，要求都是能准确说明其用法。 ## 设计文档 ## 很多公司或者团队在项目开始前都要求有设计文档，设计是项目实施的第一步，所以在设计文档书写的过程中要求尽可能考虑周全，例如该项目的存储、交互、隐私…… 好的设计文档应该包含以下几个部分： 1. 设计目标 2. 实现的策略 3. 各种利弊权衡和具体决策 4. 替代方案 5. 各种方案的优缺点 写设计文档的过程也你对整个项目做规划、思考可能出现问题的过程，设计的越详细、思考的越多，未来遇到问题的可能性就会越小。 ## 引导类文档 ## 引导类文档也很常见，一般都是Step by Step的形式。比如我们在使用某个框架或者工具的时候，一般都会有个引导类的文档一步一步帮助你快速上手。 大家写引导类文章大家非常容易犯的一个错误就是...阅读全文
从 Notion 到 Focalboard近两年来，Notion 作为一款在线笔记应用，以其强大的功能和优雅的颜值获得了大量用户的关注和喜爱。大量的用户通过 Notion 的 Block 、Database等功能，挖掘了适合教育、营销、市场管理、开发等多个场景的使用模版。然而，Notion 在国内使用也有不少槽点：加载速度慢、迟迟没有提供汉化版、不能离线使用、本地存储等。当然，这些槽点也有一些解决方案。比如，针对网络问题，可以使用 Notion Fast等插件进行加速；针对语言问题，现在已经有了非官方的汉化方案。离线使用和本地存储的话，不知道 Notion 是否有相关规划。Notion对于一些用户而言，由于工作环境存在数据加密等需求，离线使用和本地存储成为刚需。对此，Anytype 这款开...阅读全文
看着SSD气势汹汹，机械硬盘丝毫不敢懈怠，唯有不断推陈出新大容量产品，同时把容价比做到更低。据说淘宝上出现了一批全新/充新HGST 8T企业盘，由不景气的乐视云内部流出，居然只要千元出头。 就目前而言，西数、东芝均发布了14TB，前者使用SMR（叠瓦式磁记录），后者使用传统的PMR（垂直磁记录），9碟充氦。 而且，巨头均规划了16TB硬盘，预计明年推向市场。 近日，知名存储服务商Backblaze刊文报道，希捷CTO（首席技术官）Mark Re介绍称，HAMR（热辅助磁记录）存储技术硬盘已经越来越接近商用了。 今年10月的容量密度还是2Tbpsi（每平方英寸容量），Mark Re此次透露，目前已经达到5Tbpsi，是当下希捷最大的12TB硬盘（PMR）1.3Tbpsi的3.8倍，而HAMR...阅读全文
Linux操作系统为许许多多用户安装和使用，难免会遇到一些问题。正如2016年我们总结过5大Linux故障排除技巧一样，在即将过去的2017年里，我们依然搜集了用户在使用Linux系统时发现的问题，在此总结综述为"2017年五大Linux痛点"，直指用户使用的关键点，希望能对您有所帮助。 1.文档 文档的问题是你今年最大的痛点吗？开源的方式产生了大量优秀的代码，文档的质量也因此上升了一个台阶。随着越来越多的非技术用户采用Linux和开源软件，文件的质量和数量将变得至关重要。如果您想为开源项目做贡献，但又不觉得自己有足够的技术来提供代码，那么改进文档是一个很好的参与方式。许多项目甚至将文档保存在它们的存储库中。因此你可以通过自己的贡献去改进工作的效率。 2.软件/版本不兼容 软件版本不兼容的...阅读全文
在使用 git 时，如果不是使用ssh 和 key 验证的方式，则每次提交都会让输入用户名和密码，会显得比较麻烦，在服务器上配置时也无法做到自动同步更新代码。那么如何解决这个问题呢？我们这里介绍除 ssh + key 以外的免密码登录方式。在全局中存储用户的账号密码 以 Windows 环境为例，在 %HOME% 目录中，一般为C:\Users\username（也可以是你自己创建的系统用户名目录）目录下，创建.git-credentials 文件。 文件内容为一行，样例如下： https://username:password@git.example.com 注：username对应的 git 服务器的用户名，password 为密码。然后再进入 git bash 中执行， git...阅读全文
Redis 创始人兼核心开发者 antirez 在博客 介绍 了将在 Redis 6 提供的新功能 —— Client side caching（客户端缓存）。 antirez 表示 全新的 Redis 协议 RESP3 将是 Redis 6 中最重要的特性，并解释了他为何如此急切地改进 Redis 协议，原因主要有两个，一是因为希望能为客户端提供更多的语义化回复（semantical replies），以开发使用旧协议难以实现的功能；另一个原因也是 antirez 认为最重要的一个，实现 Client side caching（客户端缓存）功能 。 这个功能十分常见，但 Redis 尚未提供。 当使用者需要进行快速存储或快速取操作时，就需要在客户端内存中存储一小部分信息，这是为了降低程序...阅读全文
系统，你可以通过下面的命令安装 Apt-Offline： sudo apt-get install apt-offline 如果你的在线系统运行的是非 Debian 类的发行版，使用 git clone 获取 Apt-Offline 仓库： git clone https://github.com/rickysarraf/apt-offline.git 切换到克隆的目录下并在此处运行： cd apt-offline/ sudo ./apt-offline 在离线系统（没有联网的系统）上的步骤 到你的离线系统上创建一个你想存储签名文件的目录： mkdir ~/tmp cd ~/tmp/ 你可以自己选择使用任何目录。接下来，运行下面的命令生成签名文件： sudo apt-offline set...阅读全文
制 ：这是 PostgreSQL 在物理复制之外提供的另一种可选方案，提供了更大的灵活性，而且配置简单。 改进并行查询 ：在查询很多时应该会有 2 到 4 倍的速度提升。 更强大的密码哈希算法 ：使用了 SCRAM -SHA–256。 关于 PostgreSQL 10，还有更多的特性正在开发之中，就像 2ndQuadrant 创始人兼首席执行官 Simon Riggs 在最近的一次演讲中所 介绍 的那样。包括 PostgreSQL 10 官方路线图在内，正在进行中的特性开发工作还有诸如以下这些： 自治事务 多主集群，使用 分片 提高扩展性和可用性 查询 JIT 编译 可插拔的存储引擎（columnar、内存内存储等） 页级数据压缩等 改进临时表性能 不过，哪些特性将成为 PostgreSQL...阅读全文
localStorage的存储空间后会抛出异常。 此外，H5还提供了逆天的websql和indexedDB,允许前端以关系型数据库的方式来存储本地数据，相对来说，这个功能目前应用的场景比较少，此处不作介绍。 5、浏览器缓存机制 浏览器缓存机制是指通过 HTTP 协议头里的 Cache-Control（或 Expires）和 Last-Modified（或 Etag）等字段来控制文件缓存的机制。 Cache-Control 用于控制文件在本地缓存有效时长。最常见的，比如服务器回包：Cache-Control:max-age=600 表示文件在本地应该缓存，且有效时长是600秒（从发出请求算起）。在接下来600秒内，如果有请求这个资源，浏览器不会发出 HTTP 请求，而是直接使用本地缓存的文件。 Last...阅读全文
ipset 是 iptables 的扩展，它允许你创建匹配整个地址集合的规则，而不像普通的 iptables 链只能单IP或单网段匹配。 ipset 规则中的IP地址集合存储在带索引的数据结构中，这种结构即时集合比较大也可以进行高效的查找，从而减少系统资源占用或网络拥塞。IPset 也具备一些新防火墙设计方法，并简化了配置。ipset 的官网：http://ipset.netfilter.org 下面我们以一个实际场景为样例，介绍如何在Debian系统中，使用 ipset 将单个国家的左右 IP段 加入黑名单。 #### 准备工作：安装 ipset、或者网段列表 sudo apt-get -y install ipset wget -P . http://www.ipdeny.com...阅读全文
新定义他们的愿景。 运维的未来是要使开发者能够通过工具、自动化和流程实现自助服务，并使他们能够通过最小的运维干预来部署并运行服务。每个角色都应该朝着脱离它们的工作实现自动化的方向而努力。 ops 提供服务的模式已经穷途末路，并且也过时了。Devs 提出的要求总会超出他们的能力。 正确的模式是要把ops作为力量倍增器：创建自动化，使devs提供自己的集合和基础设施。 Dev：我的集合崩了！ Op：好的，我知道了，现在是我的问题了——等我来解决。 ——错误的模式！ Dev：我的集合崩了！ Op：好的，我知道了。作为领域专家，我来帮你，你来解决，或者是，你可以用工具重配一下。 如果你让一个老派的运维人员理解说明整个存储栈，从裸金属到客户，并圈出他们所关心的，他们会把整个存储栈都圈起来，接着就会抱怨...阅读全文
请求第一个 block 该传输到哪些 DataNode 服务器上； NameNode 根据配置文件中指定的备份数量及机架感知原理进行文件分配, 返回可用的 DataNode 的地址如：A, B, C； Hadoop 在设计时考虑到数据的安全与高效， 数据文件默认在 HDFS 上存放三份， 存储策略为本地一份，同机架内其它某一节点上一份，不同机架的某一节点上一份。 Client 请求 3 台 DataNode 中的一台 A 上传数据（本质上是一个 RPC 调用，建立 pipeline ），A 收到请求会继续调用 B，然后 B 调用 C，将整个 pipeline 建立完成， 后逐级返回 client； Client 开始往 A 上传第一个 block（先从磁盘读取数据放到一个本地内存缓存），以...阅读全文
很多人在装机过程发现，在某电商平台输入处理器信息后，会出现盒装版和标明散片装两种商品，二者在售价上也天差地别，因为担心假货，很多人愿意花费更多的售价购买正品盒装版，今天为大家讲解一下盒装版处理器和散片之间的区别。 CPU有叫做中央处理器，是一块超大规模的集成电路，它的主要功能是解释计算机指令以及处理计算机软件中的数据。通常包括运算器、高速缓冲存储器以及实现他们之间联系的数据、控制、状态的总线。目前市面上主流CPU生产商包括Intel和AMD，其中散片主要集中在Intel生产的处理器当中，ADM生产的市面上几乎没有散片包装。 CPU散片一般而言即只有一块CPU包装，没有任何正规包装盒，与正规CPU最大区别在没有CPU原装散热器，无法享受官方正品带来的任何售后以及三包服务。通常CPU散片主要是...阅读全文
消，将返回nil。Err 如果Done返回的channel没有关闭，将返回nil;如果Done返回的channel已经关闭，将返回非空的值表示任务结束的原因。如果是context被取消，Err将返回Canceled；如果是context超时，Err将返回DeadlineExceeded。Value 返回context存储的键值对中当前key对应的值，如果没有对应的key,则返回nil。可以看到Done方法返回的channel正是用来传递结束信号以抢占并中断当前任务；Deadline方法指示一段时间后当前goroutine是否会被取消；以及一个Err方法，来解释goroutine被取消的原因；而Value则用于获取特定于当前任务树的额外信息。而context所包含的额外信息键值对是如何存储的呢...阅读全文
Rancher是一个开源项目为Docker容器环境提供了较完善的管理平台。Rancher 允许我们在大规模生产环境中使用 Docker。 Rancher 提供模块化基础架构服务，如多主机网络、全局和本地负载平衡、监控、恢复和卷快照等。本文我们将介绍如何在Debian 9 Stretch 上安装配置 Rancher。 安装要求 运行Debian 9的服务器。 具有sudo权限的非root用户。 开始 在开始之前，建议将您的APT存储库更新为最新版本。 您可以使用以下命令执行此操作。 sudo apt-get update -y sudo apt-get upgrade -y 接下来，可以重新启动系统以应用所有更改。然后使用以下命令安装所需的软件包： sudo apt-get install...阅读全文
一个根据make的Map-Reduce解决构架和一个轻巧的分布式存储。小编迄今依然仍在应用GXP开展日常的管理方法和规模性数据处理方法实际操作这些，有感兴趣的大家能够到GXP首页查询：qnu/gxp。 SaltStackSaltStackautomationforCloudOps,ITOps&DevOpsatscale SaltStack也是根据Python的一种系统软件布署管理系统软件。和Ansible相近，SaltStack也是根据ssh和服务项目上的SaltStack过程(minions)通讯并根据YAML叙述环境变量。可是有别于Ansible，SaltStack选用的是主从关系式的多级别系统架构，因而必须在服务端事先安裝一个SaltStackminion软件包。 系统架构图自动...阅读全文
个轻巧的分布式存储。小编迄今依然仍在应用GXP开展日常的管理方法和规模性数据处理方法实际操作这些，有感兴趣的大家能够到GXP首页查询：qnu/gxp。 SaltStackSaltStackautomationforCloudOps,ITOps&DevOpsatscale SaltStack也是根据Python的一种系统软件布署管理系统软件。和Ansible相近，SaltStack也是根据ssh和服务项目上的SaltStack过程(minions)通讯并根据YAML叙述环境变量。可是有别于Ansible，SaltStack选用的是主从关系式的多级别系统架构，因而必须在服务端事先安裝一个SaltStackminion软件包。 系统架构图自动生成可视化工具...阅读全文
在真正的生产环境中，如何合理的分配服务器资源、提高利用率、让整个集群运行的更加稳定使得 k8s-scheduler 这个角色在集群中的地位愈发重要。 kube-scheduler的预选(过滤)和精选(打分) api-server会将创建pod的请求发送给kube-scheduler，并且将pod信息记录在etcd数据库中。之后kube-scheduler会根据预选（过滤）规则，首先过滤掉一部分node节点中的pod，没有被过滤掉的pod可以看做是可以被调度的pod，之后再通过更加严格的规则给剩下的pod打分，这一步也叫作优选。打分最高的pod可以看做被优先分配到pod任务。 调度流程简介 创建pod的命令被api-server的api接口接收到。api-server将pod信息存储在...阅读全文
（"hot spot"热点竞争问题）工作负载。 2. NoSQL：MySQL 从 5.7 版本开始提供 NoSQL 存储功能，目前在 8.0 版本中这部分功能也得到了更大的改进。该项功能消除了对独立的 NoSQL 文档数据库的需求，而 MySQL 文档存储也为 schema-less 模式的 JSON 文档提供了多文档事务支持和完整的 ACID 合规性。 3. 窗口函数(Window Functions)：从 MySQL 8.0 开始，新增了一个叫窗口函数的概念，它可以用来实现若干新的查询方式。窗口函数与 SUM()、COUNT() 这种集合函数类似，但它不会将多行查询结果合并为一行，而是将结果放回多行当中。即窗口函数不需要 GROUP BY。 4. 隐藏索引：在 MySQL 8.0 中，索引可以被...阅读全文
作为 Debian 10“Buster”系列发行版的第四个稳定更新，Debian 10.4 主要修复了安全性问题。维护团队希望已经用上 Debian 10 的设备能够尽快部署安全修复程序，更新过程很是简单。另有针对严重问题的一些调整，公告详情可移步至官网查看。 据悉，Debian 10.4 只是更新了 Debian 10 自带的某些软件包，所以大家不用急着扔掉旧版安装介质。安装完成后，再通过自动更新组件来获取即可。 新版中修复了 libssh 的一个特定安全漏洞，0.8.9 和 0.9.4 之前的 libssh 版本都受到影响。若未完全初始化连接、且系统尝试清理，则该漏洞可导致客户端或服务器完全崩溃。 此外，Debian 10.4 移除了一些软件包，比如因为 Hotmail...阅读全文
Redis的一些开发规范和建议： 1.冷热数据分离，不要将所有数据全部都放到Redis中 虽然Redis支持持久化，但是Redis的数据存储全部都是在内存中的，成本昂贵。建议根据业务只将高频热数据存储到Redis中【QPS大于5000】，对于低频冷数据可以使用MySQL/ElasticSearch/MongoDB等基于磁盘的存储方式，不仅节省内存成本，而且数据量小在操作时速度更快、效率更高！ 2.不同的业务数据要分开存储 不要将不相关的业务数据都放到一个Redis实例中，建议新业务申请新的单独实例。因为Redis为单线程处理，独立存储会减少不同业务相互操作的影响，提高请求响应速度；同时也避免单个实例内存数据量膨胀过大，在出现异常情况时可以更快恢复服务！ 在实际的使用过程中，redis最大的瓶颈一般是...阅读全文
、Helm、Ruby、Python 和 Docker。 JFrog 提供了高可用性、复制、灾难恢复和可伸缩特性，并兼容许多本地和云存储产品。 Sonatype Nexus Sonatype Nexus 是一款存储库管理器。你可以用它代理、收集和管理依赖项，这样就用不着和一大堆 JAR 打交道了。它简化了软件分发的工作。 你可以配置自己的内部构建，然后发布到 Nexus 上供其他开发者使用。 NuGet NuGet 是.NET 的软件包管理器。NuGet 客户端工具提供了生成和使用软件包的功能。 NuGet Gallery 是为所有包作者和使用者提供的软件包中心存储库。 测试工具 测试阶段主要是检测内部质量，建立对已部署构件的信心。目前业内常用的测试工具包括 JUnit、xUnit.net...阅读全文
全球的内存市场主要被三星、SK Hynix和美光三家公司垄断，他们三家加起来的份额高达95%，中国要想在内存市场突破封锁并不容易，尽管有紫光、长鑫、兆易创新等公司投身存储芯片市场，但在现有的DDR内存技术上，中国公司技术、产能还差得远呢。 此外，内存也不止传统的DDR技术，还有很多新兴领域正在发展，比如PCM相变存储，相比传统内存它的优势很多，比如速度快了1000倍，耐用性也是传统内存的1000倍，江苏淮安市时代芯存公司投资130亿元建设了国内最大的相变存储基地，上周已经开始正式运营，预计年产值45亿元。 来自中国江苏网的消息称，淮安市集成电路产业现场推进暨江苏时代芯存半导体有限公司相变存储器工厂竣工运营启动仪式在淮安高新技术产业开发区顺利举行，此举标志着130亿元投资的相变存储项目开始进...阅读全文
存储世界最近发生了很大变化。十年前，Fibre Channel SAN 文件管理器是企业存储的标准。而在目前的环境中，受到基础架构即服务云的影响，数据存储需要更加灵活。 GlusterFS 和 Ceph 是两个灵活的存储系统，在云环境中表现非常出色。 在尝试了解 GlusterFS 与 Ceph 之间的相似之处和不同之处之前，让我们来讨论在云环境中对灵活存储的一些要求。 纵向扩展和横向扩展。在云环境中，必须可以很容易地向服务器添加更多存储空间以及扩展可用存储池。Ceph 和 GlusterFS 都可以通过轻松将新存储设备集成到现有存储产品中来满足这一要求。 高可用性。GlusterFS 和 Ceph 的复制是同时将数据写入不同的存储节点。这样做的结果是，访问时间增加，数据可用性也提高。在...阅读全文
。 BlueStore支持Ceph存储的所有的完整的数据和元数据校验。 BlueStore内嵌支持使用zlib，snappy或LZ4进行压缩。（Ceph还支持zstd进行RGW压缩，但由于性能原因，不为BlueStore推荐使用zstd）。 EC池现在完全支持覆盖，允许它们与RBD和CephFS一起使用。 ceph-mgr: ceph-mgr是一个新的后台进程，这是任何Ceph部署的必须部分。虽然当ceph-mgr停止时，IO可以继续， 但是度量不会刷新，并且某些与度量相关的请求（例如，ceph df）可能会被阻止。我们建议您多部署ceph-mgr的几个实例来实现可靠性。 ceph-mgr守护进程daemon包括基于REST的API管理。注：API仍然是实验性质的，目前有一些限制，但未来会成为API管理的基础...阅读全文
，每一个节点上创建一个 Pod 已经有了一个更新特性，在1.7中添加了更加机智的回滚和历史回溯能力。 一个新的 StorageOS 卷插件能从本地的和连接的节点存储中提供高可用的、集群范围的持久性卷。 可扩展性： 运行时的 API 聚合是这次发布中最强大的特性，可以让高级用户向集群中添加预先构建的、第三方的或者用户自制的具有Kubernetes风格的API。 容器运行时接口（CRI）通过新的从运行时获取容器指标的 RPC 调用得到增强。CRI 的验证测试已经发布，和containerd 1.0的整合处于 alpha 状态，现在支持基本的 Pod 生命周期和镜像管理。可以阅读我们之前深入介绍 CRI 的文章。 其他特性： 引入了对于外部的准入控制器的支持，现在处于 alpha 状态，提供了两种选...阅读全文
性），默认为最终一致性。 curl -X POST http://localhost:3500/v1.0/state/starwars \ -H "Content-Type: application/json" \ -d '[ { "key": "weapon", "value": "DeathStar", "etag": "xxxxx", "options": { "concurrency": "first-write", "consistency": "strong" } } ]' 目前支持使用Azure CosmosDB、 Azure SQL Server、 PostgreSQL,、AWS DynamoDB、Redis 作为状态存储介质。 3. Publish and...阅读全文
的变更可能导致政府对互联网及其用户实行更集中、自上而下的控制，这将对安全和人权产生影响。 华为对此解释称，开发 New IP 只是为了满足快速发展的数字世界的技术要求，并没有将任何一种控制机制做入到设计中。同时，华为还指出，New IP 的研究和创新向全世界的科学家和工程师开放，他们可以参与进来，并为之贡献。 另外，关于安全方面的质疑，华为表示该架构将具有“关闭命令”功能，可以使中心点断开特定信号源的连接。 除了对 New IP 质疑，还存在从根本上否定 New IP 的观点。IETF（The Internet Engineering Task Force，互联网工程任务组）主席 Alissa Cooper 表示，互联网的发展是通过模块化和弱耦合的构建模块实现的，这是互联网的卓越之处。即使是...阅读全文
有一定的提升。同时，在执行时候是经过分段去执行任务的，无需同时执行；在容错计算方面是根据 stage 进行容错。 Flink 1.14 的优化点主要是针对在流的执行模式下，如何去处理有限数据集。之前处理无限数据集，和现在处理有限数据集最大的区别在于引入了 "任务可能会结束" 的概念。这种情况下带来了一些新的问题，如下图: ■ 在流的执行模式下的 Checkpoint 机制 对于无限流，它的 Checkpoint 是由所有的 source 节点进行触发的，由 source 节点发送 Checkpoint Barrier ，当 Checkpoint Barrier 流过整个作业时候，同时会存储当前作业所有的 state 状态。 而在有限流的 Checkpoint 机制中，Task 是有可能提早结...阅读全文
随着互联网的高速发展，云存储技术已经相当成熟了，网盘成了人们工作和学习中不可缺少的部分。尽管如此，离线存储技术也无法被取代，毕竟在没有网络的情况下，离线存储才是最佳的解决方案。 而目前使用的最多的且最方便的离线存储设备就是U盘，凭借小巧便携的体型设计赢得了广大用户的喜爱，但随着数据的日益膨胀，小小的U盘无论是在读写速度还是在容量上已经无法满足我们日益增长的存储需求。 而今天，金士顿在CES大会上展示了一款离线存储设备——HyperX Savage EXO外置SSD。HyperX Savage EXO外置SSD外壳采用聚碳酸酯打造，存储颗粒为3D TLC NAND闪存，拥有480GB和960GB两种容量可供选择。 外置SSD的接口为USB3.1 Gen 2，带宽高达10Gbps，实际连续读写...阅读全文
Scrapy 是一个为了爬取网站数据，提取结构性数据而编写的应用框架。 可以应用在包括数据挖掘、信息处理或存储历史数据等一系列的程序中。本文着重介绍 Scrapy 架构及其组件之间的交互。 Scrapy 组件介绍 Scrapy Engine 引擎负责控制数据流在系统中所有组件中流动，并在相应动作发生时触发事件。 详细内容查看下面的数据流(Data Flow)部分。 调度器(Scheduler) 调度器从引擎接受request并将他们入队，以便之后引擎请求他们时提供给引擎。 下载器(Downloader) 下载器负责获取页面数据并提供给引擎，而后提供给spider。 Spiders Spider 是 Scrapy用户编写用于分析response并提取item(即获取到的item)或额外跟进的...阅读全文
恢复有要求的用户；希望轻松管理系统的用户。支持互联网应用，如电子商务、论坛、社交网络、企业网站和办公自动化系统；4.与租用物理服务器相比，云服务器的主要优势是什么？云服务器的租赁价格低于传统物理服务器，不需要押金。凭借快速供应和部署的能力，用户在提交租赁申请后，可以实时打开云主机并立即获得服务。支持业务平滑扩展，当用户业务规模扩大时，可以快速实现业务扩展。5.云服务器可以申请多个IP吗？云服务器将根据用户选择的不同线路配备不同数量的IP地址。默认情况下，单线会有一个独立的IP，双线会有两个独立的IP。由于IP的增加，带宽无法限制，所以暂时不会增加IP。6.云服务器出租产品是为了赋予产权吗？不送产权。云服务器是基于云计算平台的主机产品。用户实际上为云计算平台的计算和存储能力以及高质量的网络带宽...阅读全文
RethinkDB最早是作为一个对SSD进行专门优化的MySQL存储引擎出现的，其特点在于对SSD的充分利用。而目前RethinkDB已经脱离MySQL成为一个独立的存储。 RethinkDB目前支持几乎所有的64位Linux发行版，包括： Ubuntu 10.04.1 x86_64 Ubuntu 10.10 x86_64 Red Hat Enterprise Linux 5 x86_64 CentOS 5 x86_64 SUSE Linux 10 RethinkDB支持各种底层存储：SSD，传统磁盘以及像AWS这样的云存储服务。 RethinkDB应用场景 它可以用来替代Memcached作为数据缓存层。或者替代一些类似Memcached的存储，比如Membase，MemcacheDB...阅读全文
日志文件增长，某些应用会在目标目录下产生多个日志文件甚至现在不能确定将来的日志文件名，架构上要支持多输入多输出流式日志采集传输，为了达成以上需求，我研究了所需技术，评估实现难度并不高，就自研了 logpipe。 logpipe 是一个分布式、高可用的用于采集、传输、对接落地的日志工具，采用了插件风格的框架结构设计，支持多输入多输出按需配置组件用于流式日志收集架构，无第三方依赖。 logpipe 的一种用法是能异步实时监控集群里的所有日志目录，一旦有文件新增或追加写，立即采集并传输到大存储上以相同日志文件名合并落地，或者写入 HDFS。异步意味着不影响应用输出日志的性能，实时意味着一有日志立即采集，很多日志采集工具如 flume-ng、logstash 介绍文档通篇不提采集方式是否实时还是周期...阅读全文
列。Exynos 2200采用最先进的4纳米（nm）EUV（极紫外光刻）工艺，ISOCELL HP3的像素尺寸比上一代产品的0.64μm小12%，可以使摄像头模块的表面积减少约20%，使智能手机制造商能够保持其高端设备的纤薄。三星展示了其ISOCELL HP3的实际应用，向技术日的与会者展示了用20万像素传感器相机拍摄的照片质量，并展示了System LSI用于生物识别支付卡的指纹安全IC的工作原理，该IC结合了指纹传感器、安全元件（SE）和安全处理器，为支付卡增加了额外的认证和安全层。存储器业务亮点今年是三星在DRAM和NAND闪存领域分别领先30年和20年的一年，三星发布了第五代10纳米级（1b）DRAM以及第八代和第九代垂直NAND（V-NAND），肯定了该公司在未来十年继续提供最强大...阅读全文
不构成 Debian 10 的新版本，而只是更新了其中的一些软件包。没有必要扔掉旧的buster介质。安装后，可以使用最新的Debian镜像将软件包升级到当前版本。" Debian 10.9中更新的部分软件包包括LibreOffice、Linux内核、Python、Firefox ESR、Chromium和Tor，Debian 的安装程序也已经更新到包括最新的修复程序。 Debian 10于2019年7月6日首次发布，并将继续接受更新直到2024年。由于Debian的大版本每两年发布一次，我们应该在今年的某个时间点看到Debian 11，但到目前为止还没有给出发布日期。发布后，Debian 10将从Stable降级为Old Stable，而Debian 9将在2022年中被停止更新。 详细资...阅读全文
西部数据开发了有一段时间的Zonefs已经确定要在Linux 5.6内核中登场了，这并不是一个传统意义上面的通用文件系统（比如Ext4、NTFS），而是一个针对特定硬件设备的文件系统，它为分区式存储设备进行了高度的优化。 熟悉Linux的朋友应该知道，在Linux下面内核会将存储设备视为块设备，比如目前会将SATA存储设备视为/dev/sdX。传统文件系统是在这个块设备上面进行操作，而应用程序则是通过系统提供的接口对块设备上面的数据进行访问。 但SMR HDD（叠瓦式硬盘）有一个毛病，它只有在顺序写入时才能正常发挥性能，一旦要进行数据覆盖写入，就需要改写这块数据所在区块内的所有磁道，造成严重的性能下降。传统的文件系统不会因为SMR HDD的特性而特别对待它，而Zonefs就是西部数据对...阅读全文
安全研究员从内核发现的 bug 数量这一角度认为 BSD 正在死亡。安全公司 IOActive 负责渗透测试的总监 Ilja von Sprundel 分析了 BSD 的源代码，从 3 大 BSD 发行版发现了 115 个内核 bug，其中 FreeBSD 有 30 个，OpenBSD 有 25 个，NetBSD 有 60 个，大部分 bug 被认为是非常容易发现的。 他报告了这些 bug，但六个月后许多 bug 仍然没有修复。 Linux 内核的 bug 通常存在的时间很短，很快就会修复，但 BSD 的情况不是如此，许多 bug 已经存在了十年甚至更长时间。von Sprundel 特别称赞了 OpenBSD 的代码质量。 【原文来自 CSOOnline】...阅读全文
Spring Cloud：Eureka注册中心，Ribbon集成REST实现负载均衡，OpenFeign声明式服务调用，Hystrix实现服务限流熔断降级和数据监控，Zuul实现微服网关，Config分布式统一配置中心，分布式链路跟踪，集成Spring Cloud实现统一整合方案虚拟化容器Docker：Docker环境搭建和使用，搭建Docker私有仓库，Docker分布式集群部署，Kubernetes简介 4. 分布式 Java并发编程和网络编程：Java线程状态，线程池，线程通信，线程安全，Netty高性能原理分布式开发框架：分布式系统口调用技术：RPC，Apache分布式系统Zookeeper原理与应用，阿里Dubbo设计思想与应用分布式中间件：分布式服务器治理，分布式消息通信，分布式数据缓存...阅读全文
