InfraPub 为您找到相关结果 756

GlusterFS 和 Ceph 比比看

世界最近发生了很大变化。十年前,Fibre Channel SAN 文件管理器是企业的标准。而在目前的环境中,受到基础架构即服务云的影响,数据需要更加灵活。 GlusterFS 和 Ceph 是两个灵活的,在云环境中表现非常出色。 在尝试了解 GlusterFS 与 Ceph 之间的相似之处和不同之处之前,让我们来讨论在云环境中对灵活的一些要求。 纵向扩展和横向扩展。在云环境中,必须可以很容易地向服务器添加更多空间以及扩展可用池。Ceph 和 GlusterFS 都可以通过轻松将新设备集成到现有产品中来满足这一要求。 高可用性。GlusterFS 和 Ceph 的复制是同时将数据写入不同的节点。这样做的结果是,访问时间增加,数据可用性也提高。在...阅读全文

博文 2017-08-09 10:35:29 debian.cn

西部数据的Zonefs将登陆Linux 5.6内核

西部数据开发了有一段时间的Zonefs已经确定要在Linux 5.6内核中登场了,这并不是一个传意义上面的通用文件(比如Ext4、NTFS),而是一个针对特定硬件设备的文件,它为分区式设备进行了高度的优化。 熟悉Linux的朋友应该知道,在Linux下面内核会将设备视为块设备,比如目前会将SATA设备视为/dev/sdX。传文件是在这个块设备上面进行操作,而应用程序则是通过提供的接口对块设备上面的数据进行访问。 但SMR HDD(叠瓦式硬盘)有一个毛病,它只有在顺序写入时才能正常发挥性能,一旦要进行数据覆盖写入,就需要改写这块数据所在区块内的所有磁道,造成严重的性能下降。传的文件不会因为SMR HDD的特性而特别对待它,而Zonefs就是西部数据对...阅读全文

Linux 上如何禁用 USB 存储设备

block_usb.conf (也可能叫其他名字) , $ sudo vim /etc/modprobe.d/block_usb.conf 然后将下行内容添加进去: install usb-storage /bin/true 最后保文件并退出。 方法 2:删除 USB 驱动 这种方法要求我们将 USB 的驱动程序(usb_storage.ko)删掉或者移走,从而达到无法再访问 USB 设备的目的。 执行下面命令可以将驱动从它默认的位置移走: $ sudo mv /lib/modules/$(uname -r)/kernel/drivers/usb/storage/usb-storage.ko /home/user 现在在默认的位置上无法再找到驱动程序了,因此当 USB 器连接到上时也就无法加载到驱动...阅读全文

博文 2017-12-18 22:52:58 debian.cn

SolydXK 9 正式发布,基于 Debian 的发行

SolydXK 9 已正式发布,它基于最近发布的 Debian 9。 自上个 beta 版本发布以来,团队一直在测试、改进和开发。除了基于新的 Debian 9,SolydXK 已默认删除了 Backports 库(尽管可以重新启用),添加了一个工具来协助分区加密以及引入新的桌面主题。 更新内容: SolydX 和 SolydK 的新主题,可以选择一个亮色或暗色的主题 SolydXK 现在有一个 GUI,你可以在其中加密分区(和你的 USB闪驱动器),本地化你的,选择最快的库,管理软件包和清理。此应用程序的加密部分现可正常工作,但仍处于测试阶段,注意风险 默认情况下,后端库已被删除,但可以在新的 SolydXK 应用程序中启用 solydx/k-info 软件...阅读全文

博文 2017-07-15 10:19:55 debian.cn

Linux内存buffer和cache的区别

"read" from the disk and stored for later use. 2.1 Cache Cache:高速缓,是位于CPU与主内间的一种容量较小但速度很高的器。 由于CPU的速度远高于主内,CPU直接从内取数据要等待一定时间周期,Cache中保着CPU刚用过或循环使用的一部分数据,当CPU再次使用该部分数据时可从Cache中直接调用,这样就减少了CPU的等待时间,提高了的效率。 Cache又分为一级Cache(L1 Cache)和二级Cache(L2 Cache),L1 Cache集成在CPU内部,L2 Cache早期一般是焊在主板上,现在也都集成在CPU内部,常见的容量有256KB或512KB L2 Cache。 2.2 Buffer Buffer:缓...阅读全文

Hadoop 核心 - HDFS 分布式文件系统详解

1. HDFS概述 Hadoop 分布式框架中,首要的基础功能就是文件,在 Hadoop 中使用 FileSystem 这个抽象类来表示我们的文件,这个抽象类下面有很多子实现类,究竟使用哪一种,需要看我们具体的实现类,在我们实际工作中,用到的最多的就是HDFS(分布式文件)以及LocalFileSystem(本地文件)了。 在现代的企业环境中,单机容量往往无法大量数据,需要跨机器一管理分布在集群上的文件称为分布式文件。 HDFS(Hadoop Distributed File System)是 Hadoop 项目的一个子项目。是 Hadoop 的核心组件之一, Hadoop 非常适于大型数据 (比如 TB 和 PB),其就是使用 HDFS 作为...阅读全文

Kubernetes 1.9发布:Apps Workloads通用版本与生态系统扩展

从这一过程当中汲取到经验,并在过去几次发布周期内对全部四种资源进行了针对性调整,最终使得DaemonSet与StatefulSet也加入到稳定版本队伍中来。此次发布的v1版本代表着其针对生产需求进行强化且准备就绪,拥有长期向下兼容性保证。 Windows支持(beta测试阶段) Kubernetes最初专门针对Linux开发而成,但随着我们的用户越来越多地意识到容器编排功能的优势,我们发现Kubernetes也确有必要运行Windows工作负载。12个月之前,我们开始认真探索Kubernetes支持Windows Server的相关工作。SIG-Windows[3]如今已经将这一功能提升至beta测试版本,意味着大家能够通过实际使用对其效果进行评估。 增强 自第一个版本开始...阅读全文

博文 2017-12-17 01:00:00 debian.cn

新改进让Linux 5.10能更快地休眠以及恢复工作

如果你经常让你的经历休眠周期,那么从即将开始的 Linux 5.10 周期开始,性能应该会好很多。在即将到来的Linux 5.10合并窗口中,有一个变化允许对休眠/恢复的I/O请求进行批处理,以加快休眠和恢复进程。 到目前为止,Linux 内核依靠为每一页数据提交单独的 I/O 请求,但现在 Linux 5.10+ 的时候,它设置为使用 batch 与 blk_plug。 开发者Xiaoyi Chen的内核补丁解决了这一问题:合并I/O请求让休眠和恢复的速度提升了一个数量级以上。在使用的32GB内中,16GB内的一个休眠和恢复周期在改变前需要21分钟左右,在IOPS有限的上,改变后仅需要1分钟。" Xiaoyi Chen在亚马逊EC2旗下主导了这项工作,这项改变是在...阅读全文

博文 2020-10-04 20:25:21 debian.cn

中国投资130亿元量产相变内存 比闪存快1000倍

全球的内市场主要被三星、SK Hynix和美光三家公司垄断,他们三家加起来的份额高达95%,中国要想在内市场突破封锁并不容易,尽管有紫光、长鑫、兆易创新等公司投身芯片市场,但在现有的DDR内技术上,中国公司技术、产能还差得远呢。 此外,内也不止传的DDR技术,还有很多新兴领域正在发展,比如PCM相变,相比传它的优势很多,比如速度快了1000倍,耐用性也是传的1000倍,江苏淮安市时代芯公司投资130亿元建设了国内最大的相变基地,上周已经开始正式运营,预计年产值45亿元。 来自中国江苏网的消息称,淮安市集成电路产业现场推进暨江苏时代芯半导体有限公司相变器工厂竣工运营启动仪式在淮安高新技术产业开发区顺利举行,此举标志着130亿元投资的相变项目开始进...阅读全文

博文 2018-04-10 22:34:58 debian.cn

Kubernetes 1.14 发布,31 项功能增强

Kubernetes 1.14 发布了,些版本主要关注可扩展性并支持更多工作负载,带来了 30多项功能增强,其中包括从 beta 到稳定的 10 项功能。亮点包括以下几部分。 持久化本地 持久性本地的主要用例是数据库和分布式文件。这是一个重要里程碑,显然,本地的性能优于远程磁盘,无论该是由云提供商提供的本地 SSD 还是连接到裸机的磁盘。 Windows 节点的生产级支持 绝大多数企业都拥有包含 Windows 工作负载的异构环境,现在不必寻找其它协调器来管理这些 Windows 容器。Kubernetes v1.14 改进支持了 pod、服务类型、工作负载控制器和 metrics/quotas,使得与 Linux 功能相当。 PID 限制 目前处在测试阶段...阅读全文

华为的 Linux 发行版 openEuler 可以使用了!

华为提供了一个基于 CentOS 的企业级 Linux 发行版 EulerOS,华为也发布了一个名为 openEuler 的 EulerOS 社区版。 openEuler 的源代码也一同发布了,源代码可以在 Gitee 找到。它有两个独立的代码库,一个用于源代码;另一个作为软件包的源代码,有助于构建该操作的软件包。 openEuler 基础架构团队分享了他们使源代码可用的经验: 我们现在很兴奋。很难想象我们会管理成千上万的仓库。为了确保它们能被成功地编译,我们要感谢所有参与贡献的人。 openEuler 是基于 CentOS 的 Linux 发行版 与 EulerOS 一样,openEuler OS 也是基于 CentOS,但华为技术有限公司为企业应用进一步开发了该操作...阅读全文

博文 2020-01-27 11:08:00 debian.cn

Intel 傲腾 DDR4 内存价格曝光,单条 128GB 仅约 5600 元

美元),则要便宜,可能这就是 Intel 要切入的试产定位。 据悉,二代可扩展至强每颗处理器支持 6 通道内,最多 12 条插槽,而傲腾内条容量目前提供 128GB、256GB、512GB,插上六条那就是 3TB,而在一套八路里,傲腾+DDR4 内混合使用,总容量最高可以达到惊人的 36TB。 性能方面,傲腾 DC 内无论是延迟还是带宽速度都会比 DDR4 差一些,可胜在便宜,且关机或重启时不会丢失数据 (非易失性),恢复后可立即重新载入,大大减少下线时间,将服务器重启时间从分钟级别缩短到秒级别。...阅读全文

博文 2019-04-07 20:25:18 debian.cn

如何离线更新基于 Debian 的系统

,你可以通过下面的命令安装 Apt-Offline: sudo apt-get install apt-offline 如果你的在线运行的是非 Debian 类的发行版,使用 git clone 获取 Apt-Offline 仓库: git clone https://github.com/rickysarraf/apt-offline.git 切换到克隆的目录下并在此处运行: cd apt-offline/ sudo ./apt-offline 在离线(没有联网的)上的步骤 到你的离线上创建一个你想签名文件的目录: mkdir ~/tmp cd ~/tmp/ 你可以自己选择使用任何目录。接下来,运行下面的命令生成签名文件: sudo apt-offline set...阅读全文

博文 2018-02-07 10:06:03 debian.cn

Linux Lite 宣布使用基于 Linux Kernel 4.14 的内核

菜单中的 Lite Tweaksv 工具,选择“Kernel Installer”功能来安装更新,同样在安装完成之后需要重启你的电脑。 Linux Kernel 4.14 LTS 的主要功能就是为 x86 硬件部署了更大的限制,虚拟地址空间提升至 128PiB,物理硬件空间提升至 4PiB。此外还引入了全新的 ORC unwinder 来改进内核追踪和内核尺寸。 Linux Kernel 4.14 LTS 同时为 Btrfs 和 SquashFS 文件引入了 zstd 压缩,能够从用户到 sockets 实现 zero-copy 数据,改进 SMP 的 cpufreq 协调,同步 non-blocking buffered 读取,以及对 PCID 指令更快的 TBL 刷新。...阅读全文

三星首发HBM-PIM存内计算技术:2倍性能、功耗降低70%

PIM内计算是近年来的热门领域,与传诺伊曼体面临着越来越严重的贷款瓶颈不同,PIM直接在芯片上集成了计算功能,而不是CPU、内数据分离,这样就能极大地提高带宽,在AI人工智能领域这个更重要。得益于这一突破,三星首发的HBM-PIM技术实现了2倍的性能,同时功耗还降低了70%,还能兼容目前的HBM接口,便于客户通过HBM-PIM来构建自己的AI加速器。三星计划今年上半年推出HBM-PIN芯片完成客户验证工作,何时量产、商用还没信息。...阅读全文

博文 2021-02-17 20:05:54 cnBeta.COM

Pyinotify – Linux中实时监控文件系统更改

Pyinotify 是一个简单而实用的 Python 模块,它用于通过 inotify 实时监控Linux文件的更改。用于在Linux中实时监控文件的变化。 作为管理员,您可以使用它来监视目标感兴趣的更改,如Web目录或应用程序数据目录及其他目录。这取决于inotify (包含在 2.6.13及后续Linux内核中的功能),它是一个事件驱动的通知程序,其通知通过三个调用从内核空间导出到用户空间。 pyinotiy的目的是绑定三个调用,并支持其上的实现,提供了一个共同和抽象的手段来操纵这些功能。 在本文中,我们将向您展示如何在Linux中安装和使用pyinotify来实时监控文件更改或修改。 依赖关 为了使用pyinotify ,您的必须运行: Linux内...阅读全文

博文 2011-11-09 10:53:58 debian.cn

Proxmox VE 6.2发布 开源虚拟机平台

VE 对所有对象(例如 VM、storage、nodes 等)使用基于角色的用户和权限管理。新的 LDAP 同步使 LDAP 用户和组同步到 Proxmox 用户和组权限框架中。添加了对 API 令牌的全面支持和集成,从而允许其他、软件或 API 客户端对REST API 的大部分进行无状态访问。API 令牌可以为单个用户生成,并且可以选择配置单独的权限和到期日期以限制访问的范围和持续时间。如果 API 令牌遭到破坏,则可以撤销该令牌,而不必禁用用户本身。 进一步的显着增强: QEMU/KVM:已启用对复制磁盘的实时迁移(使用 zfs 进行复制)的支持。由于简化了卸载过程,因此测试 Ceph 变得更加容易。 下载地址:https://www.proxmox.com...阅读全文

博文 2020-05-18 19:18:30 debian.cn

Git 免用户名密码访问代码库

在使用 git 时,如果不是使用ssh 和 key 验证的方式,则每次提交都会让输入用户名和密码,会显得比较麻烦,在服务器上配置时也无法做到自动同步更新代码。那么如何解决这个问题呢?我们这里介绍除 ssh + key 以外的免密码登录方式。在全局中用户的账号密码 以 Windows 环境为例,在 %HOME% 目录中,一般为C:\Users\username(也可以是你自己创建的用户名目录)目录下,创建.git-credentials 文件。 文件内容为一行,样例如下: https://username:password@git.example.com 注:username对应的 git 服务器的用户名,password 为密码。然后再进入 git bash 中执行, git...阅读全文

博文 2018-11-28 12:55:36 debian.cn

谷歌Fuchsia OS开始基于Intel笔记本的测试

据Android Police报道,谷歌的全新操作Fuchsia正在Pixelbook平台上进行测试。测试的项目是打开开发者模式和实现USB启动。Pixelbook发布于今年10月份,运行Chrome OS,采用12.3寸触控屏幕,QHD分辨率高清屏,像素密度高达235ppi,支持背光的软触键盘,可选酷睿i5/i7处理器、最高16GB内+512GB ,10小时电池续航,拥有2× USB-C接口。 此前,Fuchsia还支持了宏碁的Switch Alpha 2和Intel NUC,看起来测试的范围相当广泛。 资料显示,Fuchsia最大的不同的是,拒绝使用Linux内核,而是启用了自己开发的微内核Magenta(或者说Zircon)。 Fuchsia使用了多种语言,包括C...阅读全文

博文 2018-01-01 10:13:05 debian.cn

大起底:揭开亚马逊云计算丰厚利润的秘密 - 电子商务

设计处理器的消息。亚马逊最近几年比较受欢迎的另外一个云计算产品是“Lambda”,该产品将会在某种触发条件下完成计算工作。比如一个用户在社交网络上传照片之后,将启动计算,自动生成一个微缩小图。上述产品被开发者描述为“无服务器”,意思是服务商并不要求开发者自己来管理服务器基础设施。行业研究报告显示,亚马逊对Lambda计算服务的收费是EC2实例的两倍之多。数据:S3和EBS亚马逊云计算的另外一个鼻祖服务是“简单计算”,简称S3,产品推出于2006年,客户可用该服务在网络上保各种数据对象,包括照片、视频或其他文件类型。科技从业者丹·阿尔瓦雷兹(Don Alvarez)是上述服务的早期用户。他早年曾经在华盛顿州西雅图的新创科技公司工作,主要为电影制片人群体开发协作软件。当年,科技公司...阅读全文

博文 2021-09-07 11:41:54 cnBeta.COM

RethinkDB的简单介绍

RethinkDB最早是作为一个对SSD进行专门优化的MySQL引擎出现的,其特点在于对SSD的充分利用。而目前RethinkDB已经脱离MySQL成为一个独立的。 RethinkDB目前支持几乎所有的64位Linux发行版,包括: Ubuntu 10.04.1 x86_64 Ubuntu 10.10 x86_64 Red Hat Enterprise Linux 5 x86_64 CentOS 5 x86_64 SUSE Linux 10 RethinkDB支持各种底层:SSD,传磁盘以及像AWS这样的云服务。 RethinkDB应用场景 它可以用来替代Memcached作为数据缓层。或者替代一些类似Memcached的,比如Membase,MemcacheDB...阅读全文

博文 2021-01-28 17:50:10 debian.cn

单条512GB!Intel 开始部署傲腾非易失性内存条

10 月 31 日消息,Intel 宣布,已经为广泛部署傲腾数据中心用、非易失性内条(Optane DC persistent memory)做好了准备。 目前,Beta 项目已经启动,参与的 OEM(原始设备制造商,如华为、联想等)和 CSP 伙伴(云服务伙伴,如谷歌、阿里巴巴、亚马逊、微软等)可以更早地向客户接入由傲腾非易失性内条驱动的, 从而为 2019 年上半年批量上线奠定基础。 傲腾非易失性内基于 3D Xpoint 技术,和目前的傲腾 SSD 共享芯片,从而弥补了传 DDR4 内不具备的数据永固和大容量特性, 单条最大 512GB,可配合 Xeon Scalable 处理器使用。 特别的,Intel 此次为傲腾 DC 非易市内提供应用模式和内模式,前者可理...阅读全文

博文 2018-10-31 22:13:41 debian.cn

如何使用 ipset 将单个国家的所有IP加入黑名单

ipset 是 iptables 的扩展,它允许你创建匹配整个地址集合的规则,而不像普通的 iptables 链只能单IP或单网段匹配。 ipset 规则中的IP地址集合在带索引的数据结构中,这种结构即时集合比较大也可以进行高效的查找,从而减少资源占用或网络拥塞。IPset 也具备一些新防火墙设计方法,并简化了配置。ipset 的官网:http://ipset.netfilter.org 下面我们以一个实际场景为样例,介绍如何在Debian中,使用 ipset 将单个国家的左右 IP段 加入黑名单。 #### 准备工作:安装 ipset、或者网段列表 sudo apt-get -y install ipset wget -P . http://www.ipdeny.com...阅读全文

博文 2021-02-06 16:43:47 joseph

Oracle Linux 8.0 发布

KVM。KVM 访客崩溃报告中添加其它信息,这使得在使用 KVM 虚拟化时更容易诊断和修复问题。 文件 增强 Device Mapper MultipathingSCSI Multiqueue 驱动使块层可以通过 SSD 和多核很好地扩展性能 Stratis,一种管理本地的简单解决方案XFS 支持共享写时复制(COW)数据扩展区功能,因此两个或多个文件可以共享一组公共数据块。 此外还有关于网络、身份认证管理与安全等方面的内容,详情查看发布说明: https://blogs.oracle.com/linux/announcing-the-release-of-oracle-linux-8...阅读全文

博文 2019-07-20 22:39:32 debian.cn

Kubernetes v1.21 新特性预览

个 annotation controller.kubernetes.io/pod-deletion-cost,其值表示删除一个 Pod 的成本,值越小代表越优先删除。当 annotation 不在时,表示其删除成本为 0。Indexed Jobs Alpha通常,当使用 Job 来运行分布式任务时,用户需要一个单独的来在 Job 的不同 worker Pod 之间分配任务。比如,设置一个工作队列,逐一给每个 Pod 分配任务。Kubernetes v1.21 新增的 Indexed Job 会给每个任务分配一个数值索引,并通过 annotation batch.kubernetes.io/job-completion-index 暴露给每个 Pod。使用方法为在 Job spec 中...阅读全文

博文 2021-03-30 20:24:36 mp.weixin.qq.com

Arch Linux 2020.01.01 发布

Arch Linux 是第一个以全新的 ISO 镜像在 2020 年启动的 GNU / Linux 发行版之一,该镜像是第一个基于最新 Linux 内核列的镜像。 Arch Linux 2020.01.01 是 2020 年的第一个 ISO 版本,由 Linux 5.4 内核列提供支持,带来了许多新功能和增强功能。例如,对 Microsoft exFAT 文件的支持、“lockdown”安全功能、以及对 Android 上的应用程序内管理的改进。 最重要的是,Arch Linux 2020.01.01 发行版还附带了整个 2019 年 12 月的所有软件包更新和安全补丁程序发行版,对于想要在新计算机上部署 Arch Linux 的人来说,该 ISO 镜像将是最新的安装介质。 值得...阅读全文

博文 2020-01-08 10:19:31 debian.cn

Ceph 12.2.0 正式版本发布, 代号 Luminous

Ceph 是一个可扩展的分布式,性能卓越,安全可靠。 Ceph 12.2.0 正式版已发布。这是Luminous v12.2.x长期稳定版本的第一个版本。在Kraken(v11.2.z)和 Jewel(v10.2.z)后我们做了很多重大修改,而且升级过程并不简单哦。请仔细阅读版本说明。 在 Kraken(v11.2.z)版本上进行的重要修改 通用 Ceph现在有一个内置的简易DarshBoard,用于监控集群状态。 RADOS Bluestore ceph-osd的新后端BlueStore已经稳定,是新创建的OSD的默认设置。 BlueStore通过直接管理物理HDD或SSD而不使用诸如XFS的中间文件,来管理每个OSD的数据,这提供了更大的性能和功能...阅读全文

博文 2017-08-31 13:36:49 debian.cn

Debian上安装配置Docker容器管理平台Rancher

Rancher是一个开源项目为Docker容器环境提供了较完善的管理平台。Rancher 允许我们在大规模生产环境中使用 Docker。 Rancher 提供模块化基础架构服务,如多主机网络、全局和本地负载平衡、监控、恢复和卷快照等。本文我们将介绍如何在Debian 9 Stretch 上安装配置 Rancher。 安装要求 运行Debian 9的服务器。 具有sudo权限的非root用户。 开始 在开始之前,建议将您的APT库更新为最新版本。 您可以使用以下命令执行此操作。 sudo apt-get update -y sudo apt-get upgrade -y 接下来,可以重新启动以应用所有更改。然后使用以下命令安装所需的软件包: sudo apt-get install...阅读全文

博文 2018-04-10 22:27:37 debian.cn

如何更改 Linux 的 I/O 调度器

Linux 的 I/O 调度器是一个以块式 I/O 访问卷的进程,有时也叫磁盘调度器。Linux I/O 调度器的工作机制是控制块设备的请求队列:确定队列中哪些 I/O 的优先级更高以及何时下发 I/O 到块设备,以此来减少磁盘寻道时间,从而提高的吞吐量。 目前 Linux 上有如下几种 I/O 调度算法: noop - 通常用于内的设备。 cfq - 完全公平调度器。进程平均使用IO带宽。 Deadline - 针对延迟的调度器,每一个 I/O,都有一个最晚执行时间。 Anticipatory - 启发式调度,类似 Deadline 算法,但是引入预测机制提高性能。 查看设备当前的 I/O 调度器: # cat /sys/block//queue/scheduler 假设磁...阅读全文

博文 2021-01-28 17:50:25 debian.cn

Cortex: 高可用和水平扩展Prometheus监控系统

Prometheus已成为cloud-native世界中的默认监控应用程序和。对于真是使用案例,Prometheus应该是高可用的,这是有挑战的。一旦在高可用性模式下运行Prometheus,就会遇到很多问题,例如数据重复,为重复数据实现single pane等。为了解决此问题,Cortex诞生了。Cortex是一个CNCF sandbox project,旨在为使用Prometheus 收集的指标提供长期和全局指标视图。首先让我们看一下Cortex的主要目标,然后看一下它为Prometheus解决的一些问题。水平可伸缩性– Cortex可以分成多个微服务,每个微服务都可以独立地水平伸缩。例如,如果许多Prometheus实例正在向Cortex发送数据,则可以扩展Ingester微...阅读全文

博文 2021-10-09 17:00:22 知乎

案例:Redis命令不当 引起数据库雪崩 造成数百万损失

服务化项目服务不可用几十分钟,造成订单数减少几十万笔,损失百万资金。 原因分析 当时是没有定位到具体的原因的,但是下面的原因也是一部分可能引起宕机的情况。 某服务化项目的业务增速非常快,在高峰期,数据库QPS突破35000,处于高负荷状态。 在高峰期如果同时执行几个全表扫描的SQL,会造成数据库压力急剧上升,应用超时增多,前端应用超时,用户重试,流量飙升,形成了雪崩效应。 主要原因在与一些老项目的SQL查询性能较差,并且使用的主库,对数据库影响较大。数据库QPS太高,但是缓方案因为人手原因一直没有落地,慢SQL的问题处理优先级应该提升。 改进方案 针对每个应用建一个数据库账号,严格按照规范使用 缓优化方案即时落地,慢SQL问题优先处理,集中处理目前已经发现的慢SQL(查询时间超过1S...阅读全文

博文 2018-10-27 10:18:18 debian.cn

Stackstorm 入门介绍

可扩展套件,与你的基础环境交互,执行流程如下: 从各个服务通过push或pull的方式把event传给sensors, sensors会产生一个trigger到规则配置中查询该trigger对应的动作或者工作流将来自工作流的Action发送到消息队列(内置rabbitmq)中Actions到达外部的后就执行相应的动作日志和审计历史被推送到数据库进行(Mongodb)处理后的结果被发送回规则引擎进行进一步处理 Stackstorm的更新非常活跃,最新的发布信息从官方网站上可以看到。目前最新的版本是 2.10.1。 Stackstorm工作原理 目录...阅读全文

树莓派4发布:性能飙升 配件丰富 价格不变

频 1.5GHz 。内: 1GB、2GB 或 4GB LPDDR4 SDRAM(取决于型号)。连接性:双频 IEEE 802.11ac 无线 + 蓝牙5.0,千兆以太网,2×USB 3.0、2×USB 2.0 端口。GPIO:向前兼容树莓派的标准 40 针引脚。视频和声音: 2×micro-HDMI 输出(4kp60 或 4kp30)、2 通道 MIPI DSI 显示端口、2 通道 MIPI CSI 摄像头端口、4 极立体声音频和复合视频端口。多媒体: HEVC / H.265(4kp60 解码)、AVC / H.264(1080p60 解码 / 1080p30 编码)、OpenGL ES 3.0 GPU 。:Micro SD 卡槽,用于加载操作和数据。电源输入: 5V DC...阅读全文

博文 2019-06-25 08:43:29 debian.cn

Cockpit 195.2 发布,浏览器中管理 Linux

Cockpit 195.2 发布了。Cockpit 是一个交互式服务器管理界面,它易于使用且很轻便,通过浏览器中的会话直接与操作进行交互。这意味着你可以通过鼠标,在Web界面上管理自己的服务器,比如启动容器,检查,配置网络或者查看日志等。 Cockpit 的 Web 同时也提供了一个内嵌的终端,可以直接操作服务器, 此版本更新内容: firewall:仅在添加自定义服务时重新加载防火墙 (rhbz#1725094)networking:清除主/从字段后激活连接 (rhbz#1729378)...阅读全文

博文 2019-09-01 19:53:32 debian.cn

不要光想着价格 QLC 与 TLC 闪存有什么不同

在这个互联网时代,游戏、电影、照片等数据越来越大,硬盘容量将会面临着前所未有的挑战。虽然传的机械硬盘可以解决容量问题,但是速度太慢,体验糟糕,并不是最优的个人解决方案。我们渴求大容量的SSD,不过超过TB大容量SSD动不动就几千元的售价,对于支付能力有限用户实际上没有意义。SSD的成本主要来源于闪,在TLC闪能够实现TB容量可惜价格未能降下来。只有不断开发新类型的闪,解决容量与价格的矛盾,才能让SSD真正在大数据时代发挥应有作用。 这时,QLC 闪就应运而生, 目前,东芝和西数先后宣布成功开发基于四比特单元3D NAND闪芯片,即QLC闪,这也意味着QLC SSD将要来临。那么,它与TLC闪又有什么区别,能否取代TLC成为SSD主流闪之选? 先来了解一下什么是TLC...阅读全文

博文 2017-08-01 09:52:54 debian.cn

Ceph 基金会正式成立 接受 Linux 基金会的管理

(SARAO),加州大学圣克鲁兹分校开放源码软件研究中心(CROSS)等。 Linux基金会执行董事Jim Zemlin说:"Ceph在帮助企业有效管理高增长和扩展数据需求方面有非常丰富的经验,在Linux基金会下,Ceph基金会将能够利用更多资源来帮助完善Ceph生态建设。" Ceph联合创始人&Red Hat Ceph首席架构师 Sage Weil说:"Ceph基金会的成立证明了一个多元化的开源社区的力量所在,各方共同联合起来致力于解决数据和数据服务的爆炸性增长。" Ceph被世界各地的云提供商和企业使用,包括金融机构(Bloomberg,Fidelity),云服务提供商(Rackspace,Linode),学术和政府机构(Massachusetts Open Cloud),电信基础设...阅读全文

Harbor 1.9 发布:新增多项企业级功能

的数据并对其所含信息采取相应的操作。例如,您可以将 Harbor 配置为在成功推送镜像后向 Webhook 侦听器发送一个 POST 请求,从而触发 Kubernetes 应用程序的部署,以执行您的测试套件,或者仅仅更新您的 CMDB。 配额(Project Quotas) 配额有助于项目管理员对资源的使用加以控制。具体而言,您可以限制项目所含 tag 的数目,以及项目可占用的容量。您可以设置适用于所有项目的全局默认配额,也可以为个别项目设置配额以覆盖设置。镜像容量会根据其实际大小进行计算,并会在同时推送多个镜像时考虑所有相关镜像之间的层共享情况。配额可以与其他机制无缝协调工作,例如重新 tag、在线垃圾数据回收和保留策略,从而可始终合理管理各个工件,并且不会浪费空间。 Tag 保留...阅读全文

博文 2019-10-09 12:12:04 debian.cn

三星谈论下一代DRAM解决方案:GDDR7、DDR5、LPDDR5X和V-NAND

LPDDR5X DRAM和36Gbps GDDR7 DRAM,它们将为数据中心、HPC、移动、游戏和汽车市场领域带来新的功能。除了传的DRAM之外,三星还强调了定制的DRAM解决方案的重要性,如HBM-PIM、AXDIMM和CXL,它们可以推动级创新,更好地处理全球数据的爆炸性增长。2030年达到1000多个V-NAND层自十年前成立以来,三星的V-NAND技术已经发展了八代,带来了10倍的层数和15倍的比特增长。三星最新的512Gb第八代V-NAND的比特密度提高了42%,达到了迄今为止512Gb三层单元(TLC)器产品中的行业最高比特密度。世界上最高容量的1Tb TLC V-NAND将在今年年底前提供给客户。该公司还指出,其第九代V-NAND正在开发中,并计划于2024年进行大规模生产。到...阅读全文

希捷预告120TB机械硬盘:全新介质、单碟容量达10TB

这些年,机械硬盘容量的提升速度十分缓慢,大有被SSD全面赶超的趋势,不过每个季度,希捷、西部数据都会更新路线图,展望机械硬盘在技术、容量上的发展趋势,尤其是希捷。近日,希捷更是公布了详细的未来技术路线图,计划在2026年左右达到50TB左右,2030年则可以超过120TB。机械硬盘最近几年普遍基于PMR(垂直技术),但即便经过各种优化加强,也已经逼近极限,新的技术、机械结构迫在眉睫。比如希捷研发近20年的HAMR(热辅助磁记录),终于已经开花落地,去年底交付了20TB HAMR硬盘,同时新的多传动器(Muti-Actuator)结构也已经基本成熟,二者结合可让机械硬盘的容量跨上新台阶,2026年达到50TB就靠它们了。类似未来的半导体工艺制程,要想实现更进一步的突破,全新的介质...阅读全文

Flatpak 1.0正式版发布:Linux 应用沙盒开发里程碑

用程序创建新的沙箱。在此主要版本中还添加了几个新命令和选项,以及各种其他改进和依赖项更改。 在底层,Flatpak 1.0需要一些最新的开源技术,包括OSTree 2018.7,Bubblewrap 0.2.1或更高版本(默认包含0.3.0版本),并且不再支持支持xattr的文件。这里提供完整的更改日志,供技术人员使用,您可以从GitHub下载Flatpak 1.0.0。 我们敦促Linux操作供应商为其当前或即将推出的操作版本更新或采用Flatpak 1.0版本,以便为用户提供最佳的Linux应用程序沙盒体验。 Flatpak可与Canonical的Snap竞争,允许Linux用户安装标准库中没有的最新版本的应用程序。...阅读全文

博文 2018-08-22 20:26:05 debian.cn

树莓派64位系统Debian 9先行测评:性能最高提升30倍

说明 文件随机读写 不支持 21.8336 无 互斥锁性能 0.0231s 0.0186s 1.24倍 Debain 9 文件采用了三星与华为合力开发的f2fs,针对mmc和emmc还有tf进行了优化,除了大大提升了性能之外,还增加了TF卡的使用寿命,提供了意外断电文件的保护,大大避免意外断电导致的文件崩溃的情况。 其中由于TF卡的细微差异,导致文件连续读写出现了反转,实际上通过测试文件连续读写的性能方面,f2fs更加优化,超越ext4很多倍。 总体上,64位的提供了更好的使用体验,曾经抱怨树莓派跑opencv性能不佳的朋友应该是看到希望了! 以上测试并非使用官方,但能够让大家看到软硬件匹配64位之后,树莓派性能上的提升潜力。作为树莓派爱好者,一起期待官方发布64位...阅读全文

博文 2021-01-28 17:50:25 debian.cn

基于thanos搭建分布式prometheus

sidecar和prometheus则走原生HTTP接口拿数据。 为了高可用,我们可以部署多个prometheus同时抓取。 为了打散采集/压力,我们可以部署多个prometheus各自抓取部分数据。 无论出于上述哪种目标或者混合目标,最终依靠Querier的正确配置都可以提供一的Promql查询入口给Grafana,这一点是毋庸置疑的。 这里看到了图中有几个陌生的组件: Store Bucket Compactor Prometheus单机空间有限,SideCar和Prometheus在同POD内共享数据volume,然后sidecar可以自动将prometheus磁盘数据上传到Bucket里归档;后续Querier可以通过Store组件从Bucket拉取到历史数据,这样就实现了历史数据...阅读全文

博文 2021-03-01 13:02:46 鱼儿的博客

Debian 9.9 发布 修复超过120个bug与安全问题

Debian 项目今天发布了其稳定分支 Debian 9(代号 Stretch)的第九个常规维护更新 Debian 9.9。这种“point release”不是全新的发布版本,而只是更新了一些包含的软件包,所以用户没有必要扔掉之前的 9 版本,只需要使用最新的 Debian 镜像将软件包升级到当前版本。 如果您已经在计算机上运行Debian GNU / Linux 9“Stretch”操作列,那么您只需通过安装官方软件库中的所有更新来更新您的安装。为此,您可以在终端仿真器中运行“sudo apt-get update && sudo apt-get dist-upgrade”命令。 Debian GNU / Linux 9.9“Stretch”维护更新包括总共122个更改,包括...阅读全文

三大亮点带你看 Linux 内核 5.6

是 Linux 文件的一种新压缩技术,你可以选择待定的文件扩展技术。 4、解决 32 位的 2038 年问题 Unix 和 Linux 将时间值以 32 位有符号整数格式,其最大值为 2147483647。时间值如果超过这个数值则将由于整数溢出而为负数。 这意味着对于 32 位,时间值不能超过 1970 年 1 月 1 日后的 2147483647 秒。也就是说,在 UTC 时间 2038 年 1 月 19 日 03:14:07 时,由于整数溢出,时间将显示为 1901 年 12 月 13 日而不是 2038 年 1 月 19 日。 Linux kernel 5.6 解决了这个问题,因此 32 位也可以运行到 2038 年以后。 5、改进硬件支持 很显然,在下一个发布...阅读全文

博文 2020-02-07 11:13:09 debian.cn

亚马逊12个月免费云服务

恢复有要求的用户;希望轻松管理的用户。支持互联网应用,如电子商务、论坛、社交网络、企业网站和办公自动化;4.与租用物理服务器相比,云服务器的主要优势是什么?云服务器的租赁价格低于传物理服务器,不需要押金。凭借快速供应和部署的能力,用户在提交租赁申请后,可以实时打开云主机并立即获得服务。支持业务平滑扩展,当用户业务规模扩大时,可以快速实现业务扩展。5.云服务器可以申请多个IP吗?云服务器将根据用户选择的不同线路配备不同数量的IP地址。默认情况下,单线会有一个独立的IP,双线会有两个独立的IP。由于IP的增加,带宽无法限制,所以暂时不会增加IP。6.云服务器出租产品是为了赋予产权吗?不送产权。云服务器是基于云计算平台的主机产品。用户实际上为云计算平台的计算和能力以及高质量的网络带宽...阅读全文

都是颗粒 为什么SSD有寿命、内存却没有?

随着技术的发展,我们使用的器也各种各样,虽然都基于芯片颗粒,但表现截然不同,比如说读写次数限制,或者叫寿命,SSD固态硬盘就有限制,DRAM内却没有。 按照分布位置的不同,DRAM内属于内部器,紧挨着CPU处理器,用来临时放后者需要的运算数据,并与外部器进行交换,起到桥梁的作用。 DRAM内的特点是读写速度快、延迟低,但属于易失性,也就是一旦断电,数据就会全部丢失。 DRAM内颗粒利用晶体管加电容来保数据,而且只是临时数据,并没有实质性的写入,不涉及对物理单元结构、属性的改变,所以可以无限次读写。 当然,这并不意味着DRAM内就可以永久使用,毕竟其中的晶体管、电容等物理结构也会慢慢老化,所有电子设备都是如此,只是这个过程非常非常缓慢,正常使用根本感觉不到...阅读全文

希捷开测16TB Exos硬盘 采用热辅助磁记录技术

随着热辅助磁记录(HAMR)技术的成熟,希捷也终于拿出了 16TB 的 3.5 英寸 Exos HAMR 硬盘驱动器。目前该产品已在全面测试阶段,且较西部数据(WD)的微波辅助磁记录(MAMR)技术有更大的优势。HAMR 可借助激光对下方盘片进行加热,使磁头更易于记录、从而实现更高的密度。 希捷表示,HAMR 磁头的可靠性,已经超越了“行业标准”。 目前希捷正在对 16-TB HAMR 驱动器进行一列的基准和集成测试,例如检查它们是否能够对控制器的命令做出了适当的响应。该制造商指出,客户无需做出任何特殊的改动,即可直接像传 3.5" 硬盘驱动器那样使用 HAMR 驱动器。 如果一切顺利,希捷有望在 2020 年提供容量高达 20 TB 的 HAMR 硬盘驱动器产品。...阅读全文

LMDE 4 Debbie 正式版发布

LMDE 4 “Debbie” 正式发布了,LMDE 即 “Linux Mint Debian Edition”。它的目标是与 Linux Mint 尽可能相似,但不使用 Ubuntu,软件包库由 Debian 提供。 新版本主要带来了以下新特性: 支持 LVM 和全盘加密的自动分区主目录加密支持自动安装 NVIDIA 驱动程序支持 NVMe支持 SecureBoot支持 Btrfs 子卷改进安装程序自动安装微码包在 Virtualbox 中,实时会话的自动分辨率提高到最小 1024×768Linux Mint 19.3 改进(HDT、引导修复、报告、语言设置、HiDPI 和插图改进、新的引导菜单、Celluloid、Gnote、绘图、Cinnamon 4.4、XApp 状态图标等...阅读全文

博文 2020-03-23 10:20:09 debian.cn

25万次P/E循环 超级长寿的SLC SSD诞生

SLC、MLC、TLC、QLC……NAND闪类型的进化一直是个争议话题,可靠性和寿命越来越差,或者说P/E编程擦写循环次数越来越低,东芝甚至已经开始探讨PLC,不知道会渣成什么样。对于最初的SLC(每单元只保1比特数据),很多人都十分怀念,但如今已经几乎绝迹,只在极少数特殊场合才能看到。 东芝正在打造可视为SLC加强版的XL-Flash,而高端固态厂商Greenliant最新打造的NANDrive EX列SSD产品,更是应用了超长寿的SLC闪。 Greenliant NANDrive EX并非消费级产品,而是面向高性能计算、工业、交通运输、视频和网络等特殊行业应用,特别是那些需要超长寿命、高可靠性的应用,能长久保持数据完整。 它采用了Greenliant自家专门设计的...阅读全文

博文 2019-08-07 23:13:00 debian.cn

Fedora 33 确认引入 Stratis 2.1

虽然 Fedora 33 桌面版已确定默认使用 Btrfs 文件,但对于使用服务器版本或者不希望使用默认设置的用户,官方提供了 Stratis 2.1 作为另一种选择。Stratis 是一个卷管理文件 volume-managing filesystem(VMF),由 Fedora 团队负责开发,在 LVM、Device Mapper 和 XFS 的基础上提供类似 ZFS/Btrfs 的功能(子卷管理和文件)。 红帽承诺会采用其作为 Linux 方案,甚至有可能在 Red Hat Enterprise Linux 9 中默认使用。因此 Fedora 现在可以说是同时促进 Btrfs 和 Stratis 这两种技术的发展。 上个月有提案建议将 Stratis 的最新版本...阅读全文

博文 2021-01-28 17:52:11 debian.cn