InfraPub 为您找到相关结果 18

Consul 如何强制剔除无效节点,批量 force-leave 节点?

首选从 members 命令的输出中,创建一个 failed 的文件列表,文件内容为 Node 节点名称,每行一个,保存为 /tmp/failed, 然后执行这个命令就可以清理了, ``` for i in `cat /tmp/failed`; do echo $i ++++++++++++++; \ curl --request PUT -H 'Content-Type: application/json' 'http://127.0.0.1:8500/v1/agent/force-leave/'$i; \ done ``` /tmp/failed 文本内容,取自 `bin/consul members | awk '{print $1...阅读全文

希捷:明年奉上24TB HAMR硬盘

当然,无论西数还是希捷都在努力开发新的存储技术,目前出货的14TB和即将推出的16TB、18TB都是传统充氦垂直记录技术,接下来就要上新的HAMR热辅助磁记录技术,2030年前有望带来100TB的总容量。 希捷此前称会在2018年内出样HAMR硬盘,2019年量产,初期容量20TB,而最新说法让人更加振奋: 希捷表示,HAMR技术进展顺利,下一代大容量近线硬盘的单盘容量可达24TB,预计2019年上市。 当然,希捷还有多驱动技术(Multi-Actuator),硬盘内存同时使用多个机械臂进行读写操作,大幅提升性能,读写速度可达480MB/s,基本逼近SATA SSD的水准。...阅读全文

博文 2018-05-03 12:02:35 debian.cn

单条512GB!Intel 开始部署傲腾非易失性内存条

10 月 31 日消息,Intel 宣布,已经为广泛部署傲腾数据中心用、非易失性内存条(Optane DC persistent memory)做好了准备。 目前,Beta 项目已经启动,参与的 OEM(原始设备制造商,如华为、联想等)和 CSP 伙伴(云服务伙伴,如谷歌、阿里巴巴、亚马逊、微软等)可以更早地向客户接入由傲腾非易失性内存条驱动的系统, 从而为 2019 年上半年上线奠定基础。 傲腾非易失性内存基于 3D Xpoint 技术,和目前的傲腾 SSD 共享存储芯片,从而弥补了传统 DDR4 内存不具备的数据永固和大容量特性, 单条最大 512GB,可配合 Xeon Scalable 处理器使用。 特别的,Intel 此次为傲腾 DC 非易市内存提供应用模式和内存模式,前者可理...阅读全文

博文 2018-10-31 22:13:41 debian.cn

观点:DDR内存即将谢幕 HBM 3/4内存才是未来

这一年来有关国内公司进军内存产业的消息甚嚣尘上,紫光公司凭借原有的英飞凌、奇梦达基础在DDR3内存上已经作出了突破,小生产了DDR3内存,下半年还会推出更主流的DDR4内存芯片,正在努力追赶国际主流水平。但是放眼整个内存市场,DDR5内存很快就要来了,更可怕的是未来即便是DDR5内存也很可能被更新的技术淘汰。 业界已经有人提出了DDR内存将死的看法,未来需要高带宽的产品将转向HBM内存,2020年会有HBM 3内存,2024年则会有HBM 4内存,届时带宽可达8TB/s,单插槽容量可达512GB。 对于HBM内存,DIY玩家可以说也是相当熟悉了,AMD在2015年的Fury系列显卡上首次商用第一代HBM技术,超高的带宽、超低的面积占用彻底改变了当时的显卡设计,随后NVIDIA在...阅读全文

Metasploit Framework 5.0 发布 最流行的渗透测试框架

言,框架建立在不断增长的世界级攻击性内容库的框架基础上。另外,此次更新还包括了可用性改进和大规模开发的支持,数据库和自动化 API 的改进等。 在 4.x 现有的 Postgresql 数据库后端之上,Metasploit 5.0 增加了将数据库本身作为 RESTful 服务运行的功能,使用该服务可以与多个 Metasploit 控制台甚至外部工具进行交互。5.0 版本的这个变更还将取消数据库服务的一些操作,从而通过并行处理数据库和常规 msfconsole 操作来提高性能。 新的发布周期 过去的一年,Metasploit 的开发包括两个分支:一个是 4.x 的稳定分支,支持 Metasploit Pro 和像 Kali Linux、ParrotSec Linux、和 Rapid7 自己...阅读全文

博文 2019-01-15 13:37:28 debian.cn

打破IP协议重塑互联网 华为能做到吗

的 IP 报头允许终端用户指定要在数据包上执行的自定义功能。 文章以智能家居为例,描述了新 IP 网络下的应用场景: 运动传感器检测出房间出现异常活动时,会通知相应房间的安全摄像头通过智能家居网络采集信息,然后,安全摄像头将收集到的图像信息通过互联网发送到主人的智能手机上进行判断。如果只是误报,主人可以向安全摄像头发送信息要求停止信息收集。由于房子里的所有设备都连接在同一个家庭网络上,所以运动传感器可以直接将通知发送到安全摄像头,并带有它的域内地址;并且由于新的 IP 协议向源地址中添加了一个地址段(4.3.2.1),摄像头数据能够直接传送至用户的智能手机中。 不难看出,在该场景中,新 IP与传统 IP 相比有两方面优势:一是智能家居网络采用短地址空间进行通信,减少了分组开销,提高了通信...阅读全文

博文 2020-03-31 06:40:15 debian.cn

本田 40GB 数据险遭泄漏 因云端数据库未设密

施: 服务器必须要有防火墙,不能随意对外开放端口;Elasticsearch 集群的端口包括 TCP 和 HTTP,都不能暴露在公网;Elasticsearch 集群禁用删除索引功能;Elasticsearch 中保存的数据要做基本的脱敏处理;加强监控和告警,在安全事件发生的第一时间感知并启动紧急预案,将损失降到最低。 除此之外,很多 Elasticsearch 均可公网访问,杨振涛表示很有可能是团队忽视了数据安全,再加上服务器防火墙对于端口开放策略过于激进,导致 Elasticsearch 集群只要一部署即可公网访问。 “公网访问对于有些业务来说是必要的,例如网站搜索服务。” Elastic 架构师吴斌解释道,“我们经常说‘Simple/less is more, but no...阅读全文

如何读懂火焰图?+ 实例讲解程序性能优化 - xuxh120

代表cpu使用的时间。例如: 九、Async-profiler的使用 和 火焰图分析 背景: 目前有一个kafka消费者工程,此工程会消费kafka中的消息,并通过fastjson解析该消息为java实体,然后存入到阻塞队列 BlockingQueue中。另外有若干个线程会从queue中拿消息,然后以形式写入到 elasticsearch 中。目前在使用中发现存在性能瓶颈,需要定位是该工程对消息转化处理较慢,还是写es操作比较慢。 9.1采集cpu profile数据 我们将代码回退到第一次测试的情况,并启动程序,并找到当前进程号(627891),然后通过如下命令进行采集,并转换为火焰图格式 svg。 ./profiler.sh -d 15 -i 50ms -o svg -e cpu...阅读全文

博文 2022-03-11 10:05:09 博客园

Ceph 12.2.0 正式版本发布, 代号 Luminous

使用每个实例的唯一Ceph用户ID来支持新的Dashboard。 在创建集群期间,不再自动创建默认的’rbd’池。另外,当没有指定池时,rbd CLI使用的默认池的名称可以通过新的rbd default pool = 配置选项来覆盖。 通过新的rbd trash命令初始支持延迟映像删除。镜像,即使是由克隆主动使用的镜像,也可以移动到垃圾桶,并在以后删除。 新的管理池级别的rbd mirror poolpromote和rbd mirror pool demote命令可以提升/降级池内所有的镜像文件。 镜像现在可以通过rbd mirroringreplay delay = 配置选项支持可配置的复制延迟。 当对象映射功能启用时,可改进丢弃处理功能...阅读全文

博文 2017-08-31 13:36:49 debian.cn

百度运维工程师挖矿实录:四个月用155台服务器挖矿赚10万判3年

资源,从而获取虚拟货币的一种程序,需要较高的硬件配置及用电量。 而单凭一个矿工的力量是挖不到比特币的。于是“安某”便想到可以利用自己的职务之便利用百度的服务器来开启自己的发家致富之路,只是他可能没想到的是事情会败露的这么快。 那么,他具体是怎么做的呢? 首先,他用自己的工作账户上传了一个压缩文件 miner.tar.gz ,其中包含一个名为 java_4u3 的脚本, 而这个脚本可以自动执行解压缩、创建目录、删除目录、自动连接代理进行网络交换,达到控制服务器的目的。 然后,编译了一个挖矿程序,并将上述程序部署非法控制了百度的 155 台服务器上,利用公司为其配备的苹果电脑上的 iterm 软件控制所有服务器的中控机,通过中控机上传挖矿脚本,并通过 iterm 软件发出下载指令,让 200...阅读全文

博文 2020-03-17 20:42:41 debian.cn

Intel 为啥要给 ARM 代工

ARM V8 指令集授权给 APM、Cavium、AMD、高通、华为、国防科大、华芯通等诸多 IC 设计公司开发 ARM 服务器 CPU,APM 开发出了 ARM 服务器 CPU,采用该芯片的服务器已经在数据中心、互联网服务器等领域有了的应用。华为也开发了一款 32 核 A57 的服务器芯片,该项目为核高基项目,而且根据公开资料,下一步将在特殊领域得以推广。国防科大也开发了 FT2000,就 SPEC2006 测试成绩来看,FT2000 的多线程性能已经能与 Intel Xeon E5-2695v3 芯片相媲美。而面对咄咄逼人的 ARM 服务器 CPU,Intel 也专门开发了至强 D 系列低功耗服务器 CPU 来应对。 因此,在这种 ARM 与 X86 互相侵蚀对方传统优势领域的情况下,想...阅读全文

博文 2021-01-28 17:50:26 debian.cn

Kafka生产问题总结以及性能优化

again. //回滚事务 producer.abortTransaction(); } producer.close(); 2.1.10 kafka高性能的原因 磁盘顺序读写:kafka消息不能修改以及不会从文件中间删除保证了磁盘顺序读,kafka的消息写入文件都是追加在文件末尾,不会写入文件中的某个位置(随机写)保证了磁盘顺序写。数据传输的零拷贝读写数据的batch处理以及压缩传输 数据传输零拷贝原理:...阅读全文

博文 2023-01-05 23:16:48 CSDN博客

Redis 命令、特性介绍与性能调优

field对应对象的field即可。 Hash的优点包括: 可以实现二元查找,如”查找ID为1000的用户的年龄” 比起将整个对象序列化后作为String存储的方法,Hash能够有效地减少网络传输的消耗 当使用Hash维护一个集合时,提供了比List效率高得多的随机访问命令 与Hash相关的常用命令: HSET:将key对应的Hash中的field设置为value。如果该Hash不存在,会自动创建一个。时间复杂度O(1) HGET:返回指定Hash中field字段的值,时间复杂度O(1) HMSET/HMGET:同HSET和HGET,可以操作同一个key下的多个field,时间复杂度:O(N),N为一次操作的field数量 HSETNX:同HSET,但如field已经存在,HSETNX不会进行任...阅读全文

博文 2018-10-27 10:37:55 debian.cn

得物云原生全链路追踪Trace2.0-采集篇 - OSCHINA

="Servlet3FilterMappingResolverFactory",le="0.2"} 3949.0 1654575981.216 # {span_id="48f29964fceff582",trace_id="c0a80355629ed36bcd8fb1c6c89dedfe"} 1.0 1654575979.751 为了采集 Exemplar 格式指标,同时又需防止分桶标签“le”产生的高基数问题,我们二次开发了指标采集 vmagent,额外过滤携带 Exemplar 数据的指标,并将这类数据异步发送到了 Kafka,经过 Flink 消费后落入 Clickhouse 后,由天眼监控门户系统提供查询接口和UI。 分位线统计与Exemplar 数据关联UI示意图 在数据上报层,OpenTelemetry Java SDK 使用了比 JDK 原生的阻...阅读全文

博文 2022-12-10 06:50:41 中文开源技术交流社区

kubectl 创建 Pod 背后到底发生了什么?—探寻 Kubectl 创建 Pod 的原理

没有 Pod,这时候就该 ReplicaSet Controller 登场了!ReplicaSet Controller 的工作是监视 ReplicaSets 及其相关资源(Pod)的生命周期。和大多数其他 Controller 一样,它通过触发某些事件的处理器来实现此目的。 当创建 ReplicaSet 时(由 Deployment Controller 创建),RS Controller 检查新 ReplicaSet 的状态,并检查当前状态与期望状态之间存在的偏差,然后通过调整 Pod 的副本数来达到期望的状态。 Pod 的创建也是进行的,从 SlowStartInitialBatchSize 开始,然后在每次成功的迭代中以一种 slow start 操作加倍。这样做的目的是在大量...阅读全文

博文 2022-04-18 16:18:04 CSDN

Kafka 3.0新特性全面曝光,真香!

Follower中的最小的LEO值来更新。之后,Leader响应自己的HW给Follower,Follower更新自己的HW值,因为又拉取到了消息,所以再次更新LEO,流程以此类推。(九)Kafka为什么快?主要是3个方面:顺序IOkafka写消息到分区采用追加的方式,也就是顺序写入磁盘,不是随机写入,这个速度比普通的随机IO快非常多,几乎可以和网络IO的速度相媲美。Page Cache和零拷贝kafka在写入消息数据的时候通过mmap内存映射的方式,不是真正立刻写入磁盘,而是利用操作系统的文件缓存PageCache异步写入,提高了写入消息的性能,另外在消费消息的时候又通过sendfile实现了零拷贝。处理和压缩Kafka在发送消息的时候不是一条条的发送的,而是会把多条消息合并成一个批次进行处理发送...阅读全文

博文 2022-04-28 16:02:11 mp.weixin.qq.com

谷歌公开了内部管理Infra层的两个工具的Paper

解决方案。 基于intent的执行需要首先转变对如何修改生产环境的看法。可以用“宠物vs牛群”理论来描述这个问题:以前,我们把工作流当作宠物:维护每个工作流的运行,手动调优,并且单个交互。而基于intent的执行将生产asset当作牛群:特殊情况很少,扩展变得很容易。因此,我们创建了成为Annealing的持续执行系统。 生产管理的大部分现在都是基于intent的,并且每秒可以向生产环境推送上百个变更——这里每个变更推送整个job,变更配置,应用新的数据库schema等。当然,在某些领域工作流仍然存在。很多时候是因为工具还不能覆盖特殊领域(比如,pipeline),但是也有些情况是特定的需求下工作流更为合适。 — 4 — 其他解决方案 本文描述的很多理念可能在服务部署和管理领域比较常见...阅读全文

博文 2023-01-08 11:23:20 CSDN博客