InfraPub 为您找到相关结果 675

DPDK Graph Pipeline 框架简介与实现原理

户设计 pipeline 的灵活度,但 graph 框架也同时带来下列缺点: 引入潜在存安全风险 复杂的代码逻辑,需要大量的试工作 初学者学习曲线陡峭 总体而言,与传统的 pipeline 模式相比,graph 框架也会出现 tradeoff。使用者需要考虑其业务逻辑的复杂程度,才能有计划地设计出可管理的 graph pipeline。graph 模型更适用于 pipeline 比较复杂的场景。有兴趣的读者可以持续关注后期即将发布的《DPDK Graph Pipeline 框架示例和性能分析》,以更好地理解 DPDK libgraph 的性能和实际用途。...阅读全文

博文 2023-02-09 07:13:55 掘金

Golang 操作 Kafka 样例

)、consumer(消息消费者)都可以是分布式的。 在消息的生产时可以使用一个标识topic来区分,且可以进行分区;每一个分区都是一个顺序的、不可变的消息队列, 并且可以持续的添加。 同时为发布和订阅提供高吞吐量。据了解,Kafka每秒可以生产约25万消息(50 MB),每秒处理55万消息(110 MB)。 消息被处理的状态是在consumer端维护,而不是由server端维护。当失败时能自动平衡 1.1.3. 常用的场景 监控:主机通过Kafka发送与系统和应用程序健康相关的指标,然后这些信息会被收集和处理从而创建监控仪表盘并发送警告。 消息队列: 应用程度使用Kafka作为传统的消息系统实现标准的队列和消息的发布—订阅,例如搜索和容提要(Content Feed)。比起大多数的消息系统来说,Kafka...阅读全文

博文 2023-01-10 13:46:09 掘金

Docker 核心原理

对 Docker 的使用大部分都比较熟悉,但是说到 docker 的实现原理很多人还是一知半解。我把在团队部做的一次 Docker 核心原理分享总结到文章里,以供参考。 Docker 的优势 Build once, Run anywhere 上面这句话很精辟的总结了 docker 的优点。我从下面几点具体描述 docker 带给开发者的能力 应用标准化 无论什么语言开发的应用,我们都能用 dockerfile 和构建脚本方便的进行应用构建打包,代码库 + 构建 + registry 统一了 CI/CD 流程,也提升了效率。 环境一致 由于应用和依赖全部构建成镜像,做到了一次构建多次交付,无论是开发,试还是上线环境都是一致的。大大提高了开发效率 应用隔离 由于通过 docker 部署的应...阅读全文

博文 2021-02-25 09:14:23 lxkaka

kubectl 创建 Pod 背后到底发生了什么?—探寻 Kubectl 创建 Pod 的原理

次创建这些资源的呢?其实这些工作都是由 Kubernetes 置的 Controller(控制器) 来完成的。 Kubernetes 在整个系统中使用了大量的 Controller,Controller 是一个用于将系统状态从“当前状态”修正到“期望状态”的异步脚本。所有 Controller 都通过 kube-controller-manager 组件并行运行,每种 Controller 都负责一种具体的控制流程。首先介绍一下 Deployment Controller: 将 Deployment 记录存储到 etcd 并初始化后,就可以通过 kube-apiserver 使其可见,然后 Deployment Controller 就会检到它(它的工作就是负责监听 Deployment...阅读全文

博文 2022-04-18 16:18:04 CSDN

互联网协议正在发生变化

,全新打造的 “握手”机制允许应用程序数据从头开始流动(经常被称为 ‘0RTT’)。新的设计依赖于短暂密钥交换,从而排除了静态密钥。 这引起了一些网络运营商和供应商的担心 —— 尤其是那些需要清晰地知道那些连接部发生了什么的人。 例如,假设一个对可视性有监管要求的银行数据中心,通过在网络中嗅探通讯包并且使用他们的服务器上的静态密钥解密它,它们可以记录合法通讯和识别有害通讯,无论是来自外部的攻击,还是员工从部去泄露数据。 TLS 1.3 并不支持那些窃听通讯的特定技术,因为那也是 一种针对短暂密钥防范的攻击形式。然而,因为他们有使用更现代化的加密协议和监视他们的网络的监管要求,这些使网络运营商处境很尴尬。 关于是否规定要求静态密钥、替代方式是否有效、并且为了相对较少的网络环境而减弱整个互联网...阅读全文

分布式运行时 Dapr 知多少

微服务。 以上是Dapr官方GitHub仓库上对Dapr的简介。文字虽短,口气却很大,因为其除了涵盖了当前所有的技术热点:分布式、云、微服务,还自我标榜为:分布式应用运行时。分布式应用我们或多或少有些了解,运行时也听到不少,比如常见的语言运行时:Java 运行时,.NET 运行时,Go 运行时等等,那运行时又是什么东西?简要来说:运行时是程序运行依赖的执行环境。以.NET 程序运行时CLR为例,它为.NET应用程序提供了一个托管的代码执行环境负责应用程序在整个执行期间的存管理、线程管理、安全管理、远程管理、即使编译等。 那分布式应用运行时,就是提供分布式应用运行所依赖的的执行环境。那运行分布式应用需要哪些环境依赖呢?回答这个问题,我们要先思考开发分布式应用的挑战是什么?明确了挑战,那就找到...阅读全文

十个增加 Linux Shell 脚本趣味的小工具

很多人误以为shell脚本只能在命令行下使用。其实shell也可以调用一些GUI组件,例如菜单,警告框,进度条等等。你可以控制最终的输出,光标位置还有各种输出效果。下面我将介绍一些工具,帮助你创建强大的,互动的,用户友好的 Unix/Linux shell脚本。我在FreeBSD和Linux下试过这些工具,不过其他UNIX系列的操作系统应该都支持的。 1. notify-send 命令 这个命令可以让你通过通知进程发送一个桌面通知给用户。这可以用来向用户发送提示,或者显示一些信息而不用打断用户工作。你需要安装如下软件包: $ sudo apt-get install libnotify-bin 下面这个例子展示了如何从命令行向桌面发送一个简单的消息: notify-send...阅读全文

博文 2018-04-09 09:38:50 debian.cn

粘合万种芯片的“万能胶” 是摩尔定律的续命丹吗? - 硬件

展已经有一段时间了,但业一直各自为政,由于没有统一的接口标准,"胶水"芯片生态难建,大公司止步不前,小公司也不敢迈出第一步。长期以来,摩尔定律的持续演进被视为芯片性能提升的主要途径。经历四十多年的发展,构成芯片的晶体管几乎要缩小到原子级别,不仅面临难以突破的物理极限问题,制程升级的投入产出比也大幅下降,业界开始寻找新的办法提升产品性能,例如,通过改变封装的方式提升晶体管密度。提出摩尔定律的戈登本人也意识到了封装的重要性,他在论文中写道:"事实证明用较小的功能模块构建大型系统可能会更经济,这些功能模块将分别进行封装和互连。"简单来讲,也就是将原先生产好的芯片集成到一个封装中,达到减少产品开发时间和成本的目的,这些芯片模块可以是不同工艺节点,最终通过裸片对裸片的方式连接在一起,这一类似于用胶水...阅读全文

博文 2022-04-08 07:35:46 cnBeta.COM

我要彻底放弃 Debian 操作系统!-Michael Stapelberg

施。 虽然拥有一个lint工具(能实现快速、本地/离线的反馈)非常好,但最好的情况还是完全不需要lint工具。实施变更(例如C++团队为所有包引入了一个新的强化标志)的团队应该能够让我明确看到他们的工作。 然而,实际情况却恰恰相反,目前所有的包都由于lint而变得不干净,所有的维护者都需要阅读新容是什么、可能会造成怎样的破坏、是否有影响以及怎样的影响、手动运行一些试、最后再决定是否采用。整个过程的工作量巨大,而且还需要手动执行机械的更改。 特别是,在Debian的变更模型中,所有更改的工作都会分派给包维护者。在工作中,我们发现相反的工作方式更好:即让负责变更的团队自行选择那些能影响更多用户的更改,这样可以显著地提高效率,从而降低总体的成本和时间。当然,有些例外情况(例如滥用语言功能的大型...阅读全文

博文 2019-03-22 17:01:23 Michael Stapelberg

Debian 9 使用kubeadm创建 k8s 集群(下)

对象的描述。 完成后保存并关闭文件。 通过运行本地执行Playbook: ansible-playbook -i hosts ~/kube-cluster/master.yml 完成后,您将看到类似于以下容的输出: Output PLAY [master] **** TASK [Gathering Facts] **** ok: [master] TASK [initialize the cluster] **** changed: [master] TASK [create .kube directory] **** changed: [master] TASK [copy admin.conf to user's kube config] ***** changed: [master...阅读全文

博文 2019-05-13 22:57:41 debian.cn

APISIX Ingress 如何使用 Cert Manager 管理证书

statefulset.apps/apisix-etcd 2/3 57m NAME COMPLETIONS DURATION AGE job.batch/cert-manager-startupapicheck 1/1 6m24s 45m Kubernetes Controller Manager 的机制决定了 Pod 名称会有所不同。 步骤四:申请证书并试 首先我们需要配置证书颁发对象。 # issuer.yaml apiVersion: cert-manager.io/v1 kind: Issuer metadata: name: issuer namespace: ingress-apisix spec: selfSigned: {} 并创建自签名证书颁发者。 kubectl apply -f...阅读全文

博文 2023-02-09 07:38:06 中文开源技术交流社区

改善 Debian Linux 软件包管理的七款工具

如果你运行Debian或它的衍生版本之一(比如Linux Mint或Ubuntu),迟早会遇到apt-get和dpkg,它们是主要的软件包管理命令。然而,这些只是最常见的Debian软件包工具。这些年来,Debian实际上陆续推出了几十款让安装和配置软件包更容易的脚本和工具。 许多这样的脚本和工具可以帮助你创建软件包。而且,它们常常包括你在桌面工具中根本找不到的功能特性。 下面是Debian中七款最实用的软件包管理工具。大多数工具还应该出现在Debian衍生版中: 7. Aptitude 众所周知,Aptitude是一款基于文本的软件包管理工具。桌面工具可能更符合现代用户的期望,不过Aptitude仍然很有用,所以常常默认情况下安装。 如果你试图修复阻止安装或删除其他任何容的破损软件包...阅读全文

博文 2021-01-28 17:50:21 debian.cn

Apollo 分布式配置中心详解

于配置中心,那么在这里有必要先简单介绍一下什么是配置。配置有以下几个属性。 配置是独立于程序的只读变量 配置首先是独立于程序的,同一份程序在不同的配置下会有不同的行为。其次,配置对于程序是只读的,程序通过读取配置来改变自己的行为,但是程序不应该去改变配置。 常见的配置有:DB Connection Str、Thread Pool Size、Buffer Size、Request Timeout、Feature Switch、Server Urls 等。 配置伴随应用的整个生命周期 配置贯穿于应用的整个生命周期,应用在启动时通过读取配置来初始化,在运行时根据配置调整行为。 配置可以有多种加载方式 配置也有很多种加载方式,常见的有程序部 hard code,配置文件,环境变量,启动参数,基于数...阅读全文

博文 2020-04-12 12:16:26 debian.cn

Debian 10使用 Wine 安装配置微信、QQ与TIM

winehq-stable wine启动初配置 可参考Debian wiki的wine,这是使用wine前的第一步,在终端中输入 winecfg 依次按提示安装mono,gecko,要等待部分安装时间,然后再出现Configuration界面,点OK wine字体配置 wine界面字体显式是调用Linux操作系统的字体,若之前复制了windows的字体到/usr/share/fonts中的话,这部分一般就没有问题。没有的话可以复制一部分过去,或者研究下怎么使用其他字体和替代方案。 但这不够,还要配置wine模拟的windows字体,这部分字体在/home/your_username/.wine/drive_c/windows/Fonts/(其中your_username换成你的实际用户名),把...阅读全文

HTTP状态码详解

,而且有一个新的资源已经依据请求的需要而建立,且其 URI 已经随Location 头信息返回。假如需要的资源无法及时建立的话,应当返回 ‘202 Accepted’。 202 服务器已接受请求,但尚未处理。正如它可能被拒绝一样,最终该请求可能会也可能不会被执行。在异步操作的场合下,没有比发送这个状态码更方便的做法了。 返回202状态码的响应的目的是允许服务器接受其他过程的请求(例如某个每天只执行一次的基于批处理的操作),而不必让客户端一直保持与服务器的连接直到批处理操作全部完成。在接受请求处理并返回202状态码的响应应当在返回的实体中包含一些指示处理当前状态的信息,以及指向处理状态监视器或状态预的指针,以便用户能够估计操作是否已经完成。 203 服务器已成功处理了请求,但返回的实体头部元信...阅读全文

博文 2021-01-28 17:50:11 debian.cn

深入了解Docker背后的namespace技术

Docker基于mamespace、cgroups、chroot等技术来构建容器,不是一个系统调用就能搞定,容器是一个用户态的概念。本文中Docker软件工程师Michael Crosby深入探讨了Docker对namespace技术的应用。 相信你在很多地方都看到过“Docker基于mamespace、cgroups、chroot等技术来构建容器”的说法,但你有没有想过为何容器的构建需要这些技术? 为什么不是一个简单的系统调用就可以搞定?原因在于Linux核中并不存在“linux container”这个概念,容器是一个用户态的概念。 Docker软件工程师Michael Crosby将撰写一些列博客,深入到Docker运行的背后,探索在 docker run这段代码的背后发生了什么...阅读全文

博文 2015-05-17 10:03:00 debian.cn

从 Debian 安装 Proxmox VE,并配置网络和双硬盘

sudoer(嘛,死循环了1visudo 在文件最后加上一行1username ALL=(ALL:ALL) NOPASSWD:ALL username 是你当前的用户,你想从哪个用户免密切换到 root 在我这里是1customer ALL=(ALL:ALL) NOPASSWD:ALL visudo 命令使用的是 nano 编辑器 所以修改好了后,ctrl+x,y,回车 回到 customer 用户, sudo su,可以免密进入 root ,说明配置好了 开启 bbr因为核版本在 4.9 以上,可以直接开启 bbr。 修改系统参数12echo "net.core.default_qdisc=fq" >> /etc/sysctl.confecho "net.ipv4...阅读全文

博文 2021-03-01 20:20:31 驱蚊器喵的插座

Gitlab CI 配置文件 .gitlab

本文档是描述 .gitlab-ci.yml 详细用法的下半部分,上半部分的容请参考这里。.gitlab-ci.yml 文件被用来管理项目的 runner 任务。如果想要快速的了解GitLab CI ,可查看快速引导。 该文件存放于项目仓库的根目录,它定义该项目如何构建。 参考阅读:Gitlab CI 配置文件 .gitlab-ci.yaml 详解(上) artifacts 注意: 非Windows平台从GitLab Runner v0.7.0中引入。 Windows平台从GitLab Runner V1.0.0中引入。 在GItLab 9.2之前,在artifacts之后存储缓存。 在GItLab 9.2之后,在artifacts之前存储缓存。 目前并不是所有的executors都支持...阅读全文

博文 2018-12-12 21:09:02 ci.yaml 详解(下)

Jono Bacon: GPL 没落了吗?

目的自然选择,Debian、Ubuntu、Fedora 和 Linux 核以及很多都是例子。 近年来,尽管我们已经看到了不再那么挑剔的一代开发者的出现,但是如果我说的过激一些,他们缺少对于自由的关注。对于他们来说开源软件是构建软件的务实、实用的一部分,而无关伦理。我想,这就是为什么我们发现 MIT 和 Apache 协议的流行的原因。 未来 ? 这对于 GPL 意味着什么? 我的猜想是 GPL 依然将是一个主要选项,但是开发者将将之视为纯粹的自由软件协议。我想对于软件的纯粹性有高要求的项目会优先选择 GPL 协议。但是对于商业软件,为了保持我们之前讨论过的那种平衡,他们不会那么做。我猜, MIT 以及 Apache 依然会继续流行下去。 不管怎样,好消息是开源/自由软件行业确实在增长。无...阅读全文

博文 2017-08-04 08:03:43 debian.cn

英特尔放出Linux微代码以修复Meltdown和Spectre漏洞

识别码。 Windows用户同样可以使用微代码来完成更新,但是这些针对Windows的微代码补丁得等到微软首先完成试之后才会正式发布。 在Linux中使用新版本的微代码数据文件 对于Linux用户来说,可以轻松地使用新版本的微代码数据来更新Linux发行版,因为这些微代码文件一般都是以系统更新的形式推送给用户的。为了安装新版本的微代码补丁,最好的方法就是使用Linux发行版自带的Package管理器来完成安装。 对于Debian和Ubuntu发行版的用户来说,可以使用apt命令来安装Intel的微代码数据包。除了更新补丁之外,Package管理器还会安装例如iucode-toll之类的其他依赖组件。Redhat以及CentOS用户还可以使用yum并搜索microcode_ctl来完成更新...阅读全文

博文 2018-01-17 23:26:58 debian.cn

Ceph 基金会正式成立 接受 Linux 基金会的管理

工程活动通过传统的开源流程进行管理,并由Ceph领导团队监督。 创始顶级会员包括Amihan,Canonical,中国移动,DigitalOcean,Intel,ProphetStor Data Services,OVH,Red Hat,SoftIron,SUSE,Western Digital,XSKY和ZTE。 其他普通会员和准会员包括:Arm,平安科技,小桔科技(滴滴出行), 中铁信息工程集团,Ambedded Technology,Croit GmbH,EasyStack,Intelligent Systems Services,Catalyst Cloud,QCT,欧洲粒子物理研究所,英国科学与技术设施委员会(STFC),莫纳什大学,希腊GRNET机构,南非射电天文观台...阅读全文

不可变基础设施 (immutable infrastructure) - 云原生定义解析

云原生技术的不断发展,2018年,CNCF扩展了云原生技术的定义,以下是云原生技术的新定义:“云原生技术有利于各组织在公有云、私有云和混合云等新型动态环境中,构建和运行可弹性扩展的应用。云原生的代表技术包括容器、服务网格、微服务、不可变基础设施和声明式API。这些技术能够构建容错性好、易于管理和便于观察的松耦合系统。结合可靠的自动化手段,云原生技术使工程师们能够轻松地对系统作出频繁和可预的重大变更。”其中,像容器,微服务等概念早已深入人心,而很多开发人员都对此次提及的“不可变基础设施”这个概念有不少疑惑,下文将对这个概念进行解析。其实不可变基础设施这个概念由来已久,并在不同的场合被很多技术专家已不同的形式提出并讨论过, 例如:“Trash Your Servers and Burn...阅读全文

个人信息保护新规将出台 消费者被短信轰炸将成为历史

,App开发运营者加强前端和后端安全防护、访问控制、技术加密、安全审计等工作,主动监发现个人信息泄露等违规行为,及时响应处置要求。App开发运营者还要履行国家规定的其他个人信息保护义务。 尽管《规定》尚未正式发布实施,但是主流平台企业已经用实际行动认可了各自的信息保护义务。 7月6日,阿里巴巴开放平台发布《依法加强消费者订单中敏感信息保护的公告》,称将启动订单处理链路的消费者敏感信息保护方案,对涉及消费者个人敏感信息采取加密、去标识化等安全技术措施。 7月9日,京东发布《JD用户订单隐私安全方案》,称为保障京东用户和商家数据信息安全,京东商家开放平台将对订单中手机号和座机号进行脱敏。 7月20日,抖音电商运营团队发布公告,为防止消费者隐私信息泄露,抖店将启动消费者隐私数据...阅读全文

总结系统设计中的33个黄金法则

关。 18. 针对单点故障——实施冗余。 19. 为了容错性和持久性——实施数据复制。 20. 对于用户到用户的快速通信 — 使用 Websockets。 21. 分布式系统中的故障检——实现心跳。 22. 数据完整性——使用校验和算法。 23. 高效的服务器扩展——一致性哈希。 24. 去中心化数据传输——考虑 Gossip 协议。 25. 基于位置的功能 — 使用四叉树、Geohash 等。 26. 避免特定的技术名称 — 使用通用术语。 27. 高可用性和一致性的权衡——最终一致性。 28. 对于IP解析和域名查询——DNS。 29. 处理网络请求中的大数据——实施分页。 30. 缓存删除策略 — 首选...阅读全文

Go 公布 2.0 设计草案:规模化和扩展性、支持泛型

(string(hex)) os.Stdout.Write(data) } 二、错误值(Error values) 大型程序必须能够以编程方式试和响应错误,并且还能很好地报告它们。 目前的各种流行的助手工具包添加了超出标准错误接口的功能,但它们以不兼容的方式执行。对于 Go 2,开发团队考虑将“可选接口”标准化,以允许这些工具包进行互操作,并慢慢减少对它们的需求。 改进主要包含两个目标:一是让程序的错误检查更容易,更不容易出错,以提高程序的错误处理和稳健性;二是希望能够以标准格式打印包含额外细节的错误。 // Is reports whether err or any of the errors in its chain is equal to target. func Is(err, target...阅读全文

博文 2018-09-01 18:39:47 debian.cn

Go 泛型的括号选择:[ ] or ( )

type关键字,那么歧义就会消失: type A[type N] E 此外,使用小括号时产生的歧义似乎不会出现在方括号中。下面是一些使用方括号但不需要额外嵌套小括号的例子: using () using [] func f((T(int)) func f(T[int]) struct{ (T(int)) } struct{ T[int] } interface{ (T(int)) } interface{ T[int] } [](T(int)){} []T[int]{} 为了更好地理解以及进行试,他们表示将开始对原型实现进行修改,让泛型能使用小括号或方括号(注意不能同时混用,只能使用其中一种)。这些修改将首先提交到 dev.go2go 分支,最终会出现在 Go playground 上...阅读全文

博文 2020-07-16 10:38:01 debian.cn

历数2017年五大Linux痛点

统的消失 许多用户都在哀叹他们最喜爱的发行版和软件项目中不再支持32位操作系统。越来越少的产品继续支持32位平台,这将会带来市场份额的降低和用户的流失。幸运的是,我们谈论的是开源,所以只要有人还在关心32位平台,你至少会有几个32位系统可选择。 5.不支持X-forwarding 很多长期用户经常使用X-forwarding,并将其看作一个关键功能。但随着Linux有越来越多的人使用,其对于X-forwarding的试和支持有所减少,尤其是新应用程序。随着网络的透明度不断发展,情况可能会在好转之前变得更糟。 与去年相比有哪些变化 ·视频(特别是加速器加速;最新的视频卡;专用驱动程序;高效的电源管理) ·蓝牙支持,特定的wifi芯片和打印机,电源管理以及暂停/恢复,对许多用户来说仍然是麻烦的...阅读全文

博文 2017-11-25 12:27:56 debian.cn

如何在一个U盘上安装多个Linux发行版

本教程介绍如何在一个 U 盘上安装多个 Linux 发行版。这样,你可以在单个 U 盘上享受多个现场版live Linux 发行版了。 我喜欢通过 U 盘尝试不同的 Linux 发行版。它让我可以在真实的硬件上试操作系统,而不是虚拟化的环境中。此外,我可以将 USB 插入任何系统(比如 Windows 系统),做任何我想要的事情,以及享受相同的 Linux 体验。而且,如果我的系统出现问题,我可以使用 U 盘恢复! 创建单个可启动的现场版 Linux USB 很简单,你只需下载一个 ISO 文件并将其刻录到 U 盘。但是,如果你想尝试多个 Linux 发行版呢?你可以使用多个 U 盘,也可以覆盖同一个 U 盘以尝试其他 Linux 发行版。但这两种方法都不是很方便。 那么,有没有在单个...阅读全文

博文 2017-10-18 13:42:20 debian.cn

理解 Linux 的虚拟内存

前不久组又有一次我比较期待的分享:“Linux 的虚拟存”。是某天晚上加班时,我们讨论虚拟存的概念时,leader 发现几位同事对虚拟存认识不清后,特意给这位同学挑选的主题。 我之前了解一些操作系统的概念,主要是毕业后对自己大学四年的荒废比较懊恼,觉得自己有些对不起计算机专业出身,于是在工作之余抽出时间看了哈工大在网易云课堂的操作系统公开课,自己也读了一本讲操作系统比较浅的书 《Linux核设计与实现》,而且去年自己用 C 写简单的服务器时,也追根究底了解了更多的系统底层知识。多亏了这些知识,让我对应用层的知识更有掌控感,也在上次排查问题时(从应用到核查接口超时)助了我一臂之力。 前几天另一位同事来问另一个虚拟存相关的问题,我才发现对于虚拟存,我的理解还不够深刻,一些概念还...阅读全文

博文 2018-11-25 11:03:49 debian.cn

Linux内存buffer和cache的区别

在Linux的存分配机制中,优先使用物理存,当物理存还有空闲时(还够用),不会释放其占用存,就算占用存的程序已经被关闭了,该程序所占用的存用来做缓存使用,对于开启过的程序、或是读取刚存取过得数据会比较快。 一. 存使用说明 Free 命令相对于top 提供了更简洁的查看系统存使用情况: [root@debian ~]$ free total used free shared buffers cached Mem: 1035108 1008984 26124 0 124212 413000 -/+ buffers/cache: 471772 563336 Swap: 2096472 842320 1254152 这里显示的单位是KB。 在Linux的存分配机制中,优先使用物...阅读全文

观点:DDR内存即将谢幕 HBM 3/4内存才是未来

这一年来有关国公司进军存产业的消息甚嚣尘上,紫光公司凭借原有的英飞凌、奇梦达基础在DDR3存上已经作出了突破,小批量生产了DDR3存,下半年还会推出更主流的DDR4存芯片,正在努力追赶国际主流水平。但是放眼整个存市场,DDR5存很快就要来了,更可怕的是未来即便是DDR5存也很可能被更新的技术淘汰。 业界已经有人提出了DDR存将死的看法,未来需要高带宽的产品将转向HBM存,2020年会有HBM 3存,2024年则会有HBM 4存,届时带宽可达8TB/s,单插槽容量可达512GB。 对于HBM存,DIY玩家可以说也是相当熟悉了,AMD在2015年的Fury系列显卡上首次商用第一代HBM技术,超高的带宽、超低的面积占用彻底改变了当时的显卡设计,随后NVIDIA在...阅读全文

Linux系统诊断-内存基础

谈及linux存,很多时候,我们会关注free,top等基础命令。当系统遇到异常情况时,存问题的根因追溯,现场诊断时,缺乏深层次的debug能力。本篇幅不做深层讨论,能把当前系统的问题描述清楚,是每个SRE应该具备的最基础能力。free========2.1 free命令原理free是通过查看 /proc/meminfo 来获取存的使用情况。但是 /proc/meminfo 这个文件又是怎么来的?我们先了解下 /proc 目录:/proc 是一个虚拟文件系统,该目录下的所有文件都是伪文件,该类文件只存在于存中,并不占用空间——使用 du -sh 即可验证,该模具路下的磁盘占用都是0。/proc 下的所有文件都是核调用proc_create() 接口来创建的虚拟条目。/proc 中...阅读全文

博文 2021-02-11 14:22:42 SegmentFault 思否

Ubuntu发布重要更新将修复九个漏洞

Canonical发布了针对所有支持的Ubuntu操作系统的新的Linux核安全更新,解决了由各个研究人员发现的总共九个漏洞。 新修补的Linux核漏洞影响 Ubuntu 17.10(Artful Aardvark),Ubuntu 17.04(Zesty Zapus),Ubuntu 16.04 LTS(Xenial Xerus),Ubuntu 14.04 LTS(Trusty Tahr)和 Ubuntu 12.04(Precise Pangolin)ESM(扩展安全维护)以及所有官方衍生版,包括 Kubuntu,Lubuntu等。 它们包括Mohamed Ghannam在Linux核的Netlink子系统(XFRM)中发现的释放后使用漏洞,以及Linux核不能正确处理大页存的拷贝...阅读全文

博文 2017-12-20 11:31:08 debian.cn

NVDIMM-P非易失内存标准公布:断电不丢数据、兼容DDR4

我们知道,传统的DDR DIMM存是易失性的,也就是必须维持通电才能保持数据,一旦断电就都没了。 Intel创造了Optane傲腾持久存,做到了非易失性,也兼容DDR DIMM,但仅用于数据中心,和普通用户无关。 现在,JEDEC固态技术标准协会发布了DDR4 NVDIMM-P非易失存标准规范,序列编号JESD304-4.01,也可以在断电后不丢失数据,而且完全兼容DDR4存标准。 根据规范,这种新存兼容普通的DIMM存标准、固件,可以最大程度减少对于现有设备、平台的更改,同时为新存提供了低延迟接口,提高了易用性,未来也会兼容支持DDR5。 NVDIMM-P的新功能: - 持久性:操作系统能够低延迟、高带宽访问非易失存。 - 虚拟化的存:在DDR通道启用尽可能多的存容量...阅读全文

Linux 内核将停止支持旧CPU架构 可减50万行代码

Linux 核维护者已经决定在即将发布的版本中放弃对旧 CPU 架构的支持。因此,Linux 4.17 核将减少大约 50 万行代码,目前它包含大约 2030 万行代码。 Linux 核维护者已经决定在即将发布的版本中放弃对旧 CPU 架构的支持。因此,Linux 4.17 核将减少大约 50 万行代码,目前它包含大约 2030 万行代码。将被弃用的体系结构是 Blackfin,CRIS,FRV,M32R,Metag,MN10300,Score 和 Tile。虽然不被弃用,Unicore32 和 Hexagon 体系结构也处于风险之中,但他们的维护人员正在努力改善情况,以便继续支持。 核开发人员 Arnd Bergmann 在 Linux 核邮件列表中发帖称: “Linux...阅读全文

博文 2018-04-10 10:29:09 debian.cn

influxdb内存消耗分析及性能优化【探索篇】

1.新的问题influxdb目前支持存型索引inmem及文件型索引tsi1。之前追踪篇将influxd索引修改为tsi1之后,经过一段时间的运行,从监控观察到,由于调用方采用异步队列+批处理的方案将数据写入influxdb,会在某些时刻调用方部出现数据堆积,指标如图:横坐标: 时间轴,从12-29 00:00 到 12-30 00:00纵坐标: 队列中数据堆积长度,坐标最大值250k,即最大25w个数据堆积从上图可以看到,当天监控出现数次堆积,上午7:00-10:00尤为严重。在堆积时,登录influxdb服务器,查看机器状态如下:top - 09:40:58 up 120 days, 19:18, 1 user, load average: 32.29, 32.32, 29.82...阅读全文

博文 2021-10-27 16:06:30 知乎

Debian升级内核开启TCP_BBR 实现网络单边加速

自从锐速发布以来,这款牛逼的单边加速神器的确为一些线路不太优秀的服务器带来了更优秀的体验。但是呢,过高的价格和不再低端售卖。导致了我们并无法实现一个免费好用的单边加速功能。 但是谷歌为我们带来了干货 新的 TCP 拥塞控制算法 BBR (Bottleneck Bandwidth and RTT)。 目前在 Linux Kernel 4.9 中加入了该算法,所以我们只要升级核就可以爽一波了。难懂的技术说明,我们也不说了,TCP BBR 的目的就是要尽量跑满带宽,并且尽量不要有排队的情况。 注: 更新核有一定风险,请注意备份。 开启 TCP BBR 只要 Linux 发行版的 Kernel 即核版本大于等于 4.9 即可开启,开启方法是通用的,如何升级至 Kernel 将在下面介绍。 修...阅读全文

博文 2021-01-28 17:50:17 debian.cn

Linux 内核组织将关闭 FTP 服务

Linux Kernel Organization(kernel.org) 是一家建立于 2002 年的加利福尼亚公共福利公司,其目的是公开地免费分发 Linux 核和其它开源软件。它接受 Linux 基金会的管理,包括技术、资金和人员支持,用以维护 kernel.org 的运营。 Linux 核组织是 Linux 核发布的官方场所,在其站点上可以找到 Linux 核的各个版本,包括最早的 1.0 到最新的 4.x 核。其所提供的核获取方式多种多样,包括: HTTP https://www.kernel.org/pub/ GIT https://git.kernel.org/ RSYNC rsync://rsync.kernel.org/pub/ 以及 FTP 方式,然而,现在...阅读全文

博文 2021-01-28 17:50:20 debian.cn

Linux Kernel 5.0将于2018年夏季发布

Linus Torvalds揭示了为什么在2018年夏天将会有一个Linux Kernel 5的理由。他还讨论了对新的Linux Kernel维护者的需求。 在最近结束的布拉格开源峰会上,Linux创始人Linus Torvalds与VMware副总裁进行了座谈,并讨论了Linux核的相关问题。 Linux核需要新的维护者 Linux核已经有26岁,核维护者比26岁还要老。这就产生了一个问题,因为虽然核开发有很多年轻的贡献者,但是核维护者(负责审核向核提交代码的人)是40多岁的人, 甚至50多岁了。部分问题是维护核的复杂性。 但是Torvalds认为,核维护者的主要原因是“老”,因为他们需要从疯狂的邮件流入中了解补丁。这需要良好的经验。 第二个原因是核维护者应该足够长的...阅读全文

博文 2017-12-11 22:27:31 debian.cn

Intel 傲腾 DDR4 内存价格曝光,单条 128GB 仅约 5600 元

本周的 Intel 数据创新大会上,傲腾持久存正式发布,采用 DDR4 接口和协议,既可以当纯粹的 DDR4 存,又可以做存储型缓存盘。 Intel 借助 3D Xpoint 技术实现了 DRAM 和 NAND Flash 共享同一种存储芯片,即傲腾(Optane)。按照 Intel 公布的信息,傲腾存条容量目前提供 128GB、256GB、512GB。 虽然 Intel 没有公布价格,但美国采购商已经偷跑, 其中 128GB 在 842~893 美元(约最低 5656 元),256GB 在 2668~2850 美元(约最低 1.79 万元),512GB 还不详(预计 6000~7000 美元)。 显然,比起同容量的 SSD 着实贵了不少,但比起企业级存条(128GB 要 4500...阅读全文

博文 2019-04-07 20:25:18 debian.cn

Intel 为啥要给 ARM 代工

体制造工艺,但却鲜有为英伟达、高通、德州仪器等 fabless 厂商做芯片代工。即便随着 PC 市场成为夕阳市场,全球 PC 市场的下滑使 Intel 在产能上出现过剩,工厂开工率不足,产能闲置,Intel 依旧鲜有为其他 IC 设计公司代工。 限制 Intel 代工业务的根源主要在于商业竞争 在半导体行业中,有三种运作模式: 一是从事能独立完成设计、制造、封装试的公司,被称为 IDM(Integrated Design and Manufacture),比如 Intel、以及曾经的 AMD 和 IBM; 二是只从事 IC 设计,但没有代工厂,这类公司被称为 Fabless,像现在的 AMD、ARM 等都属于 Fabless; 三是只做代工,不做设计,这类公司被称为 Foundry,最典型...阅读全文

博文 2021-01-28 17:50:26 debian.cn

通过 Hostapd 进行 WIFI 热点共享上网

操作系统:Debian Gnu/Linux Jessie 核: linux-image-4.3.0-0.bpo.1-amd64 网卡:腾达(Tenda) W311M 150M Mini无线USB网卡 最近发现自己的Debian之前可以使用GNOME3下的networkmanager进行WIFI共享上网功能因为核升级导致无法使用。无奈只好再次通过Hostapd来进行WIFI热点设置,同时为了更块的DNS解析,本次顺便也在本地安装了dnsmasq软件实现了本地化的DNS查询服务,成功恢复了我的小本本作为热点的能力。总结方法如下: 1、准备环境: 1.1执行vi /etc/apt/sources.list,并添加如下源地址: deb http://ftp.cn.debian.org...阅读全文

博文 2021-01-28 17:50:31 debian.cn

单条512GB!Intel 开始部署傲腾非易失性内存条

10 月 31 日消息,Intel 宣布,已经为广泛部署傲腾数据中心用、非易失性存条(Optane DC persistent memory)做好了准备。 目前,Beta 项目已经启动,参与的 OEM(原始设备制造商,如华为、联想等)和 CSP 伙伴(云服务伙伴,如谷歌、阿里巴巴、亚马逊、微软等)可以更早地向客户接入由傲腾非易失性存条驱动的系统, 从而为 2019 年上半年批量上线奠定基础。 傲腾非易失性存基于 3D Xpoint 技术,和目前的傲腾 SSD 共享存储芯片,从而弥补了传统 DDR4 存不具备的数据永固和大容量特性, 单条最大 512GB,可配合 Xeon Scalable 处理器使用。 特别的,Intel 此次为傲腾 DC 非易市存提供应用模式和存模式,前者可理...阅读全文

博文 2018-10-31 22:13:41 debian.cn

腾讯云 香港主机 1核1G 50G硬盘1M带宽 三年仅428元!

最近腾讯云活动不断,双十一智慧上云服务器的优惠力度非常的大,可以说是前所未有的历史低价了。赶紧行动吧, 2核4GB存50GB硬盘,3Mbps带宽的国主机,三年只需要688元,1核2GB存50GB硬盘,1Mbps带宽的国主机三年也只要268块,1核1GB存50GB硬盘,1Mbps带宽的香港主机,三年只要428块。 需要特别提醒的一句是,如果你的账号之前就已注册,但是没有购买记录,也是可以参加的。活动页面也是很炫的,如果不想买国主机,还有免备案的香港主机可选,价格都很良心, 相比此前的方案,优惠力度绝对是杠杠的, 活动地址(已更新): 1核1GB 1Mbps 只要88/年:直达链接2核4GB 3Mbps 带宽 仅688元/三年:直达链接 目前活动优惠力度历史新低,建议大家尽快下单...阅读全文

博文 2019-11-22 13:06:00 debian.cn

DDR5内存最大亮点是啥

美光于前日宣布已经开始向业界中的核心客户出样DDR5存(RDIMM)了,目前他们在DDR5存上面使用的是自家最新的1z nm工艺。 JEDEC于2016年就开始制定DDR5 SDRAM规范了,不过到目前为止,DDR5标准仍然处于完善期,JEDEC还没有公布它的最终版本,预计它将会在今年正式完成DDR5标准的制定。反而是LPDDR5快了一步,在去年2月份标准就已经正式公布,并且有厂商已经推出了实际产品,并且在今年已经有移动处理器支持它了。 美光的DDR5技术文档也得以让我们一窥DDR5存的特性。首先,在同样的等效频率下,DDR5存能够提供更高的有效带宽,比如同样处于3200MT/s下,DDR5-3200的有效带宽比DDR4-3200的要高出36%;其次是DDR5(在JEDEC标准范围...阅读全文

WSL2 将普遍可用,Linux 内核提供方式改变

微软博客宣布,WSL2 将在 Windows 10 2004 版中正式进入普遍可用(GA,Generally Available)状态。 WSL 2 是去年微软在 Build 2019 上宣布推出的,相比第一代,新的 WSL 重新设计了架构,使用真正的 Linux 核,可以在 Windows 上运行 ELF64 Linux 二进制文件。 Linux 二进制文件使用系统调用来执行许多功能,例如访问文件、请求存与创建进程等。WSL 1 创建了一个转换层,对这些系统调用进行翻译,以允许它们在 Windows NT 核上工作。但是,实现所有这些系统调用很有挑战性,导致某些应用程序无法在 WSL 1 中运行。现在 WSL 2 包含自己的 Linux 核,它具有完整的系统调用兼容性,这引入了一...阅读全文

博文 2020-03-15 10:53:59 debian.cn

Ubuntu 20.04 LTS 正式版发布

Ubuntu 20.04 LTS (Focal Fossa)于 4 月 23 日正式发布。主要新特性包括:Linux 核 5.4,支持新的硬件如英特尔 Comet Lake CPU 和 AMD Navi 12 和 14 GPU;支持 exFAT 文件系统,支持 Wireguard VPN,完整性模式启用锁定;为 RISC-V 硬件提供了 riscv64 核。 其它包括:GNOME 3.36,Mesa 20.0 OpenGL stack,BlueZ 5.53,PulseAudio 14.0,Firefox 75.0 和 Thunderbird 68.7.0,LibreOffice 6.4 等。 与 Ubuntu 20.04 同时发布的还有多个衍生版本如 Kubuntu 和 Lubuntu...阅读全文

博文 2020-04-24 01:58:26 debian.cn

Tiny Core Linux 8.0 发布,桌面 Linux 发行版

Tiny Core Linux 8.0 发布了。 更新容: busybox 更新为 1.25.1,cpio 修补了 uid / gid 错误 核更新至 4.8.17 glibc 更新至 2.24 gcc 更新至 6.2.0 e2fsprogs 基础库/应用更新至 1.43.3 util-linux base libs/apps 更新至 2.28.2 下载地址 TinyCore-8.0.iso (16.0MB, MD5, includes flwm only) CorePlus-8.0.iso (116MB, MD5, includes flwm, JWM, IceWM, Fluxbox, Hackedbox, Openbox) TinyCorePure64-8.0.iso...阅读全文