谈及linux内存，很多时候，我们会关注free，top等基础命令。当系统遇到异常情况时，内存问题的根因追溯，现场诊断时，缺乏深层次的debug能力。本篇幅不做深层讨论，能把当前系统的问题描述清楚，是每个SRE应该具备的最基础能力。free========2.1 free命令原理free是通过查看 /proc/meminfo 来获取内存的使用情况。但是 /proc/meminfo 这个文件又是怎么来的？我们先了解下 /proc 目录：/proc 是一个虚拟文件系统，该目录下的所有文件都是伪文件，该类文件只存在于内存中，并不占用空间——使用 du -sh 即可验证，该模具路下的磁盘占用都是0。/proc 下的所有文件都是内核调用proc_create() 接口来创建的虚拟条目。/proc 中...阅读全文
候，消费者会去读取上一次提交的偏移量，自动提交默认是每5秒一次，这会导致重复消费或者丢失消息。enable.auto.commit=false，设置为手动提交。还有一个参数我们可能也需要考虑进去的：auto.offset.reset=earliest，这个参数代表没有偏移量可以提交或者broker上不存在偏移量的时候，消费者如何处理。earliest代表从分区的开始位置读取，可能会重复读取消息，但是不会丢失，消费方一般我们肯定要自己保证幂等，另外一种latest表示从分区末尾读取，那就会有概率丢失消息。综合这几个参数设置，我们就能保证消息不会丢失，保证了可靠性。（八）聊聊副本和它的同步原理吧?Kafka副本的之前提到过，分为Leader副本和Follower副本，也就是主副本和从副本，和其他...阅读全文
在容器环境中，我们可以通过容器创建一个我们自定义过的镜像，那么我们是否可以直接通过基础的镜像直接自定义镜像呢？答案当然是可以的，在 Docker 中我们可以从名为 Dockerfile 的文件中读取指令并且自动构建镜像。在本文中，将介绍 Dockerfile 的基本语法以及基本知识。 1 Dockerfile 是什么？ Dockerfile 其实是一份文本文档，里面包含了用户可以用来操作镜像的一些指令。通过顺序执行这些指令，最后得到一个自定义的镜像，这有点类似于我们的 shell script。 2 Dockerfile 示例 接下来先看一个 Dockerfile 示例： FROM centos LABEL maintainer="Locez
本文档是描述 .gitlab-ci.yml 详细用法的下半部分，上半部分的内容请参考这里。.gitlab-ci.yml 文件被用来管理项目的 runner 任务。如果想要快速的了解GitLab CI ，可查看快速引导。 该文件存放于项目仓库的根目录，它定义该项目如何构建。 参考阅读：Gitlab CI 配置文件 .gitlab-ci.yaml 详解（上） artifacts 注意： 非Windows平台从GitLab Runner v0.7.0中引入。 Windows平台从GitLab Runner V1.0.0中引入。 在GItLab 9.2之前，在artifacts之后存储缓存。 在GItLab 9.2之后，在artifacts之前存储缓存。 目前并不是所有的executors都支持...阅读全文
在用 Golang 开发过程中，我们一定能在代码里很多函数或方法都会传递 context, 也会经常遇到这样的报错 context deadline exceeded。你有想过或去探究过 context 到底是什么吗，为什么会遇到上述的报错。在这里我们就分析一下 context 是什么及用途。 首选 Golang 中的 context 值得是 context.Context 接口,Golang 在 1.7 版本中引入标准库的接口。context 主要用来在 goroutine 之间传递上下文信息，包括：取消信号、截止时间、key-value 等。 Context 定义 Context 接口定义如下 1 2 3 4 5 6 7 8 9 10 type Context interface...阅读全文
Scrapy 是一个为了爬取网站数据，提取结构性数据而编写的应用框架。 可以应用在包括数据挖掘、信息处理或存储历史数据等一系列的程序中。本文着重介绍 Scrapy 架构及其组件之间的交互。 Scrapy 组件介绍 Scrapy Engine 引擎负责控制数据流在系统中所有组件中流动，并在相应动作发生时触发事件。 详细内容查看下面的数据流(Data Flow)部分。 调度器(Scheduler) 调度器从引擎接受request并将他们入队，以便之后引擎请求他们时提供给引擎。 下载器(Downloader) 下载器负责获取页面数据并提供给引擎，而后提供给spider。 Spiders Spider 是 Scrapy用户编写用于分析response并提取item(即获取到的item)或额外跟进的...阅读全文
定不要错过 Sym，细节请浏览 功能点脑图 。参考阅读： Sym 官网 GitHub Sym 讨论区...阅读全文
，确保备份期间数据的一致性。 继续阅读， https://www.debian.cn/archives/4583...阅读全文
Linus Torvalds 在内核邮件列表上宣布释出 Linux 5.6。Torvalds 称，他没有看到内核开发受到新冠疫情影响的迹象，大部分人可能早就习惯了在家远程工作。 他估计 Linux 5.7 的发布不太会有变动，但有人错过合并窗口还是可能的，毕竟合并窗口没有你或你周围的人的健康更重要。 Linux 5.6 的特性包括： Arm EOPD 支持，时间命名空间，BPF 调度器和批映射操作，openat2() 系统调用，WireGuard VPN 实现，流队列 PIE 包调度器，2038 年问题接近解决，pidfd_getfd()系统调用，ZoneFS 文件系统，BPF TCP 拥堵控制算法实现，移除 /dev/random blocking pool 等等。 具体可阅读...阅读全文
Systemd在Linux社区引起了无限争议。一些Linux用户对systemd的反对绝不屈从，还有一些Linux用户对systemd喜爱有加，还有很多人满不在乎。近日，关于systemd的话题又出现在社区中，很多人分享了自己的想法。一时兴起，笔者梳理了几个比较经典的回答。 为什么不喜欢systemd? 不断地听到很多人抱怨systemd有多么不好，但它还是被极大地普及了，并且我在网上所读到的很多文章都在介绍systemd的好处，比如更快的启动时间和更完善的日志记录，据说过去在fedora-13上开机速度测试，upstart是27秒，而systemd仅用了24秒。 有人认为unix是做一件事，就把它做好，而systemd则是把pid 1扩张到最大化。这可能是很多人讨厌systemd的重大原...阅读全文
-bindata/go-bindata 这类第三方开源库来实现。 而从 Go1.16 起，通过 go:embed 就可以快速实现这个功能： import _ "embed" //go:embed hello.txt var s string print(s) 通过对变量 s 声明 go:embed 指令，使其在编译时读取当前目录下的 hello.txt 文件。 最终变量 s 就会输出 hello.txt 文件中的字符串内容。 新增 io/fs 的支持 新增了标准库 io/fs，正式将文件系统相关的基础接口抽象到了该标准库中。 以前的话大多是在 os 标准库中，这一步抽离更进一步的抽象了文件树的接口。在后续的版本中，大家可以优先考虑使用 io/fs 标准库。 调整切片扩容策略 Go1.16 以前的...阅读全文
没有中央服务器，每个人的电脑就是一个完整的版本库，这样，工作的时候就不需要联网了，因为版本都是在自己的电脑上。举个例子，要浏览项目的历史，Git 不需外连到服务器去获取历史，然后再显示出来——它只需直接从本地数据库中读取。 你能立即看到项目历史。 如果你想查看当前版本与一个月前的版本之间引入的修改，Git 会查找到一个月前的文件做一次本地的差异计算，而不是由远程服务器处理或从远程服务器拉回旧版本文件再来本地处理。 2.安装、配置Git 2.1GUI可视化界面推荐 1.GitForWindows https://gitforwindows.org/ 自带GIT BASH和GIT GUI 2.TortoiseGit https://tortoisegit.org/download/ 3...阅读全文
官方文档的说明并不详细: https://jasper-zhang1.gitbooks.io/influxdb/content/Query_language/functions.html 实际百分位取第几位的值参考如下 PERCENTILE(field_key, N) 选取某个字段中大于N%的这个字段值。 如果一共有4条记录，N为10，则10%*4=0.4，四舍五入为0，则查询结果为空。N为20，则 20% * 4 = 0.8，四舍五入为1，选取的是4个数中最小的数。如果N为40，40% * 4 = 1.6，四舍五入为2，则选取的是4个数中第二小的数。 由此可以看出N=100时，就跟MAX(field_key)是一样的，而当N=50时，与MEDIAN...阅读全文
DebCamp将会在7月21-27日提前举行。 参考阅读，DebConf19 官方站：https://wiki.debconf.org/wiki/DebConf19...阅读全文
）握手，客户端利用PSK导出密钥，在第一轮就发送秘密数据，降低了握手的延迟。在此之后还可以继续进行（EC）DHE的密钥交换完成完整的握手（该步为可选）。 整个标准长达 155 页，如果您想仔细阅读或详细了解其中一项新功能，可在此处找到。...阅读全文
（用于充电）microSD 读卡器（用于操作系统）3.5 毫米耳机插孔视频输出相机接口2 个电源指示灯3 个可编程按键（连接到 Raspberry Pi Zero 的 GPIO pins）电源开关 NODE 还发布了一个视频，展示了 Zero Terminal 3 的详细组装过程。目前，Zero Terminal 3 并未上市销售，不过 NODE 表示，他计划提供更多细节和说明，以帮助大家来构建自己的 Zero Terminal 设备和模块化附件。 更多详细介绍可查看：https://n-o-d-e.net/zeroterminal3.html...阅读全文
Proxmox 5.0 Beta 1 “Virtual Environment” 发布了，新版基于 Debian 9 “Stretch”，采用了 Linux 4.10 内核，并且表现十分出色。例如，4.10 内核允许运行 Windows 2016 Hyper-V 作为客机操作系统（嵌套虚拟化）。 这个 beta 版本提供了 Ceph Luminous v12.0.0.0 (dev) 的软件包，这也将是下一个长期 Ceph 版本的基础。在接下来的几个星期内，将会一步一步把新功能集成到 beta 版中，并将修复所有关键的错误。 阅读更多信息， 请参阅发布公告 。 下载镜像：proxmox-ve_5.0-c155b5bc-1.iso (549MB, MD5, pkglist). Proxmox...阅读全文
定不是提供这些安全保障的第一个主流语言，Java（1995）可能是该冠军的竞争者。关键是，世界对不安全的编程语言没有胃口，所以人们默认认为，Go 是内存安全的。 开发人员生产力 从 20 世纪 70 年代末，开发人员的时间变得比硬件所耗费的时间更昂贵了。开发人员的生产力是一个不断扩展的话题，但它归结为这一点：你花了多少时间做有用的工作，又有多少时间等待编译器或者失望地迷失在外部代码库中。 有个笑话说 Go 是在等待 C ++ 程序编译 时开发的。快速编译是 Go 的一个重要功能，也是吸引新开发人员的关键工具。虽然编译速度仍然是一个 永久的战场 ，但公平地说，在其他语言中需要几分钟的编译，在 Go 中只需要几秒钟。 Go 程序员意识到生产力的更根本的问题是代码是 为了读而写的 ，所以将 代码的...阅读全文
Go 1.9 beta版已发布， 正式版预期在8月初发布，让我们先来看看你Go 1.9带来了那些新特性。 type alias 类型别名原本在1.8中加入的，但是临时发现有些问题，为了能全面的设计 type alias 被移到了 Go 1.9中了。 这个特性主要用在类型从一个package移动到另外一个package中的时候，导致的项目中对引入的路径不一致导致的问题， 比如原先 context是在golang.org／x/net/context包下，在Go 1.7中菜正式移到标准库context。 相关的issue: go#16339 go#18130 提案: type alias 并发map 在Go 1.6之前， 内置的map类型是部分goroutine安全的，并发的读没有问题，并发的写...阅读全文
。 TypeScript：TypeScript是JavaScript的超集，它可以增加类型检查、接口声明等特性，减少错误和提高可读性。 NestJS：NestJS是一种流行的Node.js框架，它采用面向对象的编程方式，提供了路由、中间件、模块化等丰富的功能。 GraphQL：GraphQL是一款优秀的数据查询和操作语言，它可以帮助我们快速构建API，并减少网络传输的数据量。 功能设计 我们将开发一个电商平台，包含以下主要功能： 用户管理：用户可以注册、登录、修改个人信息等，管理员可以查看用户列表并进行管理。 商品管理：管理员可以添加、修改、删除商品信息，包括商品名称、价格、库存、图片等。 购物车：用户可以将商品加入购物车，并在结算时进行支付。 订单管理：管理员可以查看订单列表、订单详情、订单状态等。 开发流程 下面是全栈开发的开发流...阅读全文
在本月初的 GopherCon 上，知名 Go 语言贡献者与布道师 Dave Cheney 发表了名为《The Zen of Go》的演讲，之后他整理了演讲内容在博客中分享，由于内容过长，他又写了一个简洁版本： 完整版：https://dave.cheney.net/2020/02/23/the-zen-of-go简洁版：https://the-zen-of-go.netlify.com 这里简单翻译一下简洁版本的内容：编写简单、可读、可维护的 Go 代码的十个工程要点。 每个包实现单一目标 设计良好的 Go 软件包提供一个单一的思路，以及一系列相关的行为。一个好的 Go 软件包首先需要选择一个好名字，使用电梯法则（30 秒内向客户讲清楚一个方案），仅用一个词来思考你的软件包要提供什么功能...阅读全文
”、“简单存储服务”等数据存储业务，再加上保存和提取数据的”关系数据库服务”和数据迁移费，这占到了亚马逊云计算的七成收入。不过在今天，亚马逊更加注重更复杂的高级云计算功能，它们不仅利润率高，而且让企业客户切换服务商的成本更高。比如在五月份，塞林普斯基在Twitter上介绍了一个新服务“应用运行器”（App Runner），可以在虚拟容器中部署应用软件，这可以让企业用户把精力集中在业务构建上，而不是管理“容器”或是“基础设施”。美国贝尔斯登研究公司六月份发布的一份报告指出，2015年，亚马逊云计算14%的收入来自于高毛利的“平台即服务”云计算产品，其余来自于低端的“基础设施即服务”产品。但是贝尔斯登认为，在去年上半年，平台即服务的收入占比已经提高到了18%。美国科技业人士乔·金塞拉（Joe...阅读全文
制以完成诸如服务发现、流量控制、重试熔断、安全访问等，而这相关的网络控制功能就是集成在Dapr的Sidecar中，以对应用透明的方式集成进来的。整体的服务调用流程如下图所示： PS：如果对Istio熟悉的同学需要注意，二者虽然都是通过Sidecar的模式进行网络控制，但二者是有有区别的。Dapr是以API的方式，而Istio是以代理的方式（不改变HTTP请求URI)。 2. State management（状态管理） 在进行微服务开发时，绕不开的话题就是服务间的状态共享、并发一致性问题。对于状态共享，你可能会说，各个服务连接到同一个Redis实例就OK了。是，但不得不考虑潜在的更新冲突的问题。Dapr 以更友好的HTTP API的方式进行状态的存储和读取，同时支持通过ETags进行并发控制...阅读全文
的文本文件。如果一台服务器有16个 CPU，每秒抽样99次，持续30秒，就得到 47,520 个调用栈，长达几十万甚至上百万行。 为了便于阅读，perf record命令可以统计每个调用栈出现的百分比，然后从高到低排列。 $ sudo perf report -n --stdio 这个结果还是不易读，所以才有了火焰图。 二、火焰图的含义 火焰图是基于 perf 结果产生的 SVG 图片，用来展示 CPU 的调用栈。 y 轴表示调用栈，每一层都是一个函数。调用栈越深，火焰就越高，顶部就是正在执行的函数，下方都是它的父函数。 x 轴表示抽样数，如果一个函数在 x 轴占据的宽度越宽，就表示它被抽到的次数多，即执行的时间长。注意，x 轴不代表时间，而是所有的调用栈合并后，按字母顺序排列的。 火焰图就...阅读全文
然地，为了让 php-wasmedge-aot 能够读取 index.php 文件，我们必须明确地向 WasmEdge 声明我们想要预先打开 images/php/docroot 以便在 Wasm 应用程序的上下文中作为 /docroot 进行访问。这显而易见展示了 Wasm 除了可移植性之外的最大优势之一。 我们得到了更佳的安全性，因为除非明确说明，否则无法访问任何内容。$ wasmedge --dir /docroot:$(pwd)/images/php/docroot \ build-output/php/php-7.4.32/bin/php-wasmedge-aot -f /docroot/index.php
。总结报告的形成明确写报告需要的思维和目的后，我们如何形成报告呢？报告形成步骤如下。1.明确项目分析维度项目分析的维度不同，后期确定的指标也会不同。一般以项目总结的目的为基准方向，确定分析维度。分析维度可以从产品立项到发布每个阶段作为分析维度，也可以按照项目中的角色为维度进行分析。以输入法的项目总结为例，按照产品、开发、测试的测试角色为横向维度进行分析，然后纵向深入分析每个维度的数据。2.项目指标抽取我们在进行指标抽取时，会先根据项目分析维度形成一个指标集，如下图。指标的选取方式有两种：根据问题选取指标和固定通用指标。根据问题选指标是先收集项目中明确感知到的问题，对问题进行归类（归类分组思想），然后选取可以反映此问题的指标进行数据分析，一个问题可能对应多个指标。以输入法为例，当前版本出现...阅读全文
高可用性。使Prometheus高可用的一种方式是运行多个实例去scraping相同的作业。这些实例在抓取指标时会因微小的时间间隔差异而在数据中产生细微差异。此外，如果其中一个实例宕机了几个小时，那么当查询转发到该实例时，将会出现数据空白。如果我们使用grafana这样的工具将指标展示为图形，我们可能会得到不同的样本值或有数据缺失的图形。可以将Cortex配置为从多个HA Prometheus实例读取数据。它从一个主实例main接受指标，并从其他实例放弃该度量。一旦这个副本掉线，Cortex会无缝切换到另一副本并将其标记为主副本main。为此，Cortex着眼于两个标签，一个共同的标签与一个集群（或一组Prometheus）相关联，另一个识别副本。全局指标视图可以将Prometheus实例配...阅读全文
改了内核源码库中所有文件的20%左右。这真的是一个相当大的比例，虽然其中有一些是脚本，但总的来说，工作量不算小，"Torvalds说。 那么最近有什么值得注意的事情发生吗？好像并没有，这位Linux之父表示，一些RCU的修复才是值得关注的，但除了网络方面的工作，大部分的焦点都是针对小的驱动更新。 阅读Linus帖子原文：https://lwn.net/Articles/827819/...阅读全文
#### 关于本站 InfraPub 关注企业基础设施、服务架构、DevOPS工具链、研发效能等相关的话题，是一个专注于相关生态的学习和分享的站点，目标受众是 Linux 系统爱好者、云原生、基础架构、平台工具相关的从业人员。 [InfraPub](https://infras.cn/) 努力为读者提供准确、清晰、及时的资料。 本站内容主要可分为三部分： - 来自网络上的优秀资料，这部分以复制+粘贴为主，小部分文章在粘贴时会修正部分错误。 - 站点维护人员整理的原创文章。 - 软件、硬件、操作系统相关的新闻。 如果发现有侵权类的资料需要处理，请与我联系。我的常用邮箱为 joseph # Debian.cn 。 #### 友情链接 [InfraPub...阅读全文
，TokyoTyrant及Schooner Membrain等。RethinkDB为各种应用压力下提供高性能和高可靠性 支持，主要应用在下面一些场景： 用来处理一些其它方案无法解决的服务负载（如：要求快速的服务启动，在数据量超出内存大小后还要有高的性能，处理各种不稳定的读写压力，处理大量数据等） 提供性能与数据稳定性之间的精细调控 大大提高你的缓存层和key-value存储的性能，在你现有的硬件条件下，能支持更高的应用负载。 使用费用 RethinkDB目前提供两个版本的支持，一个免费版的，一个商用版的。商用版本的价格是每年每台机器$1500。免费版提供目前所有功能，提供后续所有安全相关的升级。但是新功能的升级只保证在付费版本中保持更新，另外商用版本还提供技术支持。...阅读全文
backports 软件包： dpkg-query -W | grep ~bpo 参考阅读Debian的dotdeb.org更新源如何使用。...阅读全文
“Buster”发布图像可用于 AMD64，i386，arm64，s390x，mips，mipsel，mips64el 和 ppc64el 架构。 Debian 项目还要求社区使用 BIOS 和 UEFI 测试真实 PC 上的实时图像，而不是虚拟机，因为Debian GNU / Linux 10 “Buster”将支持UEFI安全启动。 如前所述，Debian GNU / Linux 10“Buster” 操作系统计划于2019年7月6日发布。根据Debian项目，安装程序映像可在13:00 UTC左右下载，Live镜像应该是当天之后2小时内发布【阅读邮件原文】。...阅读全文
Debian 花费三年多才彻底完成这项工作。延伸阅读Ubuntu 20.04 LTS 移除 Python 2 的工作仍在继续，并为衍生版提供缓冲方案Python 2 结束支持，Ubuntu 20.04 LTS 继续进行将其移除的工作...阅读全文
、NVIDIA显卡将加入其中，进度会稍后一些。 五、改善免费Wifi连接 大家外出工作，经常需要连接咖啡店、机场等免费WiFi，新版系统将支持captive portal的系统，连接WiFi更容易。 六、蓝牙和音频 在GNOME桌面环境上，无法通过键盘方式突破音量100%的上限。Ubuntu系统可通过物理键盘突破的限制。采用Gnome为默认桌面后，17.10 开发团队也将解决该问题。 蓝牙音箱设备连接的稳定性、可用性提升。比如在登录系统前可使用蓝牙音箱设备。如对屏幕阅读器有需求的人来说，这个功能将提高系统的使用体验。...阅读全文
1月31日上午消息，固态技术协会（JEDEC）发布了Universal Flash Storage (UFS&UFSHCI，通用闪存存储) v3.0标准（JESD220D、JESD223D），和UFS存储卡v1.1标准（JESD220-2A）。简单来说，UFS 3.0引入了HS-G4规范，单通道带宽提升到11.6Gbps，是HS-G3（UFS 2.1）性能的2倍。 由于UFS的最大优势就是双通道双向读写，所以接口带宽最高23.2Gbps，也就是2.9GB/s。 互联层设计方面，严格遵守 MIPI（移动产业处理器接口）的规范协议，其中物理层依据 MIPI M-PHY v4.1，传输层依据MIPI UniProSM v1.8。 其它方面，UFS 3.0支持的分区增多（UFS 2.1是8个），纠...阅读全文
去年GitHub突然宣布开源代码也要受美国出口管制EAR让全球程序员都担心了，不过Linux基金会现在可以确认开源技术不受美国管制了。 软件开发方面，开源技术已经成为全球共识，很多项目都是全球各地的程序员合作开发的，不仅有美国及欧洲程序员，中国不少公司及开发者也是全球开源社区的重要组成，任何一方如果强硬限制，那么整个开源社区就存在断链的风险。 本周，Linux基金会在官网上发表了一份白皮书《了解开源科技和美国出口管制》，中英文双版介绍了美国出口管制的限制，最重要的是这个指南明确了“公开发布给全世界享用的开源技术是不受制于美国出口管制EAR，开源至今仍然是一个最为便利的全球协作的模式。” EAR第734.7条款指出，当可被公众获取且无进一步传播限制时，未被归类为密级事项的『技术』或『软件』属...阅读全文
Red Hat Enterprise Linux 8 Beta 现已发布！它的构建考虑了生产稳定性和开发灵活性。关于 RHEL 8 Beta 还有很多话要说，但这里想把重点放在公司宣布的几点上，该公告强调 Red Hat Enterprise Linux 8 Beta 将作为开发者平台。 RHEL 8 的变化较大，主要有它是基于 Fedora 28 和 kernel 4.18；包管理系统 yum 基于 dnf，支持模块内容流；默认 Python 3.6，有限支持 Python 2.7，PHP 7.2，PERL 5.26，Ruby 2.5，Apache 2.4.35 和 NGINX 1.4，GNOME 3.28 桌面默认使用 Wayland，停止支持 KDE，nftables 取代...阅读全文
微软发烧友 Brad Sams 近日在 Petri 上写道，微软正在开发一个名为 Windows Lite 的新版操作系统。顾名思义，Windows Lite 将是轻量级并快速的，因为它抛开了 Windows 长达数十年的臃肿积累。此举似乎暗示着微软转向云计算并重新进入移动领域的野心。但微软想取得成功，它必须从过去的错误中吸取教训。 Windows 的转型是有必要的。尽管微软已经在其 Surface 系列产品上取得了成功，但即便是最新的 Windows 10 系统，仍然包含着几十年前的代码，部分原因是微软的许多企业客户仍然需要与旧软件兼容。因此，Windows 10 不仅臃肿，而且还不适合移动世界。比方说，微软试图将 Surface Go 作为 iPad 的竞争对手，但受操作系统的限制，它...阅读全文
经常需要读取的. SSD 这块硬盘的分区，因为不是直接安装的 Proxmox ，调整分区大小有风险，先保持现状吧. HDD 的话，我打算 100G 作为镜像存放（完全够了吧），剩下的作为 VM 的存储。 1234567891011121314151617[email protected]:/home/customer# lvs LV VG Attr LSize Pool Origin Data% Meta% M ove Log Cpy%Sync Convert base-9000-disk-0 hdd Vri---tz-k 20.00g vm-data vm-100-disk-0 hdd Vwi---tz-- 200.00g vm-data vm-101-cloudinit hdd Vwi...阅读全文
AWS 在 EC2 关机后，不会再对计算资源计费；其他资源 比如EBS、Elastic IP 这些还会产生费用。如果你使用了预留实例，还需要考虑预留实例对计费方式的影响，会按照预留实例的计费标准计费。 这种灵活的计费方式，是 AWS EC2 默认就支持的，相比之下，国内绝大多数云主机厂商是不支持的。在开机、关机时（即主机状态发送转变时），AWS 会收取最少一分钟的计费费用。 如果你关机过程用了20秒，AWS会按照一分钟来收费；如果你关机过程用时 1分30秒，则AWS会按照1分30秒收取费用。很良心吧，很灵活吧。 AWS的文档还是要多看的，计费方式和九年前的AWS变化很大。最新版的文档可以从这里下载： https://docs.aws.amazon.com/AWSEC2/latest...阅读全文
把 barrier 传到算子的 OutPut Buffer 的最前面，相当于它会立刻被下游的算子所读取到。通过这种方式可以使得 barrier 不受到数据阻塞，解决反压时候无法进行 Checkpoint 的问题。 当我们把 barrier 发下去后，需要做一个短暂的暂停，暂停的时候会把算子的 State 和 input output buffer 中的数据进行一个标记，以方便后续随时准备上传。对于多路情况会一直等到另外一路 barrier 到达之前数据，全部进行标注。 通过这种方式整个在做 Checkpoint 的时候，也不需要对 barrier 进行对齐，唯一需要做的停顿就是在整个过程中对所有 buffer 和 state 标注。这种方式可以很好的解决反压时无法做出 Checkpoint...阅读全文
有一个网络接口，可以不带选项运行 iftop。iftop 需要 root 权限： $ sudo iftop 当你有多个接口时，指定要监控的接口： sudo iftop -i wlan0 就像 top 一样，你可以在运行时更改显示选项。 h 切换帮助屏幕。 n 切换名称解析。 s 切换源主机显示，d 切换目标主机。 s 切换端口号。 N 切换端口解析。要全看到端口号，请关闭解析。 t 切换文本界面。默认显示需要 ncurses。我认为文本显示更易于阅读和更好的组织（图1）。 p 暂停显示。 q 退出程序。 图 1：文本显示是可读的和可组织的。 当你切换显示选项时，iftop 会继续测量所有流量。你还可以选择要监控的单个主机。你需要主机的 IP 地址和网络掩码。我很好奇 Pandora 在我那可...阅读全文
让我们先探讨什么是基于主机的入侵检测系统。如前所述，入侵检测系统是一种硬件或软件应用程序，可在检测到恶意活动时检测并警告管理员。HIDS主要专注于监视和分析日志文件，以便 基于预定义的策略和一组规则来检测异常和未经授权的更改。换句话说，HIDS与您添加的预先建立的规则一样有效。对于大量存储的日志，提取有意义的信息对于检测异常至关重要。提取的信息应准确。因此，确保这些日志的安全性对于防御日志操纵至关重要。1. OSSECOSSEC是开源安全事件关联器的缩写。这个建立良好且信誉良好的解决方案是OSSEC基金会开发和维护的免费和开放源代码的基于主机的入侵检测系统，这要归功于众多的贡献者。它后来归趋势科技所有。这是一个不断发展的项目，每月下载约5000次，并且具有可扩展性和多平台方面的特点，因为它...阅读全文
辟自己独特的商业路径？ Sam Altman：将来应该会出现几个大型的基础模型，开发人员都将基于这些基础模型研发AI应用。但目前的情况依然是某一家公司开发出一个大型语言模型，然后开放API供他人使用。 我认为，将来在基础模型和具体AI应用研发之间会有一个中间层：出现一批专门负责调整大型模型以适应具体AI应用需求的初创企业。能做好这一点的初创公司将会非常成功，但这取决于它们能在“数据飞轮”上走多远。（数据飞轮：使用更多数据可以训练出更好的模型，吸引更多用户，从而产生更多用户数据用于训练，形成良性循环。） 我对初创企业训练模型的能力持怀疑态度，将来承担模型训练角色的应该不会是初创公司，但这些企业可以在上述的中间层角色中发挥巨大价值。 Audience Member：未来会不会出现垂类AI初创公司...阅读全文
!= nil { errors = append(errors, err) } return utilerrors.NewAggregate(errors) }cgc.evictContainers在 cgc.evictContainers 方法中会回收所有可被回收的容器，其主要逻辑为：1、首先调用 cgc.evictableContainers 获取可被回收的容器作为 evictUnits，可被回收的容器指非 running 状态且创建时间超过 MinAge，evictUnits 数组中包含 pod 与 container 的对应关系；2、回收 deleted 状态以及 terminated 状态的 pod，遍历 evictUnits，若 pod 是否处于 deleted 或者 terminated...阅读全文
JBoot 是一个基于 JFinal 和 Undertow 开发的微服务框架。提供了 AOP、RPC、分布式缓存、限流、降级、熔断、统一配置中心、Opentracing 数据追踪、metrics 数据监控、分布式 session、代码生成器、shiro 和 jwt 安全控制、swagger api 自动生成等功能。 Jboot v1.7.1 主要更新如下： 新增：redis 添加自定义序列化配置的功能 新增：Jboot.java 添加方法 service(Class clazz, JbootrpcServiceConfig config) 方便获取 rpc service 新增：JbootController 添加 getRawObject() 方便获取 api 传过来的 json 数据...阅读全文
EventType = "ERROR" PodStatus 有一组 PodConditions。 PodCondition 中的 ConditionStatus，它代表了当前 pod 是否处于某一个阶段（PodScheduled，Ready，Initialized，Unschedulable），true 表示处于，false 表示不处于。 Pod 的详细状态有这些， CrashLoopBackOff： 容器退出，kubelet正在将它重启InvalidImageName： 无法解析镜像名称ImageInspectError： 无法校验镜像ErrImageNeverPull： 策略禁止拉取镜像ImagePullBackOff： 正在重试拉取RegistryUnavailable： 连接不到镜像中心...阅读全文
extract目录下dpkg -X ../openssh-xxx.deb extract/#解压出包的控制信息extract/DEBIAN/下：dp... deb解压软件 01-04 用于解压deb文件，后续可以用其它软件将解压后的文件转ipa 获取deb包并进行解压方法 狂客队长 05-26 1万+ 获取deb包： apt-get download 包名 解压deb包： 在这里保证你已经下载好了deb包，并且自己已经在deb包所在的目录了，然后解压缩deb包 ar -x pakname.deb 解压deb完毕后会发现多出几个文件，这里主要用到data.tar.gz等包，这个是放着二进制文件的包，用tar解压这个包 tar -zxf data.tar.gz Ubuntu中deb包详解及打包教程 张懿的博...阅读全文
/ee43bb16af9947ed9e8498ad42c859318e001365043e4cda410f68b4a0d79378# cat memory.limit_in_bytes 104857600 文件驱动 Docker 中的每一个镜像都是由一系列只读的层组成的，Dockerfile 中的每一个命令都会在已有的只读层上创建一个新的层。当镜像被 docker run 命令创建时就会在镜像的最上层添加一个可写的层，也就是容器层，所有对于运行时容器的修改其实都是对这个容器读写层的修改。容器和镜像的区别就在于，所有的镜像都是只读的，而每一个容器其实等于镜像加上一个可读写的层，也就是同一个镜像可以对应多个容器。 这种分层的逻辑是什么呢？ 这就是docker 里文件驱动的职责，负责镜像和容器的文件系统组织。 目前 docker 默认的文件驱动是 overlay2, 它是基于 Linux OverlayFS 的，下面这张图...阅读全文
我司使用钉钉作为主要的内部通讯工具，基本上大家在电脑和手机上都开着，消息可以第一时间查看，报警消息的即时性要求比较高，我们计划使用钉钉来发送报警通知。本文将简要介绍发送消息的API使用样例。钉钉的API接口文档，请查阅钉钉开放平台。 介绍如何用 Python 实现钉钉自动发送消息，你可以用来和报警平台整合，或者做ChatOps。 获取 access token 要使用钉钉发送消息，首先需要获取access token，代码如下： def get_access_token(): url = 'https://oapi.dingtalk.com/gettoken?corpid=%s&corpsecret=%s' % (corp_id, corp_secret) request...阅读全文
