AMI全过程一般用时费力不易配备，并且容易错误。因此 大家必须一个专用工具来自动化技术全部建立AMI的全过程，与此同时叙述建立AMI的编码能够储存而且根据再配备重复使用，来很大地优化和管理方法AMI建立的全过程。 Packer就这样一个自动化技术建立AMI的专用工具。如下图所显示，Packer根据JSON文件模板来叙述一个建立AMI的全过程，如何配置AMI都由编码叙述。客户只需根据改动这一软件更新来随后实行一个简洁的指令来自动生成订制的AMI。那样订制AMI的全过程则能够直接进入版本号智能管理系统，便捷消费者查看和跟踪订制全过程的转变 。...阅读全文
再用AWS的建立镜像工具转化成一个订制的AMI。那样手动式建立的AMI全过程一般用时费力不易配备，并且容易错误。因此 大家必须一个专用工具来自动化技术全部建立AMI的全过程，与此同时叙述建立AMI的编码能够储存而且根据再配备重复使用，来很大地优化和管理方法AMI建立的全过程。 Packer就这样一个自动化技术建立AMI的专用工具。如下图所显示，Packer根据JSON文件模板来叙述一个建立AMI的全过程，如何配置AMI都由编码叙述。客户只需根据改动这一软件更新来随后实行一个简洁的指令来自动生成订制的AMI。那样订制AMI的全过程则能够直接进入版本号智能管理系统，便捷消费者查看和跟踪订制全过程的转变 。...阅读全文
没有中央服务器，每个人的电脑就是一个完整的版本库，这样，工作的时候就不需要联网了，因为版本都是在自己的电脑上。举个例子，要浏览项目的历史，Git 不需外连到服务器去获取历史，然后再显示出来——它只需直接从本地数据库中读取。 你能立即看到项目历史。 如果你想查看当前版本与一个月前的版本之间引入的修改，Git 会查找到一个月前的文件做一次本地的差异计算，而不是由远程服务器处理或从远程服务器拉回旧版本文件再来本地处理。 2.安装、配置Git 2.1GUI可视化界面推荐 1.GitForWindows https://gitforwindows.org/ 自带GIT BASH和GIT GUI 2.TortoiseGit https://tortoisegit.org/download/ 3...阅读全文
*), void *child_stack, int flags, void *arg); 我们知道容器本质上就是隔离的进程，Docker 在创建容器的时候就是使用 namespace 来实现了容器与容器，容器与宿主机的隔离。 每个进程都有一个 /proc/[pid]/ns 的目录，里面保存了该进程所在对应 namespace 的链接, 我们来查看某个容器也就是某一个进程对应的 namespace 文件描述 1 2 3 4 5 6 7 8 9 10 root@lxkaka-server:~# ls -l /proc/23204/ns total 0 lrwxrwxrwx 1 root root 0 Jan 9 13:51 cgroup -> 'cgroup:[4026531835]' lrwxrwxrwx...阅读全文
", "imagePullPolicy":"IfNotPresent", "stdin":true, "tty":true } ] } 可以使用以下命令查看新创建的临时容器的状态： kubectl describe pod example-pod ... Ephemeral Containers: debugger: Container ID: docker://cf81908f149e7e9213d3c3644eda55c72efaff67652a2685c1146f0ce151e80f Image: busybox Image ID: docker-pullable://busybox@sha256...阅读全文
显著的性能提升。 但是观测上图，我们发现了新的性能黑点，如红框所述，我们将其展开,见详细图: 这里主要是一个 toHexString 的操作，竟然占用的cpu资源这么大，这里需要定位。 9.4 ObjectId.toHexString 性能优化 查看这一步转换为16进制的字符串的代码如下，我们结合上面的火焰图可以看出来，主要耗时是在 String.format() 这一步操作。 private String toHexString() { StringBuilder buf = new StringBuilder(24); byte[] bytes = new byte[12]; bytes[0] = int3(this.timestamp); bytes[1] = int2...阅读全文
有 30 分钟的时间进行支付，如果 30 分钟之内没有支付成功，那么这个订单将进行异常处理，这时就可以使用延时队列来处理这些订单了。 2）订单完成1小时后通知用户进行评价。 实现思路：发送延时消息时先把消息按照不同的延迟时间段发送到指定的队列中（topic_1s，topic_5s，topic_10s，…topic_2h，这个一般不能支持任意时间段的延时），然后通过定时器进行轮训消费这些topic，查看消息是否到期，如果到期就把这个消息发送到具体业务处理的topic中，队列中消息越靠前的到期时间越早，具体来说就是定时器在一次消费过程中，对消息的发送时间做判断，看下是否延迟到对应时间了，如果到了就转发，如果还没到这一次定时任务就可以提前结束了。 2.1.6 消息回溯 如果某段时间对已消费消息计算...阅读全文
有更好的吞吐量，内置的分区，冗余及容错性，这让Kafka成为了一个很好的大规模消息处理应用的解决方案。消息系统 一般吞吐量相对较低，但是需要更小的端到端延时，并尝尝依赖于Kafka提供的强大的持久性保障。在这个领域，Kafka足以媲美传统消息系统，如ActiveMR或RabbitMQ 站点的用户活动追踪: 为了更好地理解用户行为，改善用户体验，将用户查看了哪个页面、点击了哪些内容等信息发送到每个数据中心的Kafka集群上，并通过Hadoop进行分析、生成日常报告。 流处理：保存收集流数据，以提供之后对接的Storm或其他流式计算框架进行处理。很多用户会将那些从原始topic来的数据进行 阶段性处理，汇总，扩充或者以其他的方式转换到新的topic下再继续后面的处理。例如一个文章推荐的处理流程...阅读全文
apiserver 如何对请求进行认证呢？当 kube-apiserver 第一次启动时，它会查看用户提供的所有 CLI 参数，并组合成一个合适的令牌列表。 举个例子：如果提供了 --client-ca-file 参数，则会将 x509 客户端证书认证添加到令牌列表中；如果提供了 --token-auth-file 参数，则会将 breaer token 添加到令牌列表中。 每次收到请求时，apiserver 都会通过令牌链进行认证，直到某一个认证成功为止： x509 处理程序将验证 HTTP 请求是否是由 CA 根证书签名的 TLS 密钥进行编码的。bearer token 处理程序将验证 --token-auth-file 参数提供的 token 文件是否存在。基本认证处理程序确保 HTTP 请求的基本...阅读全文
的。apt-get upgrade——更新所有已安装的软件包apt-get dist-upgrade——将系统升级到新版本apt-cache search string——在软件包列表中搜索字符串dpkg -l package-name-pattern——列出所有与模式相匹配的软件包。如果您不知道软件包的全名，您可以使用“*package-name-pattern*”。aptitude——详细查看已安装或可用的软件包。与apt-get类似，aptitude可以通过命令行方式调用，但仅限于某些命令——最常见的有安装和卸载命令。由于aptitude比apt-get了解更多信息，可以说它更适合用来进行安装和卸载。apt-cache showpkg pkgs——显示软件包信息。apt-cache...阅读全文
定自己的策略，在遵循开发者成员委员会规定的基本原则下，可以自行增加新成员。 Ubuntu贡献开发人员是一种中间身份，他还没有为成为其他开发者身份做好准备，但表达了成为Ubuntu成员的决心。 所有这些身份都可以通过类似的方法取得：创建一个Wiki页面列举你过去所做出的贡献；从与你一起工作过的现有成员那里收集证明；将你自己添加到下一次委员会会议的议事日程中，并准时参加会议。委员会成员将会查看你的Wiki页面，并根据你在会议（以及平时的开发者邮件列表）上的作答情况，以及其他人对你的意见，审核你是否能通过。 最重要的委员会成员是由社区选举产生的，而其他一般的角色是由社区委员会任命的。这些治理主体包括Canonical员工，但并没有想象的那么多人：开发者成员委员会总共有8人，其中2人是...阅读全文
EBS）的支持现在是稳定的了）。并且我们能跨可用区支持EBS卷。 对于Docker for Azure来说，我们现在支持部署到Azure Gov，通过Cloustor支持持久性卷现在是稳定的，可以通缉你广化寺用在Azure Public和Azure Gov中。 废弃 在dockerd的命令行中，--api-enable-core标识已经被废弃很久了，而采用--api-cors-header。对于--api-enable-cors还没有完全去掉。 Ubuntu 12.04 "precise pangolin"已经完结了生命周期，所以它现在不是Docker支持的操作系统。Ubuntu的后期版本仍旧是支持的。 下一步 要体验这些新特性： 下载Docker CE的最新版 查看Docker文档 在Play...阅读全文
是静止的。（用于自动在线重塑Luminous的新功能。） RGW现在支持对象的数据压缩。 Civetweb版本已升级到1.8。 现在支持Swift静态网站API（前提支持S3）。 添加了S3 bucket生命周期API。注意目前只支持对象到期。 支持自定义搜索过滤器已添加到LDAP认证中实现。 对NFS版本3的支持已添加到RGW NFS网关。 RBD image快照的数量可配置最大值。 rbd Python API现在支持异步IO操作。 更多详情变化查看官网 版本说明。本文由Ceph中国社区-Devin翻译，英文出处：官网release-notes...阅读全文
1确保提案所做的任何变更都可以帮助到尽可能多的 Go 开发者（使他们编写的代码更健壮、正确性更高等），条件2则保证了变更将给使用者带来的影响降到最低。 至于条件3，如果提案不能满足该条件，它将不会被实现。即便这项提案能够解决一个很重要的问题，思路也很好，但在没有实现方案的情况下，它将会被拒绝，并需要重新起草。 下一步 在这篇文章发布时，Go 开发团队表示已经执行提案评估流程的第一步，并开始了流程的第二步，关于具体的提案可点此进行查看。 对于 Go 开发团队已经明确并通过的提案，将会继续实现（即评估流程的第3步）。开发团队表示希望在下一个发布周期的第一天（暂定于2019年2月1日）完成这些提案变更的实现，所以这次可能会在较早的时间开始进行，以留出两个月的反馈时间（2018年12月至2019年1...阅读全文
谈及linux内存，很多时候，我们会关注free，top等基础命令。当系统遇到异常情况时，内存问题的根因追溯，现场诊断时，缺乏深层次的debug能力。本篇幅不做深层讨论，能把当前系统的问题描述清楚，是每个SRE应该具备的最基础能力。free========2.1 free命令原理free是通过查看 /proc/meminfo 来获取内存的使用情况。但是 /proc/meminfo 这个文件又是怎么来的？我们先了解下 /proc 目录：/proc 是一个虚拟文件系统，该目录下的所有文件都是伪文件，该类文件只存在于内存中，并不占用空间——使用 du -sh 即可验证，该模具路下的磁盘占用都是0。/proc 下的所有文件都是内核调用proc_create() 接口来创建的虚拟条目。/proc 中...阅读全文
转机的设置，并默认已按初始化配置文章对服务器进行了配置。本文将介绍四种方法：firewalld，UFW，iptables，和 socat（推荐）来进行流量中转，根据需要选取其中一种方法操作即可。亦可根据需要，将目标机设置为只允许中转机访问。其中，firewalld，UFW，iptables 均可对 TCP 和 UDP 进行转发，而 socat 还可以对包含域名的地址进行转发。 准备购买合适的 NAT VPS，此处提供一些服务商了解 NAT VPS 的基本使用方法，例如搞清楚 NAT VPS 一般需要在服务商处查看端口映射的设置基础 Linux 操作知识，并了解 vim 编辑器的基本使用方法 使用 firewalld 进行中转此方法在 CentOS 下较为简便（CentOS 8 默认使用...阅读全文
复杂的。一旦它的安装，你需要启动数据库，你可以轻松地开始你的支票。如果您需要一个集成良好的Linux入侵检测系统，则开源Triptrip可能是您的最佳选择，但它有一些限制。例如，它不会实时通知您，因此您需要自己查看日志。您还需要在安装操作系统后进行安装，以使其在安装之前不会检测到恶意活动。以下屏幕快照除了其他指示之外，还说明了每个规则和安全级别。图23. WazuhWazuh是另一个用于完整性监视，事件响应和合规性的开源监视解决方案。撰写本文时，最新版本为3.8.2。如前所述，您可能会在网上看到Wazuh与OSSEC的比较，但这不仅是因为相似的目的，而且是一个共同的起源。Wazuh最初是OSSEC的分支，并且如官方文档所示，它的构建具有更高的可靠性和可伸缩性。除了执行日志分析，完整性检查...阅读全文
GitLab 是基于 Web 的 DevOps 生命周期工具。它提供了一个 Git 存储库管理器，使用由 GitLab Inc. 开发的开源许可证来提供 Wiki、问题跟踪和 CI/CD 管道功能。 GitLab 提供了一些工具用来在实践中规划事务，还可以用来查看工作的范围。 Tasktop Tasktop 可以将所有这些工具添加到 Tasktop 支持的全套敏捷和应用程序生命周期管理（ALM）、PPM 和 ITSM 工具中，从而在整个生命周期中提供前所未有的可视化特性。 CollabNet VersionOne VersionOne 支持 Scrum、看板、XP、SAFe 和混合开发方法，简化了跨所有团队、程序、软件产品组合和企业的计划、跟踪和报告工作。 Pivotal Tracker 全球各地开发...阅读全文
示、编辑。用户也可以切换到文本模式，以文件形式查看、编辑。页面上可以方便地进行发布、回滚、灰度、授权、查看更改历史和发布历史等操作 3.3 添加/修改配置项 用户可以通过配置中心界面方便的添加/修改配置项： 输入配置信息： 3.4 发布配置 通过配置中心发布配置： 填写发布信息： 3.5 客户端获取配置（Java API样例） 配置发布后，就能在客户端获取到了，以Java API方式为例，获取配置的示例代码如下。更多客户端使用说明请参见Java客户端使用指南。 Config config = ConfigService.getAppConfig(); Integer defaultRequestTimeout = 200; Integer requestTimeout...阅读全文
的监控： RPC 调用排障，调用方除了拥有下游接口信息，也可溯源自身触发该调用的接口。 接口高耗时分析，根据指标，可还原出单位时间窗口的耗时分解图快速查看耗时组件。 3.2 关于选型的疑问 你可能会问，链路监控领域在业内有现成的 APM 产品，比如 Zipkin, Pinpoint, SkyWalking 等，为什么当时会选择 OpenTracing + Prometheus 自行埋点？主要有两大因素： 第一，在当时，CAT 无法满足全链路监控和一些定制化的报表分析，而得物交易链路五彩石项目交付也趋于尾声，贸然去集成外部一款庞大的 APM 产品在没有充分的验证下，会给服务带来稳定性风险，在极其有限的时间周期内不是个理智的选择。 第二，监控组件是随着统一的基础框架来发布，同时，由另一团队牵头开...阅读全文
每个任务的执行效率更加敏感。 针对Redis的性能优化，主要从下面几个层面入手： 最初的也是最重要的，确保没有让Redis执行耗时长的命令 使用pipelining将连续执行的命令组合执行 操作系统的Transparent huge pages功能必须关闭："echo never > /sys/kernel/mm/transparent_hugepage/enabled" 如果在虚拟机中运行Redis，可能天然就有虚拟机环境带来的固有延迟。可以通过./redis-cli –intrinsic-latency 100命令查看固有延迟。同时如果对Redis的性能有较高要求的话，应尽可能在物理机上直接部署Redis。 检查数据持久化策略 考虑引入读写分离机制 长耗时命令 Redis绝大多数读写命令...阅读全文
经成为一种趋势，电子邮件交流方式则更多地为项目开发者保留。所以，新手一般建议在通过论坛或在线客服寻求与该项目相关的帮助。 【本章注释】 [8]「IRC」全程为Internet Relay Chat，即时聊天工具，在国内常见的是挂在网页内的QQ客服。 [9]也有部分论坛会屏蔽来自搜索引擎的爬虫，所以有时候还得在论坛中搜索。 使用项目组的论坛 当某个项目组设立有开发者论坛[10]时，要向论坛而不是其中的个人成员提问，即使你确信他能为你提供最好的回答。查看一下项目的说明文件和主页，找到论坛地址并注册使用。采用这种办法有几个很好的理由： 如果向个人开发者提的问题足够好，他的回答也将对整个项目组有益。相反，如果你认为自己的问题对整个项目组来说太白痴，这也不能成为骚扰个人开发者的理由。 向论坛提问可以分...阅读全文
多，有 100 多个系统，很多业务概念。 老大说：不要好高骛远，我建议你结合当前的工作，一步步学习，以点带面。 刚进公司的时候，我不是很有自信，因为知道自己技术可能比很多大牛差距很大。同时，自己也是一个不太会表达的人（原来的老大也说过，我的软能力不行），整体上在初期感觉相对较闷。 日常工作就会把自己占得很满，怎么去学习？我的技术不行，就想去学代码，框架，支付宝的代码全部是开源的，所以我可以很简单通过 eclipse 直接查看框架的源码，渐渐的，比很多人都了解框架，了解技术。我还会去狂公司的论坛，公司的 doc，这上面有框架设计相关的内容。所以，很多时候机会是很多的，关键是你想不想去去。 所以，不要好高骛远，脚踏实地，时刻保持饥饿感，积少成多。 开放心态，视野决定格局 12 年妻子怀孕，于是转...阅读全文
"] Dockerfile 的第一部分创建了三个层，然后这些层被合并并复制到第二个阶段。在第二阶段，镜像顶部又添加了额外的两个层，所以总共是三个层。 现在来验证一下。首先，构建容器： $ docker build -t node-multi-stage . 查看镜像的历史： $ docker history node-multi-stage IMAGE CREATED BY SIZE 331b81a245b1 /bin/sh -c #(nop) CMD ["index.js"] 0B bdfc932314af /bin/sh -c #(nop) EXPOSE 3000 0B f8992f6c62a6 /bin/sh -c #(nop) COPY dir:e2b57dff89be62f77… 1.62MB...阅读全文
。而且，它在 BSON 中是“deprecated”，会转换成$null，这并不是一个总令人满意的解决方案。 在 MongoDB 中，要避免使用“undefined”。 使用$limit() 而未用$sort() 通常，当你在 MongoDB 中开发时，仅仅查看查询或聚合返回的结果的样例会很有用。 $limit() 就是为了满足这个要求，但是，它永远不应该出现在最终版本的代码中，除非你首先使用了$sort。这是因为，不这样的话，你就无法保证结果的顺序，你就无法可靠地“按页浏览”数据。为了确保可靠性，查询或聚合必须是“确定的”，就是说，它们每次执行都会给出相同的结果。包含$limit 而不包含$sort 的代码不是确定的，后续会导致难以跟踪的 Bug。 小结 对于 MongoDB，让你最终感到失...阅读全文
） 升级数据库配置 迁移非核心业务到新的RDS实例中去 第二次宕机 由于上一次的宕机原因未找到，所以此次的宕机是可以预见的。 20180919，还是一样的”配方”，还是原来的”味道”。同一个RDS，CPU飙升至100%，接下来就是拒绝服务，宕机。当然，有了第一次的经验，直接主从切换，在几十秒左右就恢复了所有业务，但还是严重影响了公司的业务和形象 原因分析 恢复业务后，公司紧急召开了紧急事故研究会议，当然，我的级别是参与不了的。公司的高管，高层技术架构、DBA、各个项目的主负责人一起进行了会议。 在此次会议中，经过查看各个项目的日志，后台的监控数据，发现在那台RDS数据库CPU飙升时，有一台Redis数据库内存将近100%，然后急剧下降。联系第一次的宕机情况，也是类似的。 接下来就是联系服务器数据...阅读全文
master 中未被同步的消息将会丢失。 镜像队列消息的同步： 将新节点加入已存在的镜像队列时，默认情况下 ha-sync-mode=manual，镜像队列中的消息不会主动同步到新节点，除非显式调用同步命令。当调用同步命令后，队列开始阻塞，无法对其进行操作，直到同步完毕。当 ha-sync-mode=automatic 时，新加入节点时会默认同步已知的镜像队列。由于同步过程的限制，所以不建议在生产的 active 队列（有生产消费消息）中操作。 rabbitmqctl list_queues name slave_pids synchronised_slave_pids #查看那些slaves已经完成同步rabbitmqctl sync_queue name #手动的方式同步一个...阅读全文
会自动覆盖最早的文档。当该值为 true 时，必须指定 size 参数。 autoIndexId 布尔 （可选）如为 true，自动在 _id 字段创建索引。默认为 false。 size 数值 （可选）为固定集合指定一个最大值，以千字节计（KB）。如果 capped 为 true，也需要指定该字段。 max 数值 （可选）指定固定集合中包含文档的最大数量。 在插入文档时，MongoDB 首先检查固定集合的 size 字段，然后检查 max 字段 实例 # 在test数据库中创建ruochen 集合 use test db.createCollection('ruochen') # 查看已有集合 show collections db.createCollection('test...阅读全文
/customer# vgs VG #PV #LV #SN Attr VSize VFree hdd 1 9 0 wz--n- 2.73t 31.84g s163941-vg 1 2 0 wz--n- 223.33g 0 运行 lvs 和 vgs 发现之前的 VM 硬盘 还在，fdisk 格式化一下 看来 nocix 后台的 wipe hard disk 没起作用 1fdisk /dev/sdb m 可以查看帮助菜单 输入 p 回车，d 回车，w 回车 命令说明：p 打印分区d 删除分区w 写入更改 过程如下：123456789101112131415161718192021222324252627Command (m for help): pDisk /dev/sdb: 2.7 TiB...阅读全文
昨天，Apache Kafka 3.0 版本正式发布，这是一个涉及多方面的大版本。在这个版本中，Apache Kafka 3.0 引入了各种新功能、突破性的 API 更改以及对 KRaft 的改进：Apache Kafka 的内置共识机制将取代 Apache ZooKeeper™。虽然 KRaft 尚未被推荐用于生产（已知差距列表），但我们对 KRaft 元数据和 API 进行了许多改进。Exactly-once 和分区重新分配支持值得强调，我们鼓励开发者查看 KRaft 的新功能并在开发环境中试用它。并且，从 Apache Kafka 3.0 开始，生产者默认启用最强的交付保证 ( acks=all, enable.idempotence=true)，这意味着用户现在默认获得排序和持久性...阅读全文
#TTYPath=/dev/console MaxLevelStore=warning MaxLevelSyslog=warning MaxLevelKMsg=warning MaxLevelConsole=info #MaxLevelWall=emerg #LineMax=48K 配置目录及其优先级 默认设置是在编译期间确定的， 所以仅在确实需要修改默认设置的情况下， 才需要使用配置文件。位于 /etc/systemd/ 目录中的初始配置文件， 仅包含了展示选项默认值的注释， 目的在于方便系统管理员查看和直接修改。 如果软件包想要自定义某些默认设置， 那么必须将自定义的配置文件安装到 /usr/lib/systemd/*.conf.d/ 目录中。 /etc/ 目录仅供系统管理员使用。 系统管理员可以利用...阅读全文
果这个asset不健康，它仅仅会导致某个集群的运行中断，还是会影响全球的服务？插件还给用户特定的数据提供了空间，而不用占用负载的定义。 asset一般少于1kb数据，通常少于10kb，我们的最大值限制的是150kb。这个限制是为了让asset更容易被使用。这样，工具可以在内存里加载asset，无需担心这么做会造成过多的消耗。这个方案是受实体-组件系统[4]的启发。 asset的内容提供了足够的信息来构建建模资源的完整状态。具体来说，应该可以重新创建生产状态，而不必查看当前的生产状态——这是一个单向过程。 但是，所有的配置必须在asset里。比如，我们肯定有些情况需要MB级别的配置。这时，可以保存对外部数据源（比如包，数据库和版本控制）的引用。这些引用必须指向不可变外部数据。 在...阅读全文
