URL的类。 每个spider负责处理一个特定(或一些)网站。 Item Pipeline Item Pipeline负责处理被spider提取出来的item。典型的处理有清理、 验证及持久化(例如存取到数据库中)。 下载器中间件(Downloader middlewares) 下载器中间件是在引擎及下载器之间的特定钩子(specific hook)，处理Downloader传递给引擎的response。 其提供了一个简便的机制，通过插入自定义代码来扩展Scrapy功能。 Spider中间件(Spider middlewares) Spider中间件是在引擎及Spider之间的特定钩子(specific hook)，处理spider的输入(response)和输出(items及requests...阅读全文
本教程使用的是 Kubernetes 1.14版，这是本文发布时的官方支持版本。 有关最新版本的最新信息，请参阅官方Kubernetes文档中的当前发行说明 。 Kubeadm自动安装和配置Kubernetes组件，例如API服务器，Controller Manager和Kube DNS。 但是，它不会创建用户或处理操作系统级依赖关系及其配置的安装。 对于这些初步任务，可以使用Ansible或SaltStack等配置管理工具。使用这些工具可以更加简单地创建其他集群或重新创建现有集群，并且不易出错。 在本指南中，您将使用Ansible和Kubeadm从头开始设置Kubernetes集群，然后将容器化的Nginx应用程序部署到它。 目标 您的群集将包含以下物理资源： 一个主节点 主节点...阅读全文
截止目前k8s1.18，k8s已经支持标准容器，sidecar容器，init 容器，ephemeral 容器 4种类型的containers。本文我们详细介绍一下这4种容器的特性已经使用场景。 Ephemeral 容器 临时容器与其他容器的不同之处在于，它们缺少对资源或执行的保证，并且永远不会自动重启，因此不适用于构建应用程序。临时容器使用与常规容器相同的 ContainerSpec 段进行描述，但许多字段是不相容且不允许的。 临时容器没有端口配置，因此像 ports，livenessProbe，readinessProbe 这样的字段是不允许的。 Pod 资源分配是不可变的，因此 resources 配置是不允许的。 有关允许字段的完整列表，请参见临时容器参考文档。 临时容器是使用...阅读全文
，（3）暗示这个提问只是碰巧在特别情况出现的。 （欢迎你对本文进行指正，可以将建议发至esr@thyrsus.com或respond-auto@linuxmafia.com。请注意，本文不想成为一般的网络礼仪指南，同时，我也会拒绝回应引自论坛并与此文不相关的建议。） 【本章注释】 [3]本文不仅仅适用于黑客，而且适用于普通人。黑客的态度：解决问题，建设事物，崇尚自由和无私的双向帮助。出自Eric S. Raymond的另一篇著名文章《How To Become A Hacker》 [4]在此，用直接「loser」更加合适，语意浅点译做「失败者」，语意深点译做「废柴」、「贱人」和「窝囊废」。 [5]wikipedia的解释：「lusers」为「loser」和「user」的混合词，有贬义，指使人厌烦...阅读全文
Ceph 的差异。顾名思义，GlusterFS 是来自 Linux 世界的文件系统，并且遵守所有 POSIX 标准。尽管你可以将 GlusterFS 轻松集成到面向 Linux 的环境中，但在 Windows 环境中集成 GlusterFS 很难。 Ceph 是一种全新的存储方法，对应于 Swift 对象存储。在对象存储中，应用程序不会写入文件系统，而是使用存储中的直接 API 访问写入存储。因此，应用程序能够绕过操作系统的功能和限制。如果已经开发了一个应用程序来写入 Ceph 存储，那么使用哪个操作系统无关紧要。结果是，Ceph 存储在 Windows 环境中像在 Linux 环境中一样容易集成。 基于 API 的存储访问并不是应用程序可以访问 Ceph 的唯一方式。为了最佳的集成，还有一个...阅读全文
的异步模型。2.6 及以前的版本，元数据全部存储在 URL 上，配置信息和注册信息只能存储在注册中心上，注册中心的容量和扩展成为瓶颈。这个限制在使用 ZooKeeper 作为注册中心的大规模 Dubbo 应用场景下尤为突出。在 2.7.0 中，通过对 URL 的改造，将 注册中心拆分成了三个中心 ，分别是注册中心、配置中心和元数据中心，三者各司其责，不仅有效地解决了上述容量问题，而且很好地适应了微服务的技术架构，用户可以开始自由选择适合自己场景的注册中心和配置中心。2.7.0 将内建支持 ZooKeeper、Nacos 和 Apollo 等第三方注册和配置中心，在后续的版本中，还会进一步提供对 Consul 和 etcd 的支持。另外，通过引入一个全新的元数据中心，将与注册配置无关的服务信息...阅读全文
go_gc_duration_seconds_sum 0 go_gc_duration_seconds_count 0 # HELP go_goroutines Number of goroutines that currently exist. # TYPE go_goroutines gauge go_goroutines 6 # HELP go_info Information about the Go environment. # TYPE go_info gauge go_info{version="go1.12"} 1 添加自定义指标 创建指标并注册到prometheus // 初始化 web_reqeust_total， counter类型指标， 表示接收http请求总次数 var WebRequestTotal...阅读全文
一、0xcc开篇 2020年3月，得物技术团队在三个月的时间内完成了整个交易体系的重构，交付了五彩石项目，业务系统也进入了微服务时代。系统服务拆分之后，虽然每个服务都会有不同的团队各司其职，但服务之间的依赖也变得复杂，对服务治理等相关的基础建设要求也更高。 对服务进行监控是服务治理、稳定性建设中的一个重要的环节，它能帮助提早发现问题，预估系统水位，以及对故障进行分析等等。从 2019 年末到现在，得物的应用服务监控系统经历了三大演进阶段，如今，整个得物的应用微服务监控体系已经全面融入云原生可观测性技术 OpenTelemetry。 回顾过去十年间，应用服务监控行业的竞争也很激烈，相关产品如雨后春笋般涌现，如推特在 2012 年开源的 Zipkin，韩国最大的搜索引擎和门户网站 Naver...阅读全文
用 kube-prometheus-stack 通过 apiserver 和 kubelet 组件监控获取相关证书过期时间; 使用 enix 的 x509-certificate-exporter监控集群所有node的 /etc/kubernetes/pki 和 /var/lib/kubelet 下的证书以及 kubeconfig 文件 方案一: Blackbox Exporter 监控 Kubernetes apiserver 证书过期时间 Blackbox Exporter 用于探测 HTTPS、HTTP、TCP、DNS、ICMP 和 grpc 等 Endpoint。在你定义 Endpoint 后，Blackbox Exporter 会生成指标，可以使用 Grafana 等工具进行可视化...阅读全文
4.17 内核将删除 blackfin，cris，frv，m32r，metag，mn10300，score 和 tile（包括关联的设备驱动程序）的整个架构代码。我一直与每个维护人员一起工作，以确保我的解释是正确的，许多人都对在各支持这些 CPU 架构开展的工作留下了美好的回忆，但也认为在没有任何用户的情况下保持这些 CPU 架构活力毫无意义。” 在即将发布的版本中放弃对旧 CPU 架构的支持，会减小内核的大小，并且如果存在任何潜在的错误，它还可以减少内核中的攻击媒介的数量。...阅读全文
定义的 env 属性。 Console 新增 console.table() 方法。 Crypto crypto.createCipher() 和 crypto.createDecipher() 方法已被弃用，并被 crypto.createCipheriv() 和 crypto.createDecipheriv() 替代。 decipher.finaltol() 方法已弃用。 crypto.DEFAULT_ENCODING 属性已弃用。 新增 ECDH.convertKey() 方法。 crypto.fips 属性已弃用。 Dependencies V8 已升级至 6.6 版本。 OpenSSL 升级至 1.1.0h 版本。 完整更新内容请查阅发行说明： https...阅读全文
深受Linux之父 -- Linus Torvalds 青睐的 GNU/Linux 发行版 - Fedora 于今天发布了 28.0 正式版。Fedora 28 带来了很多的新功能，但令桌面/工作站用户最为开心的事情就是引入了GNOME 3.28环境，支持Thunderbolt 3 端口并改善笔记本电池续航表现。 如需下载Fedora 28，请访问 官方网站：https://getfedora.org/ ● Get Fedora 28 Workstation ● Get Fedora 28 Server ● Get Fedora 28 Atomic Host Fedora系统此前一直将GNOME作为默认桌面环境，而且最令人称道的一点在于Fedora并不会对该桌面环境进行修改和自定义。换句话...阅读全文
SQLITE_DBCONFIG_ENABLE_VIEW，并从 TCL 控制其他 sqlite3_db_config() 选项为应用程序定义的 SQL 函数添加了 SQLITE_DIRECTONLY 标志，以防止在触发器和视图中使用这些函数现在，旧版 SQLITE_ENABLE_STAT3 的编译时选项为空 详细的更新说明请参考这里。...阅读全文
、Revision Control、StatusNet、Apache Tomcat、Torrent Server、Trac、TWiki、vtiger、WordPress、Zimra 及其他。 此版本的重要变更体现在底层，主要变化则是在软件层面，可能用户对大部分改变不能明显感知。例如在某些情况下，团队已经将自己的软件 fork (例如，Casper for live ISO 功能) 迁移至 Debian 的默认值 (‘live-boot’和’live-tools’)。又例如定制软件则被移植到使用较新的语言版本。根据官方的说法，使用 Python 编写的大多数自定义软件（例如 Confconsole，Inithooks，DI-live 和各种库）已从 Python2 移植到 Python3。 TurnKey...阅读全文
Backport的含义是”向后移植”，就是将软件新版本的某些功能移植到旧版本上来,这就称为backport。 Debian向来以稳定性著称，所以就存在一个问题，官方源分发的软件版本比软件本身的版本总是要慢不少，所以就有了 backports 源。 backports 主要从 testing 源，部分安全更新从unstable源重新编译包，使这些包不依赖于新版本的库就可以在 debian 的 stable 发行版上面运行。所以 backports 是 stable 和 testing 的一个折衷。 backports 源的使用方法 这里以 Jessie 为例加入 163.com 的源, 编辑 /etc/apt/sources.list 文件, 在文件中添加以下条目， deb http...阅读全文
/mips64）上支持 MIPS64 体系架构，但尚不支持 cgo - 放弃了对 x87 模式编译（GO386=387）的支持。现在可以使用软浮点模式（GO386=softfloat）来支持非 SSE2 处理器 - linux/riscv64 现在支持 cgo 和 -buildmode=pie - GO111MODULE 环境变量现在默认为 on。可通过将 GO111MODULE 设置为 auto 切换回旧行为 - go 命令现在支持使用新的 //go:embed 指令来将静态文件和文件树作为最终可执行文件的一部分包含在内 - 新的 runtime/metrics 包引入了一个稳定的接口，用于从 Go 运行时中读取实现定义的指标 - 现在将 GODEBUG 环境变量设置为 inittrace=1 会导致...阅读全文
（NameSpace） HDFS 支持传统的层次型文件组织结构。用户或者应用程序可以创建目录，然后将文件保存在这些目录里。文件系统名字空间的层次结构和大多数现有的文件系统类似：用户可以创建、删除、移动或重命名文件。 Namenode 负责维护文件系统的名字空间，任何对文件系统名字空间或属性的修改都将被 Namenode 记录下来。 HDFS 会给客户端提供一个统一的抽象目录树，客户端通过路径来访问文件，形如：hdfs://namenode:port/dir-a/dir-b/dir-c/file.data。 4. NameNode 元数据管理 我们把目录结构及文件分块位置信息叫做元数据。NameNode 负责维护整个 HDFS 文件系统的目录树结构，以及每一个文件所对应的 block 块信息（block 的...阅读全文
模作业调度的优化 构建 Pipeline Region 的性能提升：所有由 pipline 边所连接构成的子图 。在 Flink 任务调度中需要通过识别 Pipeline Region 来保证由同一个 Pipline 边所连接的任务能够同时进行调度。否则有可能上游的任务开始调度，但是下游的任务并没有运行。从而导致上游运行完的数据无法给下游的节点进行消费，可能会造成死锁的情况 任务部署阶段：每个任务都要从哪些上游读取数据，这些信息会生成 Result Partition Deployment Descriptor。 这两个构建过程在之前的版本都有 O (n^2) 的时间复杂度，主要问题需要对于每个下游节点去遍历每一个上游节点的情况。例如去遍历每一个上游是不是一个 Pipeline 边连接的关系...阅读全文
常是对产品供应商有利，而非客户。如果软件停止运行，或者如果供应商要求支付更多的费用，你甚至无法起诉供应商的不当行为。而像 GPL 一类的开源许可证就是为保护客户专门设计的，而不是供应商，它确保你按照自己的需求使用软件，而没有专制限制。 由于它们的广泛使用，GPL 及其衍生许可的含义被广泛理解。 例如，许可证允许你现有(开源或闭源)基础设施通过定义良好的 API 与其连接，对时间或用户数量没有限制，并且不会强制你打开配置或知识产权 财产(如公司标志)。但有一个问题就是，有一些开源内核混合了 GPL 和专有软件的条款，这违反了许可证规定，会将客户置于危险境地。 使用专有软件意味着你需要面对严苛的法规遵从性条款，还有承担高额罚款的风险。...阅读全文
改Docker映像名称和任何相关标志（如ports和volumes ），也可以将以下命令用于其他容器化应用程序。 仍在主节点内，执行以下命令以创建名为nginx的部署： kubectl create deployment nginx --image=nginx 部署是一种Kubernetes对象，可确保始终根据已定义的模板运行指定数量的pod，即使pod在群集生命周期内崩溃也是如此。 上面的部署将使用Docker注册表的Nginx Docker Image创建一个包含一个容器的pod。 接下来，运行以下命令以创建名为nginx的服务，该服务将公开公开该应用程序。 它将通过NodePort实现 ，该方案将通过在群集的每个节点上打开的任意端口访问pod： kubectl expose...阅读全文
数据也是在三个节点之间同步，但 Queue 的实际存储只会在一个节点。我们发送消息到指定 Queue，其实是发送消息到指定节点下的 Queue。如下图所示，消息发送至队列 testQueue，无论发送者通过哪个 RMQ 节点执行发送，其最终的执行都会是在 MQ03 节点执行消息的存储。 说到这儿，可能有的小伙伴就要问了？说好的，RabbitMQ 集群提供高可用性呢？分析一下，RabbitMQ集群搭建完成后，如果不进行任何高可用配置，会有哪些问题呢？ 单点故障会导致消息丢失：如果 MQ03 节点故障，那么 MQ03 中的消息就会丢失无法最大化的利用 RMQ 提升执行效率：既然每次发送到队列 testQueue 的消息都会在 MQ03 节点存储，那么何必搭建集群。 引入 RabbitMQ 的镜像...阅读全文
预设了很多背景知识。 一般使用文档都是有开发者写的，他们都非常了解这个工具的相关的知识，所以习惯性的会认为，啊 这个知识点很简单 用户也肯定会吧，实际上用户不一定会。这本质上就是一种认知偏差，这种现象在跨团队协作 尤其是多端协作的时候也非常明显。 这类型的文档写作中，要求写作者尽可能站在用户的视角上思考，极力避免出现和用户的认知偏差，力争每个步骤做到明确无歧义，每两个步骤之间做到紧密衔接。 ## 概念性文档 ## 当参考文档无法解释清楚某些东西的时候，就需要概念性文档了，比如某个API的具体实现原理。其主要是为了扩充参考文档，而不是替代参考文档。有时候这和参考文档会有些内容重复，但主要还是为了更深层次的说明某些问题、解释清楚某个概念。 概念性文档也是所有文档中写作最难的，也是被阅读最少的，所...阅读全文
布与 WasmEdge 合作支持 WebAssembly。本文将解释什么是 WebAssembly（Wasm），为什么它与 Docker 生态相关，并提供一些实践示例供大家尝试。 我们假设你已经熟悉 Docker 工具。 我们将使用我们在 PHP 的 WebAssembly 端口上做的工作来演示如何构建 PHP 解释器，将其打包为 OCI 镜像的一部分，并使用 Docker 运行它。请注意，本文专注动手经验，而不是讨论技术细节。WebAssembly 是什么？为什么选它？本节是对 WebAssembly 的基本介绍。 已经熟悉 Wasm 的小伙伴，可以快速重温一下，明天的文章将介绍更多实践。什么是 WebAssembly?WebAssembly 是一种定义二进制指令格式的开放标准，它支持从不...阅读全文
吗？你不能。你得看看它里面装的是什么型号的处理器，有多少个核，主频多少，有多少 L1 cache，L2 cache……，有多少内存和硬盘，显示器分辨率有多大，显卡是什么 GPU，网卡速度，等等各种“配置”。有时候你还得看各个组件之间的兼容性。 这些配置对应到程序语言里面，就是所谓“语言特性”。举一些语言特性的例子： 变量定义 算术运算 for 循环语句，while 循环语句 函数定义，函数调用 递归 静态类型系统 类型推导 lambda 函数 面向对象 垃圾回收 指针算术 goto 语句 这些语言特性，就像你在选择一台电脑的时候，看它里面是什么配置。选电脑的时候，没有人会说 Dell 一定是最好的，他们只会说这个型号里面装的是 Intel 的 i7 处理器，这个比 i5 的好，DDR3 的内...阅读全文
开源正在改变网络，但是由于项目太多，协调性太差，导致了整个生态系统不协调。以 Linux 基金会为首的开源平台，以及开放网络自动化平台（ONAP），NFC（OPNFV）开放平台，OpenDaylight，FD.io，PNDA和流媒体网络分析系统（SNAS）聚集在一起，创立了用于跨项目合作的 LF Networking Fund (LFN) 。他们共同协调了软件定义网络（SDN）和网络功能虚拟化（NFV）。 LFN 需要做的是提供项目之间的合作渠道，以及相关项目和整个社区的生态系统平衡。LFN平台将弥补方案之间的差距，促进跨项目协作。 Linux 基金会网络和编排总经理 Arpit Joshipura 的说道：“以Linux的云本地计算基金会（Cloud Native Computing...阅读全文
Cincoze 刚刚推出了面向嵌入式应用的全新紧凑型迷你工作站，除了采用至强 E 系列处理器，还支持自定义 I/O 扩展。从外形来看，Diamond Extreme 系列的 DX-1100 周身被硕大的散热片包围，但较小的体型，很适合空间受限的环境。处理器方面，客户可选英特尔八代酷睿、或至强 E-2100 系列 CPU 。 值得一提的是，DX-1100 工作站为办公室和工业环境提供了极其强大的连接选项，可定制 I/O 的功能相当受客户欢迎。 Cincoze DX-1100 采用了全金属机身，能够为容量 3.2L 的内部空间带来不错的被动式散热性能（TDP 80W 封顶）。 此外，主板上提供了 2 根 DDR4 SO-DIMM 内存插槽、2 个前端可访问的 2.5 英寸热插拔 SATA 托架...阅读全文
Icinga Web 2 是 Icinga 项目开发的下一代开源监控 Web 接口、框架和命令行接口，支持 Icinga 2、Icinga Core 和与 IDO 数据库兼容的任何其他监控后端。 Icinga’s Amazingness Spreads Further 增加日语支持增加乌克兰语支持不再配置中翻译 pane 和 dashlet name Modules – 其他功能 无论您是否想要连接到配置表单的处理中，都可以执行自己的 Ajax 请求，或者使用花哨的图形增强我们的多选择视图。 允许连接到配置窗体的处理中允许完全自定义单击和提交处理将 Detailview 扩展集成到多选择视图中 UI——日常例程和事件管理、增强 添加色盲主题改善表格的外观使 ctrl-click 打开新选项...阅读全文
西部数据开发了有一段时间的Zonefs已经确定要在Linux 5.6内核中登场了，这并不是一个传统意义上面的通用文件系统（比如Ext4、NTFS），而是一个针对特定硬件设备的文件系统，它为分区式存储设备进行了高度的优化。 熟悉Linux的朋友应该知道，在Linux下面内核会将存储设备视为块设备，比如目前会将SATA存储设备视为/dev/sdX。传统文件系统是在这个块设备上面进行操作，而应用程序则是通过系统提供的接口对块设备上面的数据进行访问。 但SMR HDD（叠瓦式硬盘）有一个毛病，它只有在顺序写入时才能正常发挥性能，一旦要进行数据覆盖写入，就需要改写这块数据所在区块内的所有磁道，造成严重的性能下降。传统的文件系统不会因为SMR HDD的特性而特别对待它，而Zonefs就是西部数据对...阅读全文
。 Zoom 升级到 AES 256 位 GCM 加密标准，为会议数据提供了更多的保护和防篡改功能。这为 Zoom 会议、Zoom 视频网络会议和 Zoom 电话数据的保密性和完整性提供了保障。Zoom 5.0 将于本周内发布，支持 GCM 加密，一旦所有账户启用 GCM，该标准将生效。 现在通过点击界面会议菜单栏中的安全图标，就可以找到Zoom的安全功能。会议密码是现有的 Zoom 功能，Zoom 5.0 对大多数客户，包括所有基本版、单授权专业版和 K-12 客户，都默认开启了会议密码。对于管理账户，账户管理员现在可以定义密码复杂度（如长度、字母数字和特殊字符要求）。此外，Zoom Phone 管理员现在可以调整访问语音信箱所需的密码长度。 另外，Zoom 5.0 将为大型企业提供新的数据结构，允...阅读全文
能力，并提供了更多的桌面软件包。而现在“对于 Clear Linux OS 团队来说，情况已经发生了变化”，官方表示，现在他们仍然想吸引开发人员，但是在支持多样化和复杂的桌面环境，甚至多个桌面环境方面的投入已经不如以前了。考虑到这一点，Clear Linux 决定将重心偏向云和服务器来简化内容产品。 “对于开发人员而言，提供与桌面无关的实际优化组件，也就是云和服务器工作负载仍然至关重要。能够开发、部署和操作这些工作负载绝对是最重要的事情。” 具体的变化还会在论坛中讨论，而现在已经有了一些进展。一方面将删除一些桌面自定义项，包括扩展、主题和图标，这些是发行版当前作为默认桌面产品的一部分提供的。桌面将迁移到“原始的” GNOME 3.36，现在团队不再花那么多时间精力去发展桌面。Clear...阅读全文
SonarQube v8.4 发布了。SonarQube 是一个用于管理源码质量的平台，帮助开发者编写干净的代码，其支持的语言包括：Python、Java、PHP、C#、C、Cobol、PL/SQL 与 Flex 等。 此版本扩展了 OWASP（Open Web Application Security Project，开放式 Web 应用程序安全项目）类型覆盖范围、带来了更快的分析速度、热备份和更快的启动。 Python 添加了 XSS 检测，以及另外 4 个 OWASP Top 10 类型 此版本中添加了一个与 XSS 相关的 Security Hotspot：S5247 查找在模板引擎中已关闭自动转义的所有位置。XSS 在OWASP Top 10 中属于 A7，此版本还增加了其它四个...阅读全文
目前 Mozilla 正在基于 WebAssembly 可移植代码格式研发 JavaScript 和 Rust 之间的桥梁——wasm-bindgen，意义是提高 JavaScript 和 Rust 之间的互操作性。Mozilla 这么做是想让 Rust 成为类似 JavaScript 的 Web 语言，让它能够与 Web 应用中的 WebAssembly 和 JavaScript 一起使用。 Wasm-bindgen 提供 WebAssembly（wasm）模块和 JavaScript 之间的高级别交互。使用 wasm-bindgen，JavaScript 和 WebAssembly 之前不仅可以通过整形和浮点型进行通信，还可以使用字符串、JavaScript 对象和类进行。 wasm...阅读全文
SSL指的是安全套接层协议（以及传输层协议TLS），位于 TCP/IP 协议与各种应用层协议之间，为数据通讯提供安全支持。 ssl 在市面上多指的是安全证书，SSL证书是数字证书的一种，因为配置在服务器上，也称为服务器证书。 数字证书在广义上可分为：个人数字证书、单位数字证书、单位员工数字证书、服务器证书、VPN证书、WAP证书、代码签名证书和表单签名证书。我们这里介绍SSL证书的类型与区别。 DV（域名型）SSL证书：只验证域名，适合个人网站、博客等站点使用；在网络黑客、钓鱼威胁层出不穷，域名型SSL数字证书可有效保护通过互联网所发送的数据，为网络账户登录、邮件等机密信息资讯提供安全防护。安全级别较低。 OV（企业型）SSL证书：验证网站所属单位身份，适合于中型企业级用户使用；企业型证...阅读全文
要给唯一id，以及对应的版本号。/config: 集群配置信息。/controller：kafka集群当中的控制器信息，控制器组件（Controller），是Apache Kafka的核心组件。它的主要作用是在Apache ZooKeeper的帮助下管理和协调整个Kafka集群。/controller_epoch：主要用于保存记录controller的选举的次数。/isr_change_notification：isr列表发生变更时候的通知，在kafka当中由于存在ISR列表变更的情况发生,为了保证ISR列表更新的及时性，定义了isr_change_notification这个节点，主要用于通知Controller来及时将ISR列表进行变更。/latest_producer_id_block...阅读全文
Intro Dapr 官方团队已于最近（2021.1.17）正式发布Dapr v1.0，Dapr已正式生产可用，可以部署到自托管环境或 Kubernetes 集群。对于绝大多数开发者来说，想必对Dapr只是有所耳闻，而具体是什么（What），可以解决什么样的问题（Why&How），有怎样的应用场景（Where），并不知悉。本文就尝试简要梳理下Dapr，并尝试回答以上问题。 What's Dapr Distributed Application Runtime. An event-driven, portable runtime for building microservices on cloud and edge. 分布式应用运行时。一个事件驱动、可移植的运行时用于在云上和边缘计算上构建...阅读全文
期性自动注册任务, 调度中心将会自动发现注册的任务并触发执行。同时，也支持手动录入执行器地址； 6、弹性扩容缩容：一旦有新执行器机器上线或者下线，下次调度时将会重新分配任务； 7、路由策略：执行器集群部署时提供丰富的路由策略，包括：第一个、最后一个、轮询、随机、一致性 HASH、最不经常使用、最近最久未使用、故障转移、忙碌转移等； 8、故障转移：任务路由策略选择” 故障转移” 情况下，如果执行器集群中某一台机器故障，将会自动 Failover 切换到一台正常的执行器发送调度请求。 9、阻塞处理策略：调度过于密集执行器来不及处理时的处理策略，策略包括：单机串行（默认）、丢弃后续调度、覆盖之前调度； 10、任务超时控制：支持自定义任务超时时间，任务运行超时将会主动中断任务； 11、任务失败重试...阅读全文
使用以下命令来实现。 $ systemctl enable chrony # [On SystemD] $ chkconfig --add chronyd # [On Init] 配置 Chrony Chrony 的默认配置文件为 /etc/chrony.conf，下面将介绍一些常用的配置项。 server hostname [option] server 指令用于指定要同步的 NTP 服务器。 server 0.centos.pool.ntp.org iburst 其中的 0.centos.pool.ntp.org 是 NTP 服务器的地址，默认有四组官方的 NTP 服务器。你也可以修改为自定义的时间服务器，例如：ntp1.aliyun.com。 iburst 是参数, 一般用此参数即可...阅读全文
几率是相当高的。因此，在推销域名的时候，应尽量避免使用域名注册邮箱进行，而且还得保证你所使用的推销邮箱与你本人的关联性不强才行。同时，为迫使对方高价赎回，利用这类商标域名，建立一些会对商标产生负面影响的网站，就更不可取了。 如果一旦认定域名为“恶意抢注”，通行的作法是商标权利人胜诉。 二、盗用和模仿类域名 即平时所讲的TYPO域名和加前缀、加后缀的流量域名，在域名仲裁中也是及易被仲裁的类别。 这类域名由于与对应的商标高度相似，及易导至网络用户的混淆、误认，实际上是淡化了原商标的知名度。这类域名会被定义为商标盗用类域名。它也有两个显著特点： 1、域名与商标(包括知名公司的名称、专有指代标识)及为相似，客观上会造成他们混淆、误认。2、商业使用。 第一个特点是显著的，大多数情况下，米农注册这类域名...阅读全文
)确定决策并写出状态转移方程：因为决策和状态转移有着天然的联系，状态转移就是根据上一阶段的状态和决策来导出本阶段的状态。所以如果确定了决策，状态转移方程也就可写出。但事实上常常是反过来做，根据相邻两个阶段的状态之间的关系来确定决策方法和状态转移方程。 (4)寻找边界条件：给出的状态转移方程是一个递推式，需要一个递推的终止条件或边界条件。 一般，只要解决问题的阶段、状态和状态转移决策确定了，就可以写出状态转移方程（包括边界条件）。 实际应用中可以按以下几个简化的步骤进行设计： （1）分析最优解的性质，并刻画其结构特征。 （2）递归的定义最优解。 （3）以自底向上或自顶向下的记忆化方式（备忘录法）计算出最优值 （4）根据计算最优值时得到的信息，构造问题的最优解 算法实现的说明 动态规划的主要难点在...阅读全文
拖再拖。我举一个典型的例子：rsync，其维护者完全出于个人的喜好拒绝我的补丁包使用debhelper。 赋予个人维护者如此大的自由，导致我们无法开展提高构建Debian软件包抽象级别的项目，这反过来又让工具更加困难。 更好的方式是什么？ 作为一个项目，我们应该努力实现更多的统一。统一性并不能完全去除实验，它只是改变了两者的平衡，从简单的实验和难度较高的自动化变成了难度较高的实验和简单的自动化。我们的文化需要从“这个包归我管，你不能碰”转变为共同的所有权意识，项目中的任何人都可以很容易地贡献（经过审查的）变更，而不必凡事都要通过个人维护者。 支离破碎的工作流程和基础设施 Debian似乎更倾向于采用分散式的方法，而不是集中式的方法。例如，每个包都保存在单独的代码库中（而不是在一个统一的代码库...阅读全文
> 作者：[SRE运维博客](https://www.cnsre.cn/) > > 博客地址： [https://www.cnsre.cn/](https://www.cnsre.cn/) > > 文章地址：[https://www.cnsre.cn/posts/211203931498/](https://www.cnsre.cn/posts/211203931498/) > > 相关话题：[https://www.cnsre.cn/tags/aws/](https://www.cnsre.cn/tags/aws/) 因为创建 Amazon EKS 集群时，IAM 用户或角色会自动在集群的 RBAC 配置中被授予 system:masters 权限。例如，IAM 用户或角色可以是创建集群...阅读全文
如果你运行Debian或它的衍生版本之一(比如Linux Mint或Ubuntu)，迟早会遇到apt-get和dpkg，它们是主要的软件包管理命令。然而，这些只是最常见的Debian软件包工具。这些年来，Debian实际上陆续推出了几十款让安装和配置软件包更容易的脚本和工具。 许多这样的脚本和工具可以帮助你创建软件包。而且，它们常常包括你在桌面工具中根本找不到的功能特性。 下面是Debian中七款最实用的软件包管理工具。大多数工具还应该出现在Debian衍生版中： 7. Aptitude 众所周知，Aptitude是一款基于文本的软件包管理工具。桌面工具可能更符合现代用户的期望，不过Aptitude仍然很有用，所以常常默认情况下安装。 如果你试图修复阻止安装或删除其他任何内容的破损软件包...阅读全文
正如体育界不成文的规定一样，这些规则基本上不会出现在官方文档和正式记录上。比如说，在棒球运动中，从比分领先时不要盗垒，到跑垒员跑了第一时也不要放弃四坏球保送。对于圈外人来讲，这些东西很难懂，甚至觉得没什么意义。但是对于那些想成为 MVP 的队员来说，这些都是理所当然的。 软件开发，特别是开源软件开发中，也有一套不成文的规定。和其它的团队运动一样，这些规定很大程度上决定了开源社区如何看待一名开发者，特别是新加入社区的开发者。 按部就班，循序渐进 在参与社区之前，比如开放源代码或者其它什么的，你需要做一些基本工作。对于有眼界的开源贡献者，这意味这你需要理解社区的目标，并学习应该从哪里起步。人人都想贡献源代码，但是只有少量的人做过准备，并且乐意、同时也有能力完成这项艰苦卓绝的工作：测试补丁、复审...阅读全文
Go 官方刚刚发布了 Go 1.15.7 和 Go 1.14.14，以解决最近报告的安全问题。建议所有用户都更新到以下版本之一（如果不确定哪个版本，请选择 Go 1.15.7）。具体修复的安全问题如下：1、cmd/go：使用 cgo 的包可能会在构建时导致任意代码执行。当 Windows 上使用 cgo 时，go 命令可以在构建时执行任意代码。运行 “go get” 或任何其他构建代码的命令时，可能会发生这种情况。只有构建不受信任的代码（而不执行代码）的用户才会受到影响。除 Windows 用户外，这还可能影响在 PATH 中使用了 “.” 的 Unix 用户，在模块外部或禁用模块模式下运行 “go get”或构建命令。具体 issue：https://github.com/golang...阅读全文
对比 PaaS 白金版 es节点，标准型S1 8核16G, 9个 1000GB SSD云硬盘 x 1， 单月费用 ￥7865.4 自建主机选用S5型号，主机费用：￥ 6561，便宜了 16.6% 自建主机选用SA2型号，主机费用：￥ 5715，便宜了 27.3% 所以，有能力还是自建 ES 集群，没能力就用PaaS吧...阅读全文
HTTP 模块 可选 HTTP 模块主要用于扩展标准的 HTTP 功能，让 Nginx 能处理一些特殊的服务，如：Flash 多媒体传输、解析 GeoIP 请求、SSL 支持等。 邮件服务模块 邮件服务模块主要用于支持 Nginx 的邮件服务，包括对 POP3 协议、IMAP 协议和 SMTP 协议的支持。 第三方模块 第三方模块是为了扩展 Nginx 服务器应用，完成开发者自定义功能，如：Json 支持、Lua 支持等。 二. Nginx 请求处理方式 Nginx 是一个高性能的 Web 服务器，能够同时处理大量的并发请求。它结合多进程机制和异步机制，异步机制使用的是异步非阻塞方式，接下来就给大家介绍一下 Nginx 的多线程机制和异步非阻塞机制。 多进程 服务器每当收到一个客户端时。就有服务器...阅读全文
前言 在 DevOps 实践中，基础设施即代码如何落地是一个绕不开的话题。像 Chef，Puppet 等成熟的配置管理工具，都能够满足一定程度的需求，但有没有更友好的工具能够满足我们绝大多数的需求？笔者认为 Terraform 是一个很有潜力的工具，目前各大云平台也都支持的不错，尤其是使用起来简单明了。本文会简单的介绍一下 Terraform 相关的概念，然后通过一个小 demo 带大家一起进入 Terraform 的世界。说明：本文的演示环境为 ubuntu 16.04。 Terraform 是什么？ Terraform 是一种安全有效地构建、更改和版本控制基础设施的工具(基础架构自动化的编排工具)。它的目标是 "Write, Plan, and create...阅读全文
提问者为Linuxstory.org的华华，回答者即为清风博主老师。之前常逛Linux社区的同学，对这个ID应该很熟悉。 A.您与Linux的那些事 1.清风老师能简单的介绍下您自己吗？ 答：中学地理老师，Linux爱好者，Gentoo用户，70后 来张几年前上课摆拍的工作照吧 2.您是因为什么喜欢上折腾Linux的呢？遇到最大的困难是什么呢？ 答：说来话长。初识Linux是在参加工作近10年之后，之前都没听说过Linux。真正知道Linux，是因为自学了点asp，后来在搜索如何搭建更好的网站环境时，才知道了还有这么一个神奇的系统。2008年，有了笔记本电脑后，才尝试安装，发现这个系统太适合拿来折腾了！从入门级的Ubuntu到Gentoo，桌面环境从gnome2、unity、gnome3...阅读全文
TensorFlow 是一个端到端开源机器学习平台。它拥有一个包含各种工具、库和社区资源的全面灵活生态系统，可以让研究人员推动机器学习领域的先进技术的发展，并让开发者轻松地构建和部署由机器学习提供支持的应用。 TensorFlow可以在系统范围内，Python虚拟环境中，作为Docker容器或与Anaconda一起安装。在本教程中，我们将讲解如何在Debian 10的Python虚拟环境中安装TensorFlow。 虚拟环境使你可以在一台计算机上拥有多个不同的隔离Python环境，并在每个项目的基础上安装模块的特定版本，而不必担心会影响其他项目。 以下内容提供了如何在Debian 10上的Python虚拟环境中安装 TensorFlow。 1、安装Python 3 venv 首先我们要验证...阅读全文
xfs 从 v5 开始支持查看文件的创建时间。使用 dmesg 命令，可以查看系统当前使用的 xfs 的版本：
```
# dmesg | grep -iE 'xfs.*\s+mounting' | head -1
```
如何查看 xfs 上文件的创建时间？
找到文件的 inode 信息后，就可以直接查看，
```
# stat -c '%i' test.txt
7827295
```
然后获取文件的创建时间，
```
# xfs_db -r -c "inode 7827295" -c "p v3.crtime.sec"
