InfraPub 为您找到相关结果 398

Golang 操作 Kafka 样例

务器都是一个代理(Broker). 消费者可以订阅一个或多个话题,并从Broker拉数据,从而消费这些已发布的消息。 5.Partition(分区):Topic物理上的分组,一个topic可以分为多个partition,每个partition是一个有序的队列。partition中的每条消息都会被分配一个有序的id(offset) Message:消息,是通信的基本单位,每个producer可以向一个topic(主题)发布一些消息。 复制代码 1.1.5. 消息 消息由一个固定大小的报头和可变长度但不透明的字节阵列负。报头包含格式版本和CRC32效验和以检测损坏或截断 1.1.6. 消息格式 1. 4 byte CRC32 of the message 2. 1 byte "magic...阅读全文

博文 2023-01-10 13:46:09 掘金

kubectl 创建 Pod 背后到底发生了什么?—探寻 Kubectl 创建 Pod 的原理

deployments,而背后的复杂性被隐藏在简单的抽象中。但为了充分理解它为我们提供的价值,我们需要理解它的内部原理。 本指南将引导您理解从 client 到 Kubelet 的请求的完整生命周期,必要时会通过源代码来说明背后发生了什么。 这是一份可以在线修改的文档,如果你发现有什么可以改进或重写的,欢迎提供帮助! 1. kubectl 验证和生成器 当敲下回车键以后,kubectl 首先会执行一些客户端验证操作,以确保不合法的请求(例如,创建不支持的资源或使用格式错误的镜像名称)将会快速失败,也不会发送给 kube-apiserver。通过减少不必要的负来提高系统性能。 验证通过之后, kubectl 开始将发送给 kube-apiserver 的 HTTP 请求进行封装。kube-apiserver 与...阅读全文

博文 2022-04-18 16:18:04 CSDN

2017年DevOps的5大发展预测

经筹集了大量资金,它们将面临获得这些投资回报的压力。”Wrabetz提到。她认为这种整合在DevOps工具市场上是非常需要的。 进一步容器化 2016年,我们见证了大规模容器化,但是Morpheus数据公司技术运营总监兼系统架构师Greg Willis认为,由于工具变得更加稳定,且容器生态在编排工具的作用下更加巩固,我们将会见到进一步容器化。他说,“正如虚拟化技术让企业适应从物理机向虚拟机的转变,我们将会看见企业更多的将工作负运行在诸如AWS ECS、Kubernetes、DCOS、Docker数据中心等平台上。” 统一开发、安全和运维 如果说2016年是运维安全的崛起,尤其是Docker对安全的更新,那么2017年我们将见到开发、安全和运维的统一。CA Technologies公司...阅读全文

博文 2021-01-28 17:50:18 debian.cn

AWS IAM 基本概念介绍

使用场景 Federating Existing Users 下图介绍用户如何使用 IAM 获取临时 AWS 安全凭证以访问您 AWS 账户中的资源 访问控制相关概念 Permissions 基于身份的 (IAM) 权限和基于资源的权限 下图阐明了两种权限类型。第一列显示与身份(两个用户和两个组)关联的权限。其中一些权限确定可对其执行操作的特定资源。这些操作支持资源级 权限。第二列显示挂到资源的权限。这些服务支持基于资源的权限。 Policies 要给用户、组、角色或资源指定许可,您必须创建一个策略,它是一个显式列出许可的文档。从最基本的意义上而言,策略使您能够指定以下内容: 操作:您将允许哪些操作。每个 AWS 服务都有自己的一组操作。例如,您可能允许用户使用 Amazon S3...阅读全文

博文 2019-06-04 20:22:31 debian.cn

Redis 6.0.0 GA已正式发布

辨率得到了改进,以使其永远不会比当前的“ HZ”值更糟,不管客户端连接的数量是多少。 6. RDB文件现在可以更快地加。根据文件的实际组成(较大或较小的值),您可以期望获得20/30%的改进。现在,当有许多客户端连接时,INFO也更快,这是一个长期存在的问题,现在终于消失了。 7. 我们有一个新命令STRALGO,它实现了复杂的字符串算法。到目前为止,唯一实现的方法是LCS(最长的公共子序列),LCS是一种重要算法,用于比较冠状病毒的RNA(通常比较其他生物的DNA和RNA)。冠状病毒这件事太大,Redis内部需要保留一些痕迹。 原文参考 Redis 6.0.0 GA is out!...阅读全文

博文 2020-05-01 09:15:09 debian.cn

Golang 应用集成 Prometheus 统计数据支持

间,响应大小。主要做统计用,设置分位数的值,会实时返回该分位数上的值。 Golang中集成 Prometheus 程序库 提供了一个用 Golang 写成的健壮的插桩库,可以用来注册,收集和暴露服务的指标。在讲述如何在应用程序中暴露指标前,让我们先来探究一下 Prometheus 库提供的各种指标类型。 下 Prometheus go 客户端 go get github.com/prometheus/client_golang/prometheus/promhttp. Golang应用中集成 Prometheus HTTP 服务器 package main import ( "net/http" "github.com/prometheus/client_golang/prometheus...阅读全文

博文 2022-11-24 10:33:09 CSDN博客

7 个月猛涨 12 亿美元,开源技术服务商成北欧最新独角兽 - OSCHINA

snaps 进行升级,也可以从官方网站下。 主要更新内容 修复了接口方法上的调用层次结构以正确返回结果 如果 IDE 由于操作系统关闭而关闭,则修复了每次启动时重复索引的问题 修复了在 WSL 2 中重新打开项目时导致 IDE 冻... 5 1 J 语言联合创始人 Roger Hui 因癌症去世 J 语言邮件列表昨日发布了 J 语言发明者之一 Roger Hui 去世的讣告。 我们从讣告得知,Roger Hui 在与癌症抗争数年后,于 2021 年 10 月 16 日星期六下午安详离世,生命的最后时光在临终关怀医院度过,享年 68 岁。 根据维基百科的介绍,J 语言是图灵奖获得者 Kenneth E. Iverson 和许国华 (Roger Hui) 于 1990 年代初发... 8 1...阅读全文

博文 2021-10-21 20:04:43 中文开源技术交流社区

Rust 1.37.0 稳定版发布

-Guided Optimization) rustc 编译器现在通过 -C profile-generate 和 -C profile-use 标志提供了对配置文件引导优化(PGO)的支持。 Profile-Guided Optimization 允许编译器根据来自实际工作负的反馈优化代码。它的工作方式是编译程序,在两个步骤中进行优化: 首先,程序是用编译器插入的工具构建的。这是通过将 -C profile-generate 标志传递给 rustc 来完成的。然后,需要在示例数据上运行检测程序,并将分析数据写入文件之后,重新构建程序,这一次使用 -C profile-use 标志将收集到的分析数据反馈回 rustc。此构建将利用收集到的数据,使编译器能够对代码放置、内联和其他优化做出更好的决定 在...阅读全文

博文 2019-08-17 21:17:23 debian.cn

HTTP状态码详解

服务器成功处理了请求,且没有返回任何内容。但是与204响应不同,返回此状态码的响应要求请求者重置文档视图。该响应主要是被用于接受用户输入后,立即重置表单,以便用户能够轻松地开始另一次输入。 与204响应一样,该响应也被禁止包含任何消息体,且以消息头后的第一个空行结束。 206 服务器已经成功处理了部分 GET 请求。类似于 FlashGet 或者迅雷这类的 HTTP 下工具都是使用此类响应实现断点续传或者将一个大文档分解为多个下段同时下。 该请求必须包含 Range 头信息来指示客户端希望得到的内容范围,并且可能包含 If-Range 来作为请求条件。 响应必须包含如下的头部域: Content-Range 用以指示本次响应中返回的内容的范围;如果是 Content-Type 为...阅读全文

博文 2021-01-28 17:50:11 debian.cn

Linux 系统 vim 编辑器使用简明教程

otherfilename //编辑文件名为otherfilename的文件。 十一、修改文件格式 :set fileformat=unix //将文件修改为unix格式,如win下面的文本文件在linux下会出现^M。 注意:如果不知道自己处在什么模式时可以按2次Esc键即可回到命令模式,会有最后提醒一点:注意大小写!!【本文转自 欲思博客 略有增删】...阅读全文

博文 2015-07-25 16:33:04 debian.cn

你应该选择Cinnamon作为Linux桌面环境的十个理由

显示在二者当中。 3. 桌面部件。桌面部件是指那些小型且功能专一的应用,我们可将它们随意添加到桌面当中。Cinnamon提供的选项包括CPU监控、磁盘监控、天气应用、便签、桌面相框、时间与日期等。 4. 速度。Cinnamon的运行速度极快,程序加与显示速度也令人满意。虽然这只是根据我的主观感受而且未经任何定时测试,但可以肯定的是,它的速度表现绝不会拖累使用感受。 5. 配置。Cinnamon在可配置性方面不及KDE Plasma,但却已经足够使用甚至超出了我的预期。通过主窗口,我们可以启动特定功能配置窗口,并借此选定新的主题外观、容器边框、图标、控件、指针与桌面等。其他可选项还包括字体与背景等等。我发现其中相当一部分配置工具非常出色,且适度的限制意味着Cinnamon不会像KDE那样带来...阅读全文

博文 2021-01-28 17:50:21 debian.cn

本田 40GB 数据险遭泄漏 因云端数据库未设密

田全球各地员工机器、网络相关的数据,而这些数据清楚表明了本田内部在使用哪家端点安全供应商,哪些设备在使用最新的安全防护软件,哪些设备依旧在运行旧版操作系统。 此外,这些数据包含了清楚的标记,可以非常容易地识别出 CEO、CFO 以及 CSO 等级别对应的电脑,本田 CEO 的完整电子邮件、全名、MAC 位置、Windows 操作系统版本、IP 及设备类型均可查到,甚至一些字符提供的信息与本田在日本的办事处位置相对应。 在研究人员提交该漏洞后,本田方面迅速封闭了该漏洞,并回复称:“非常感谢您指出漏洞。您发现的安全问题可能允许外部各方访问本田的一些基于云的数据,这些数据包括与员工及其计算机相关的信息。我们调查了系统的访问日志,发现没有任何第三方下数据的迹象。目前,没有证据表明数据泄露,不包括您...阅读全文

在树莓派上搭建 Raspbian 系统下的 Kubernetes 集群

成一个三节点的 Kubernetes 集群的创建,可以开始愉快的玩耍了。 K3s 的蛋蛋 如果执行 kubectl get pods --all-namespaces,就会看到其它服务的一些 Pod,比如 Traefik。Traefik 在这里起到是反向代理和负均衡器的作用,它可以让流量从单个入口进入集群后引导到集群中的各个服务。Kubernetes 支持这种机制,但 Kubernetes 本身不提供这个功能,因此 Traefik 是一个不错的选择。...阅读全文

博文 2020-04-12 16:30:23 debian.cn

APISIX Ingress 如何使用 Cert Manager 管理证书

Apache APISIX Ingress Controller 是一款以 Apache APISIX 作为数据面的 Kubernetes Ingress Controller 开源工具,目前已经更新到 v1.3 版本,实现了如证书管理、负均衡、金丝雀发布等功能。 长久以来,证书管理都不是一件简单的事情,虽然 Apache APISIX Ingress Controller 支持从 Kubernetes Secrets 资源中提取证书和私钥,并转换为 Apache APISIX 可识别的 SSL 对象,但这只是整个证书管理链中的一部分,证书的颁发、轮转、吊销逻辑依然需要管理员执行,尤其当证书数量比较多时,工作量往往并不小,因而会占用管理员不少的时间。 Cert Manager 是一款致力...阅读全文

博文 2023-02-09 07:38:06 中文开源技术交流社区

RabbitMQ 高可用实现镜像队列

queuerabbitmqctl cancel_sync_queue name #取消某个queue的同步功能以上针对消息同步的命令,均可以通过监控界面来进行操作,最终也是通过这些操作命令执行。 说明:镜像队列不是负均衡,镜像队列无法提升消息的传输效率,或者更进一步说,由于镜像队列会在不同节点之间进行同步,会消耗消息的传输效率。 对exclusive队列设置镜像并不会有任何作用,因为exclusive队列是连接独占的,当连接断开,队列自动删除。所以实际上这两个参数对exclusive队列没有意义。那么有哪些队列是exclusive呢?一般来说,发布订阅队列及设置了该参数的队列都是exclusive 排他性队列。 如何确定一个队列是不是排他性队列呢? 如果队列的features包含Excl,就代表它是排他性队列。 镜像队...阅读全文

博文 2018-12-30 19:21:59 debian.cn

Docker 核心原理

page 很好的介绍了 namespace 的作用。 namespace提供了一种内核级别隔离系统资源的方法,通过将系统的全局资源放在不同的 namespace 中,来实现资源隔离的目的。不同 namespace 的进程拥有相互隔离的系统资源。 这里指的资源隔离包含以下这些: Mount: 隔离文件系统挂点 UTS: 隔离主机名和域名信息 IPC: 隔离进程间通信 PID: 隔离进程的 ID Network: 隔离网络资源 User: 隔离用户和用户组 通过下面的 clone 系统调用可以创建新的进程,参数 flags 控制创建的进程所属的 namespace, 多个 flags 可以同时创建多个 namespace。 1 int clone(int (*child_func)(void...阅读全文

博文 2021-02-25 09:14:23 lxkaka

DPDK Graph Pipeline 框架简介与实现原理

DPDK 全称为 Data Plane Development Kit ,是近年来在高速网络通信行业中炙手可热的一种网络报文处理加速框架。DPDK 从十年前诞生直至发展到今天已经可以支持业界主流的高端网卡以及各类加速硬件设备,同时也支持主流的各个CPU 体系结构(可以运行于 X86, Arm, Power 等平台)。同时也可以运行于 Linux/FreeBsd/Windows 等主流操作系统之上。DPDK因为其优异的性能指标被广泛的应用于网关/负均衡/SDN/虚拟交换的各个场景。 本文主要介绍 DPDK 中的 libgraph 设计思想以及实现,libgraph 的设计思想源自于开源项目 Vector Packet Processor(VPP)。VPP 中的向量包处理优化方案是...阅读全文

博文 2023-02-09 07:13:55 掘金

阿里巴巴版 JDK 首发 GA 版 生产环境可用

“退优化”已编译的方法,重新开始编译,反而恶化了状况。由此可见,如何准备预热数据其实是一个挺复杂的问题,在实际运维中还没有很好的解决方法。 Dragonwell 提出的 JWarmUp 技术从 JVM 层面解决这一痛点,基本原理是利用之前运行的情况找到热点方法和 java class 信息。之后,JVM 运行实例利用上次的信息来预热,不需要通过人为数据预热。收集热点的实例可以有多种选择,例如在应用集群中选择一个节点,也可以在发布过程中选择一个 beta 发布阶段来收集。相比之前“人为数据”的方式,主要有如下优势: 收集热点时可以利用真实数据,达到更好的编译效果。加速预热过程。由于热点方法可以在加后直接编译,节省解释执行,profiling 等过程。 该功能在 specjvm 的基准测试中对于...阅读全文

博文 2019-07-11 10:24:52 debian.cn

译:Kubernetes 最佳实践

探针则不会生效。译者:还有一点尽量为 Pod 内的所有容器都定义探针。使用自动缩放在适当的情况下,可以使用自动缩放来动态调整 pod 的数量(Pod 水平自动缩放器,HPA)、pod 消耗的资源量(Pod 垂直自动缩放器, VPA)或集群中的节点数量(集群自动缩放器,CA),具体取决于 对资源的需求。Pod 水平自动扩缩器还可以根据 CPU 需求扩展复制控制器、副本集或有状态集。使用缩放也带来了一些挑战,例如不在容器的本地文件系统中存储持久数据,因为这会阻止水平自动缩放。相反,可以使用 PersistentVolume。当集群上存在高度可变的工作负并且可能根据需求在不同时间需要不同数量的资源时,集群自动缩放器非常有用。 自动删除未使用的节点也是省钱的好方法!译者:更多自动缩放的内容,可以浏...阅读全文

博文 2022-09-13 19:32:21 atbug.com

如何使用 journalctl 清理 journal 日志

, 即可彻底屏蔽 /usr/lib/ 目录中的同名文件。 选项 所有选项都位于 "[Journal]" 小节: Storage= 在哪里存储日志文件: "volatile" 表示仅保存在内存中, 也就是仅保存在 /run/log/journal 目录中(将会被自动按需创建)。 "persistent" 表示优先保存在磁盘上, 也就优先保存在 /var/log/journal 目录中(将会被自动按需创建), 但若失败(例如在系统启动早期"/var"尚未挂), 则转而保存在 /run/log/journal 目录中(将会被自动按需创建)。 "auto"(默认值) 与 "persistent" 类似, 但不自动创建 /var/log/journal 目录, 因此可以根据该目录的存在与否决定日志的保存...阅读全文

博文 2021-02-05 15:43:28 博客园

我要彻底放弃 Debian 操作系统!-Michael Stapelberg

FTP,通过该服务接收我的包,并在响应中返回权威的决定:拒绝或接受。对于接受的包,通过一个状态页面来显示包的状态,以及可以通过镜像网络提供包的时间。包应在构建完成后,几分钟内即可进入可访问状态。 陈旧的基础设施:bug追踪 我非常害怕与Debian的bug追踪系统交互。debbugs是一款始于1994年的软件,目前仅供Debian和GNU项目使用。 Debbugs负责处理电子邮件,也就是说它的处理是异步的且很麻烦。尽管我们在Debian最快的机器上运行了Debbugs,但是它的Web界面加速度依然非常慢。 尤其是bugs.debian.org的Web界面是只读的。为reportbug(1)(https://manpages.debian.org/stretch/reportbug...阅读全文

博文 2019-03-22 17:01:23 Michael Stapelberg

Apache Kafka发布 3.0 正式版

费者和管理客户端KIP-630:Kafka Raft 快照我们在 3.0 中引入的一个主要功能是 KRaft 控制器和 KRaft 代理能够为名为 __cluster_metadata 的元数据主题分区生成、复制和加快照。Kafka 集群使用此主题来存储和复制有关集群的元数据信息,如代理配置、主题分区分配、领导等。随着此状态的增长,Kafka Raft Snapshot 提供了一种有效的方式来存储、加和复制此信息.KIP-746:修改 KRaft 元数据记录自第一版 Kafka Raft 控制器以来的经验和持续开发表明,需要修改一些元数据记录类型,当 Kafka 被配置为在没有 ZooKeeper (ZK) 的情况下运行时使用这些记录类型。KIP-730:KRaft 模式下的生产者 ID...阅读全文

博文 2021-09-26 14:13:03 joseph

WebAssembly:无需容器的 Docker (下)

ghcr.io/vmware-labs/php-wasm:7.4.32-server-wordpress 容器镜像的一部分,我们先将其下到本地。此命令将只创建一个临时容器(拉取镜像),将 WordPress 文件复制到 /tmp/wp/docroot,然后删除容器。container_id=$(docker create ghcr.io/vmware-labs/php-wasm:7.4.32-server-wordpress) && \ mkdir /tmp/wp && \ docker cp $container_id:/docroot /tmp/wp/ && \ docker rm $container_id 现在我们有了 WordPress,让我们添加服务器:wasmedge --dir...阅读全文

博文 2023-01-03 06:39:46 spider

如何写好技术文档 — 来自十多年的文档经验总结

本文大部分内容翻译总结自《Software Engineering at Google》 第10章节 Documentation。 另外,该书电子版近日已经可以免费下了 https://abseil.io/resources/swe_at_google.2.pdf,有兴趣的同学可以下翻阅下。 首先声明,本问所说的文档不仅限于纯文本文档,还包含代码注释(注释也是一种特殊形式的文档)。 ## 文档的重要性 ## 高质量的文档对于一个组织或团队来说有非常多的益处,比如让代码和API更容易理解、错误更少;让团队成员更专注于目标;也可以让一些手工操作更容易;另外如果有新成员加入的话有文档也会让他们更快融入…… 写文档有比较严重的收益滞后性,不像测试,你跑一个测试case,它能立即告诉你是对还是错...阅读全文

博文 2021-07-30 16:15:13 joseph

处理器架构消亡史

架构也都是由RISC体系中发展出来的处理器架构。包括IBM所推出的Power架构也都是RISC体系中的一员。他们的到来,构建了出了璀璨的处理器架构时代,也对当时的英特尔造成了一定的压力。各领风骚数十SPARC(可扩展处理器体系结构)是最初由Sun Microsystems开发的精简指令集计算(RISC)指令集体系结构(ISA)。它的设计在很大程度上受到早期RISC设计的影响,包括来自加利福尼亚大学伯克利分校和IBM 801的RISC I和II 。这些原始的RISC设计极简,包括尽可能少的功能或操作码,旨在以每个时钟周期几乎一条指令的速率执行指令。SPARC于1986年首次开发,并于1987年发布,是最成功的早期商业RISC系统之一。在其推出首款SPARC处理器产品后,SPARC就很快地占领...阅读全文

提问的智慧 – 全文

文时不可复制部分或者部分引用,只能全文转。 You may not make or redistribute static copies (whether print or online) without my express permission. However, I don't like having old, stale versions of my content floating around on other peoples' sites. These rules are mainly designed to try to ensure that when some third party sees my name on a document, the content...阅读全文

博文 2009-10-01 13:18:00 debian.cn

OpenAI掌门人Sam Altman:AI的下一个发展阶段_OneFlow

。 AGI的重点不在于掌握某一种难得的技能,而是拥有学习的元能力,然后只要人类需要,它就可以往任何技能方向发展并精通。另一个概念是“超级智能”(Super Intelligence),它指的是比全人类加起来还要聪明的智能。 Audience Member:哪些领域不会被AI影响? Sam Altman:所有人类深层次的东西都不会被AI改变。作为人类,我们依然注重人与人之间的互动联系,人类大脑的奖励机制没有变,我们依然追求快乐,拥有创造欲和竞争欲,渴望组建家庭……五万年前人类在意的东西,一百年后的人类也会在意。 (本文由OneFlow社区编译,译文转请联系获得授权。来源:https://www.youtube.com/watch?v=WHoWGNQRXb0) 其他人都在看 下量突破10亿...阅读全文

博文 2023-02-04 15:55:11 CSDN博客

隐私声明

我们会时常更新本隐私权声明,以反映我们的操作实践、相关服务和法律法规的变化。我们会在修订本隐私权声明时更新文首所的“生效日期”,请您定期查阅。您继续使用本网站,即视为您同意本隐私权声明的更新。 8. 问题与投诉 如果您对本隐私权声明或个人信息保护有任何问题,请与我们联系,我们会尽最大努力在合理时间内回复您。...阅读全文

Docker 17.06 社区版发布

EBS)的支持现在是稳定的了)。并且我们能跨可用区支持EBS卷。 对于Docker for Azure来说,我们现在支持部署到Azure Gov,通过Cloustor支持持久性卷现在是稳定的,可以通缉你广化寺用在Azure Public和Azure Gov中。 废弃 在dockerd的命令行中,--api-enable-core标识已经被废弃很久了,而采用--api-cors-header。对于--api-enable-cors还没有完全去掉。 Ubuntu 12.04 "precise pangolin"已经完结了生命周期,所以它现在不是Docker支持的操作系统。Ubuntu的后期版本仍旧是支持的。 下一步 要体验这些新特性: 下Docker CE的最新版 查看Docker文档 在Play...阅读全文

博文 2017-06-30 23:08:57 debian.cn

字节跳动开源微服务中间件 CloudWeGo - OSCHINA

传输协议有 TTHeader、HTTP2。TTHeader 可以和 Thrift、Kitex Protobuf 结合使用;HTTP2 目前主要是结合 gRPC 协议使用,后续也会支持 Thrift。 多消息类型:支持 PingPong、Oneway、双向 Streaming。其中 Oneway 目前只对 Thrift 协议支持,双向 Streaming 只对 gRPC 支持,后续会考虑支持 Thrift 的双向 Streaming。 服务治理:支持服务注册/发现、负均衡、熔断、限流、重试、监控、链路跟踪、日志、诊断等服务治理模块,大部分均已提供默认扩展,使用者可选择集成。 代码生成工具:Kitex 内置代码生成工具,可支持生成 Thrift、Protobuf 以及脚手架代码...阅读全文

博文 2021-09-09 13:56:42 中文开源技术交流社区

Redis 命令、特性介绍与性能调优

经存在,则不会进行任何操作,时间复杂度O(1) TYPE:返回指定key的类型,string, list, set, zset, hash。时间复杂度O(1) CONFIG GET:获得Redis某配置项的当前值,可以使用*通配符,时间复杂度O(1) CONFIG SET:为Redis某个配置项设置新值,时间复杂度O(1) CONFIG REWRITE:让Redis重新加redis.conf中的配置 数据持久化 Redis提供了将数据定期自动持久化至硬盘的能力,包括RDB和AOF两种方案,两种方案分别有其长处和短板,可以配合起来同时运行,确保数据的稳定性。 必须使用数据持久化吗? Redis的数据持久化机制是可以关闭的。如果你只把Redis作为缓存服务使用,Redis中存储的所有数据都不是...阅读全文

博文 2018-10-27 10:37:55 debian.cn

Apollo 配置中心简单介绍

、Thread Pool Size、Buffer Size、Request Timeout、Feature Switch、Server Urls等。配置伴随应用的整个生命周期 配置贯穿于应用的整个生命周期,应用在启动时通过读取配置来初始化,在运行时根据配置调整行为。配置可以有多种加方式 配置也有很多种加方式,常见的有程序内部hard code,配置文件,环境变量,启动参数,基于数据库等配置需要治理 权限控制 由于配置能改变程序的行为,不正确的配置甚至能引起灾难,所以对配置的修改必须有比较完善的权限控制不同环境、集群配置管理 同一份程序在不同的环境(开发,测试,生产)、不同的集群(如不同的数据中心)经常需要有不同的配置,所以需要有完善的环境、集群配置管理框架类组件配置管理 还有一类比较特殊的配置...阅读全文

博文 2021-04-09 17:53:51 CSDN

得物云原生全链路追踪Trace2.0-采集篇 - OSCHINA

launcher, 结合远端存储,支持可配置化任意 javaagent 的下,更新,安装和启动: [plugins] enables = shadower,arthas,pyroscope,chaos-agent [shadower] artifact_key = /javaagent/shadower-%s-final.jar boot_class = com.shizhuang.apm.javaagent.bootstrap.AgentBootStrap classloader = system default_version = 115.16 [arthas] artifact_key = /tools/arthas-bin.zip ;boot_class...阅读全文

博文 2022-12-10 06:50:41 中文开源技术交流社区

Kafka 3.0新特性全面曝光,真香!

,controller.quorum.voters 配置中提供的节点ID必须与提供给服务器的节点ID匹配。比如在Controller1上,node.Id必须设置为1,以此类推。注意,控制器id不强制要求你从0或1开始。然而,分配节点ID的最简单和最不容易混淆的方法是给每个服务器一个数字ID,然后从0开始。(二)下并解压安装包bigdata01下kafka的安装包,并进行解压:[hadoop@bigdata01 kraft]$ cd /opt/soft/[hadoop@bigdata01 soft]$ wget http://archive.apache.org/dist/kafka/3.1.0/kafka_2.12-3.1.0.tgz[hadoop@bigdata01 soft]$ tar -zxf kafka_2.12-3.1.0...阅读全文

博文 2022-04-28 16:02:11 mp.weixin.qq.com

三个技巧 大幅减少 Docker 镜像体积

个。 镜像的层就像 Git 的提交(commit)一样。Docker 的层用于保存镜像的上一版本和当前版本之间的差异。就像 Git 的提交一样,如果你与其他存储库或镜像共享它们,就会很方便。 实际上,当你向注册表请求镜像时,只是下你尚未拥有的层。这是一种非常高效地共享镜像的方式。但额外的层并不是没有代价的。层仍然会占用空间,你拥有的层越多,最终的镜像就越大。Git 存储库在这方面也是类似的,存储库的大小随着层数的增加而增加,因为 Git 必须保存提交之间的所有变更。 过去,将多个 RUN 语句组合在一行命令中或许是一种很好的做法,就像上面的第一个例子那样,但在现在看来,这样做并不妥。 1. 通过 Docker 多阶段构建将多个层压缩为一个 当 Git 存储库变大时,你可以选择将历史提交记录...阅读全文

博文 2018-09-06 10:50:29 debian.cn

使用 MongoDB 之前应该知道的 14 件事

MongoDB 是一个多租户系统,它会尽可能地占用内存,因此最好是安装在服务器上,最大限度地提供内存,即使是开发工作。在服务器上使用默认端口安装而不启用身份验证是在自找麻烦,尤其是可以在查询中运行任意 JavaScript 时(例如把$where 作为注入攻击的体)。 身份验证方法有多种,但是用户 ID/密码凭证最容易安装和管理。当你考虑 基于 LDAP 的身份验证 时,可以采用那个方法。在我们谈论安全时,MongoDB 必须保持最新,而且,在日志里查找未授权访问的迹象总是值得的。我不喜欢使用默认端口。 忘记限制 MongoDB 的攻击面 MongoDB 的 安全检查清单 为降低网络渗透和数据泄露风险提供了很好的建议。我们很容易会认为,开发服务器不需要高等级的安全。不是这样的:安全对于所有...阅读全文

2017 年会是 Serverless 爆发之年吗

中小型公司,尤其是互联网行业的创业公司,本身并没有太多的技术人员,如果设计系统时需要考虑诸多的技术问题,例如 Web 应用服务器如何配置、数据库如何配置、消息服务中间件如何搭建等等,那对于他们来说人员成本、系统成本会很高,Serverless 架构的出现,让这种情况可能可以大幅度改善。 初识 Serverless? 在目前主流云计算 IaaS(Infrastructure-as-a-Service,基础设施即服务)和 PaaS(Platform-as-a-Service,平台即服务)中,开发人员进行业务开发时,仍然需要关心很多和服务器相关的服务端开发工作,比如缓存、消息服务、Web 应用服务器、数据库,以及对服务器进行性能优化,还需要考虑存储和计算资源,考虑负均衡和横向扩展能力,考虑服务...阅读全文

博文 2021-01-28 17:50:27 debian.cn

如何读懂火焰图?+ 实例讲解程序性能优化 - xuxh120

627891 > 627891.svg -d N 分析持续时间(以秒为单位)。如果未提供启动,恢复,停止或状态选项,则探查器将运行指定的时间段,然后自动停止。 -i N 设置分析间隔(以纳秒或者毫秒等作为单位),默认分析间隔为10ms。 -o 转储文件的格式。 等待15s,就会产生结果,生成 627891.svg 文件。vim 627891.svg 并删除第一行,然后下到本地并使用浏览器打开。 结果如下图,此图俗称火焰图,主要看每个方法的横轴长度,占用横坐标越长的操作,其占用的 cpu 即最长,很直观的。 9.2 性能黑点分析 我们首先发现下图红框内的代码存在严重的性能问题。在append的过程中,获取线程 stack 的过程耗时比较大。从火焰图中分析,耗时占据了接近50%的是,一个logger操作...阅读全文

博文 2022-03-11 10:05:09 博客园

中国开源人访谈系列之:清风博主

,firefox和chrome就行了;QQ聊天用最新的wine,加上Yuking大神做的一个库跑精简版的QQ,很稳定;日常办公用WPS for Linux,老师用的最多的就是幻灯片,对于从网上下的课件,Linux下的办公软件中,WPS是兼容性最好的。 12.您怎么看待开源精神,开源与商业? 答:我是开源精神的支持者,也不反对开源与商业的结合,我认为这也是开源事业能有旺盛的生命力的原因之一。多数人在吃饱穿暖的基础上,才能有更高的追求,不可否认,像Richard Stallman这样的开源领袖,不是每个人都能做到的。但也正是有了这样一群可爱的狂热开源人士,我们的世界才变得更加美好! B.您与Linux社区 1.请问您有特别加入某个社区吗? 答:2013年的时候,在一位资深Gentooer的鼓动下,打算重建...阅读全文

博文 2021-01-28 17:50:13 debian.cn

在 Kubernetes 上扩展 TensorFlow 模型

点通信。在 Kubernetes 中, MPI Operator 可用于实现 Allreduce 式的 TensorFlow 模型同步训练。 ## TensorFlow 模型在 Kubernetes 上的可扩展服务 由于处理客户端对推理服务的请求是一项非常耗时耗力的任务,因此可扩展服务对于机器学习工作负的生产部署至关重要。在这种情况下,部署的模型应该能够扩展到多个副本,并为多个并发的请求提供服务。 Kubeflow 支持 TensorFlow 模型的几种服务选项。这里要注意以下几点: - **TFServing** 是 TFX Serving 模块的 Kubeflow 实现。通过 TFServing,你可以创建机器学习模型 REST API,并提供许多有用的功能,包括服务交付、自动生命周期...阅读全文

Sam Altman的成功学|OneFlow

多的人,他们出生时手握一副烂牌,最终却打成了王炸,我才发现普通人想要取得成功是完全有可能的。 我深深地意识到这样一个事实:若非生来幸运,我就不会有今天。 (本文由OneFlow社区编译发布,译文转请联系获得授权。原文:https://blog.samaltman.com/how-to-be-successful) 本文是OneFlow社区《升维指南》栏目的第1篇文章。 人类的知识大致可以分为“道”和“术”两类,在日常研究和开发工作中,只要具备基础知识,涉及“术”层面的具体技术和工具使用方法通过练习很快可以习得,但人与人之间的差距往往在“道”的层面,也就是事情的认知层面。 本栏目将发布创业创新、科学技术等领域关于个人成长、创业和研究心得等方面的内容,希望有助于我们实现认知升维。 其他人都在看...阅读全文

CCPA vs. GDPR:欧美这两部个人数据保护法有什么差异?

://wangluozhili.blogchina.com/698050101.html,最后访问日期:2019年5月17日17:58; [5]. 张建文、张哲:《个人信息保护法域外效力研究——以欧盟<一般数据保护条例>为视角》,《重庆邮电大学学报》(社会科学版)2017年第2期; [6]. GDPR说明条款第23条,判断是否向欧盟境内数据主体提供商品和服务时,判断依据包括使用一个或多个欧盟成员国的通用语言或货币用于订购用其他语言标识的产品或服务,或者提到了欧盟的用户及客户; [7]. GDPR说明条款第24条,“监控”指数据主体是否在网络上被跟踪记录,或后续潜在地使用个人数据处理技术,包括对数据主体进行用户画像,做出决策,或对其个人偏好、行为或态度做出分析或预测。 [8]. 欧盟数据保护委员会(EDPB)颁布的《关于GDPR适用地域范围的解释...阅读全文

最全的 DevOps 工具集合

目的是建立一个可扩展且高效的系统,以支持当前和将来的各种框架。这也是主要问题所在:Hadoop 和 MPI 之类的框架都是独立开发的,因此无法在各个框架之间进行细粒度的共享。 Mesos 的对策是添加一个资源共享薄层,为框架提供访问集群资源的公共接口。Mesos 正在将对调度的控制权委派给框架,因为许多框架已经实现了复杂的调度机制。 根据要在集群上运行的作业类型可以将框架分为四类,其中一些具有 Marathon 之类的原生 Docker 支持。Mesos 0.20.0 中添加了对 Docker 容器的支持。 我们将重点介绍 Mesos 与 Marathon 的搭配用法,因为后者是 Mesosphere 积极维护的框架,在调度方面提供了许多功能,如约束、运行状况检查、服务发现和负平衡等。 使...阅读全文

博文 2021-05-26 14:35:21 博客园