InfraPub 为您找到相关结果 52

三星谈论下一代DRAM解决方案:GDDR7、DDR5、LPDDR5X和V-NAND

。系统LSI业务不仅制造领先的单个产品,而且是一个整体解决方案供应商,可以将各种辑技术合并到一个平台,以便向客户提供优化的解决方案。"在一个需要机器像人一样学习和思考的时代,扮演大脑、心脏、神经系统和眼睛角色的辑芯片的重要性正增长到前所未有的水平,"三星电子总裁兼系统LSI业务负责人Yong-In Park说。"三星将融合并结合其嵌入SoC、传感器、DDI和调制解调器等各种产品中的技术,以便作为整体解决方案供应商引领第四次工业革命。"第四次工业革命是System LSI技术日会议的一个关键主题。System LSI业务的辑芯片是超智能、超连接和超数据的重要物理基础,这些都是第四次工业革命的关键领域。三星电子的目标是将这些芯片的性能提高到能够像人一样完成人类任务的水平。考虑到这一愿景,系统...阅读全文

DPDK Graph Pipeline 框架简介与实现原理

模型的差别则在于一系列的函数处理一批数据包。这种方法的主要目的是解决当 pipeline 变复杂时所遇到 i-cache miss 较高的问题。 标量处理模型 vs 向量处理模型 标量处理模型在性能上不如向量处理模型的另一个原因,就是在不同处理函数(业务辑)之间,报文传递到下一个处理函数的方式上有所不同。前者只是简单地用 pointer assignment 的方法来传递,若处理基于不同批次的情况下,由于低效的 pointer assignment,会导致处理一批报文时性能低下。 而对于向量包处理模型而言,向量包处理模型反而可以减少上述标量处理模型因批处理而导致性能不理想的情况。这是因为在向量模型中,报文在业务辑之间的传输除了可以通过最原始的 pointer assignment 之外...阅读全文

博文 2023-02-09 07:13:55 掘金

PostgreSQL 10 正式版发布,显著的性能提升

从 5 月份发布的 PostgreSQL 10 首个 Beta 测试版到今天已有小半年时间,今天 PostgreSQL 终于宣布了 PostgreSQL 10 正式版。 全新的 PostgreSQL 10 正式版值得关注的新特性包括: 使用基于发布和订阅机制的辑复制 声明式的表分区 提升了查询的并发性 显著的性能提升 更强的基于 SCRAM-SHA-256 密码认证机制 提升了监控和控制功能 详细的 PostgreSQL 10 新特性描述请看 这里 。 官方发行说明请看 https://www.postgresql.org/docs/10/static/release-10.html?x=1 。 同时这里有一份 PDF 文档 通过实例详细介绍 PG 10 的新特性。...阅读全文

博文 2017-10-09 10:15:08 debian.cn

kubelet 中垃圾回收机制的设计与实现

启动容器和镜像垃圾回收两个任务,其主要辑为:1、启动 containerGC goroutine,ContainerGC 间隔时间默认为 1 分钟;2、检查 --image-gc-high-threshold 参数的值,若为 100 则禁用 imageGC;3、启动 imageGC goroutine,imageGC 间隔时间默认为 5 分钟;k8s.io/kubernetes/pkg/kubelet/kubelet.go:1270func (kl *Kubelet) StartGarbageCollection() { loggedContainerGCFailure := false // 1、启动容器垃圾回收服务 go wait.Until(func() { if err...阅读全文

博文 2021-02-05 17:48:22 知乎

以太网技术联盟宣布800千兆以太网规格

近日,25千兆以太网联盟宣布更名为以太网技术联盟,并发布了800G以太网800GBASE-R规范,重用400G标准辑。 以太网技术联盟表示,“25千兆以太网联盟最初成立是为了开发25、50和100 Gbps以太网规格,现更名为以太网技术联盟,是为了更好反映对新技术的关注”。该行业联盟包括Arista、Broadcom、Cisco、Dell、Google、Mellanox和Microsoft。 更快的以太网将加快数据中心内部和数据中心之间的通信。该规范现在已经可用,并打算作为最终IEEE的正式标准工作的基础。以太网技术联盟(Ethernet Technology Consortium)正在重塑形象:该联盟成立于2014年,旨在推动网络速度的下一个突破,当时它采用了一个现在看来有些过时的名称...阅读全文

博文 2020-04-12 15:10:55 debian.cn

分布式任务调度平台 XXL

任务,”CommandJobHandler”);业务方只需要提供命令行即可; 6、任务状态优化,仅运行状态”NORMAL” 任务关联至 quartz,降低 quartz 底层数据存储与调度压力; 7、任务状态规范:新增任务默认停止状态,任务更新时保持任务状态不变; 8、IP 获取辑优化,优先遍历网卡来获取可用 IP ; 9、任务新增的 API 服务接口返回任务 ID,方便调用方实用; 10、组件化优化,移除对 spring 的依赖:非 spring 应用选用 “XxlJobExecutor” 、spring 应用选用 “XxlJobSpringExecutor” 作为执行器组件; 11、任务 RollingLog 展示辑优化,修复超时任务无法查看的问题; 12、多项 UI 组件升级到最新...阅读全文

博文 2018-11-05 21:47:15 JOB 2.0.0 发布

Spinnaker 介绍 – Netflix 的持续交付平台

然避免不了,为了更加从容的应对这些故障,就搞了一个工具 Chaos Monkey 会随机停止生产环境中的虚拟机,通过观察系统在真实故障中的表现来确保程序的健壮性,也通过实战来验证各种高可用技术是否靠谱。接着冒出了 Chaos Gorilla,会停止一整个可用域中的所有机器;最后还有Chaos Kong,直接停掉一整个 Region,非常有挑战精神(丧心病狂)。 为了更好的观察系统在故障时的情况,还研发了全局可视化系统,代号 Flux,可以将整个系统的辑架构和各服务之间的流量可视化在大屏幕上,效果图如下: 他们每个月有一个活动:将一个 Region 里的机器全部关掉,看 Netflix 服务是否正常。有兴趣看视频的可以移步这里。 另外,Netflix 除了云服务,还有自建CDN,即 Open...阅读全文

博文 2018-12-21 19:30:47 debian.cn

2017 年会是 Serverless 爆发之年吗

器容灾稳定性等非专业辑的开发。这些服务器的运维和开发知识、经验极大地限制了开发者进行业务开发的效率。设想一下,如果开发者直接租用服务或者开发服务而无须关注如何在服务器中运行部署服务,是否可以极大地提升开发效率和产品质量?这种去服务器而直接使用服务的架构,我们称之为 Serverless 架构(无服务器架构)。 Serverless 架构的问世 2014 年,云厂商 AWS 推出了“无服务器”的范式服务。其实,最初“无服务器”意在帮助开发者摆脱运行后端应用程序所需的服务器设备的设置和管理工作。这项技术的目标并不是为了实现真正意义上的“无服务器”,而是指由第三方供应商负责后端基础结构的维护,以服务的方式为开发者提供所需功能,例如数据库、消息,以及身份验证等。这种服务基础结构通常可以叫做后端即服...阅读全文

博文 2021-01-28 17:50:27 debian.cn

Consul 1.6 GA 发布

式(如基于 HTTP 路径的路由和流量转移)提高了可靠性。 点此了解更多 。Mesh 网关 。Mesh 网关是网络边缘的 Envoy 代理,让独立网络环境中的服务能够轻松地相互通信。它们由 Consul 使用类似机制作为 Sidecar Proxy 的配置。点此了解更多 。意图 & CA 复制。 这些功能实现了在 Consul 辑数据中心之间进行连接服务,并且是 Mesh 网关的重要构建部分。请注意,此功能以前属于 Consul 企业版的功能。 另请注意,此版本中已完全删除了在 1.3.0 中被弃用的托管代理功能(managed proxies)。 详细更新内容请查看 Consul 1.6.0 Beta 版的发布公告 或 更新日志 。...阅读全文

SK海力士宣布HBM2E内存:带宽最高460GB/s

。 而且不同于传统DRAM必须单独封装、占用主板面积,HBM系列可以与GPU芯片、辑芯片等整合封装在一起,彼此距离可以做到仅仅几个微米,大大节省整体面积,也能保证更快的数据传输。 SK海力士是第一个搞定HBM的,时间是2013年。SK海力士未透露HBM2E何时量产出货,看样子还要等一段时间。 GPU芯片左右两侧四颗芯片就是HBM...阅读全文

谷歌公开了内部管理Infra层的两个工具的Paper

随着企业的逐步成熟,他们会开发更多工具。在Google,我们持续创建新的外部和内部服务,以及支持这些服务的基础架构。 从2013年起,我们开始放弃之前用来更新和维护服务的简单的自动化工作流。每个服务都要求复杂的更新辑,并且还需要适应基础架构的变化,经常性的集群的启动关闭等等。配置多个,互相交互的服务的工作流变得难以维护。 我们需要一种全新的方案来适应业务的增长以及所涉及到的配置的复杂性。为此,我们开发了声明式的自动化系统,作为统一的控制层,并且取代了工作流。这个系统包括两个主要的工具:Podspec,描述服务基础架构的工具,和Annealing,更新生产环境来匹配Prodspec输出的工具。本文讨论我们解决过的问题,以及我们所选择的架构。 Prodspec和Annealing有一个根本共...阅读全文

博文 2023-01-08 11:23:20 CSDN博客

细数k8s支持的4种类型的container - 侃豺小哥

0:00 nginx: worker process 19 root 0:00 /pause 24 root 0:00 sh 29 root 0:00 ps auxww Init 容器 在Kubernetes中,init容器是在同一Pod中的其他容器之前开始并执行的容器。它旨在为Pod上托管的主应用程序执行初始化辑。例如,创建必要的用户帐户,执行数据库迁移,创建数据库结构等。 创建initcontainer时应考虑一些注意事项: 它们总是在Pod中的其他容器之前执行。因此,它们不应包含需要很长时间才能完成的复杂辑。启动脚本通常很小而简洁。如果发现要向初始化容器添加太多辑,则应考虑将其中的一部分移至应用程序容器本身。 初始化容器按顺序启动和执行。除非一个初始化容器被成功执行,否则下一个初...阅读全文

博文 2021-08-20 11:45:32 博客园

PostgreSQL 10 有哪些新特性

PostgreSQL 继续向着将在 2017 年 9 月份发布的第 10 个主版本迈进,EnterpriseDB 首席架构师和 PostgreSQL 贡献者 Robert Hass 根据 PostgreSQL官方路线图 编制 了一份 PostgreSQL 10 重要特性列表。 数月之前发布的 PostgreSQL 10 路线图包含多个单独的路线图,每个路线图对应一个特定的公司或个体贡献者。想要概括地了解路线图的内容并不容易。以下是 Hass 选出的一部分特性: 表分区 :这可以视为是表继承的简化版本,在表继承中,父表总是为空,子表(分区)有一个隐式约束,当元组插入父表时,它可以影响元组实际上添加到哪个分区。当使用继承关系推导表的属性时,表分区有望简化这个过程,让特定的优化成为可能。 辑复...阅读全文

博文 2021-01-28 17:50:28 debian.cn

JavaFX 11 发布,与 JDK 拆分后的首个正式大版

JavaFX 11 发布了,JavaFX 是一个强大的图形和多媒体处理工具包集合,它允许开发者来设计、创建、测试、调试和部署富客户端程序,并且和 Java 一样跨平台。由于 JavaFX 库被写成了 Java API,因此 JavaFX 应用程序代码可以调用各种 Java 库中的 API,例如 JavaFX 应用程序可以使用 Java API 库来访问本地系统功能并且连接到基于服务器中间件的应用程序。JavaFX 可以自定义程序外观,CSS 将外观和样式与业务辑实现进行了分离,因此开发人员可以专注于编码工作。值得注意的是,从 JDK 11 开始,JavaFX 模块与 JDK 分开提供 。 JavaFX 11 需要 JDK 10(必须是 OpenJDK 版本)或 JDK 11,建议使用...阅读全文

博文 2018-09-20 13:09:25 debian.cn

字节跳动开源微服务中间件 CloudWeGo - OSCHINA

。 Netpoll Netpoll 是字节跳动内部的 Golang 高性能、I/O 非阻塞的网络库,专注于 RPC 场景。 RPC 通常有较重的处理辑(业务辑、编解码),耗时长,不能像 Redis 一样采用串行处理(必须异步)。而 Go 的标准库 net 设计了 BIO(Blocking I/O) 模式的 API,为了保证异步处理,RPC 框架设计上需要为每个连接都分配一个 goroutine,这在空闲连接较多时,产生大量的空闲 goroutine,增加调度开销。此外,net.Conn 没有提供检查连接活性的 API,很难设计出高效的连接池,池中的失效连接无法及时清理,复用低效。开源社区目前缺少专注于 RPC 方案的 Go 网络库。类似的项目如:evio、gnet 等,均面向 Redis、Haproxy...阅读全文

博文 2021-09-09 13:56:42 中文开源技术交流社区

在 Kubernetes 上扩展 TensorFlow 模型

由于人工智能 / 机器学习日益集成到应用和业务流程中,因此生产级机器学习模型需要更多可扩展的基础设施和计算能力,以用于训练和部署。 现代机器学习算法在大量数据上进行训练,并且需要数十亿次迭代才能使成本函数最小化。这类模型的垂直扩展会遇到操作系统级别的瓶颈,包括可提供的 CPU、GPU 和存储的数量,而且对于这种类型的模型,已经证明效率并不高。更为高效的并行处理算法,例如异步训练和 allreduce 式训练,需要一个分布式集群系统,由不同的 worker (工作器)以协调的方式同时学习。 可扩展性对于在生产环境中服务深度学习模型也非常重要。将单个 API 请求处理到模型预测端点可能会触发复杂的处理辑,这将花费大量时间。由于更多用户访问模型的端点,为了有效地处理客户端请求,需要更多服务实例...阅读全文

UCloud 叶理灯 谈:Docker、K8S 和 Serverless

FaaS,有一个对标的产品叫 Lambda。 Serverless 出现的动力是,由于云计算的发展,带来了如对象存储等很多丰富的中间件,Serverless 概念的提出是希望应用开发者可以不用写后端辑,直接把辑写在客户端,组合云上的一些服务来完成业务辑,这样就没有管理后端资源的负担了。但是后来发现很多时候还是需要后端代码的,所以就演变成如果有后端代码,就拆成函数,托管在 FaaS 服务中,这样的话,你依然是不用管理服务器的,你用的还是一个个服务,没有服务器管理负担。 这个概念在不断进步,2017 年的时候 AWS 提出了一个新的概念,重新定义了什么叫 Serverless,只要一个服务具备了四方面特性:免运维、按需付费、高可用和自动扩容,这个服务就是个 Serverless 的服务。所以...阅读全文

博文 2019-06-14 08:28:49 debian.cn

得物云原生全链路追踪Trace2.0-采集篇 - OSCHINA

误数:如 HTTP 500 错误。当然,有些即便是 HTTP 200 状态也需要根据特定业务辑来区分当前请求是否属于“错误”请求。 饱和度:类似服务器硬件资源如CPU,内存,网络的使用率等等。 所以,我们决定使用 Micrometer 库来对各个组件进行吞吐量,延迟和错误率的埋点,从而对 DB 类,RPC类的组件做性能监控。因此也可以说,我们第二阶段的监控是以指标监控为主,调用链监控为辅的应用性能监控。 3.1 使用 Endpoint 贯穿指标埋点帮助性能分析 在指标埋点过程中,我们在所有的指标中引入了“流量入口(Endpoint)”标签。这个标签的引入,实现了根据不同流量入口来区分关联 DB,缓存,消息队列,远程调用类的行为。通过流量入口,贯穿了一个实例的所有组件指标,基本满足了以下场景...阅读全文

博文 2022-12-10 06:50:41 中文开源技术交流社区

Proxy-Go v6.6 发布啦

Proxy-Go v6.6 发布啦。Proxy 是 golang 实现的高性能 http,https,websocket,tcp,udp,socks5 代理服务器, 支持正向代理、反向代理、透明代理、内网穿透、TCP/UDP 端口映射、SSH 中转、TLS 加密传输、协议转换、DNS 防污染代理。 优化了 limitconn 的关闭辑, 释放更多资源. http(s)\socks 代理增加了–intelligent, 智能模式设置, 可以是 intelligent|direct|parent 三者之一, 默认是:intelligent. 每个值的含义如下. --intelligent=direct, 不在 blocked 里面的目标都直连. --intelligent=parent, 不...阅读全文

博文 2018-12-01 09:52:14 Go v6.6 发布 新增智能模式

PostgreSQL 13 正式版发布

PostgreSQL 原生类型。此外,UUID v4 生成函数 gen_random_uuid() 现在无需安装任何扩展即可使用。 PostgreSQL 分区系统更加灵活,因为分区表完全支持辑复制和 BEFORE 行级触发器。 PostgreSQL 13 中的FETCH FIRST语法现已扩展为可包含WITH TIES子句。 指定时,WITH TIES包括基于ORDER BY子句的结果集中最后一行相匹配的任何其他行。 安全性增强 在之前的版本中,新扩展只能由数据库超级用户安装。为了更容易利用 PostgreSQL 的扩展性,PostgreSQL 13 增加了“可信扩展”的概念——允许数据库用户安装超级用户标记为“可信”的扩展。某些内置扩展默认被标记为“可信”,包括pgcrypto, tablefunc和...阅读全文

博文 2020-10-04 20:07:23 debian.cn

Golang 应用集成 Prometheus 统计数据支持

", Help: "web request duration distribution", Buckets: []float64{0.1, 0.3, 0.5, 0.7, 0.9, 1}, }, []string{"method", "endpoint"}, ) func init() { // 注册监控指标 prometheus.MustRegister(WebRequestTotal) prometheus.MustRegister(WebRequestDuration) } 在适当切入点对指标进行记录变更 // 包装 handler function,不侵入业务辑 func Monitor(h http.HandlerFunc) http.HandlerFunc { return func(w...阅读全文

博文 2022-11-24 10:33:09 CSDN博客

为何说微软不会基于Linux内核重构Windows

, Teams, PowerShell, Sysinternals for Linux,以及即将到来的 Edge 浏览器。你想在Azure上运行Ubuntu吗?微软已经为你准备好了,并与Canonical紧密合作,让你获得美妙的体验。 与其关心微软是否基于 Linux 重构 Windows,更有趣的问题是微软在开源上能走多远?我们已经看到了 Windows Terminal, PowerToys 和其他 Windows 组件已经开源。而更合乎辑、符合实际的目标是,微软将会继续开放 Windows 组件和 Windows 开发过程,甚至于会超出 Windows Insider 项目范围,为其他系统提供福利。...阅读全文

博文 2020-10-15 14:59:58 debian.cn

APISIX Ingress 如何使用 Cert Manager 管理证书

Apache APISIX Ingress Controller 是一款以 Apache APISIX 作为数据面的 Kubernetes Ingress Controller 开源工具,目前已经更新到 v1.3 版本,实现了如证书管理、负载均衡、金丝雀发布等功能。 长久以来,证书管理都不是一件简单的事情,虽然 Apache APISIX Ingress Controller 支持从 Kubernetes Secrets 资源中提取证书和私钥,并转换为 Apache APISIX 可识别的 SSL 对象,但这只是整个证书管理链中的一部分,证书的颁发、轮转、吊销辑依然需要管理员执行,尤其当证书数量比较多时,工作量往往并不小,因而会占用管理员不少的时间。 Cert Manager 是一款致力...阅读全文

博文 2023-02-09 07:38:06 中文开源技术交流社区

项目总结报告应该怎么写

意以上统下,中心句可以概括表达下方层级的内容。在结论中如果涉及层级关系时,要注意辑递进,便于理解。比如说老板、经理、职员这三个职位排列时要按照职位的重要程度进行从上到下排列。结论:1)结论的排列顺序遵循先扬后抑,结论内容是正向的放在前面,结论内容是负向时放在后面;2)结论中必须有观点,且观点有数据支撑,表达方式为结论→理由→支撑理由的事实和依据;3)结论中的内容是正向的文字颜色可以标为绿色,内容是负向的文字颜色可以标为红色。6.方案落地执行这部分内容其实是报告发布之后,对报告中的解决方案进行跟踪落实,让我们做的事情有始有终,形成一个闭环。写在最后好的项目总结都是相似的:结构清晰、重点突出、观点明确且有数据支撑,便于快速获取关键信息。愿大家都可以写出一份可以解决实际问题好的项目总结。...阅读全文

Kubernetes 1.7:安全加固、有状态应用更新等

项来向 API 服务器添加自定义业务辑在对象创建的时候进行更改,以及验证策略。 对于联合的集群,引入了基于策略的联合资源放置(Policy-based Federated Resource Placement),处于alpha状态,其基于自定义的要求如规则、定价或者性能。 废弃: 第三方资源(Third Party Resource,TPR)已经被自定义资源定义(Custom Resource Definition,CRD)取代,后者的API更加简洁,并且解决了 TPR beta 测试时出现的问题和边缘场景。鼓励从 TPR 迁移到 CRD,因为Kubernetes 1.9中社区会去掉TRP。 上面就是 Kuberenetes 1.7 关键特性的一部分。完整的列表可以查看发布说明。 采用 感...阅读全文

博文 2021-01-28 17:50:35 debian.cn

Tmux 快速教程:快捷键和配置

辑 复制粘贴缓冲区 安装的话也很简单,在 mac 下直接 brew install tmux(前提需要安装 homebrew),Debian 下则直接 sudo apt-get install tmux 在终端中输入 tmux 就可以打开一个新的 tmux session,tmux 的所有操作必须先使用一个前缀键(默认是 ctrl + b)进入命令模式,或者说进入控制台,就像 vim 中的 esc。 基本操作 信息查询 tmux list-keys 列出所有可以的快捷键和其运行的 tmux 命令 tmux list-commands 列出所有的 tmux 命令及其参数 tmux info 流出所有的 session, window, pane, 运行的进程号,等。 窗口控制 先来看看在...阅读全文

博文 2017-11-07 15:17:49 debian.cn

Python的闭包和装饰器

意,可以形象的把它理解为一个封闭的包裹,这个包裹就是一个函数,当然还有函数内部对应的辑,包裹里面的东西就是自由变量,自由变量可以在随着包裹到处游荡。当然还得有个前提,这个包裹是被创建出来的。 在通过Python的语言介绍一下,一个闭包就是你调用了一个函数A,这个函数A返回了一个函数B给你。这个返回的函数B就叫做闭包。你在调用函数A的时候传递的参数就是自由变量。 举个例子: def func(name): def inner_func(age): print 'name:', name, 'age:', age return inner_func bb = func('the5fire') bb(26) # >>> name: the5fire age: 26 这里面调用func的时候就产生...阅读全文

博文 2014-07-23 17:06:38 debian.cn

kubectl 创建 Pod 背后到底发生了什么?—探寻 Kubectl 创建 Pod 的原理

回给客户端。 原来 apiserver 做了这么多的工作,以前竟然没有发现呢!到目前为止,我们创建的 Deployment 资源已经保存到了 etcd 中,但 apiserver 仍然看不到它。 4. 初始化 在一个资源对象被持久化到数据存储之后,apiserver 还无法完全看到或调度它,在此之前还要执行一系列Initializers。Initializers是一种与资源类型相关联的控制器,它会在资源对外可用之前执行某些辑。如果某个资源类型没有Initializers,就会跳过此初始化步骤立即使资源对外可见。 正如大佬的博客指出的那样,Initializers是一个强大的功能,因为它允许我们执行通用引导操作。例如: 将代理边车容器注入到暴露 80 端口的 Pod 中,或者加上特定的...阅读全文

博文 2022-04-18 16:18:04 CSDN

CCPA vs. GDPR:欧美这两部个人数据保护法有什么差异?

一方面通过具体列举为企业提供了相对明确的判定指引,以试图一定程度上避免交易双方对“个人数据”范围达不成一致的情况,也可以针对诸如面部识别、声纹识别、虹膜识别等新技术领域出现的存在标识属性的个人信息进行更加明确的界定。 当然,CCPA这种列举式定义优劣参半,可能出现“挂一漏万”的情况,需不断根据随着技术发展而新产生的数据类型进行修订。 2. 管辖权原则:GDPR规定复杂覆盖面广,CCPA规定简练聚焦重点 2.1.1 GDPR的管辖权原则——属地+属人+保护性管辖,辑复杂,范围广泛 按照传统的定义,GDPR的管辖原则为 “属地管辖”+“属人管辖”+“保护性管辖”的结合。 (1) 属地管辖:GDPR管辖任何发生在欧盟境内的数据处理行为; (2) 属人管辖:数据控制者和处理者的经营场所...阅读全文

influxdb内存消耗分析及性能优化【探索篇】

开始写入数据之后,在4h+10m之后,会对上个分片进行全量压缩策略 #应用: 本文设置为80小时。目的是不进行full压缩策略,来避免io过多消耗,后面会介绍由于设置的retention policy为72小时,所以此处大于72即可。 compact-full-write-cold-duration = "80h" #描述: 最大并行压缩数,默认会使用golang的辑处理器的一半 #场景: 当进行level1,level2,level3及full策略压缩文件时使用的处理器数量, #当前服务器为16core32物理线程,则会在压缩时默认使用16个处理器 #应用: 本文设置为8。用于减轻压缩策略时,cpu与磁盘io的压力,但相应的会导致压缩周期变长。 max-concurrent...阅读全文

博文 2021-10-27 16:06:30 知乎

案例:Redis命令不当 引起数据库雪崩 造成数百万损失

CPU,由于它是单线程作业所以很容易跑满一个辑CPU,可以使用redis代理或者是分布式方案来提升redis的CPU使用率。 3.存储的Key一定要设置超时时间 如果应用将Redis定位为缓存Cache使用,对于存放的Key一定要设置超时时间!因为若不设置,这些Key会一直占用内存不释放,造成极大的浪费,而且随着时间的推移会导致内存占用越来越大,直到达到服务器内存上限!另外Key的超时长短要根据业务综合评估,而不是越长越好! 4.对于必须要存储的大文本数据一定要压缩后存储 对于大文本【+超过500字节】写入到Redis时,一定要压缩后存储!大文本数据存入Redis,除了带来极大的内存占用外,在访问量高时,很容易就会将网卡流量占满,进而造成整个服务器上的所有服务不可用,并引发雪崩效应,造成各个系...阅读全文

博文 2018-10-27 10:18:18 debian.cn

Debian 9 使用kubeadm创建 k8s 集群(上)

是您将在其中运行所有本地命令的目录。 使用nano或您喜欢的文本编辑器创建名为~/kube-cluster/hosts文件: nano ~/kube-cluster/hosts 将以下文本添加到文件中,该文件将指定有关群集辑结构的信息:〜/ KUBE群集/主机 [masters] master ansible_host=master_ip ansible_user=root [workers] worker1 ansible_host=worker_1_ip ansible_user=root worker2 ansible_host=worker_2_ip ansible_user=root [all:vars] ansible_python_interpreter=/usr/bin...阅读全文

博文 2019-05-13 22:47:39 debian.cn

架构师详解 Nginx 架构

一个待处理事件的列表,使用非阻塞 I/O 方式调用“事件处理器”来处理该请求。其处理方式称为“多路 IO 复用方法”,常见的包括以下三种:select 模型、poll 模型、epoll 模型。 针对上面的技术我特意整理了一下,有很多技术不是靠几句话能讲清楚,所以干脆找朋友录制了一些视频,很多问题其实答案很简单,但是背后的思考和辑不简单,要做到知其然还要知其所以然。如果想学习Java工程化、高性能及分布式、深入浅出。微服务、Spring,MyBatis,Netty源码分析的朋友可以加我的Java进阶群:433540541,群里有阿里大牛直播讲解技术,以及Java大型互联网技术的视频免费分享给大家。 四. Nginx 设计架构 Nginx 服务器使用 master/worker 多进程模式。多...阅读全文

博文 2018-05-01 23:10:47 debian.cn

Intel 为啥要给 ARM 代工

公式就尤为重要了。Intel 希望在介绍工艺节点时要公布辑芯片的晶体管密度、SRAM cell 单元面积等参数,并定下加权系数以便于新标准计算。 原本的 XXnm 制造工艺,一方面是衡量速度,一方面也是集成度。越高工艺的目标是集成度越高,速度越快。但如果只用 XXnm 来衡量制造工艺,其实是有所欠缺的。比如中国大陆的 SMIC 和台积电相比,虽然是同等工艺但要慢不少。加上之前苹果交付三星代工的 14nm 芯片反而不如台积电 16nm 芯片的情况,使 Intel 提出的新公式具有一定依据。 不过,Intel 这个新标准的权威性还有待提升,相关例证也有待补充,而且新标准计算相对复杂,不太容易被大众理解。更关键的是出于商业利益,台积电和三星也不可能去迎合 Intel 的新标准,毕竟台积电和三星已...阅读全文

博文 2021-01-28 17:50:26 debian.cn

深度解密基于 eBPF 的 Kubernetes 问题排查全景图

Label、Namespace 等概念非常适合用来构建上下文信息。3、繁多监测系统,造成监测界面不一致复杂系统带来的一个严重副作用就是监测系统繁多。数据链路不关联、不统一,监测界面体验不一致。很多运维同学或许大多都有过这样的体验:定位问题时浏览器打开几十个窗口,在 Grafana、控制台、日志等各种工具之间来回切换,不仅非常耗时巨大,且大脑能处理的信息有限,问题定位效率低下。如果有统一的可观测性界面,数据和信息得到有效地组织,减少注意力分散和页面切换,来提高问题定位效率,把宝贵时间投入到业务辑的构建上去。二、解决思路与技术方案为了解决上述问题,我们需要使用一种支持多语言,多通信协议的技术,并在产品层面尽可能覆盖软件栈端到端的可观测性需求,通过调研,我们提出一种立足于容器界面和底层操作系统,向上关联...阅读全文

博文 2022-03-21 09:11:51 joseph

深入理解Golang之context

cancelCtx取消时,会将后代节点中所有的cancelCtx都取消,propagateCancel即用来建立当前节点与祖先节点这个取消关联辑。如果parent.Done()返回nil,表明父节点以上的路径上没有可取消的context,不需要处理;如果在context链上找到到cancelCtx类型的祖先节点,则判断这个祖先节点是否已经取消,如果已经取消就取消当前节点;否则将当前节点加入到祖先节点的children列表。否则开启一个协程,监听parent.Done()和child.Done(),一旦parent.Done()返回的channel关闭,即context链中某个祖先节点context被取消,则将当前context也取消。这里或许有个疑问,为什么是祖先节点而不是父节点?这是因为当前...阅读全文

博文 2021-01-27 09:05:27 知乎

粘合万种芯片的“万能胶” 是摩尔定律的续命丹吗? - 硬件

上的延伸。"之前的PCIe解决了电脑系统与周边设备的数据传输问题,UCIe解决的是小芯片和小芯片,封装片上独立模块与模块之间的数据传输问题,如果没有统一的电气信号标准,就不会形成多家企业共同完成系统集成的生态合作,如果没有合作,入局Chiplet的单个企业就很难完成行业发展所需的生态建设。"刘宏钧说到。王宏波也表达了同样的观点,"PC时代,英特尔主导建立的x86体系就有一系列标准,例如:PCIe标准,可以让其他家的产品能够同英特尔的CPU分工协作,x86体系的一系列标准,构建了整个PC时代的硬件体系,到了Chiplet时代,其实是将PC时代建立生态体系的辑缩小复刻到芯片中,Chiplet作为一个芯片组合,也需要靠UCIe标准将不同公司的芯片设计方便的组合在一个芯片中,通过这种方式建立生态并...阅读全文

博文 2022-04-08 07:35:46 cnBeta.COM

WebAssembly:无需容器的 Docker (下)

lib lib64 media mnt opt proc root run sbin srv sys tmp usr var php-aot-wasm 在一个容器中运行 index.js如果我们在 WasmEdge 使用 php-aot-wasm 我们看到一个 wasi/wasm32 平台只有 2 个基础设施环境变量,使用在 containerd 中运行的 WasmEdge shim 预先设置容器中 / 内所有文件和文件夹的列表,明确预打开以供 Wasm 应用程序访问(WasmEdge shim 中的辑的一部分)注意:如果你仔细观察,会发现要从这个镜像运行一个容器,我们必须:通过 --runtime=io.containerd.wasmedge.v1 将命令行参...阅读全文

博文 2023-01-03 06:39:46 spider

Kafka生产问题总结以及性能优化

--num-records 1000000 --record-size 1024 --throughput -1 --producer-props bootstrap.servers=192.168.65.60:9092 acks=1 网络上很多资料都说分区数越多吞吐量越高 , 但从压测结果来看,分区数到达某个值吞吐量反而开始下降,实际上很多事情都会有一个临界值,当超过这个临界值之后,很多原本符合既定辑的走向又会变得不同。一般情况分区数跟集群机器数量相当就差不多了。 当然吞吐量的数值和走势还会和磁盘、文件系统、 I/O调度策略等因素相关。 注意:如果分区数设置过大,比如设置10000,可能会设置不成功,后台会报错"java.io.IOException : Too many open files...阅读全文

博文 2023-01-05 23:16:48 CSDN博客

协议介绍之深入了解 gRPC

发显得捉紧见拙,我们急需另一套更好的协议来构建我们的服务,于是就有了 HTTP/2。 HTTP/2 是一个二进制协议,这也就意味着它的可读性几乎为 0,但幸运的是,我们还是有很多工具,譬如 Wireshark, 能够将其解析出来。 在了解 HTTP/2 之前,需要知道一些通用术语: Stream: 一个双向流,一条连接可以有多个 streams。 Message: 也就是辑上面的 request,response。 Frame::数据传输的最小单位。每个 Frame 都属于一个特定的 stream 或者整个连接。一个 message 可能有多个 frame 组成。 Frame Format Frame 是 HTTP/2 里面最小的数据传输单位,一个 Frame 定义如下(直接从官网...阅读全文

博文 2017-06-22 11:08:48 debian.cn

journalctl 清理journal日志 - 九重霄

下面的辑来覆盖默认设置: 主配置文件最先被读取, 优先级也最低。 所有 *.conf.d/ 中的配置文件 都会覆盖主配置文件中的设置。 所有 *.conf.d/ 中的配置文件(无论位于哪个目录中), 统一按照文件名的字典顺序处理。 当多个配置文件都设置了同一个选项的时候: (1)如果该选项仅接受一个单一值,那么仅以文件名最靠后(字典顺序)的那一个为准; (2)如果该选项可接受一个值列表,那么将会按照文件名的字典顺序将所有值列表拼接起来。 为了便于排序, 建议给所有 *.conf.d/ 中的配置文件 都加上两位十进制数字的文件名前缀。 如果系统管理员想要屏蔽 /usr/lib/ 目录中的某个配置文件, 那么最佳做法是在 /etc/ 目录中 创建一个指向 /dev/null 的同名符号链接...阅读全文

博文 2021-02-05 15:43:28 博客园

分布式运行时 Dapr 知多少

bindings and triggers (资源绑定及事件触发) Dapr的Bindings与Azure Functions很类似,其是建立在事件驱动架构的基础之上的。通过建立触发器与资源的绑定,可以从任何外部源(例如数据库,队列,文件系统等)接收和发送事件,而无需借助消息队列,即可实现灵活的业务场景。Dapr的Bindings分为两种: Input Bindings(输入绑定):当外部资源的事件发生时,借助输入绑定,你的应用即可通过特定的API:POST http://localhost:/收到外部资源的事件,用于处理特定辑。Output Bindings(输出绑定):输出绑定允许你调用外部资源。比如,在订单处理场景中,在订单创建成功后,可以将订单信息通过Dapr的绑定...阅读全文

译:Kubernetes 最佳实践

束使用 Deployment、DaemonSet、ReplicaSet 或者 StatefulSet 跨节点部署 Pod使用多节点使用基于角色的访问控制(RBAC)在外部托管Kubernetes集群(使用云服务)升级Kubernetes版本监控集群资源和审计策略日志使用版本控制系统使用基于Git的工作流程(GitOps)缩小容器的大小用标签整理对象(译者注:或理解为资源)使用网络策略使用防火墙使用命名空间K8s 中的命名空间对于组织对象、在集群中创建辑分区以及安全方面的考虑至关重要。 默认情况下,K8s 集群中有 3 个命名空间,default、kube-public 和 kube-system。RBAC 可用于控制对特定命名空间的访问,以限制组的访问以控制可能发生的任何错误的爆炸半径,例...阅读全文

博文 2022-09-13 19:32:21 atbug.com

Docker 核心原理

/ee43bb16af9947ed9e8498ad42c859318e001365043e4cda410f68b4a0d79378# cat memory.limit_in_bytes 104857600 文件驱动 Docker 中的每一个镜像都是由一系列只读的层组成的,Dockerfile 中的每一个命令都会在已有的只读层上创建一个新的层。当镜像被 docker run 命令创建时就会在镜像的最上层添加一个可写的层,也就是容器层,所有对于运行时容器的修改其实都是对这个容器读写层的修改。容器和镜像的区别就在于,所有的镜像都是只读的,而每一个容器其实等于镜像加上一个可读写的层,也就是同一个镜像可以对应多个容器。 这种分层的辑是什么呢? 这就是docker 里文件驱动的职责,负责镜像和容器的文件系统组织。 目前 docker 默认的文件驱动是 overlay2, 它是基于 Linux OverlayFS 的,下面这张图...阅读全文

博文 2021-02-25 09:14:23 lxkaka

最全的 DevOps 工具集合

它身上可以找到 Screw.Unit、JSSpec、JSpec 和 RSpec 等诸多单元测试框架的影子。 Cucumber Cucumber 是一种支持行为驱动开发的软件工具。 Cucumber BDD 方法的核心是一种称为 Gherkin 的普通语言解析器。它能用客户可以理解的辑语言来指定预期的软件行为。 持续集成和部署(CI/CD) CI 工具的存在是为了快速反馈和减少缺陷、等待。目前业务比较常用的 CI 工具包括 Jenkins、CircleCI、Travis CI、Concourse、AWS CodePipeline 和 Azure Pipelines。 Jenkins Jenkins 是一个免费的开源自动化服务器。Jenkins 可用来自动化软件开发过程中非人类参与的工作,基于...阅读全文

博文 2021-05-26 14:35:21 博客园

7大维度看国外企业为啥选择gRPC打造高性能微服务

括Java,Ruby,Go和Node。框架是否为现有的语言选择提供了一流的支持,同时提供了用其他语言编写新服务的选项? 代码量 - 框架应该有助于降低工程成本。企业需要编写和维护多少代码才能使其工作?与业务辑相比,这是多少样板代码? 安全 - 所有的内部通信都应该被认证和加密。我们需要能够使用所有通信的SSL / TLS(或等价物)。 设计上的考虑,并非都与技术有关 服务API是最重要的接口之一,因为在开发过程中对设置服务期望至关重要。解决服务API的设计是一项艰巨的任务,当不同的团队负责所涉及的不同服务时,该任务会被放大。最大限度地减少由于预期不匹配而浪费的时间和精力,与缩短编码时间一样有价值。由于Bugsnag拥有跨地区的工程团队,因此沟通时间有限。必须通过简化沟通,确保事情不用那么多...阅读全文

博文 2018-03-19 17:51:32 debian.cn

Apollo 配置中心简单介绍

试为了简化部署,我们实际上会把Config Service、Eureka和Meta Server三个辑角色部署在同一个JVM进程中 4.5.1 Why Eureka 为什么我们采用Eureka作为服务注册中心,而不是使用传统的zk、etcd呢?我大致总结了一下,有以下几方面的原因: 它提供了完整的Service Registry和Service Discovery实现 首先是提供了完整的实现,并且也经受住了Netflix自己的生产环境考验,相对使用起来会比较省心。和Spring Cloud无缝集成 我们的项目本身就使用了Spring Cloud和Spring Boot,同时Spring Cloud还有一套非常完善的开源代码来整合Eureka,所以使用起来非常方便。另外,Eureka还支持在...阅读全文

博文 2021-04-09 17:53:51 CSDN

Kafka 3.0新特性全面曝光,真香!

发送消息的客户端。 consumer:消息消费者,就是从broker拉取数据的客户端。consumer group:消费者组,由多个消费者consumer组成。消费者组内每个消费者负责消费不同的分区,一个分区只能由同一个消费者组内的一个消费者消费;消费者组之间相互独立,互不影响。所有的消费者都属于某个消费者组,即消费者组是一个辑上的订阅者。broker:一台服务器就是一个broker,一个集群由多个broker组成,一个broker可以有多个topic。topic:可以理解为一个队列,所有的生产者和消费者都是面向topic的。partition:分区,kafka中的topic为了提高拓展性和实现高可用而将它分布到不同的broker中,一个topic可以分为多个partition,每个...阅读全文

博文 2022-04-28 16:02:11 mp.weixin.qq.com

六大算法之三:动态规划【转载】

(int j=0;j<=i;j++){ temp[j] = Math.max(temp[j], temp[j+1])+n[i][j]; } } return temp[0]; } 从下往上看跟从上往下看相比,虽然辑较为简单,但是从下往上看时需要得到完整的数字塔之后才能开始计算,而从上往下看时可以随着数字塔的深入来计算,也可以返回任意一层的结果,是最好的方法。 5、两个字符串最大公共子序列 比如字符串1:BDCABA;字符串2:ABCBDAB,则这两个字符串的最长公共子序列长度为4,最长公共子序列是:BCBA 具体思想:设 X=(x1,x2,.....xn)和 Y={y1,y2,.....ym} 是两个序列,将 X 和 Y 的最长公共子序列记为LCS(X,Y),如果 xn=ym,即X的最后一个元素...阅读全文

博文 2021-07-31 07:18:53 CSDN博客