InfraPub 为您找到相关结果 710

分布式任务调度平台 XXL

XXL-JOB是一个轻量级分布式平台,其核心设计目标是开发迅速、学习简单、轻量级、易扩展。现已开放源代码并接入多家公司线上产品线,开箱即用。 v2.0.0 Release Notes 1、中心迁移到 springboot ; 2、底层通讯组件迁移至 xxl-rpc ; 3、容器化:提供官方 docker 镜像,并实时更新推送 dockerhub(docker pull xuxueli/xxl-job-admin),进一步实现产品开箱即用; 4、新增无框架执行器 Sample 示例项目 “xxl-job-executor-sample-frameless”。不依赖第三方框架,只需 main 方法即可启动运行执行器; 5、命令行:原生提供通用命令行 Handler(Bean...阅读全文

博文 2018-11-05 21:47:15 JOB 2.0.0 发布

Apache Flink 1.14 新特性预览 - OSCHINA

们可以把它看成一个有限的数据流去做处理,也可以把它看成批的执行模式。批的执行模式虽然也有 eventTime,但是对于 watermark 来说只支持正无穷。对数据和 state 排序后,它在和 shuffle 上会有更多的选择。 流批的执行模式是有区别的,最主要的就是批的执行模式会有落盘的中间过程,只有当前面执行完成,下游的才会触发,这个容错机制是通过 shuffle 进行容错的。 这 2 者也各有各的执行优势: 对于流的执行模式来说,它没有落盘的压力,同时容错是基于数据的分段,通过不断对数据进行打点 Checkpoint 去保证断点恢复; 然而在批处理上,因为要经过 shuffle 落盘,所以对磁盘会有压力。但是因为数据是经过排序的,所以对于批来说,后续的计算效率可能会...阅读全文

博文 2021-09-05 07:26:58 中文开源技术交流社区

Kong发布新项目Kuma 通用的服务网格

追踪和日志功能,以此为快速试提供监控数据支持。精细的路由和控制 :Kuma 提供细粒的流量控制功能,支持四层路由的熔断和健康检查。 Kuma 由 Kong 开发并提供支持,通过简化服间的通信,以实现使数据随时随地可用的愿景。Kuma 的开发基于 150 余个企业在生产环境中使用服网格的积累的经验。在未来 Kong 也会继续向 Envoy 贡献代码。 阅读 入门指南 了解 Kuma 服网格的使用方法。...阅读全文

最全的 DevOps 工具集合

市场的最简单途径。 容器程序 容器程序的主要是在最合适的主机上启动容器,并将它们连接起来。它必须具备自动故障转移能力,并且在数据太多,单个实例无法处理 / 计算时扩展容器。 三种最受欢迎的容器程序分别是 Docker Swarm、Apache Mesos 和 Kubernetes。 Docker Swarm DockerSwarm 是 Docker 开发的容器程序。由 Docker 开发的这个集群解决方案提供了很多优势,比如说它使用了标准的 Docker API。Swarm 的架构由两大元素组成: Docker Swarm 架构,©Alexandre Beslic(DockerInc.) Apache Mesos 和 Mesosphere Marathon Mesos 的...阅读全文

博文 2021-05-26 14:35:21 博客园

三星谈论下一代DRAM解决方案:GDDR7、DDR5、LPDDR5X和V-NAND

访问购买页面: SAMSUNG - 三星旗舰店 今年的活动有800多名客户和合作伙伴参加,三星的内存和系统LSI业领导人--包括内存业总裁兼负责人Jung-bae Lee、系统LSI业总裁兼负责人Yong-In Park和执行副总裁兼设备解决方案(DS)美洲办事处负责人Jaeheon Jeong,一同就公司的最新进展和未来愿景发表了演讲。系统LSI业亮点在今年技术日的上午会议上,系统LSI业了其目标,即通过最大限地发挥其独特和广泛的产品系列之间的协同作用,成为一个"整体解决方案无工厂"。作为三星电子的无晶圆厂IC设计公司,系统LSI业目前提供约900种产品,其中包括SoC(片上系统)、图像传感器、制解器、显示驱动IC(DDI)、电源管理IC(PMIC)和安全解决方案...阅读全文

深入理解Golang之context

Server、Connection、Request,不仅将上游的信息共享给下游,同时实现了上游可发送取消信号取消所有下游,而下游自行取消不会影响上游。总结context主要用于父子之间的同步取消信号,本质上是一种协程的方式。另外在使用context时有两点值得注意:上游仅仅使用context通知下游不再需要,但不会直接干涉和中断下游的执行,由下游自行决定后续的处理操作,也就是说context的取消操作是无侵入的;context是线程安全的,因为context本身是不可变的(immutable),因此可以放心地在多个协程中传递使用。参考资料1、Package context2、Go Concurrency Patterns: Context3...阅读全文

博文 2021-01-27 09:05:27 知乎

7大维度看国外企业为啥选择gRPC打造高性能微服务

间通信会花费大量时间,从后勤和财看这很不切实际。花时间从一开始就考虑正确的框架,可以省去很多未来的浪费。 我们花了大量的时间来制定评估标准和研究、选择。Bugsnag到底长什么样子呢? 技术标准 在研究可用选项时,使用了一些特定的标准来评估。要考虑的事情是基于微服架构的最有效的方法。主要目标是自由地使用通信,消除通信的复杂性,了解每项服的责所在。其中的一些技术问题是: 速 - 对于大量的请求/响应API用,需要将用本身的延迟作为性能和用户响应速的最小因素。延迟的主要组成部分是连接成本,传输成本和消息编码/解码时间。 基础架构兼容性 - 框架在基础架构中扮演的角色如何?主要是关于负载平衡和自动扩展?我们使用托管在Google云端平台上的Kubernetes服,因此需要框...阅读全文

博文 2018-03-19 17:51:32 debian.cn

Kubernetes源码探疑:Pod IP泄露排查及解决方法

和流程。 kubelet是kubernetes集群中Node节点的工作进程。当一个Pod被kube-sheduler成功到Node节点上后, kubelet负责将这个Pod创建出来,并把它所定义的各个容器启动起来。kubelet也是按照控制器模式工作的,它的工作核心是一个控制循环,源码中称之为syncLoop,这个循环关注并处理以下事件: Pod更新事件,源自API Server;Pod生命周期(PLEG)变化, 源自Pod本身容器状态变化, 例如容器的创建,开始运行,和结束运行;kubelet本身设置的周期同步(Sync);Pod存活探测(LivenessProbe)失败事件;定时的清理事件(HouseKeeping)。 在上文描述的CronJob中, 每次运行Job都会创...阅读全文

2022年云原生服务网格展露的五大趋势

性能问题。四是 无 Sidecar 模式的服网格可供选择。Istio 推出了 Ambient 部署模式,这是一种新的 Istio 数据平面模式,旨在简化操作、扩大应用兼容性并降低基础设施成本。用户可以选择将 Ambient Mesh 集成到其基础设施的网格数据平面,放弃 sidecar 代理,同时保持 Istio 的零信安全、遥测和流量管理等核心功能。五是 WebAssembly 崛起。WebAssembly 正在发展成为云原生环境中跨平台、多语言的沙箱环境,甚至可以替代容器运行时,在 Kubernetes 中编排。 WasmEdge、KubeEdge、Istio 等项目可以从控制平面无缝编排 Wasm 工作负载。...阅读全文

Icinga Web2 v2.7.0 发布 轻量级和可扩展的 web 接口

卡 Stay Focused —— 为更重要的事情留出更多的空间 有些人知道,有些检查往往会产生大量的文本或量 (也) 许多接口。现在,插件输出和性能数据将崩溃,如果它们超过一定的高。如果有必要,当然可以扩展它们,并在浏览器重新启动时保持这种方式。 持久可折叠容器可折叠插件输出侧边栏应保持塌陷状态 Markdown —— 表格、列表和强文本的简单方法 由于现在有可能动态地折叠大型内容,所以允许您将整个 wiki 页面添加到主机和服中。不过,如果您更喜欢使用真正的 wiki 来维护这些,现在链接到它比以往何时候都容易。复制 url、粘贴 url、提交评论、完成。 notes、 comments 和 announcements将注释中的何 URL 转换为可单击链接支持插件输出中的相关...阅读全文

博文 2019-08-06 12:18:01 debian.cn

2016 年 Go 语言使用习惯调查

Go 语言官方博客公布了 2016 年 Go 语言使用查。在 3,595 名被查者中,89% 称他们在工作中或工作之外用 Go 编程;63% 称他们的工作是 Web 开发,但只有 9% 的人只从事 Web 开发,一半以上被查者的工作涉及三个以上领域;63% 的人用 Go 开发命令行程序,60% 写 API 或 RPC 服,52% 写 Web 服。 被查者对 Go 的满意非常高(这显然与被查者这一群体高相关),他们主要在 Linux 上进行开发,其次是 MacOS,第三是 Windows;最爱的编辑器是 Vim,其次是 VSCode、Atom、IntelliJ、Sublime Text 和 Emacs;大部分人主要通过 Stack Overflow 寻找 Go 相关问题的答...阅读全文

博文 2021-01-28 17:50:23 debian.cn

SourceForge 大改版:全新的 Logo 和界面

近日,我们发现曾是全球最大开源软件开发平台和仓库的 SourceForge 对其界面进行了全新的改版。话不多说,上改版后的效果图: 可以看到,本次的改版力还是相当大的,新版的界面显得更现代化和扁平化,配色较旧版本的沉稳和低,显得更年轻更张扬,而且主色也由之前的灰色变成了现在的橙色。此外,我们还发现 SourceForge 的 Logo 也改变了。 SourceForge 也对本次的改版进行了一些总结。我们都知道它已在 2016 年被收购,新的 SourceForge 团队一直在努力改进每个方面,最值得关注的的莫过于从项目中删除了捆绑的推广软件和对广告的处理,想当年这可是导致它很长一段时间内“恶名昭著”。 下面继续介绍官方的总结: 从项目中删除了捆绑的广告软件 为...阅读全文

博文 2018-01-12 13:17:41 debian.cn

Wine 3.0发布:支持Android图形驱动、Direct3D 11、AES加密

2018 年伊始,Wine(Wine Is Not an Emulator) 项目发布了年更新,释出了最新的 3.0 稳定版本。 Wine 是一个在 Linux 和 Unix 类操作系统上运行 Windows 应用及游戏的开源兼容层。 经过近一年的开发,Wine 3.0 发布了许多神奇的功能,如 Android 图形驱动可以使用户在基于 Android 的机器上运行 Windows 应用和游戏,对 AMD Radeon 和 Intel GPU 默认启用 Direct3D 11 支持,在 macOS 上支持 AES 加密支持,程序管理器的 DDE 支持以及器。 此外,Wine 3.0 通过 reg.exe 引入了输出注册表项的功能,对中继试和 OLE 数据缓存增加了各种增强,以及...阅读全文

博文 2018-01-23 11:22:34 debian.cn

Kubernetes调度算法浅析

在真正的生产环境中,如何合理的分配服器资源、提高利用率、让整个集群运行的更加稳定使得 k8s-scheduler 这个角色在集群中的地位愈发重要。 kube-scheduler的预选(过滤)和精选(打分) api-server会将创建pod的请求发送给kube-scheduler,并且将pod信息记录在etcd数据库中。之后kube-scheduler会根据预选(过滤)规则,首先过滤掉一部分node节点中的pod,没有被过滤掉的pod可以看做是可以被的pod,之后再通过更加严格的规则给剩下的pod打分,这一步也叫作优选。打分最高的pod可以看做被优先分配到pod流程简介 创建pod的命令被api-server的api接口接收到。api-server将pod信息存储在...阅读全文

博文 2020-12-20 11:01:10 debian.cn

得物云原生全链路追踪Trace2.0-采集篇 - OSCHINA

误数:如 HTTP 500 错误。当然,有些即便是 HTTP 200 状态也需要根据特定业逻辑来区分当前请求是否属于“错误”请求。 饱和:类似服器硬件资源如CPU,内存,网络的使用率等等。 所以,我们决定使用 Micrometer 库来对各个组件进行吞吐量,延迟和错误率的埋点,从而对 DB 类,RPC类的组件做性能监控。因此也可以说,我们第二阶段的监控是以指标监控为主,用链监控为辅的应用性能监控。 3.1 使用 Endpoint 贯穿指标埋点帮助性能分析 在指标埋点过程中,我们在所有的指标中引入了“流量入口(Endpoint)”标签。这个标签的引入,实现了根据不同流量入口来区分关联 DB,缓存,消息队列,远程用类的行为。通过流量入口,贯穿了一个实例的所有组件指标,基本满足了以下场景...阅读全文

博文 2022-12-10 06:50:41 中文开源技术交流社区

谷歌元老施密特隐退:传奇落幕 新篇开启

程技术平台。而到了 Novell 之后用了不到三年就使这家公司扭亏为盈,最后的亏损其实很大程上需要归结为微软的打压和互联网泡沫的破裂,那次失败真不是施密特能控制的。所以 Novell 公司在他担谷歌 CEO 之后依然为他保留了董事会主席席位,以示尊重。 施密特的地位堪比二位创始人 谷歌由佩奇和布林创立于1998年,但是直到2001年施密特担 CEO,谷歌依然只是一个技术还不错,但是完全没办法赚钱的小公司,施密特本人就曾直言:“他们在各个方面的看法,都与我不尽相同。让人搞不清他们的思路究竟是令人耳目一新的远见,还是单纯天真。” 而施密特的加入,正好为两位创始人天马行空的设想打下了良好的基础——钱。施密特发现了搜索业和广告之间的高关联性,并由此创造了搜索广告这一革命性的盈利模式,直到现...阅读全文

博文 2017-12-24 09:18:44 debian.cn

译:零信任对 Kubernetes 意味着什么

外指定的某种形式的策略来捕获它。拥有明确的策略允许我们在不修改应用程序代码的情况下审核和更改访问权限。为了实现我们的零信目标,这些策略可能非常复杂。我们可能有一个策略,它将对服的访问限制为只有那些需要访问它的服用方(即,在双方都使用工作负载身份)。我们可能会进一步细化,只允许访问该服上的某些接口(HTTP 路由、gRPC 方法)。更进一步,根据请求的用户身份限制访问。在所有情况下,目标都是最低权限——只有在非常必要时才能访问系统和数据。执行最后,零信要求我们在最细粒的级别上同时执行身份验证(确认身份)和授权(验证策略是否允许该操作)。每个授予数据或计算访问权限的系统都应该设置从外围到单个组件的安全边界。与策略类似,这种执行理想情况下是在整个堆栈中统一完成的。不是每个组件都使用自...阅读全文

细数k8s支持的4种类型的container - 侃豺小哥

以进行故障排除的二进制文件和工具。这就决定了该容器有助于提供安全可靠的运行时环境,但也很难在问题发生时进行试。 在这种情况下,临时容器发挥作用。它们实现了试容器附加到主进程的功能,然后你可以用于何类型的问题。试容器可以基于何镜像,因此可以根据您的需求进行定制。您可以构建自己的试镜像,其中包含特殊的试二进制文件或仅包含curl,OpenSSL和MongoDB客户端之类的工具。但是,您也可以选择Linux发行版(如Ubuntu)或仅运行Busybox镜像,这两个镜像都已经包含了许多有用的工具。 如何使用临时容器? 临时容器是alpha功能,因此默认情况下处于禁用状态。您将需要激活以下功能门才能使用它们: 临时容器 PodShareProcessNamespace(v1.16中的...阅读全文

博文 2021-08-20 11:45:32 博客园

技术部门的 SEO 规范

为客户提供SEO顾问服的时候,经常遇到一些作为外部顾问不方便全程参与的情况。比如有的公司要新建网站,或者现有网站推到重来,问我能否从一开始就参与,提供SEO建议。 网站规划设计阶段就考虑SEO当然是好事,但作为一个远在异国的顾问,参与到这种需要大量深讨论、沟通、协的过程中,实在是不好操作,内部SEO人员更适合这种工作。 有的客户公司规模比较大,技术开发、内容、SEO等各部门是分开的,SEO部门的很多需求是要提交给技术、运营等部门实施的。反过来,其它部门的需求也由技术部门实施,但可就不一定经过SEO部门同意了。这个过程中就可能产生对SEO的不良影响。 也有的公司人员流动频繁,即使原先的开发人员都经过SEO培训,也还是会有完全不了解SEO的新人加入团队。 这些情况都需要有一个技术部门必须...阅读全文

博文 2019-03-28 13:58:51 debian.cn

译:Kubernetes 最佳实践

内存限制,则该进程将终止,因此在所有情况下都可能不适合设置此值。如果容器超过 CPU 限制,则进程会受到限制。使用 Deployment、DaemonSet、ReplicaSet 或者 StatefulSet 跨节点部署 Pod永远不应该直接使用 Pod 运行。相反,为了提高容错性,Pod 应该始终作为 Deployment、DaemonSet、ReplicaSet 或 StatefulSet 的一部分。然后可以在部署中使用反亲和性规则跨节点部署 pod,以避免所有 pod 到同一个节点上运行,如果该节点发生故障可能会导致服停止。使用多节点如果想提升容错性,在单个节点上运行 K8s 并不是一个好主意。集群中应该使用多个节点,以便可以在它们之间分散工作负载。使用基于角色的访问控制...阅读全文

博文 2022-09-13 19:32:21 atbug.com

深度解密基于 eBPF 的 Kubernetes 问题排查全景图

一、当 Kubernetes 成为云原生事实标准,可观测性挑战随之而来当前,云原生技术以容器技术为基础,通过标准可扩展的、网络、存储、容器运行时接口来提供基础设施。同时,通过标准可扩展的声明式资源和控制器来提供运维能力,两层标准化推动了开发与运维关注点分离,各领域进一步提升规模化和专业化,达到成本、效率、稳定性的全面优化。在这样的大技术背景下,越来越多的公司引入了云原生技术来开发、运维业应用。正因为云原生技术带来了越发纷繁复杂的可能性,业应用出现了微服众多、多语言开发、多通信协议的鲜明特征。同时,云原生技术本身将复杂下移,给可观测性带来了更多挑战:​1、混沌的微服架构,多语言和多网络协议混杂业架构因为分工问题,容易出现服数量多,用协议和关系非常复杂的现象,导致的常见问题...阅读全文

博文 2022-03-21 09:11:51 joseph

kubectl 创建 Pod 背后到底发生了什么?—探寻 Kubectl 创建 Pod 的原理

者,这些授权者将针对每个传入的请求进行授权。如果所有授权者都拒绝该请求,则该请求会被禁止响应并且不会再继续响应。如果某个授权者批准了该请求,则请求继续。 kube-apiserver 目前支持以下几种授权方法: webhook: 它与集群外的 HTTP(S) 服交互。ABAC: 它执行静态文件中定义的策略。RBAC: 它使用 rbac.authorization.k8s.io API Group实现授权决策,允许管理员通过 Kubernetes API 动态配置策略。Node: 它确保 kubelet 只能访问自己节点上的资源。 准入控制 突破了之前所说的认证和授权两道关口之后,客户端的用请求就能够得到 API Server 的真正响应了吗?答案是:不能! 从 kube...阅读全文

博文 2022-04-18 16:18:04 CSDN

一位资深Java架构师的晋级心得

Java 架构师是什么?是一个既需要掌控整体又需要洞悉局部瓶颈并依据具体的业场景给出解决方案的团队领导型人物。一个架构师得需要足够的想像力,能把各种目标需求进行不同维的扩展,为目标客户提供更为全面的需求清单。 所谓架构师,思考的是全局的东西,是如何组织你的系统,以达到业要求,性能要求,具备可扩展性(scalability),可拓展性(extendability),前后兼容性等。可能涉及到的东西包括了从硬件到软件的方方面面。 架构师在软件开发的整个过程中起着很重要的作用。 架构师的主要不是从事具体的软件程序的编写,而是从事更高层次的开发构架工作。他必须对开发技术非常了解,并且需要有良好的组织管理能力。可以这样说,一个架构师工作的好坏决定了整个软件开发项目的成败。 在成为Java架构...阅读全文

博文 2019-01-13 22:49:22 debian.cn

三位候选人正进行 2022 Debian 项目负责人选举

2022 Debian 项目负责人选举已开启,本次选举的流程和以往一样,有三位候选人:Felix Lechner、Hideki Yamane 和现 Debian 负责人 Jonathan Carter ,三人分别以一个页面进行自我介绍,并等待社区开发者为其进行不记名投票。​下面来介绍一下三位候选人。Felix Lechner同时受新时代思想以及古老宗教的启发,拥有扎实的理论基础,试图让 Debian 重新焕发活力。现担美国加州的图书馆馆长(公员),妻子来自中国,最好的朋友来自印。Debian 贡献Debian 商标团队的一员,努力保护 Debian 的品牌;设计了 Debian 的密钥到期提醒功能;共同维护 了 Lintian (Debian 软件包追踪工具)及其网站;维护...阅读全文

亚马逊12个月免费云服务

热线、在线聊天支持。作为全球云服的龙头企业,亚马逊云计算拥有最广泛的全球云计算基础设施,全球节点丰富,为网站的快速稳定访问提供基础设施保障。配合亚马逊全球CDN节点,能满足不同国家独立站访问速需求。1.什么是云服器?云计算服器(也称云服器或云主机)是云计算服系统中的主机产品,有效解决了传统物理主机中管理难大、业扩展性弱的缺陷。在实际应用中,云主机具有三个方面的灵活性:主机服配置和业规模可根据用户需求配置,可灵活整。用户申请的主机服可以快速供应和部署(实时在线开通),实现集群内灵活可扩展的收费模式,用户无需支付押金,有多种支付模式供用户选择。2.云服器适合什么样的用户?关注主机服性价比的用户;需要快速实现分布式部署的用户;需要灵活扩展业的用户;对系统高可用性和快速...阅读全文

Web前端知识体系精简

程会形成一个全局执行环境,执行环境采用栈的方式将待执行按顺序依次来执行。 但在浏览器中有一些是非常耗时的,比如http请求、定时器、事件回等,为了保证其他的执行效率不被影响,JS在执行环境中维护了一个异步队列(也叫工作线程),并将这些放入队列中进行等待,这些的执行时机并不确定,只有当主线程的执行完成以后,才会去检查异步队列中的是否需要开始执行。这就是为什么setTimeout(fn,0) 始终要等到最后执行的原因。关于单线程和异步队列问题请参考:setTimeout(0) 7、异步通讯 Ajax技术 Ajax是浏览器专门用来和服器进行交互的异步通讯技术,其核心对象是XMLHttpRequest,通过该对象可以创建一个Ajax请求。为了防止XSS攻击,浏览器对...阅读全文

博文 2021-01-28 17:50:33 debian.cn

Zoom 5.0是重大更新 增强加密功能提供更多安全选项

。 Zoom 升级到 AES 256 位 GCM 加密标准,为会议数据提供了更多的保护和防篡改功能。这为 Zoom 会议、Zoom 视频网络会议和 Zoom 电话数据的保密性和完整性提供了保障。Zoom 5.0 将于本周内发布,支持 GCM 加密,一旦所有账户启用 GCM,该标准将生效。 现在通过点击界面会议菜单栏中的安全图标,就可以找到Zoom的安全功能。会议密码是现有的 Zoom 功能,Zoom 5.0 对大多数客户,包括所有基本版、单授权专业版和 K-12 客户,都默认开启了会议密码。对于管理账户,账户管理员现在可以定义密码复杂(如长、字母数字和特殊字符要求)。此外,Zoom Phone 管理员现在可以整访问语音信箱所需的密码长。 另外,Zoom 5.0 将为大型企业提供新的数据结构,允...阅读全文

博文 2020-04-23 07:54:44 debian.cn

你应该选择Cinnamon作为Linux桌面环境的十个理由

Cinnamon 桌面 Cinnamon目前的最新版本为3.2。Cinnamon可用于多种发行版,其中包括Debian、Arch、Gentoo、Mint、Fedora以及OpenSUSE等。 使用Cinnamon的理由 1. 集成。桌面的选择与应用可用性并无关联。事实上,我所用过的何应用都能够在意桌面环境中运行良好,Cinnamon自然也不例外。不过,Cinnamon确实能够为各类面向KDE与GNOME乃至何其他桌面编写的应用提供全部必要库,且带来良好的无缝化体验。 2. 外观。Cinnamon拥有清晰、简洁的外观设计,且字体与颜色组合适于阅读。大家可以通过System Settings -> Desktop菜单轻松完成图标显示设置,也能够借此指定桌面图标应该仅显示在主显示器上、副显示器上或者同时...阅读全文

博文 2021-01-28 17:50:21 debian.cn

运维的未来:云服务兴起,运维人员会“下岗”吗?

本文作者 Tyler Treat 是一名软件工程师,他认为运维的未来从很多方面来说都跟质量保证(QA)的未来走向相似。未来,运维要使开发者能够通过工具、自动化和流程实现自助服。传统的运维( Ops)没有消失,只是在重组。 云服的发展看起来让运维人员“丢”了工作,因为从传统意义上说,从本地(on-premise)转移到云平台意味着运维工作在相当大程上外包给云提供商。这正应了那个流行词—— “无运维运动”(NoOps),许多人称之为 DevOps 的“继承者”,虽然这个词最近这些日子已经不是那么响亮了。这使得 Amazon 和开发团队创建的产品——包括基础设施自动化,部署自动化,配置管理,日志管理以及监控和检测——之间出现了隔膜,隔膜虽小,但却至关重要。 事实上,运维的未来从很多方面来说...阅读全文

博文 2021-01-28 17:50:31 debian.cn

下一代时间同步服务 Chrony 详解

Chrony 是一个多功能的 NTP (Network Time Protocol) 实现,类 Unix 系统上 NTP 客户端和服器的替代品。它可以通过 NTP 服或者类似 GPS 时钟接收器的硬件级参考时钟来同步系统时钟,具有更好的时钟准确,并且对于那些间歇性互联网连接的系统很有帮助。Chrony 是免费开源的,并且支持 GNU/Linux 和 BSD 衍生版、Solaris 等。 Chrony 有两个核心程序:一个是 chronyd 守护进程,主要用于整内核中运行的系统时间和时间服器同步。它确定计算机增减时间的比率,并对此进行整补偿。另一个是 chronyc,它提供一个用户界面,用于监控性能并进行多样化的配置。chronyc 可以在 chronyd 实例控制的计算机上工作...阅读全文

博文 2021-01-04 08:41:14 debian.cn

HAProxy用法详解 最详细中文文档

一、HAProxy简介 (1)HAProxy 是一款提供高可用性、负载均衡以及基于TCP(第四层)和HTTP(第七层)应用的代理软件,支持虚拟主机,它是免费、快速并且可靠的一种解决方案。 HAProxy特别适用于那些负载特大的web站点,这些站点通常又需要会话保持或七层处理。HAProxy运行在时下的硬件上,完全可以支持数以万计的 并发连接。并且它的运行模式使得它可以很简单安全的整合进您当前的架构中, 同时可以保护你的web服器不被暴露到网络上。 (2)HAProxy 实现了一种事件驱动、单一进程模型,此模型支持非常大的并发连接数。多进程或多线程模型受内存限制 、系统器限制以及无处不在的锁限制,很少能处理数千并发连接。事件驱动模型因为在有更好的资源和时间管理的用户端(User...阅读全文

博文 2014-05-10 17:14:46 debian.cn

架构师详解 Nginx 架构

主进程(master process)生成一个子进程(worker process)出来和客户端建立连接进行交互,直到连接断开,该子进程就结束了。使用进程的好处是各个进程之间相互独立,不需要加锁,减少了使用锁对性能造成影响,同时降低编程的复杂,降低开发成本。其次,采用独立的进程,可以让进程互相之间不会影响,如果一个进程发生异常退出时,其它进程正常工作,master 进程则很快启动新的 worker 进程,确保服部中断,将风险降到最低。缺点是操作系统生成一个子进程需要进行内存复制等操作,在资源和时间上会产生一定的开销;当有大量请求时,会导致系统性能下降。 异步非阻塞 每个工作进程使用异步非阻塞方式,可以处理多个客户端请求。当某个工作进程接收到客户端的请求以后,用 IO 进行处理,如果不能...阅读全文

博文 2018-05-01 23:10:47 debian.cn

分布式运行时 Dapr 知多少

化分布式应用开发的技术复杂。 How Dapr Works 那Dapr如何简化分布式应用的开发呢?下面我们来看一看Dapr的主要特性。 一图胜千言:Dapr通过以HTTP/gRPC API这种与语言无关的方式暴露封装的分布式能力供应用用,从而支持使用意语言或框架进行开发集成。目前官方已经提供了Go,Node,Python,.NET,Java, C++,PHP,Rust,Javascript的Sdk,简化Dapr的集成。 其中Dapr的核心构建块(Building Block)就是用来提供各种不同的分布式能力,我们来分别看一看。 1. Service-to-service invocation(服用) 提到跨服方法用,这个大家肯定会想,这简单啊,不就是服暴露API就好了嘛。是...阅读全文

谷歌公开了内部管理Infra层的两个工具的Paper

。 配置Gap 从基础架构提供者的角看,给定服的配置很容易有很多冗余。在Shakespeare服里,所有东西都是用相同的用户完成的,因此给每个前端job指定用户就是多余的。但是,因为基础架构需要运行很多服的job,配置上仍然必须为每个job指定用户。 基础架构提供者的简单解决方案是提供更为强大的配置界面——比如,一种模版语言。但是,从服的角来看,这样的方案并没有根本性地消除冗余。服需要配置多个提供者,这些提供者的一些信息通常是一样的。比如,数据库名字对于使用它的job(计算提供者)和配置数据库的job(数据库提供者)都是需要的。 在这些场景里,配置系统都很有用。不管谁维护服,都可以创建这些服的高层级描述(比如,在集群x,y,z里运行N),并且配置系统将这些描述扩展成更适合每...阅读全文

博文 2023-01-08 11:23:20 CSDN博客

DPDK Graph Pipeline 框架简介与实现原理

node。graph 作为 node 的全局数据结构,而 node 则是用来封装业逻辑。 Graph 3 个node; 1 个 source node (源节点)和 2 个 node (非源节点)的 graph 结构 上图显示了具有 3 个节点的 graph 结构,包含以下关键组件: graph_list 存储所有创建成功的 graph。如果 graph 创建成功,graph 会被添加到 graph_list 中。与传统的 main loop 设计相比(把函数直接挂载到 CPU 核上),用户可以透过这种管理模式把 graph_list 中的 graph 映射到不同的 CPU 核上。 graph->node_list 每个创建成功的 graph 中的 node_list 都包含了先前添加到...阅读全文

博文 2023-02-09 07:13:55 掘金

分布式 NewSQL 数据库 TiDB

TiDB 3.1.0 GA 版本现已发布,该版本的更新集中在 Bug 修复。具体的更新有如下内容: 兼容性变化 TiDB支持 TiDB 在启动服时,在开启 report-status 配置项情况下,如果发现 HTTP 监听端口不可用,则直接退出启动 #16291ToolsBackup & Restore (BR)BR 不支持在 3.1 GA 版本之前的 TiKV 集群上进行恢复 #233 新功能 TiDB支持在 explain format = "dot" 中展示 coprocessor 的信息 #16125通过 disable-error-stack 配置项减少日志的冗余 stack 信息 #16182Placement Driver (PD)优化热点 Region ...阅读全文

博文 2020-04-18 22:05:02 3.1.0 发布

Debian 9 使用kubeadm创建 k8s 集群(下)

在前一篇文章中,我们介绍了 Debian Stretch 环境下,Kubernetes 集群安装的准备工作。本文我们将继续介绍 k8s集群 的安装配置工作。 第4步 - 设置主节点 在本节中,您将设置主节点。 但是,在创建何Playbooks之前,值得介绍一些概念,例如Pod和Pod网络插件 ,因为您的群集将同时包含这两个概念。 pod是运行一个或多个容器的原子单元。 这些容器共享资源,例如文件卷和网络接口。 Pod是Kubernetes中的基本单元:pod中的所有容器都保证在pod的同一节点上运行。 每个pod都有自己的IP地址,一个节点上的pod应该能够使用pod的IP访问另一个节点上的pod。 单个节点上的容器可以通过本地接口轻松进行通信。 然而,pod之间的通信更复杂,并...阅读全文

博文 2019-05-13 22:57:41 debian.cn

Apache Kafka发布 3.0 正式版

。此外,不要错过 Kafka Connect 重启增强、KStreams 基于时间戳同步的改进以及 MirrorMaker2 更灵活的配置选项。常规变化KIP-750:弃用 Kafka 中对 Java 8 的支持在 3.0 中,Apache Kafka 项目的所有组件都已弃用对 Java 8 的支持。这将使用户有时间在下一个主要版本 (4.0) 之前进行整,届时 Java 8 支持将被取消。KIP-751:弃用 Kafka 中对 Scala 2.12 的支持对 Scala 2.12 的支持在 Apache Kafka 3.0 中也已弃用。与 Java 8 一样,我们给用户时间来适应,因为计划在下一个主要版本 (4.0) 中删除对 Scala 2.12 的支持。Kafka 代理、生产者、消...阅读全文

博文 2021-09-26 14:13:03 joseph

Gartner公布Q3全球服务器报告:出货量318.3万台

Gartner公司公布2018年第三季全球服器市场查报告,根据报告显示,全球服器出货量为318.3万台,销售额193.9亿美元,同比分别增长12.5%和31.5%。本季全球出货量与销售额位居前三位是戴尔EMC、HPE和浪潮。 2018Q3全球X86服器出货量排名 2018Q3全球X86服器销售额排名 从区域增长来看,全球除去拉丁美洲和东欧地区,其他区域市场均有增长,增速普遍达到两位数。大中华区和北美拉动了全球增长,两个地区的销售额分别同比增长44.6%和39.6%,所占市场份额提升分别为26.7%和41.7%。 从具体产品形态看,多节点、机架类服器销售额分别同比增长75.2%和31.1%。刀片和塔式服器继续小幅萎缩,销售额分别同比下降3.7%和4.8%。多节点服器的增长...阅读全文

Redis 命令、特性介绍与性能调优

经存在,则不会进行何操作,时间复杂O(1) TYPE:返回指定key的类型,string, list, set, zset, hash。时间复杂O(1) CONFIG GET:获得Redis某配置项的当前值,可以使用*通配符,时间复杂O(1) CONFIG SET:为Redis某个配置项设置新值,时间复杂O(1) CONFIG REWRITE:让Redis重新加载redis.conf中的配置 数据持久化 Redis提供了将数据定期自动持久化至硬盘的能力,包括RDB和AOF两种方案,两种方案分别有其长处和短板,可以配合起来同时运行,确保数据的稳定性。 必须使用数据持久化吗? Redis的数据持久化机制是可以关闭的。如果你只把Redis作为缓存服使用,Redis中存储的所有数据都不是...阅读全文

博文 2018-10-27 10:37:55 debian.cn

为保护隐私而生 反取证操作系统:Kodachi

Kodachi Linux 是一款基于 Debian 8.6 的操作系统。它是专为保护用户隐私而设计的,因此具有高的安全及匿名性,并具备反查取证的特点。 Kodachi 的使用也非常方便简单,你可以通过 USB 驱动来在你的 PC 上启动它。当你完全启动 Kodachi 操作系统后,你将会建立一个 VPN+Tor+DNScry 服器的运行环境。你不需要特别了解或学习 Linux 的知识,Kodachi 都为你准备好了你所需要的!整个操作系统都活动在你的临时内存 RAM 下。因此,你一旦你关机,何的操作痕迹都会被清除,避免你的隐私泄露及被追踪查。 Kodachi 是一个实时的操作系统,你可以从几乎何计算机上来启动它。例如:从 DVD,U盘 或 SD卡等。它旨在保护你的隐私及匿名性...阅读全文

博文 2021-01-28 17:50:19 debian.cn

Ceph 基金会正式成立 接受 Linux 基金会的管理

2018年11月12日,北京时间16:00,Linux基金会在德国柏林“Ceph Day”上正式宣布成立“Ceph基金会”来支持Ceph开源项目。Ceph基金会接受Linux基金会的管理,它的成立将为Ceph社区的合作和成长提供一个中立的机构。高级会员和一般会员每年缴纳会员费,准会员是教育机构或政府组织,并被邀请免费加入。 理事会由所有高级成员,普通成员代表,准成员代表和Ceph领导团队(技术治理机构)代表组成。董事会负责: 建立并批准用于支持Ceph项目的年预算 建立特设委员会以满足项目的当前需求 协外展或营销 定期开会讨论基金会活动,Ceph项目的现状以及整体项目战略 在董事会面前对何决定或事项进行投票 Ceph基金会董事会不对Ceph的技术治理负责,也没有何直接控制权。开发和...阅读全文

我要彻底放弃 Debian 操作系统!-Michael Stapelberg

。 这是什么意思? 在接下来的几周内,我将: 将包转交给相应的维护团队从其他维护者的包的Uploaders字段中删除自己的名字对于那些只有我在维护的包,那就其自生自灭吧 我将尽最大努力维护manpages.debian.org服(https://manpages.debian.org/)和codesearch.debian.net服(https://codesearch.debian.net/),但是随时欢迎别人来帮忙。 请所有人都当我永远休假去了。我会尽力解决管理的问题(例如许可转移等),如果有人直接向我提问,而且问题很容易回答的话,我也会尽力回答。 为什么? 当年加入Debian的时候,我还是一名学生,所以我有大量的业余时间。现在,经过5年多的全职工作,我从日常的工作中学到了很多知识...阅读全文

博文 2019-03-22 17:01:23 Michael Stapelberg

MySQL 8 第一个正式版发布:更好的性能

MySQL 8.0 系列的首个正式版 8.0.11 已发布,官方表示 MySQL 8 要比 MySQL 5.7 快 2 倍,还带来了大量的改进和更快的性能! 需要注意的是从 MySQL 5.7 升级到 MySQL 8.0 仅支持通过使用 in-place 方式进行升级,并且不支持从 MySQL 8.0 降级到 MySQL 5.7(或从某个 MySQL 8.0 版本降级到意一个更早的 MySQL 8.0 版本)。作为替代方案,在升级之前请对数据进行全量备份。 本文简要介绍 MySQL 8 中值得关注的新特性和改进。 1. 性能:MySQL 8.0 的速要比 MySQL 5.7 快 2 倍。MySQL 8.0 在这些方面带来了更好的性能:读/写工作负载、IO 密集型工作负载、以及高竞争...阅读全文

博文 2018-04-20 10:40:18 debian.cn

Kafka 3.0新特性全面曝光,真香!

己或者投给别人。候选人所知道的日志信息,一定不能比自己的更少,即能被选举成为leader节点,一定包含了所有已经提交的日志。先到先得的原则数据一致性保证(日志复制机制)前面通过选举机制之后,选举出来了leader节点,然后leader节点对外提供服,所有的客户端的请求都会发送到leader节点,由leader节点来这些并发请求的处理顺序,保证所有节点的状态一致,leader会把请求作为日志条目(Log entries)加入到他的日志当中,然后并行的向其他服器发起AppendEntries RPC复制日志条目。当这条请求日志被成功复制到大多数服器上面之后,Leader将这条日志应用到它的状态机并向客户端返回执行结果。客户端的每个请求都包含被复制状态机执行的指令leader将客户端请求...阅读全文

博文 2022-04-28 16:02:11 mp.weixin.qq.com

Kubernetes常用命令大全(持续更新)

taint nodes foo dedicated=special-user:NoSchedule 查看所有namespace的pods运行情况 查看具体pods,记得后边跟namespace名字哦 查看pods具体信息 查看集群健康状态 获取所有deployment 列出该 namespace 中的所有 pod 包括未初始化的 查看deployment() 查看rc和servers 查看pods结构信息(重点,通过这个看日志分析错误)对控制器和服,node同样有效 其他控制器类似吧,就是kubectl get 控制器 控制器具体名称 查看pod日志 查看pod变量 创建 更新 编辑资源 动态伸缩pod 删除 交互 配置 如果该键和影响的污点(taint)已存在,则使用指定的值替换 目录...阅读全文

博文 2020-03-13 12:35:13 debian.cn

Debian 9 使用kubeadm创建 k8s 集群(上)

(Kubernetes中的节点指服器)负责管理集群的状态。 它运行Etcd ,它在将工作负载到工作节点的组件之间存储集群数据。 两个工人节点 工作节点是运行工作负载 (即容器化应用程序和服)的服器。 一旦工作人员分配了工作负载,工作人员将继续运行您的工作负载,即使主计划在完成后停止工作也是如此。 通过添加工作人员可以增加群集的容量。 完成本指南后,如果群集中的服器具有足够的CPU和RAM资源供应用程序使用,您将拥有一个可以运行容器化应用程序的集群。 几乎何传统的Unix应用程序(包括Web应用程序,数据库,守护程序和命令行工具)都可以进行容器化,并在集群上运行。 群集本身将在每个节点上消耗大约300-500MB的内存和10%的CPU。 设置群集后,您将向其部署Web服器Nginx ,以确保它...阅读全文

博文 2019-05-13 22:47:39 debian.cn

WebRTC 成为 W3C 和 IETF 正式标准 - OSCHINA

新春现金红包与免费Linux基金会培训&认证,等你来领!>>> 2021年1月26日,W3C(万维网联盟)和 IETF (互联网工程组)同时宣布 WebRTC(Web Real-Time Communications,Web 实时通信)现发布为正式标准,将音视频通信带到 Web 上何地方。 WebRTC 由用于 Web 实时通信的 JavaScript API 和一组通信协议构成,支持网络上的何已连接设备成为 Web 上潜在的通信端点。WebRTC 已成为线上通信及协作服的基石。 目前全球都面临着 COVID-19 疫情,WebRTC 让数十亿人无论其设备或地域如何,在 COVID-19 疫情期间也能保持联络。WebRTC 的使用已经超越了最初的核心设计,即在浏览器和其他生态(例...阅读全文

博文 2021-02-03 22:22:47 开源技术交流社区

Jonathan Carter 再次当选为 Debian 项目负责人

Carter 的有 421 票,高于 Sruthi Chandran 的 341 票。 具体投票过程与结果分析访问:https://www.debian.org/vote/2021/vote_001 Jonathan Carter 在竞选宣言中描述了他的工作目标: - 改进财相关工作,例如提升财透明,更好地追踪资金的收入和使用情况 - 实行支出政策 (expendature policy),主要是让项目成员更清楚他们可以在哪些方面花钱以及如何花钱,Jonathan Carter 表示项目成员之间对于这方面没有达成一致的认识,通常会导致这些成员不使用本来可以让 Debian 项目受益的资金 - 考虑正式注册 Debian 组织 今年选举 DPL 的投票中还提及到了是否应就 Richard...阅读全文

Kubernetes v1.21 新特性预览

IPv4 和 IPv6 两个地址。注意,如果使用了 CNI 插件和云服商扩展(Cloud Provider),CNI 插件和云服商扩展也需要支持 IPv4/IPv6 双栈。CSIVolumeHealth Alpha 和 CSIStorageCapacity Beta从 v1.21 开始,Kubernetes 支持 CSI 存储插件的 Volume 健康检查(Alpha 版),CSI 插件需要实现外部健康监控控制器。当 Volume 或者 Node 出现异常时,该控制器会向 Volume 所属的 PVC 以及使用该 PVC 的 Pod 发送一个异常事件。CSIStorageCapacity 用于跟踪 CSI 存储容量并确保 Pod 到足够存储容量的节点上。该特性从 v1.21 开始进入...阅读全文

博文 2021-03-30 20:24:36 mp.weixin.qq.com