InfraPub 为您找到相关结果 931

百度开源项目 ECharts 首进 Apache 孵化器

的定制能力。ECharts 底层依托了开源渲染引擎 ZRender ,支持 Canvas 和 SVG 等多种方式的渲染,支持 PC 、移动端、数据大屏、服务端渲染等多种设备景。 目前,在 2018 年初发布的新版本 ECharts (4) 中,一些常图表已支持最高达千万级的数据可视化,并且提供了小程序、无障碍访问等支持。基于 WebGL 的 ECharts-GL 能支持各种 3D 图表渲染、以及海量数据的渲染加速。目前,各种基于 ECharts 的扩展库,以及相关的可视化服务系统已经形成了丰富的产品体系和活跃的社区环境。ECharts 目前在 GitHub 拥有 25k+ 的关注和 2k+ 的相关项目。大量的社区的反馈和贡献使 ECharts 不断地迭代进化。 业内人士认为,进入...阅读全文

博文 2018-03-09 08:46:07 debian.cn

Golang Context 探究

&valueCtx{parent, key, val} } // context.valueCtx 中存储的键值对与 context.valueCtx.Value 方法中传入的参数不匹配 // 就会从父下文中查找该键对应的值直到在某个父下文中返回 nil 或者查找到对应的值 func (c *valueCtx) Value(key interface{}) interface{} { if c.key == key { return c.val } return c.Context.Value(key) } 在 context 传递数据的景一般很有限,比较常见的使景是传递请求对应户 token 以及于进行分布式追踪的 trace id。不建议来传递请求参数。 我下面这种图来展示...阅读全文

博文 2021-02-25 09:27:27 lxkaka

Consul 1.6 GA 发布

Consul 1.6.0 已于近日 发布 GA 版本 ,Consul 是 HashiCorp 公司推出的开源工具,也是主流的于实现分布式系统服务发现与配置的方案。HashiCorp 对 Consul 的介绍是一个多云服务网络平台,于在跨任何运行时平台和公共云或私有云的景连接和保护服务。 本次更新主要集中在 Consul Connect(为其增加了一些主要新特性)和 Consul 的服务网格解决方案方面,此外还有一些改进和错误修复。 Consul 1.6 新特性 支持对 L7 层的流量管理 。1.6 使了新的配置条目类型,可为服务到服务(service-to-service)的请求启高级流量管理模式。其他配置条目类型如服务解析器、服务隔离器以及服务路由器通过高级服务故障转移和部署模...阅读全文

聊聊很重要的内核技术eBPF

中存储任何类型的数据。内核将键和值视为二进制 blobs,它并不关心您在映射中保留的内容。 BPF验证程序包括多种保护措施,以确保您创建和访问映射的方式是安全的。当我们解释如何访问这些映射中的数据时,我们也将解释这些保护措施。 当然BPF映射类型有很多,比如哈希表映射,数组映射,Cgroup 数组映射等,分别满足不同的景。 2)验证器 BPF验证程序也是在您的系统运行的程序,因此,对其进行严格审查是确保其正确执行工作的目标。 验证程序执行的第一项检查是对VM即将加载的代码的静态分析。第一次检查的目的是确保程序有预期的结果。为此,验证程序将使代码创建有向循环图(DAG)。验证程序分析的每个指令将成为图中的一个节点,并且每个节点都链接到下一条指令。验证程序生成此图后,它将执行深度优先搜索...阅读全文

博文 2020-08-16 11:08:44 debian.cn

历数2017年五大Linux痛点

Linux操作系统为许许多多户安装和使,难免会遇到一些问题。正如2016年我们总结过5大Linux故障排除技巧一样,在即将过去的2017年里,我们依然搜集了户在使Linux系统时发现的问题,在此总结综述为"2017年五大Linux痛点",直指户使的关键点,希望能对您有所帮助。 1.文档 文档的问题是你今年最大的痛点吗?开源的方式产生了大量优秀的代码,文档的质量也因此升了一个台阶。随着越来越多的非技术户采Linux和开源软件,文件的质量和数量将变得至关重要。如果您想为开源项目做贡献,但又不觉得自己有足够的技术来提供代码,那么改进文档是一个很好的参与方式。许多项目甚至将文档保存在它们的存储库中。因此你可以通过自己的贡献去改进工作的效率。 2.软件/版本不兼容 软件版本不兼容的...阅读全文

博文 2017-11-25 12:27:56 debian.cn

如何重启 Kubernetes 中的 Pods

在使 Docker 时,我们可以使 docker restart container_id 来非常方便的重启容器,但是在 kubernetes 中并没有重启 pod 的命令。有时 Pod 意外终止时,我们希望重启 pod,来进行排障或者尝试恢复服务。这时我们会发现蛋有点疼,没有一个很直观的方式来重启 pod。 这里我总结了几种重启 Pod 的方式,分两种情况讨论如何重启 K8S 中的 Pod,希望对大家有所帮助。 第一种方式:Deployment方式下重启Pod 大多数生产环境,使的是 Deployment 方式部署应。这种景下,我们可以直接删除对应的 Pod,让k8s去完成 pod 重建,命令: kubectl delete pod {podname} -n...阅读全文

博文 2020-07-13 21:23:30 debian.cn

Facebook 开源的一组 Linux 内核组件与工具

近日,Facebook 开源了一套解决重要计算集群管理问题的 Linux 内核组件和相关工具,这些项目覆盖了资源控制、资源利、工作负载隔离、负载均衡、测量和监控等方面:BPF、Btrfs、Netconsd、Cgroup2、PSI、Oomd。 Facebook 表示这些项目现在已大规模于其所有基础设施生产环境中,并于其它许多企业组织的环境中。 BPF:https://facebookmicrosites.github.io/bpf/ BPF 是 Linux 内核中一种高度灵活、高效率的代码执行引擎,可以让字节码在各个 hook 点运行,以使自定义代码。虽然 BPF 已广泛于数据包过滤,但是 BPF 的指令集具有很强的通性和灵活性,足以支持和允许除网络之外的众多使合,比如跟踪和...阅读全文

博文 2018-11-24 09:27:14 debian.cn

不可变基础设施 (immutable infrastructure) - 云原生定义解析

云原生技术的不断发展,2018年,CNCF扩展了云原生技术的定义,以下是云原生技术的新定义:“云原生技术有利于各组织在公有云、私有云和混合云等新型动态环境中,构建和运行可弹性扩展的应。云原生的代表技术包括容器、服务网格、微服务、不可变基础设施和声明式API。这些技术能够构建容错性好、易于管理和便于观察的松耦合系统。结合可靠的自动化手段,云原生技术使工程师们能够轻松地对系统作出频繁和可预测的重大变更。”其中,像容器,微服务等概念早已深入人心,而很多开发人员都对此次提及的“不可变基础设施”这个概念有不少疑惑,下文将对这个概念进行解析。其实不可变基础设施这个概念由来已久,并在不同的合被很多技术专家已不同的形式提出并讨论过, 例如:“Trash Your Servers and Burn...阅读全文

成功运作一个开源项目的15个要点

少。 2、透明 这一点很容易理解:我们要使得社区可以观察和了解你正在做的事情:使易于查找的可公开访问的源代码存储库,使面向公众的问题跟踪软件,在社区可以找到的地方公布发布计划,以及在公共论坛捕获会议记录(例如归档邮件列表)。 3、开放 对于很多开源项目来说,“透明度”和“开放性”意味着同一件事,但其实这两个术语的含义截然不同。开放不仅仅指的是“一目了然”(这与透明本质是一样的)。对于许多人来说,开源的“开放”意味着开放新思想,或开放参与。参与开源项目的规则对于每个人应该是一样的(“公平的竞争环境”):仅仅接受几个补丁是不够的,你必须对新的思路点子开放。总之,你必须允许别人参与你的项目,放弃对项目的绝对控制。 4、保持“公平的竞争环境” 这并不一定意味着你必须让任何人加入项目,而是要确保...阅读全文

博文 2017-11-08 09:58:28 debian.cn

ThinkPHP v5.1.0 发布 — 新年献礼

ThinkPHP V5.1 —— 12 载初心不改,你值得信赖的 PHP 框架。期盼已久的 V5.1.0 版本今日正式发布,祝大家 2018 年新年快乐! ThinkPHP 自诞生以来一路走来已经 12 载,初心不改,并将继续努力,感谢大家的一路支持和贡献! 特性 5.1 版本主要特性包括: 引入容器和 Facade 支持 依赖注入完善和支持更多景 重构的(对象化)路由 路由跨域请求支持 支持注解路由 配置和路由目录独立 取消系统常量 助手函数增强 类库别名机制 模型和数据库增强 验证类增强 模板引擎改进 支持 PSR-3 日志规范 安装 5.1 版本开始官方不提供下载包,请使 composer 安装: composer create-project topthink/think tp...阅读全文

博文 2018-01-03 08:03:24 debian.cn

AWS IAM 基本概念介绍

使景 Federating Existing Users 下图介绍户如何使 IAM 获取临时 AWS 安全凭证以访问您 AWS 账户中的资源 访问控制相关概念 Permissions 基于身份的 (IAM) 权限和基于资源的权限 下图阐明了两种权限类型。第一列显示与身份(两个户和两个组)关联的权限。其中一些权限确定可对其执行操作的特定资源。这些操作支持资源级 权限。第二列显示挂载到资源的权限。这些服务支持基于资源的权限。 Policies 要给户、组、角色或资源指定许可,您必须创建一个策略,它是一个显式列出许可的文档。从最基本的意义而言,策略使您能够指定以下内容: 操作:您将允许哪些操作。每个 AWS 服务都有自己的一组操作。例如,您可能允许户使 Amazon S3...阅读全文

博文 2019-06-04 20:22:31 debian.cn

bmon:一个强大的网络带宽监视和调试工具

bmon 是类 Unix 系统中一个基于文本,简单但非常强大的 网络监视和调试工具,它能抓取网络相关统计信息并把它们以户友好的格式展现出来。它是一个可靠高效的带宽监视和网速估测工具。 它能使各种输入模块读取输入,并以各种输出模式显示输出,包括交互式文本户界面和于脚本编写的可编程文本输出。 在 Linux 安装 bmon 带宽监视工具 几乎所有 Linux 发行版的默认仓库中都有 bmon 软件包,可以从默认包管理器中轻松安装,但可的版本可能比较旧。 $ sudo yum install bmon [On RHEL/CentOS/Fedora] $ sudo dnf install bmon [On Fedora 22+] $ sudo apt-get install bmon...阅读全文

博文 2021-01-28 17:50:27 debian.cn

Redis 命令、特性介绍与性能调优

集并返回/存储至另一个Set中,时间复杂度O(N),N为参与计算的所有集合的总member数 述几个命令涉及的计算量大,应谨慎使,特别是在参与计算的Set尺寸不可知的情况下,应严格避免使。可以考虑通过SSCAN命令遍历获取相关Set的全部member(具体请见 https://redis.io/commands/scan ),如果需要做并集/交集/差集计算,可以在客户端进行,或在不服务实时查询请求的Slave进行。 Sorted Set Redis Sorted Set是有序的、不可重复的String集合。Sorted Set中的每个元素都需要指一个分数(score),Sorted Set会根据score对元素进行升序排序。如果多个member拥有相同的score,则以字典序进行升...阅读全文

博文 2018-10-27 10:37:55 debian.cn

最全的 DevOps 工具集合

CI 和 CD 的技术理念。这是一个基于服务器的系统,可在 servlet 容器(例如 Apache Tomcat)中运行。 CircleCI CircleCI 是世界最大的共享 CI/CD 平台,也是代码从构思到交付过程的中央枢纽。 作为最常的 DevOps 工具之一,CircleCI 每天处理超过 100 万个构建,因此收集了大量关于工程团队工作方式以及代码运行方式的数据。Spotify、Coinbase、Stitch Fix 和 BuzzFeed 等公司使 CircleCI 来提升工程团队的生产力、发布更好的产品并更快地将产品推向市。 Travis CI TravisCI 是一项托管 CI 服务,于构建和测试 GitHub 托管的软件项目。Travis CI 为私有项目提供各...阅读全文

博文 2021-05-26 14:35:21 博客园

2017年的Linux内核防护依然脆弱

,RedHat 网站所谓的 "Under Investigation" 只是继续等待 Linux 主线内核的修复,或许要让 Linux 内核安全有所改善我们需要更多的 stack clash 和 DirtyCow 持续曝光。 因为利益的关系,Linux 基金会对自由软件社区和 GPL 已经非常不友好,虽然 Greg K-Hartman 一直强调 Linux 基金会是一个非盈利组织,但一个 NGO 的 CEO 为什么有高达 49 万美金(2014 财年)的年薪,也没人知道为什么 Greg 本人会有 Google 的邮箱(拿 Linux 基金会和 Google 双薪水?),Linux 内核本来有一次改善安全的机会,可惜 Linux 基金会的市 PR 需求搞砸了整件事。HardenedLinux 社区在这...阅读全文

博文 2021-01-28 17:50:35 debian.cn

Linux 容器 vs 虚拟机 — 谁更胜一筹

拟机有着更好的灵活性,可以供您选择您的操作系统,并在您认为合适的情况下进行升级。相比之下,运行已配置应程序容器在主机的操作系统升级方面是隔离的。 Linux 容器 vs 虚拟机 – 景 我最喜欢使容器的原因之一就是使 Linux 库版本。例如,假设您需要 Python 的特定版本来开发应程序。然后,当你在运行应程序的盒子更新时,突然发现 Python 版本发生了变化,导致应程序无法正常工作。 使容器的另一个好处是你可以把一个应程序放到一个容器中,然后在任何支持你正在运行的容器类型的操作系统运行它。当你想要一个运行在不同 Linux 发行版应程序时。通过使容器,可以在各种不同的发行版运行类似的应程序环境。容器提供了可移植性。 容器对于快速的跨发行版部署是更可行...阅读全文

博文 2017-11-25 10:23:56 debian.cn

VS Code 公布 2018 路线图:生态改进 快乐编码

Visual Studio Code 刚刚公布了其 2018 发展路线图。开发团队表示,他们通常会先制定目标,然后将工作分解在后续的 6-12 个月时间内。在当前的规划中,主要会从以下三个角度进行改进: Happy Coding: 为新户和现有户提供更愉快的编码体验。 Node、JavaScript 和 TypeScript: 为各种语言和框架实现卓越的端到端体验。 A Rich Extension Ecosystem: 提供更丰富的扩展功能,构建良好的生态系统。 各项大致内容(仅供参考) Happy Coding 计划针对以下方面进行改进: Fundamentals:提高启动性能、减少资源/内存消耗、提高可访问性、支持社区贡献的翻译语言包、改善更新体验、提高可维护性等...阅读全文

博文 2017-11-02 11:50:40 debian.cn

Apollo 配置中心简单介绍

= config.getIntProperty("request.timeout",defaultRequestTimeout); 3.6 客户端监听配置变化(Java API样例) 通过述获取配置代码,应就能实时获取到最新的配置了。 不过在某些景下,应还需要在配置变化时获得通知,比如数据库连接的切换等,所以Apollo还提供了监听配置变化的功能,Java示例如下: Config config = ConfigService.getAppConfig(); config.addChangeListener(new ConfigChangeListener() { @Override public void onChange(ConfigChangeEvent changeEvent) { for (String key...阅读全文

博文 2021-04-09 17:53:51 CSDN

CentOS停止维护后,我们应该用什么操作系统?

查软件包的不一致和错误)。稳定性是 Debian 的同义词。 [...] 安全是 Debian 最重要的特性之一。Christos Pontikis 在 pontikis.net 写道面向企业环境的 DebianDebian 是可靠的。Debian 在从单个户的笔记本计算机到超级对撞机、证劵交易所和汽车行业的数以千计的现实日常景中证明其可靠性。它在学术界、科研机构和公共部门中也很流行。Debian 有很多专家。我们的软件包维护者不仅仅只为 Debian 打包软件包和整合新的游版本。他们常常是该应程序的专家,因此可以直接为游开发做出贡献。Debian 是安全的。Debian 对其稳定版本提供安全支持。许多其它发行版的开发人员和安全研究人员都依赖 Debian 的安全跟踪器。长期支持...阅读全文

案例:Redis命令不当 引起数据库雪崩 造成数百万损失

中删除。同时还可以提供一个守护进程,当发现备份队列中的消息过期时,可以重新将其再放回到主消息队列中,以便其它的消费者程序继续处理。 7.谨慎全量操作Hash、Set等集合结构 在使HASH结构存储对象属性时,开始只有有限的十几个field,往往使HGETALL获取所有成员,效率也很高,但是随着业务发展,会将field扩张到百个甚至几百个,此时还使HGETALL会出现效率急剧下降、网卡频繁打满等问题【时间复杂度O(N)】,此时建议根据业务拆分为多个Hash结构;或者如果大部分都是获取所有属性的操作,可以将所有属性序列化为一个STRING类型存储!同样在使SMEMBERS操作SET结构类型时也是相同的情况! 8.根据业务景合理使不同的数据结构类型 目前Redis支持的数据库结构类型...阅读全文

博文 2018-10-27 10:18:18 debian.cn

Backblaze多年研究发现:SSD可靠性远超机械硬盘

2021 年 1 季度,HDD / SSD 年化故障率对比。在笔记本电脑市,厂商也愈加倾向于将内置 SSD 作为其轻薄本产品线的唯一选项。此外 BackBlaze 祖辛发表的一项研究,更是揭示了一个有趣的事实 —— SSD 的可靠性,竟然是 HDD 的 21 倍!以定期发表企业存储可靠性报告而被大家所熟知的 BackBlaze,让我们直观地了解到了各款驱动器的平均或年化故障率(AFR)。HDD / SSD 终身年化故障率对比2021 年 1 季度期间,BackBlaze 发现,各品牌机械硬盘的 AFR 为 10.56%,而同期各品牌固态硬盘的 AFR 低至惊人的 0.58% 。换言之,大约每 10 块 HDD 中,就有 1 个发生了故障。而在大约每 200 块 SSD 中,也只有 1 个...阅读全文

互联网协议正在发生变化

TLS 1.3 的相关章节。 最终,HTTP/2 允许多个主机的请求被 合并到一个连接,通过减少页面加载所使的连接(从而减少拥塞控制的景)数量来提升性能。 例如,你可以对 www.example.com 建立一个连接,也可以将这个连接于对 images.example.com 的请求。而未来的协议扩展也允许将其它的主机添加到连接,即便它们没有被列在最初于它们的 TLS 证书中。因此,假设连接的通讯被限制于它初始化时的目的并不适。 值得注意的是,尽管存在这些变化,HTTP/2 并没有出现明显的互操作性问题或者来自网络的冲突。 TLS 1.3 TLS 1.3 刚刚通过了标准化的最后流程,并且已经被一些实现所支持。 不要被它只增加了版本号的名字所欺骗;它实际是一个新的 TLS 版本...阅读全文

Sam Altman的成功学|OneFlow

样,比如说资本、技术、品牌、网络效应和做管理。 专注于将你所定义的成功指标增加十倍是有的,这些指标可以是赚钱、社会地位、世界级影响力或者其他东西。我乐意接受挑战,愿意在各种项目花时间以解锁下一个项目。但是我希望在每一个项目都能取得最大成就,创造职业生涯新高度。 但是大多数人都被困于线性发展的泥潭,往往捡了芝麻丢了西瓜,我们要学会抓大放小,寻求跳跃式提升。 在我看来,无论是企业还是个人,最大的竞争优势就是要把目光放长远。我们要打开眼界,看出世界不同体系之间交融互动的方式。复合增长最重要的就是眼光要尽可能放长远,这样的人才能抢占市先机,获得最大回报。 要相信指数曲线,耐心坚持下去,最后一定会有惊喜。 2 要有绝对自信 自信拥有不可思议的力量,就我认识的人来说,最成功的往往都是那些自信到...阅读全文

本田 40GB 数据险遭泄漏 因云端数据库未设密

拍摄的截图(Justin Paine 在博客中展示了一些处理过的图片)。我们将根据相关法律法规采取适当行动,并将继续采取积极主动的安全措施,以防止今后发生类似事件。” ElasticSearch 安全事故频发 虽然 ElasticSearch 通常在公司内部运行,但近年因为其未加密而发生的数据泄露事件不在少数: 2017 年,白帽汇曾对全球使 ElasticSearch 引擎发生的勒索事件进行监测,最终发现因被攻击而删除的数据至少 500 亿条,被删除数据规模至少 450TB。系统显示,互联网公开可访问的 ElasticSearch 服务器超过 68000 余台,受害总数达 9750 台。其中,美国 4380 台,中国第二为 944 台,其余来自法国、爱尔兰和新加坡等地。此次事件后,1...阅读全文

Debian 11 "bullseye" 发布,带来内核 exFAT 支持

描和打印使 CUPS 打印以及使 SANE 扫描对于越来越多的硬件型号已经可以实现无需任何驱动程序(通常是非自由驱动程序)即可正常操作,尤其是过去五年以来出现在市的新设备。CUPS 和无驱动打印使以太网或无线网络连接的现代打印机已经可以使无驱动打印功能,由 CUPS 和 cups-filters 软件包提供支持,此功能已在 Debian buster 发行注记中描述。Debian 11 “bullseye” 提供了新软件包 ipp-usb;它使许多现代打印机所支持的、供应商中立的 IPP-over-USB 协议,且 cups-daemon 推荐安装该软件包。它使得 USB 设备可被视作网络设备,以将无驱动打印扩展至包括 USB 连接的打印机。在 ipp-usb 软件包中包含的...阅读全文

三星谈论下一代DRAM解决方案:GDDR7、DDR5、LPDDR5X和V-NAND

访问购买页面: SAMSUNG - 三星旗舰店 今年的活动有800多名客户和合作伙伴参加,三星的内存和系统LSI业务领导人--包括内存业务总裁兼负责人Jung-bae Lee、系统LSI业务总裁兼负责人Yong-In Park和执行副总裁兼设备解决方案(DS)美洲办事处负责人Jaeheon Jeong,一同就公司的最新进展和未来愿景发表了演讲。系统LSI业务亮点在今年技术日的午会议,系统LSI业务强调了其目标,即通过最大限度地发挥其独特和广泛的产品系列之间的协同作,成为一个"整体解决方案无工厂"。作为三星电子的无晶圆厂IC设计公司,系统LSI业务目前提供约900种产品,其中包括SoC(片系统)、图像传感器、调制解调器、显示驱动IC(DDI)、电源管理IC(PMIC)和安全解决方案...阅读全文

Kubernetes 1.9发布:Apps Workloads通用版本与生态系统扩展

我们很高兴在今年之内进行第四次——也是最后一次版本更新公告,即Kubernetes 1.9的诞生! 今天发布的版本在发展水平方面更加突出,功能越来越丰富,稳定性更为强大,社区贡献也更加令人瞩目。作为今年年内的第四次成果发布,我们希望借此机会回顾Kubernetes项目在各个关键性领域取得的进展。其中特别值得一提的是Apps Workloads API正式发布通稳定版。这将确保潜在户切实获得运行关键性任务工作负载时所必需的功能稳定性。项目的另一大重要里程碑则在于以测试版本形式提供Windows支持能力,这为众多仅面向Windows的应程序与工作负载开启了一扇通往Kubernetes的大门,从而显著扩展了Kubernetes的实施景与企业就绪水平。 Workloads API通版本...阅读全文

博文 2017-12-17 01:00:00 debian.cn

深入学习golang — channel

var ch2 <-chan int //ch2只能读 channel是类型相关的,也就是一个channel只能传递一种类型。例如,面的ch只能传递int。 在go语言中,有4种引类型:slice,map,channel,interface。 Slice,map,channel一般都通过make进行初始化: ci := make(chan int) // unbuffered channel of integers cj := make(chan int, 0) // unbuffered channel of integers cs := make(chan *os.File, 100) // buffered channel of pointers to Files 创建channel时...阅读全文

博文 2021-01-25 12:39:17 博客园

Apollo 分布式配置中心详解

Apollo(阿波罗)是携程框架部门研发的分布式配置中心,能够集中化管理应不同环境、不同集群的配置,配置修改后能够实时推送到应端,并且具备规范的权限、流程治理等特性,适于微服务配置管理景。 本文简单从功能特点做介绍,更详细的说明请参考Apollo配置中心介绍。本地快速部署可以参考这里。线的演示环境从这里可以访问到: 106.54.227.205 (账号/密码: apollo/admin) Apollo 配置中心产生背景 大多情况下程序随着功能的复杂,程序的配置也会增多:包括各种功能开关、参数配置、服务地址信息配置等,同时开发人员对程序配置的期望值也越来越高:配置修改后实时生效,灰度发布,分环境、分集群的管理配置、权限控制、审核机制等。 在这样的大环境下,传统的通过配置文件、数据库...阅读全文

博文 2020-04-12 12:16:26 debian.cn

Golang 操作 Kafka 样例

1. Kafka介绍 1.1.1. Kafka是什么 kafka使scala开发,支持多语言客户端(c++、java、python、go等) Kafka最先由LinkedIn公司开发,之后成为Apache的顶级项目。 Kafka是一个分布式的、分区化、可复制提交的日志服务 LinkedIn使Kafka实现了公司不同应程序之间的松耦和,那么作为一个可扩展、高可靠的消息系统 支持高Throughput的应 scale out:无需停机即可扩展机器 持久化:通过将数据持久化到硬盘以及replication防止数据丢失 支持online和offline的景 复制代码 1.1.2. Kafka的特点 Kafka是分布式的,其所有的构件borker(服务端集群)、producer(消息生产...阅读全文

博文 2023-01-10 13:46:09 掘金

深度解密基于 eBPF 的 Kubernetes 问题排查全景图

包括:无法准确清晰了解、掌控全局的系统运行架构;无法回答应之间的连通性是否正确;多语言、多网络调协议带来埋点成本呈线性增长,且重复埋点 ROI 低,开发一般将这类需求优先级降低,但可观测数据又不得不采集。2、下沉的基础设施能力屏蔽实现细节,问题定界越发困难基础设施能力继续下沉,开发和运维关注点继续分离,分层后彼此屏蔽了实现细节,数据方面不好关联了,出现问题后不能迅速地定界问题出现在哪一层。开发同学只关注应是否正常工作,并不关心底层基础设施细节,出现问题后需要运维同学协同排查问题。运维同学在问题排查过程中,需要开发同学提供足够的下游来推进排查,否则只拿到“某某应延迟高”这么笼统的表述,这很难有进一步结果。所以,开发同学和运维同学之间需要共同语言来提高沟通效率,Kubernetes 的...阅读全文

博文 2022-03-21 09:11:51 joseph

DPDK Graph Pipeline 框架简介与实现原理

DPDK 全称为 Data Plane Development Kit ,是近年来在高速网络通信行业中炙手可热的一种网络报文处理加速框架。DPDK 从十年前诞生直至发展到今天已经可以支持业界主流的高端网卡以及各类加速硬件设备,同时也支持主流的各个CPU 体系结构(可以运行于 X86, Arm, Power 等平台)。同时也可以运行于 Linux/FreeBsd/Windows 等主流操作系统之。DPDK因为其优异的性能指标被广泛的应于网关/负载均衡/SDN/虚拟交换的各个景。 本文主要介绍 DPDK 中的 libgraph 设计思想以及实现,libgraph 的设计思想源自于开源项目 Vector Packet Processor(VPP)。VPP 中的向量包处理优化方案是...阅读全文

博文 2023-02-09 07:13:55 掘金

细数k8s支持的4种类型的container - 侃豺小哥

截止目前k8s1.18,k8s已经支持标准容器,sidecar容器,init 容器,ephemeral 容器 4种类型的containers。本文我们详细介绍一下这4种容器的特性已经使景。 Ephemeral 容器 临时容器与其他容器的不同之处在于,它们缺少对资源或执行的保证,并且永远不会自动重启,因此不适于构建应程序。临时容器使与常规容器相同的 ContainerSpec 段进行描述,但许多字段是不相容且不允许的。 临时容器没有端口配置,因此像 ports,livenessProbe,readinessProbe 这样的字段是不允许的。 Pod 资源分配是不可变的,因此 resources 配置是不允许的。 有关允许字段的完整列表,请参见临时容器参考文档。 临时容器是使...阅读全文

博文 2021-08-20 11:45:32 博客园

总结系统设计中的33个黄金法则

Refer to https://www.linkedin.com/pulse/system-design-rules-navneet-kumar-p6n7f/ 系统设计很复杂,它需要设计者有深厚的计算机知识和专业知识,没有一种通的设计可以适应所有业务景。尽管如此,还是有一些比较通的规则可以供你设计系统时参考,也能帮助你在面试中摆脱困境。 1. 对于数据密集型系统 — 考虑使缓存。 2. 对于写入量大的系统 — 使消息队列进行异步处理 3. 对于低延迟要求 — 考虑使缓存和 CDN。 4. 需要𝐀原子性、𝐂一致性、𝐈隔离性、𝐃耐性兼容数据库 — 选择 RDBMS/SQL 数据库。 5. 对于非结构化数据——可以选择NoSQL...阅读全文

为什么 Django 能持续统治 Python 开发世界

码的困境结束,从而实现更快的开发。 简而言之,Web框架可以简化Web开发。 如果您想深入了解Web框架及其优点,请点击此处。 为什么Django是Python开发者的最佳选择 Django是一个Python编写的,高级的,MVC风格的开源库。 Django也被称为“完美主义者的最终框架”,它最初是为新闻网站设计的,因为它允许开发人员编写数据库驱动的Web应程序,而无需从头开始编码。 除了更快完成常见的Web开发任务,Django还可以保持设计干净且实。 Django是Python Web开发新人的最佳选择,因为官方文档和教程是几个(同类)软件开发框架中最好的。 技术市充斥着一系列网络框架,但Django在最受欢迎的服务器端Web框架里处于顶峰位置。设计Django背后的座右铭很简单...阅读全文

博文 2017-07-21 14:15:11 debian.cn

DevOps 越来越流行,2019 年这八大趋势值得关注

来看,DevOps 的采率从 2015 年到 2016 年增加了约 8%,预计这一数字将在 2019 年大幅增长。 根据 Statista 的报告,很多商业组织正在采 DevOps,2018 年增长率高达 17%,而 2017 年则为 10%左右。 你可以在 RightScale 查看完整的报告。Forrester 的报告中也明确提到了 2018 年将是 DevOps 年。我们看到了将影响来年 DevOps 发展的八个事实。 焦点从 CI 管道转到 DevOps 装配线 管道为应程序提供了从源码控制到生产环境的一套完整的可视化视图。你可以在某个地方看到所有的内容。现在不仅要做 CI(持续集成),还要做 CD(持续交付)。企业正投入时间和精力,以便更多地了解如何自动化完整的软件开发过程...阅读全文

博文 2018-12-10 22:49:57 debian.cn

隐私声明

加公共论坛讨论或直接联系本网站),在您的同意及确认下,我们可能会以线或线下注册表格的形式要求您提供如下个人资料和信息: • 具体信息,比如姓名,年龄,出生日期,电子邮箱,手机号码等; • 一般性信息,比如您的性别,年龄,职业,兴趣爱好等; • 仅在特定情况下(比如您需要付费才能享有的服务或产品,或参加本网站参与或组织的抽奖或竞赛活动),我们会要求您提供个人付款信息和身份证件信息,比如信卡号码或身份证及护照号码。 我们自动收集的信息。 当您浏览本网站时(不管是否注册或登录),本网站可能自动收集与您相关的如下信息: 请注意,本隐私权声明不适于任何向您提供服务的第三方主体,包括那些可能向本网站披露信息的第三方。 您的浏览器类型和浏览器语言、操作系统类型、宽...阅读全文

五款流行开源的 HIDS 系统简单介绍

(NSM)平台,则由于其友好的向导,此工具便是答案。在安装之前,您需要知道Security Onion仅支持64位硬件。您也可以在官方文档中找到详细的技术要求。Security Onion的安装步骤非常简单。阅读文档(包括要求和发行说明)后,您需要下载ISO映像。如果时间紧迫,安全洋葱是最好的选择,但它也有一些缺点。首先,它不支持Wi-Fi来管理网络。另外,您将必须学习如何使不同的工具来学习提高分发效率。除此之外,它不会自动备份规则以外的配置。为此,您需要使第三方实程序。此屏幕快照说明了使Security Onion(Sguil)进行实时事件检测:​图4对于现代组织而言,部署基于主机的入侵检测系统至关重要。市有许多具有不同功能的HIDS。为了帮助您缩小范围,我们选择了五个开源工具,使您...阅读全文

博文 2023-01-26 11:07:43 joseph

百度运维工程师挖矿实录:四个月用155台服务器挖矿赚10万判3年

近日,百度两年前的一桩诉讼案终于有了答案。中国裁判文书网显示,百度运维员工“安某”从 2018 年1 月底到 5 月底,以技术手段在公司服务器部署“挖矿”程序,非法控制 150 余台服务器以获取比特币、门罗币等虚拟货币,共获利人民币 10 万余元。 事发后,“安某”不仅被没收了所有获利金额,罚款 11000 元,还背了三年牢饭,有点惨。 4 个月,占 155 台服务器,获利 10 万余元。 2017 年“安某”正式入职百度,彼时,比特币的价格飙升到了近 2 万美元,按照当时的汇率,一枚比特币人民币价格将近 13 万。虽然后续的币价有所降低,但挖到一枚,还可以挣几万块,这样的诱惑或许没有几个人会选择无视。 2018 年初,“安某”开始打起了挖矿的主意。 挖矿,是指利服务器CPU的运算...阅读全文

博文 2020-03-17 20:42:41 debian.cn

Docker 17.06 社区版发布

的支持。可以将docker的/metrics端点暴露给插件: $ docker plugin install --grant-all-permissions cpuguy83/docker-metrics-plugin-test:latest $ curl http://127.0.0.1:19393/metrics 这个插件仅于示范。它在主机的网络运行了一个反向代理,能将请求转发给插件中的本地的指标套接字。在真实景中,可能会将收集的指标数据发送给外部的服务,或者使它可以被一个服务如Prometheus访问并收集。 注意尽管指标插件在非实验性的daemon中可以使,指标标签(metrics label)仍应该被看作是实验性的,可能在Docker未来的版本中发生改动。 日志驱动插件 添...阅读全文

博文 2017-06-30 23:08:57 debian.cn

基于thanos搭建分布式prometheus

sidecar和prometheus则走原生HTTP接口拿数据。 为了高可,我们可以部署多个prometheus同时抓取。 为了打散采集/存储压力,我们可以部署多个prometheus各自抓取部分数据。 无论出于述哪种目标或者混合目标,最终依靠Querier的正确配置都可以提供统一的Promql查询入口给Grafana,这一点是毋庸置疑的。 这里看到了图中有几个陌生的组件: Store Bucket Compactor Prometheus单机存储空间有限,SideCar和Prometheus在同POD内共享数据volume,然后sidecar可以自动将prometheus磁盘数据传到Bucket里归档存储;后续Querier可以通过Store组件从Bucket拉取到历史数据,这样就实现了历史数据...阅读全文

博文 2021-03-01 13:02:46 鱼儿的博客

谷歌公开了内部管理Infra层的两个工具的Paper

。 配置Gap 从基础架构提供者的角度看,给定服务的配置很容易有很多冗余。在Shakespeare服务里,所有东西都是相同的户完成的,因此给每个前端job指定户就是多余的。但是,因为基础架构需要运行很多服务的job,配置仍然必须为每个job指定户。 基础架构提供者的简单解决方案是提供更为强大的配置界面——比如,一种模版语言。但是,从服务的角度来看,这样的方案并没有根本性地消除冗余。服务需要配置多个提供者,这些提供者的一些信息通常是一样的。比如,数据库名字对于使它的job(计算提供者)和配置数据库的job(数据库提供者)都是需要的。 在这些景里,配置系统都很有。不管谁维护服务,都可以创建这些服务的高层级描述(比如,在集群x,y,z里运行N任务),并且配置系统将这些描述扩展成更适合每...阅读全文

博文 2023-01-08 11:23:20 CSDN博客

架构师详解 Nginx 架构

主进程(master process)生成一个子进程(worker process)出来和客户端建立连接进行交互,直到连接断开,该子进程就结束了。使进程的好处是各个进程之间相互独立,不需要加锁,减少了使锁对性能造成影响,同时降低编程的复杂度,降低开发成本。其次,采独立的进程,可以让进程互相之间不会影响,如果一个进程发生异常退出时,其它进程正常工作,master 进程则很快启动新的 worker 进程,确保服务部中断,将风险降到最低。缺点是操作系统生成一个子进程需要进行内存复制等操作,在资源和时间会产生一定的开销;当有大量请求时,会导致系统性能下降。 异步非阻塞 每个工作进程使异步非阻塞方式,可以处理多个客户端请求。当某个工作进程接收到客户端的请求以后,调 IO 进行处理,如果不能...阅读全文

博文 2018-05-01 23:10:47 debian.cn

kubectl 创建 Pod 背后到底发生了什么?—探寻 Kubectl 创建 Pod 的原理

中文原文:https://www.yangcs.net/posts/what-happens-when-k8s/ (杨传盛的博客) 英文原文:https://github.com/jamiehannaford/what-happens-when-k8s 想象一下,如果我想将 nginx 部署到 Kubernetes 集群,我可能会在终端中输入类似这样的命令: $ kubectl run --image=nginx --replicas=3 然后回车。几秒钟后,你就会看到三个 nginx pod 分布在所有的工作节点。这一切就像变魔术一样,但你并不知道这一切的背后究竟发生了什么事情。 Kubernetes 的神奇之处在于:它可以通过户友好的 API 来处理跨基础架构的...阅读全文

博文 2022-04-18 16:18:04 CSDN

域名与商标: 如何防止域名被仲裁

。因为收购是域名投资市正常的交易行为,在这里,重点要说说域名仲裁的那点事。 关天域名仲裁的事儿,最近发生的也不少,有点名气的如淘宝仲裁"HAITAO"双拼,以失败告终。那么,仲裁的根源是什么?什么样的行为又会构成仲裁呢? 域名仲裁的依据,一般认为是根据《保护工业产权巴黎公约》第六条之2和《知识产权协议》第16条第3项都规定,禁止复制、仿造或翻译他人的驰名商标于任何商品或服务。网络作为现实的延伸,国际公约中对驰名商标的保护,同样也延伸到网络世界中,而域名作为网络一种唯一的、排它性的标志,自然是首当其冲。但是,由于域名注册的自由,开放,先得原则,与商标的保护,又存在着一定的冲突和约束,因此,ICANN就针对域名争端制定了《域名争端统一解决政策》。 在这两种原则相冲突的情况下,仲裁机构如何对与...阅读全文

博文 2019-01-18 14:59:59 debian.cn

21款必不可少的Ubuntu桌面应用程序

阻止器 这款应程序对我来说不可或缺。我的密码很长,每当我离开Ubuntu电脑一段时间,Ubuntu锁屏就会锁住屏幕。 但有时正当我起劲地在BuzzFeed读一篇长文或者观看YouTube视频时,它也会锁住屏幕。这种情况下,我不想锁屏来干扰我,此时可以使caffeine。 Caffeine提供了一种快速抑制(阻止)屏幕保护程序或锁屏的方法。只要你在需要它时启它,不需要它时禁它! 7. KdenLive视频编辑器 你需要在传到YouTube之前修饰一个视频片段?想为长长的视频播客增添漂亮的转和炫酷的效果?那么,你应该使Kdenlive。 Kdenlive是一款非线性视频编辑器,它很出色:起来不仅很容易,还很可靠(其他Linux视频编辑器容易崩溃)。 替代方案:Flowblade...阅读全文

博文 2021-01-28 17:50:19 debian.cn

中国开源人访谈系列之:清风博主

提问者为Linuxstory.org的华华,回答者即为清风博主老师。之前常逛Linux社区的同学,对这个ID应该很熟悉。 A.您与Linux的那些事 1.清风老师能简单的介绍下您自己吗? 答:中学地理老师,Linux爱好者,Gentoo户,70后 来张几年前课摆拍的工作照吧 2.您是因为什么喜欢折腾Linux的呢?遇到最大的困难是什么呢? 答:说来话长。初识Linux是在参加工作近10年之后,之前都没听说过Linux。真正知道Linux,是因为自学了点asp,后来在搜索如何搭建更好的网站环境时,才知道了还有这么一个神奇的系统。2008年,有了笔记本电脑后,才尝试安装,发现这个系统太适合拿来折腾了!从入门级的Ubuntu到Gentoo,桌面环境从gnome2、unity、gnome3...阅读全文

博文 2021-01-28 17:50:13 debian.cn

Kubernetes源码探疑:Pod IP泄露排查及解决方法

对于云主机与云主机之间,只有轻微差异(小包景下,pps 会有 3~5% 损耗),而且Pod网络性能各项指标(吞吐量,包量,延迟等)不会随着节点规模增大而削减。而Flannel UDP,VXLan模式和Calico IPIP的模式存在明显的性能消耗。Pod能直通公有云和物理云。对于使公有云和物理云的户而言,业务K8S少了一层障碍,多了一份便利。而Flannel的host gw模式下,容器无法访问公有云和物理云主机。 而CNI的工作流程如下所示。 创建Pod网络过程: 删除Pod网络过程: Pod IP 消失问题的排查与解决 为了测试CNI插件的稳定性,测试同学在UK8S部署了一个CronJob,每分钟运行一个Job任务,一天要运行1440个任务。该CronJob定义如下...阅读全文

Web前端知识体系精简

,但Javascript在函数Function对象中建立了原型对象prototype,并以Function对象为主线,从至下,在内部构建了一条原型链。 简单来说就是建立了变量查找机制,当访问一个对象的属性时,先查找对象本身是否存在,如果不存在就去该对象所在的原型连去找,直到Object对象为止,如果都没有找到该属性才会返回undefined。 因此我们经常会利函数的原型机制来实现JS继承。关于函数原型链可参考博客:JS原型对象和原型链 2、函数作域 函数作域就是变量在声明它们的函数体以及这个函数体嵌套的任意函数体内都是有定义的。在JS中没有会块级作域,只有函数作域,因此JS中还存在着另外一种怪异现象,那就是变量提升。关于作域的介绍请参考博客:函数的作域和作域链 3、函数指针...阅读全文

博文 2021-01-28 17:50:33 debian.cn

HTML 5.1 — 14 项新增特性及使用案例

4、反序链接关系 rev 属性在 HTML4 里有定义,但是它并没出现在 HTML5 里。W3C 决定在 元素里重新包含 rev 属性。rev 属性标识当前和反向的链接文档的关系。它已经被包含来支持广泛使数据结构标记格式,RDFa。 让我们两个文档来举个例子,每个包含一课程,在它们之间的链接可以使如下 rel 和...阅读全文

博文 2021-01-28 17:50:20 debian.cn