InfraPub 为您找到相关结果 452

在 Kubernetes 上扩展 TensorFlow 模型

Kubernetes 的机器学习框架,最初由谷歌开发。它立在 Kubernetes 资源和编排服务之上,实现复杂的自动化机器学习管道,用于[训练和服务机器学习模型](https://iamondemand.com/blog/the-never-ending-story-of-model-training-a-new-chapter-for-machine-learning/)。 可以结合使用 Kubernetes 和 Kubeflow 来有效地扩展 TensorFlow 模型。为使 TensorFlow 模型具有可扩展性,主要的资源和特性如下: - 使用 kubectl[手动扩展 Kubernetes 部署和 StatefulSets](https://kubernetes.io/docs/concepts...阅读全文

kubelet 中垃圾回收机制的设计与实现

!= nil { errors = append(errors, err) } return utilerrors.NewAggregate(errors) }cgc.evictContainers在 cgc.evictContainers 方法中会回收所有可被回收的容器,其主要逻辑为:1、首先调用 cgc.evictableContainers 获取可被回收的容器作为 evictUnits,可被回收的容器指非 running 状态且创时间超过 MinAge,evictUnits 数组中包含 pod 与 container 的对应关系;2、回收 deleted 状态以及 terminated 状态的 pod,遍历 evictUnits,若 pod 是否处于 deleted 或者 terminated...阅读全文

博文 2021-02-05 17:48:22 知乎

处理器架构消亡史

架构也都是由RISC体系中发展出来的处理器架构。包括IBM所推出的Power架构也都是RISC体系中的一员。他们的到来,构了出了璀璨的处理器架构时代,也对当时的英特尔造成了一定的压力。各领风骚数十载SPARC(可扩展处理器体系结构)是最初由Sun Microsystems开发的精简指令集计算(RISC)指令集体系结构(ISA)。它的设计在很大程度上受到早期RISC设计的影响,包括来自加利福尼亚大学伯克利分校和IBM 801的RISC I和II 。这些原始的RISC设计极简,包括尽可能少的功能或操作码,旨在以每个时钟周期几乎一条指令的速率执行指令。SPARC于1986年首次开发,并于1987年发布,是最成功的早期商业RISC系统之一。在其推出首款SPARC处理器产品后,SPARC就很快地占领...阅读全文

译:Kubernetes 最佳实践

本文翻译自 Jack Roper 的文章 Kubernetes Best Practice。译者:文章中作者从应用程序开发、治理和集群配置三个方面给出了一些 Kubernetes 的最佳实践,同时翻译过程中也加入了我过往的一些使用经验。有误的地方,也欢迎大家指正。在这篇文章中,我将介绍一些使用 Kubernetes (K8s) 时的最佳实践。作为最流行的容器编排系统,K8s 是现代云工程师掌握的事实标准。众所周知,不管使用还是维护 K8s 复杂的系统,因此很好地掌握它应该做什么和不应该做什么,并知道什么是可能的,将是一个好的开局。这些议包含 3 大类中的常见问题,即应用程序开发、治理和集群配置。最佳实践目录使用命名空间使用就绪和存活探针(译者注:还有启动探针)使用自动缩放使用资源请求和约...阅读全文

博文 2022-09-13 19:32:21 atbug.com

互联网协议正在发生变化

TLS 1.3 的相关章节。 最终,HTTP/2 允许多个主机的请求被 合并到一个连接上,通过减少页面加载所使用的连接(从而减少拥塞控制的场景)数量来提升性能。 例如,你可以对 www.example.com 立一个连接,也可以将这个连接用于对 images.example.com 的请求。而未来的协议扩展也允许将其它的主机添加到连接上,即便它们没有被列在最初用于它们的 TLS 证书中。因此,假设连接上的通讯被限制于它初始化时的目的并不适用。 值得注意的是,尽管存在这些变化,HTTP/2 并没有出现明显的互操作性问题或者来自网络的冲突。 TLS 1.3 TLS 1.3 刚刚通过了标准化的最后流程,并且已经被一些实现所支持。 不要被它只增加了版本号的名字所欺骗;它实际上是一个新的 TLS 版本...阅读全文

深度解密基于 eBPF 的 Kubernetes 问题排查全景图

Label、Namespace 等概念非常适合用来构上下文信息。3、繁多监测系统,造成监测界面不一致复杂系统带来的一个严重副作用就是监测系统繁多。数据链路不关联、不统一,监测界面体验不一致。很多运维同学或许大多都有过这样的体验:定位问题时浏览器打开几十个窗口,在 Grafana、控制台、日志等各种工具之间来回切换,不仅非常耗时巨大,且大脑能处理的信息有限,问题定位效率低下。如果有统一的可观测性界面,数据和信息得到有效地组织,减少注意力分散和页面切换,来提高问题定位效率,把宝贵时间投入到业务逻辑的构上去。二、解决思路与技术方案为了解决上述问题,我们需要使用一种支持多语言,多通信协议的技术,并在产品层面尽可能覆盖软件栈端到端的可观测性需求,通过调研,我们提出一种立足于容器界面和底层操作系统,向上关联...阅读全文

博文 2022-03-21 09:11:51 joseph

提问的智慧 – 全文

的技术问题。 如果你是因为需要帮助正在阅读本文,还想着直接从作者那取得帮助(答案),然后挥一挥衣袖转身离开,那么你就不幸成了我们所说的白痴之一。别向我们提问,我们不会理你的。我们只是在这教你「如何从那些真正懂得问题答案的人那里取得帮助」的方法。不过,在99.9%的时间里我们不会是那些百事通。除非你非常地确定本文的作者是你的问题专家,否则请不要打扰,这样大家都更开心一点。 引言 在黑客[3]的世界里,你所提技术问题的解答很大程度上取决于你提问的方式与此问题的难度,本文将教你如何提问才更有可能得到满意的答复。 开源程序的应用已经很广,你通常可以从其他更有经验的用户而不是黑客那里得到解答。这是好事,因为他们更能够容忍一般的新手错误。但我们还议你使用我们推荐的方法,像对待黑客那样对待这些有经验的用...阅读全文

博文 2009-10-01 13:18:00 debian.cn

Ubuntu 创始人爆粗口: 开源社区弥漫着“反社会人格”

图片来自于 Youtube 关于近期关于放弃 Unity 的决定,Google+用户 Maartin Kozub 在文章中写道: 这个决定并不能简单的用惋惜和悲伤而形容,因为 Canonical 所从事开始的多个项目也宣告了死亡。 我认为当前最大的问题是大部分开源开发者无法深入理解,也不会进而欣赏面向对象的编程语言(C++)。他们依然还习惯使用 C 语言来编程一些丑陋的代码,也许有些时候利用个性化定制功能能够让 C 更加接近于 C++,但无疑会增加门槛和降低可读性。所以,为何不直接使用 C++?最典型的例子就是 Wayland。 在另一方面,Canonical 是目前极少数创优秀和简洁开源 C++代码的公司/社区,就像 Mir 一样能够充分利用各种现代化 C++功能。 Mark...阅读全文

博文 2021-01-28 17:50:26 debian.cn

Linux Systemd被爆远程漏洞 CVE-2017

), Buster (又名10) 和 sid (又名Unstable);以及其他各种使用 Systemd 的 linux 发行版。 已推出安全修补程序来解决此问题, 因此强烈议用户和系统管理员安装它们, 并尽快更新他们的 linux 发行。 本文由:vulners 发布,版权归属于原作者。如果转载,请注明出处及本文链接:http://toutiao.secjia.com/linux-systemd-rce-cve-2017-9445 如果此文章侵权,请留言,我们进行删除。...阅读全文

博文 2017-07-02 09:39:36 9445 影响多种Linux系统

故意泼脏水?AMD官方回应Zen安全漏洞

在漏洞,这件事也显得很诡异。 国外权威硬件媒体AnandTech在报道此事的时候,也首先提出了一系列质疑: CTS-Labs只给了AMD 24小时的时间知晓问题所在,而行业标准都是在漏洞发现后,提前联系涉事公司,并且要等90天才会对外公开,以便修复解决,而且初期不会披露漏洞技术细节。 在告知AMD和公开之前,CTS-Labs首先联系了一些媒体,向他们通报情况。 CTS-Labs 2017年才刚刚成立,资质尚浅,这只是他们的第一份公开安全报告,也未公开自己的任何客户。 CTS-Labs并没有自己的官方网站,公布此次漏洞却专门立了一个名为AMDFlaws.com的网站,还是2月22日刚刚注册的。 从网站布局看,很像是已经提前准备了很久,并未考虑AMD的回应。 CTS-Labs还雇佣了一个公关公...阅读全文

可用于企业的三个非主流 Web 服务器

多独特的安全功能。它还使用可读的配置语法,可以在不需要 HTTP 或 CGI 专业知识的情况下使用。 Hiawatha 的优势在于其体积小巧,安全性高,易于安装。它非常适合寻求轻量级替代 Apache 的用户,他们将安全可用性,速度和性能优先于高级功能。 Cherokee Cherokee 是我们这些服务器中第三个取自美洲原住民部落的名字。这个由 Akamai Technologies 工程总监 Alvaro Lopez Ortega 于 2001 年创,他想将模块化和轻量化设计的速度和功能结合起来。 Cherokee 已经成为一个可扩展,高性能,用户友好的 Web 服务器,具有较低的内存占用空间和负载平衡设施。其中包括一个称为 cherokee-admin 的基于 Web 的管理界面...阅读全文

博文 2018-05-02 09:27:32 debian.cn

基于Inception & Yearning做SQL审核的实践

./configure make && make install 安装Yearning 2.1 用pip3安装依赖包(txt文件在src目录中) pip3 install -r requirements.txt 2.2 创数据库实例yearning 2.3 将该数据库实例的连接信息写入develop.conf。升级请注意:1.0.0发布后,该文件增加了两个属性:ldap_type=1和smtp_port=,如果是cp原有的配置文件覆盖新下载的,要加上这两个配置 2.4 初始化数据库 python3 manage.py makemigrations && python3 manage.py migrate 2.5 添加初始化用户 echo "from core.models import Account...阅读全文

博文 2018-08-13 17:39:45 debian.cn

Go 公布 2.0 设计草案:规模化和扩展性、支持泛型

,Go 1 更多的是确保能快速构包含很多独立软件包的程序。Go 2 的目标是通过允许带有类型参数的参数多态来解决编写 Go 库的问题,这些问题抽象出了不必要的类型细节。 此外,除了预期的容器类型之外,开发团队还希望能编写有用的库来操作任意的 map 和 channel 值。理想方案是编写能够同时操作 [ ]byte 和 string 值的多态函数。 type List(type T) []T func Keys(type K, V)(m map[K]V) []K 更多细节请查阅Golang 2 设计草案页面。...阅读全文

博文 2018-09-01 18:39:47 debian.cn

IBM宣布以340亿美元收购RedHat 组建混合云提供商

发模式,以及促进其广泛的开发人员生态系统。此外,通过专利承诺、GPL 合作承诺、OIN 和 LOT 网络等工作,IBM 和 Red Hat 将继续致力于持续的开源自由。 除了 IBM Cloud 之外,IBM 和 Red Hat 还将继续构和增强红帽合作伙伴关系,包括主要云提供商,如 AWS、微软 Azure、谷歌云与阿里巴巴等。与此同时,红帽将从 IBM 的混合云和企业 IT 规模中受益,帮助他们将开源技术组合扩展到全球业务。 “收购 Red Hat 是一个改变游戏规则的方式。它改变了有关云市场的一切”,IBM 公司董事长、总裁兼首席执行官 Ginni Rometty 表示:“IBM 将成为全球排名第一的混合云提供商,为企业提供唯一的开放云解决方案,为企业提供全面的云价值。” “如今,大...阅读全文

GitHub 发布10月21日系统故障分析报告

Raft 共识机制之上达成共识。Orchestrator 可以实现应用程序无法支持的拓扑,因此必须注意将 Orchestrator 的配置与应用程序级别的期望保持一致。 然而 21 日,在上述网络分区中,Orchestrator 在主数据中心中一直保持活跃,根据 Raft 的共识机制,它开始了一个取消领导选举的过程。美国西海岸数据中心和美国东海岸公有云 Orchestrator 节点能够立合规数量并开始对群集进行故障转移,以便将写入指向美国西海岸数据中心。Orchestrator 继续组织美国西海岸数据库集群拓扑,当连接恢复时,应用层立即开始将写入流量引导到西海岸站点的新当选者。 美国东海岸数据中心的数据库服务器包含一段短暂的写入时间,但尚未复制到美国西海岸的设施。由于两个数据中心中的数据库集群...阅读全文

Linux 基金会与 RISC

、紫光展锐等公司也加入了RISC-V联盟,其中华米科技今年9月份还宣布了基于RISC-V指令集的首款智能穿戴芯片黄山1号。 不过RISC-V前景虽好,但是现在还在起步阶段,包括RISC-V基金会本身的运作也需要向Linux基金会这样的成熟社区学习,所以这次合作对RISC-V阵营意义重大,Linux软件生态在RISC-V处理器的开发、优化、支持等方面都会推动RISC-V立更强大的生态系统。...阅读全文

博文 2018-12-01 09:45:27 V 基金会合作推广开源芯片

LXD 3.8 发布,下一代容器管理器

有手动创或导入的镜像来改变这一点,仅作为缓存条目存储的镜像不会被复制。 CLI 覆盖默认项目 由于不得不经常使用 lxc 项目切换来在项目之间切换客户端,因此与多个项目进行交互可能会很繁琐。当想要在特定项目中执行的操作是一个简单的操作(如启动容器)时尤其如此。 LXD 3.8 现在在整个命令行客户端都有一个 –project 选项,它允许覆盖特定操作的项目。 ZFS 压缩支持 迁移协议提供了 ZFS 压缩支持。 此外还有大量 bug 修复与其它功能,详情查看 发布公告 。 下载地址:https://linuxcontainers.org/lxd/downloads/ Debian社区网站内容即将同步至腾讯云+社区,邀请大家点击链接,一同入驻。...阅读全文

博文 2018-12-14 10:29:14 debian.cn

Metasploit Framework 5.0 发布 最流行的渗透测试框架

言,框架立在不断增长的世界级攻击性内容库的框架基础上。另外,此次更新还包括了可用性改进和大规模开发的支持,数据库和自动化 API 的改进等。 在 4.x 现有的 Postgresql 数据库后端之上,Metasploit 5.0 增加了将数据库本身作为 RESTful 服务运行的功能,使用该服务可以与多个 Metasploit 控制台甚至外部工具进行交互。5.0 版本的这个变更还将取消数据库服务的一些批量操作,从而通过并行处理数据库和常规 msfconsole 操作来提高性能。 新的发布周期 过去的一年,Metasploit 的开发包括两个分支:一个是 4.x 的稳定分支,支持 Metasploit Pro 和像 Kali Linux、ParrotSec Linux、和 Rapid7 自己...阅读全文

博文 2019-01-15 13:37:28 debian.cn

Redis 6 将采用全新协议RESP3 提供客户端缓存功能

缓存功能,保证存储在客户端内存的数据,在收到来自服务器的失效通知时才失效。 另外,当客户端和服务器的连接中断时,客户端无法接收到数据失效通知,这可能会导致服务出现问题。针对这种情况,一般的做法是重新立客户端和服务器之间的连接,并更新客户端当前的缓存。antirez 表示可以一直保持连接是最好的情况,但为了降低风险,Redis 服务器在与客户端断开连接时,会将失效通知发送给其他客户端。 这项名为”Client side caching” 的功能尚未正式确定名字,最后可能会被成为”Tracking”。Redis 作者还表示在 Redis 6 候选版发布之前,这些功能都会进行调整,希望社区能积极反馈意见。 由于 Client side caching 功能需要使用 RESP3 协议来支持实现...阅读全文

Oracle Linux 8.0 发布

使崩溃内核和 initramfs 尽早加载,以便它可以捕获 vmcore 信息,包括早期内核崩溃。 容器与虚拟化 新的容器工具:Podman、Buildah 与 skopeo 现在在 Oracle Linux 8 上可用:Podman:Podman 是 Libpod 的一部分,它的定义可以简单用这个命令表示:`alias docker=podman`。Buildah:Buildah 是一个用于构 OCI(Open Container Initiative)镜像的工具。skopeo:skopeo 是一个命令行工具,用于对容器镜像和镜像库执行各种操作,支持使用 OCI 镜像与原始的 Docker v2 镜像。Q35 机型是一种更现代的 PCI Express-based 机器类型,现在可用于...阅读全文

博文 2019-07-20 22:39:32 debian.cn

Debian 公布关于支持非 systemd 初始化系统的投票结果

策略要求一致,并且通常议软件包不应依赖于其他软件包的实验性或不受支持的(在 Debian 中)功能。软件包可能会包括对 systemd 以外的其他 init 系统的支持,并且可能包括其使用的任何 systemd 特定接口的替代物。维护人员使用其常规的程序来确定要引入的补丁。Debian 致力于使用对 init 系统做出不同选择的衍生产品。和我们与下游的所有交互一样,相关的维护人员将与下游一起工作,以找出哪些变化适合加入到 Debian 中,哪些变化应该完全保留在派生工具中。...阅读全文

博文 2019-12-29 13:53:51 debian.cn

三大亮点带你看 Linux 内核 5.6

版中,硬件支持也将继续提升。而支持新式无线外设的计划也同样是优先的。 新内核中将增加对 MX Master 3 鼠标以及罗技其他无线产品的支持。 除了罗技的产品外,你还可以期待获得许多不同硬件的支持(包括对 AMD GPU、NVIDIA GPU 和 Intel Tiger Lake 芯片组的支持)。 6、其他更新 此外,Linux 5.6 中除了上述主要的新增功能或支持外,下一个内核版本也将进行其他一些改进: 改进 AMD Zen 的温度/功率报告修复华硕飞行堡垒系列笔记本中 AMD CPU 过热开源支持 NVIDIA RTX 2000 图灵系列显卡内 FSCRYPT 加密 Phoronix 跟踪了 Linux 5.6 带来的许多技术性更改。因此,如果你好奇 Linux 5.6 所涉及的全...阅读全文

博文 2020-02-07 11:13:09 debian.cn

以太网技术联盟宣布800千兆以太网规格

的大目标是制定800Gbase-R规范(base-R表示当前媒体上的当前标准系列,base-T和base-C表示前几代)。 与以前的以太网迭代一样,许多技术将被重用和开发。800Bbase-R规范(或800gbe)需要对媒体访问控制(MAC)和物理编码子层(pc)进行新的定义。这些将从 IEEE 802.3bs 标准中 400GbE 的现有规范中重新定义,重新定义为在8条 106gbps 信道上工作。为了兼容性,规范中的其他部分(如前向错误控制)保持不变。 RobStone等技术工作组主席说:“这项工作的目的是尽可能重新利用标准的400GbE逻辑,以创一个800GbE的MAC和PC规范,从而为实施多速率以太网端口的用户提供最低的开销成本。”...阅读全文

博文 2020-04-12 15:10:55 debian.cn

Debian GNU/Linux 诞生 27 周年

,宣布他正在开发新的 Linux 发行版,并正在寻找议。他将其称为 Debian Linux Release,并表示这是由 Linux 开发者从头开始开发的,尽管它受到 Softlanding Linux System (SLS) 的启发。 Debian 的名称由 Ian Murdock 当时的女友 Debra 和 Ian Murdock 自己的名字组合而成,所以 Debian 一词根据这两个名字在美国英语的发音读作 /’dɛbiːjən/。 作为一个大的系统组织框架,Debian 旗下有多种不同操作系统核心的分支计划,主要为采用 Linux 内核的 Debian GNU/Linux 系统,其他还有采用 GNU Hurd 内核的 Debian GNU/Hurd 系统、采用 FreeBSD 核...阅读全文

博文 2020-08-17 08:32:32 debian.cn

Linux Kernel 5.10本周末发布 十个功能盘点

能够帮助运行在 Wine/Proton 上的少量游戏,在现代化处理器(AMD Zen 2 或者英特尔 Connon Lake)上能够使用 Store Local Descriptor Table Register 或者 Store Task Register 指令。 6.XFS 文件系统 XFS 文件系统现在支持到 2486 年,克服了此前 Year 2038 的问题。 7.声卡支持 由于开放源代码社区的工作,终于在 Linux 下支持了 Creative Labs SoundBlaster AE-7 声卡。 8.任天堂 Switch 手柄支持 借助新的Nintendo HID驱动程序(另一个开源社区创),Linux Kernel 5.10 终于添加了对任天堂 Switch 手柄的支持。任...阅读全文

博文 2020-12-09 10:30:48 debian.cn

取代TCP:工程师宣布QUIC协议已完成RFC 9000发布

IETF 和互联网生态系统而言,这都是一件大喜事。近年来,QUIC 一直是 IETF 最引人瞩目的活动之一。作为搜索巨头 Google 发起的一项实验,其已经历了五年时间的发展,期间举办了 26 场面对面会议、商议了 1749 次问题、以及成千上万封的邮件沟通。在 IETF 标准的开发协作与迭代流程指导下,QUIC 协议跨越了传统上孤立的传输、安全和应用程序空间,且在审议期间引发了热烈的讨论,最终顺利过渡并达成了广泛的共识。考虑到互联网传输生态系统已经僵化了几十年,而 QUIC 将能够通过加密、版本控制、后续可立的更丰富的技术、以及高性能服务来摆脱这种尴尬的僵化局面。QUIC 已经做好了引领下一代互联网创新的准备,且开始通过不可靠数据报之类的扩展,为实时媒体和其它不需要完全可靠传输服务的应用程序...阅读全文

个人信息保护新规将出台 消费者被短信轰炸将成为历史

工业和信息化部将会同相关部门尽快发布实施《移动互联网应用程序个人信息保护管理的暂行规定》(简称《规定》)。《规定》将为个人信息保护提供更加坚实的政策保障。在新规的引导下,多个电商平台已经主动加强了对客户信息的保护力度。 工业和信息化部信息通信管理局的人士近日透露:“在充分吸收社会各界意见的基础上,工业和信息化部会同相关部门制定了《规定》的征求意见稿,社会各界提出了一些好的意见和议,我们正在研究采纳。在此基础上,尽快会同有关部门发布实施。” ![个人信息保护管理](https://wpfile.debian.cn/uploads/2021/06/f676e4a616f30fb.png) 在征求意见稿中,管理部门明确了App开发运营者的信息保护义务。 《规定》要求...阅读全文

Debian 25 岁生日快乐!精彩仍在继续

美国当地时间8月16日,即今天,Debian 在官网发文庆祝诞生 25 周年。 Debian 于1993年8月16日由 Ian Murdock 首次发布,最初将其称为"Debian Linux Release"。当时,他将这封著名的电子邮件发送到 comp.os.linux.development 邮件列表,宣布他正在开发新的 Linux 发行版,并正在寻找议。他将其称为 Debian Linux Release,并表示这是由 Linux 开发者从头开始开发的,尽管它受到 Softlanding Linux System (SLS) 的启发。 Debian 的名称由 Ian Murdock 当时的女友 Debra 和 Ian Murdock 自己的名字合并而成,所以 Debian 一词是...阅读全文

博文 2018-08-17 00:01:33 debian.cn

专访Docker大牛:Docker背后的真正引擎是Containerd

管理仍然是不容易,我们必须创自己的工具来管理,如果可以在Docker Swarm中本地完成,这将是非常好的一次改进。 多主机联网目前使用情况还不错,但我仍然发现了一些小问题。不过,最近很多SDN供应商正在将自己的网络堆栈作为Docker插件实施,这对于使用者来说是件好事。 问:关于Docker生态系统的演变,您如何评价Docker决定 向CNCF 捐赠 containerd runtime ? Chanwit Kaewkasi:我认为这是个非常棒的举动,Docker背后真正的引擎基本上是Containerd,标准化的 container runtime 将会使所有的人都受益。 多集群管理依然不容易。 问:您希望在下一个Docker发行版中看到什么功能? Chanwit Kaewkasi...阅读全文

博文 2017-11-22 10:50:11 debian.cn

分布式 NewSQL 数据库 TiDB

view 时报错的问题 #15867修复 fast analyze handle 列时 panic 的问题 #16080修复 current_role 输出结果字符集不正确的问题 #16084完善 MySQL 连接握手错误相关日志 #15799修复加载审计插件后端口探测活动导致 panic 的问题 #16065修复因 TypeNull 类被错误识别为变长类型,导致 left join 上的 sort 算子 panic 的问题 #15739修复监控 session 重试错误计数不准确的问题 #16120修复在 ALLOW_INVALID_DATES 模式下,weekday 结果出错的问题 #16171修复在集群中存在 TiFlash 节点时,GC 可能不能正常工作的问题 #15761修复创...阅读全文

博文 2020-04-18 22:05:02 3.1.0 发布

如何在 Nginx 中配置 gRPC 的代理

交互方式。 此示例里nginx以明文的方式在80端口发布gRPC,其中代理的gRPC在后端也是以明文的方式交互。 注意:Nginx是不支持在明文的端口上同时支持http1和http2的(想一想为什么?)。如果要支持这两种的http协议,需要设置为不同的端口。 以 TLS 加密方式发布 gRPC 服务 在生成环境议使用Nginx是以加密的方式发布gRPC。这种情景需要在Nginx添加一个加密层。 在开发/测试环境可以使用自签名证书,关于自签名证书本文不做介绍。配置示例如下: server { listen 1443 ssl http2; ssl_certificate ssl/cert.pem; ssl_certificate_key ssl/key.pem; location...阅读全文

博文 2018-04-20 11:03:39 debian.cn

LFS 8.0 正式发布:从零开始编译自己的 Linux 发行版

》(LFS)是杰勒德·比克曼斯等人编写的久负盛名的安装Linux的教科书,描述了从源代码编译Linux系统的方法。这本书可以从在Linux From Scratch网站上免费下载到,下载链接如文末。书中详细地描述了如何从零开始构一个完整的 Linux 系统,不过 LFS 包含的套件较少,一般来说 BLFS 提供的套件更多,其几个相关的子项目有如下这些: Beyond Linux From Scratch(BLFS) 标准LFS仅仅安装了足够让系统启动的基本软件,以及使新系统能够编译新软件包的开发工具。BLFS包括了更多的软件包,且都有相应指导。 Crosss Linux From Scratch(CLFS) 为需要进行交叉编译(即在一个平台上编译另一个平台的代码)的用户提供指导,正式版本为1.0...阅读全文

博文 2021-01-28 17:50:23 debian.cn

Raspberry Pi 推出 Zero W

W 在推出当天就发货超过 10000 台 。 Pi Zero W 在性能特性、软件兼容性和通用输入输出(GPIO)配置上与前面的版本基本相同,因此也能受益于 Pi 设备丰富的应用和附件。Raspberry Pi 还具有一个大型的活跃社区,该社区是围绕 Raspberry Pi 基金会构的,查找各类主题和用例的指导信息非常方便。 尽管 Pi Zero W 的功能并未超越前期版本的 Pi,但是它可以使有联网需求项目的实现更快速也更容易,而且与添加 WiFi 或蓝牙所导致的开销相比,所需的额外投资也是可控的。如果 Pi Zero W 能紧跟需求,将会在大量的物联网项目中发挥核心作用。 查看英文原文: Raspberry Pi Launch Zero W...阅读全文

博文 2021-01-28 17:50:24 debian.cn

三大浏览器敦促网站管理员更换 SHA–1 认证

的影响,Mozilla在2016年11月初着手在部分beta用户中开展移除SHA-1的beta测试。Firefox默认使用手动安装的认证。 Edge Mircosoft Edge和Internet Explorer 11浏览器将于2017年2月14日停止加载使用SHA-1认证的网站,同时让用户决定是否忽视无效认证的警告并依然继续访问该网站。同样,手动安装的或自签名的SHA-1认证将不会受到影响。 Safari Safari的提供商Apple也开始逐步停止使用SHA-1和3DES这类被认为是不安全的算法。在最新版本的macOS中已经可以看到,对于SHA-1签名认证的网站,Safari浏览器将不再显示那个原有的绿色挂锁标志。在Sierra的发行说明中也议应尽快停止使用SHA-1,但是并未给出更...阅读全文

博文 2021-01-28 17:50:17 debian.cn

DNS SRV:使用DNS服务器做服务发现

DNS SRV 是 DNS 记录中一种,用来查询指定服务的地址。与常见的A记录、CNAME 不同的是,SRV中除了记录服务器的地址,还记录了服务的端口,并且可以设置每个服务地址的优先级和权重。RFC-2782 给出DNS SRV的议标准,它是在2000年的时候提出来的。 访问服务的时候,本地的服务从 DNS 服务器查询到一个地址列表,根据优先级和权重,从中选取一个地址作为本次请求的目标地址。 一个支持SRV的 LDAP client 通过查询域名,可以得知 LDAP 服务的 IP 地址和服务端口: _ldap._tcp.example.com 这个域名的格式是 rfc-2782 中推荐的格式,_ldap表示LDAP服务,_tcp表示通过TCP协议访问LDAP服务。 SRV 的 DNS 类...阅读全文

博文 2019-03-05 09:35:34 debian.cn

提问的智慧(精简版)

遇到问题,当然应该大胆提问!但绝对不是随便截个图丢给其他人,等待解决方案。原文请见 提问的智慧 (How To Ask Questions The Smart Way) 。这篇文章对于社区提问给出了很多议,现作要点精简如下。请你做到完成了 RTFM (Read The Fucking Manual) 和 STFW (Search The Fucking Web) 两个步骤。通常,用这两句之一回答你的人会给你一份包含你需要内容的手册或者一个网址,而且他们打这些字的时候也正在读着。这些答复意味着回答者认为你需要的信息非常容易获得;你自己去搜索这些信息比灌给你,能让你学到更多。按发生时间先后列出问题症状问题发生前的一系列操作,往往就是对找出问题最有帮助的线索。因此,你的说明里应该包含你的操作步...阅读全文

博文 2023-10-07 15:02:42 infras

谷歌开源 Pigweed:用于提升嵌入式开发效率

中的经典挑战是减少从运行 git clone 到在设备上执行二进制文件的时间。对于生产嵌入式项目,往往通常需要一整套工具。而 Pigweed 能够通过虚拟环境提供简化设置的工具,具体来说,Pigweed 的 pw_env_setup 模块中的引导脚本可设置当前的 shell 以访问一组标准化工具——包括 Python 3.8、clang 格式以及 ARM 编译器。所有这些都是在虚拟环境中完成的,因此无需修改系统的默认环境。 在典型的嵌入式开发中,即使添加很小的更改也需要一些额外的手动步骤。而 Pigweed 的 pw_watch 模块直接解决了这种效率低下的问题,它提供了一个监视者(watcher),该监视者可以在保存文件时自动调用构,还可以运行受代码更改影响的特定测试。这大大缩短了更改的...阅读全文

博文 2020-03-22 08:35:14 debian.cn

Apache Flink 1.14 新特性预览 - OSCHINA

模作业调度的优化 构 Pipeline Region 的性能提升:所有由 pipline 边所连接构成的子图 。在 Flink 任务调度中需要通过识别 Pipeline Region 来保证由同一个 Pipline 边所连接的任务能够同时进行调度。否则有可能上游的任务开始调度,但是下游的任务并没有运行。从而导致上游运行完的数据无法给下游的节点进行消费,可能会造成死锁的情况 任务部署阶段:每个任务都要从哪些上游读取数据,这些信息会生成 Result Partition Deployment Descriptor。 这两个构过程在之前的版本都有 O (n^2) 的时间复杂度,主要问题需要对于每个下游节点去遍历每一个上游节点的情况。例如去遍历每一个上游是不是一个 Pipeline 边连接的关系...阅读全文

博文 2021-09-05 07:26:58 中文开源技术交流社区

开源社区的运作模式:Debian Vs. Ubuntu

定自己的策略,在遵循开发者成员委员会规定的基本原则下,可以自行增加新成员。 Ubuntu贡献开发人员是一种中间身份,他还没有为成为其他开发者身份做好准备,但表达了成为Ubuntu成员的决心。 所有这些身份都可以通过类似的方法取得:创一个Wiki页面列举你过去所做出的贡献;从与你一起工作过的现有成员那里收集证明;将你自己添加到下一次委员会会议的议事日程中,并准时参加会议。委员会成员将会查看你的Wiki页面,并根据你在会议(以及平时的开发者邮件列表)上的作答情况,以及其他人对你的意见,审核你是否能通过。 最重要的委员会成员是由社区选举产生的,而其他一般的角色是由社区委员会任命的。这些治理主体包括Canonical员工,但并没有想象的那么多人:开发者成员委员会总共有8人,其中2人是...阅读全文

博文 2021-01-28 17:50:09 debian.cn

社交巨人Facebook使用Linux和Btrfs的姿势

时候,Mason会做兼容性测试与性能优化的工作。 本文主要介绍了Facebook是怎么使用Linux和Btrfs的。 Linux.com:Btrfs已经开发了很长时间,现在是时候推出了吗?我知道有些Linux发行版已经把它作为默认的文件系统,有的没有。 Chris Mason:众多发行版中SUSE确实在企业服务器版使用Btrfs作为默认文件系统,因为SUSE花了大量的人力和物力在做Btrfs的技术支持,我也很感激;Red Hat并没有这么做。一个发行版是否采用Btrfs是人们特别关心的特性,而且大家希望能在这个特性上构新的东西。 Linux.com:Btrfs最有价值的地方是什么?如果我没记错的话,Facebook也在使用Btrfs。 Chris Mason:在Facebook内部,我们有...阅读全文

博文 2021-01-28 17:50:22 debian.cn

架构师详解 Nginx 架构

主进程(master process)生成一个子进程(worker process)出来和客户端立连接进行交互,直到连接断开,该子进程就结束了。使用进程的好处是各个进程之间相互独立,不需要加锁,减少了使用锁对性能造成影响,同时降低编程的复杂度,降低开发成本。其次,采用独立的进程,可以让进程互相之间不会影响,如果一个进程发生异常退出时,其它进程正常工作,master 进程则很快启动新的 worker 进程,确保服务部中断,将风险降到最低。缺点是操作系统生成一个子进程需要进行内存复制等操作,在资源和时间上会产生一定的开销;当有大量请求时,会导致系统性能下降。 异步非阻塞 每个工作进程使用异步非阻塞方式,可以处理多个客户端请求。当某个工作进程接收到客户端的请求以后,调用 IO 进行处理,如果不能...阅读全文

博文 2018-05-01 23:10:47 debian.cn

基于thanos搭建分布式prometheus

external_labels: cluster: 158 rule_files: - /etc/prometheus/rules/*.yml remote_write: - url: http://receive集群的service ip:19291/api/v1/receive scrape_configs: remote_write部分的IP填写receive集群对外暴露的入口IP,端口是receive组件的remote-write专用端口19291,URI部分是固定的。 最后 thanos官方提供了一个sidecar方案的交互式教程,帮助大家理解thanos整个组件关系和配置过程,议学习:https://katacoda.com/thanos/courses/thanos,实际生产中议采用方案2。 如果文章...阅读全文

博文 2021-03-01 13:02:46 鱼儿的博客

Linux下多线程程序为什么消耗大量虚拟内存

] munmap(0x7f53d0000000, 13275136) = 0 [pid 19343] mmap(NULL, 8392704, PROT_READ|PROT_WRITE, MAP_PRIVATE|MAP_ANONYMOUS|MAP_STACK, -1, 0) = 0x7f53d04a8000 Process 19495 attached 我检查了一下trace文件也没有发现大量内存mmap动作,即便是brk动作引起的内存增长也不大。于是感觉人生都没有方向了,然后怀疑是不是文件缓存把虚拟内存占掉了,注释掉了代码中所有读写日志的代码,虚拟内存依然增加,排除了这个可能。 灵光一现 后来,我开始减少thread的数量开始测试,在测试的时候偶然发现一个很奇怪的现象。那就是如果进程创了一个线程并且在该...阅读全文

博文 2015-01-28 10:35:39 debian.cn

百度运维工程师挖矿实录:四个月用155台服务器挖矿赚10万判3年

资源,从而获取虚拟货币的一种程序,需要较高的硬件配置及用电量。 而单凭一个矿工的力量是挖不到比特币的。于是“安某”便想到可以利用自己的职务之便利用百度的服务器来开启自己的发家致富之路,只是他可能没想到的是事情会败露的这么快。 那么,他具体是怎么做的呢? 首先,他用自己的工作账户上传了一个压缩文件 miner.tar.gz ,其中包含一个名为 java_4u3 的脚本, 而这个脚本可以自动执行解压缩、创目录、删除目录、自动连接代理进行网络交换,达到控制服务器的目的。 然后,编译了一个挖矿程序,并将上述程序部署非法控制了百度的 155 台服务器上,利用公司为其配备的苹果电脑上的 iterm 软件控制所有服务器的中控机,通过中控机上传挖矿脚本,并通过 iterm 软件发出批量下载指令,让 200...阅读全文

博文 2020-03-17 20:42:41 debian.cn

Debian 相比 Ubuntu 有哪些不同之处

Debian 和 Ubuntu 是有史以来最具有影响力的两大 Linux 发行版。在大约285个活跃发行版当中,有132个源自Debian (也包括Ubuntu本身),另有67个直接源自Ubuntu。不过在Ubuntu和Debian之间作一个选择并非易事。说到底,选择Ubuntu还是选择Debian用来制定业务战略,取决于你在平台支持、用户控制级别、易用性及另外一些关键问题方面的使用偏好。 如果要求你解释一下 Debian和Ubuntu 之间的区别,大多数会这样回答:Ubuntu是面向新手的发行版,而Debian是面向专家的发行版。这样的描述部分正确,但同时夸大其辞。Debian的声誉立在10多年前的状态;如今,允许每个用户可以选择众多的实际控制特性。 同样,从设计概念来看,Ubuntu...阅读全文

博文 2017-12-22 23:41:07 debian.cn

RabbitMQ 高可用实现镜像队列

数据也是在三个节点之间同步,但 Queue 的实际存储只会在一个节点。我们发送消息到指定 Queue,其实是发送消息到指定节点下的 Queue。如下图所示,消息发送至队列 testQueue,无论发送者通过哪个 RMQ 节点执行发送,其最终的执行都会是在 MQ03 节点执行消息的存储。 说到这儿,可能有的小伙伴就要问了?说好的,RabbitMQ 集群提供高可用性呢?分析一下,RabbitMQ集群搭完成后,如果不进行任何高可用配置,会有哪些问题呢? 单点故障会导致消息丢失:如果 MQ03 节点故障,那么 MQ03 中的消息就会丢失无法最大化的利用 RMQ 提升执行效率:既然每次发送到队列 testQueue 的消息都会在 MQ03 节点存储,那么何必搭集群。 引入 RabbitMQ 的镜像...阅读全文

博文 2018-12-30 19:21:59 debian.cn

如何写好技术文档 — 来自十多年的文档经验总结

你搭起整个文档的框架。 - WHEN: 明确文档的创、Review和更新日期。因为文档也有时效性,明确相关日期可以避免阅读者踩坑。 - WHERE: 文档应该放在哪! 议一个组织或者团队有统一的永久文档存放地址,并且有版本控制。最好是方便查找、使用和分享。 - WHY: 为什么要写这篇文档, 你期望读者读完后从文档中获得什么! ### 三段式写作 ### 写文章一般都会有三个部分,专业写作者也讲究凤头、猪肚、豹尾,这三个词概括出了好文章三部分应有的特点。技术文档也算是文章的一种,所以一般也都会有这三部分,每个部分有其自己的作用,比如第一部分阐述问题,中间部分介绍具体的解决方案,第三部分总结要点。 但这也并不以为着文档应该有三个部分,如果文档内容比较多,可以将其做更细致的拆解,可以适当增...阅读全文

博文 2021-07-30 16:15:13 joseph