Hadoop 核心 - HDFS 分布式文件系统详解
式: hdfs dfs -copyFromLocal
InfraPub 为您找到相关结果 803 个
Linux系统诊断-内存基础
的文件，大多反馈系统信息的实时情况（进程、内存、cpu、设备信息等）。结论： /proc/meminfo 是 /proc 文件系统下保存你内存相关信息的"伪文件"。2.2 命令输出简介每个发行版输出都有一定差异，我们以debian8 4.19.x发行版为例。root@4f996feeb851:~# free -m total used free shared buffers cached Mem: 1991 1909 81 4 155 836 -/+ buffers/cache: 917 1073 Swap: 1023 1 1022大部分的命令输出意思，大家可以在man文档中找到解析，这里不做赘述。used: 已使用的内存 used = total - free -buffers...阅读全文
提问的智慧 – 全文
提问在学习中占据着重要的位置，很多人对知识好奇，却收效甚少，原因他们是尚未掌握正确提问的方法，因此，我尝试修改《提问的智慧》，发布出来。原作者是Eric S. Raymond，这篇文章在黑客界拥有很高的地位，指引无数黑客前进，希望对你有用。 为何要做一个修改注释版？ 试图做出一个容易阅读，方便理解，与时俱进，可以执行的提问执行方案。 原翻译为2010年，新版2013年，时隔2年有余，原作有变； 尊重原作的复制及引用协议[1]； 原翻译很好，检查中发现有些语句不顺，语意不准，或者已不符合现在语言规范，参照王刚老师的版本进行修改； 附上自己的看法和注解，更加适合现在阅读使用。 每当有人来向我提问，我可以将他指引到这篇文章，可以减少很多的不必要的麻烦。 【本章注释】 [1]复制协议中注明了应用该...阅读全文
理解 Linux 的虚拟内存
前不久组内又有一次我比较期待的分享：“Linux 的虚拟内存”。是某天晚上加班时，我们讨论虚拟内存的概念时，leader 发现几位同事对虚拟内存认识不清后，特意给这位同学挑选的主题。 我之前了解一些操作系统的概念，主要是毕业后对自己大学四年的荒废比较懊恼，觉得自己有些对不起计算机专业出身，于是在工作之余抽出时间看了哈工大在网易云课堂的操作系统公开课，自己也读了一本讲操作系统比较浅的书 《Linux内核设计与实现》，而且去年自己用 C 写简单的服务器时，也追根究底了解了更多的系统底层知识。多亏了这些知识，让我对应用层的知识更有掌控感，也在上次排查问题时（从应用到内核查接口超时）助了我一臂之力。 前几天另一位同事来问另一个虚拟内存相关的问题，我才发现对于虚拟内存，我的理解还不够深刻，一些概念还...阅读全文
CVE-2017
Desktop 12-SP2 OpenSuse 漏洞检测: 可以使用以下命令查看 sudo 版本: sudo -V 漏洞修复建议 (或缓解措施): 目前阿里云官方软件源已经同步更新，可以通过以下命令更新补丁: Ubuntu/Debian: sudo apt-get update & sudo apt-get upgrade CentOS/RHEL: yum update yum update sudo 注：升级 kernel 可能会导致服务器无法启动，建议您在升级补丁时排除内核升级 打开/etc/yum.conf ，输入： # vi /etc/yum.conf 在 [main] 段中，下添加一行，如下： exclude= kernel* //这里假设是排除内核升级 情报来源:http...阅读全文
开源团队协作 TMS 发布新版本 v2.10.0
TMS 是一个用 Java 语言开发的，类似 Slack、Barrychat 的团队协作沟通Web平台，同时也是一个支持博文wiki撰写，国际化翻译管理的 Web管理系统。近期，TMS 发布了新版本 v2.10.0。 新功能： #IHIS4: 博文最近编辑文章列表，方便找到最近编辑创建的文章， 待办事项管理（让繁多的待办事项有条不紊的备忘记录，然后逐步攻破，减少记忆负担，提高工作利率不是一丢丢） 频道组（聊天频道支持创建分组，方便一次性 @多人 ，减少@具体用户的数次（爽的不要不要的） 优化改进： #II5PA: 游客可见博文 分享链接 复制分享 博文过滤查找清除过滤条件，输入框获取输入焦点 #II9N9: 沟通频道，按标签检索过滤 #IINTK: 沟通内容页面当 window...阅读全文
Debian 安装 fail2ban 方式SSH爆破攻击
使用 Debian 这么久，影响最深的小软件莫过于 fail2ban 了。对多数服务器而已，对外开放的服务中，风险相对较高的莫过于 SSH 服务了， fail2ban 是一个轻量、有效、便捷的保护服务器免受暴力攻击的工具。 Fail2ban 使用 iptables 来阻止攻击者。 Fail2ban 的安装非常简单。Debian 及衍生版，可以直接从软件源安装： apt-get install fail2ban 安装结束后便进入可用状态，默认的设置就足够使用了。这就是 Debian 的风格，不需要不必要的人工干预，在不知不觉中就提升了你的效率。我们还是来看一下 fail2ban 的配置文件 /etc/fail2ban/jail.conf ，默认区段如下： [DEFAULT]ignoreip...阅读全文
W3C 宣布：WebAuthn 成为正式 Web 标准
器去年就已实现了对 WebAuthn 的支持。自去年 12 月以来，苹果就在 Safari 的预览版中支持 WebAuthn。 W3C CEO Jeff Jaffe 表示：“现在是时候让服务提供商和企业采用 WebAuthn 了。它可以帮助避免密码被攻击和泄漏风险，从而提升 Web 用户在线体验的安全性。W3C 这一标准建立了 Web 范围的互操作性指导，为 Web 用户和他们访问的站点设定了一致的期望。W3C 正致力于在自己的站点上实现这一最佳实践。” WebAuthn 目前已经在 Dropbox、Facebook、Github、Salesforce、Stripe 和 Twitter 等网站上实现了。W3C 希望其他网站也能加入采用 WebAuthn，从而在整个网络上实现更多的无密码登录。...阅读全文
成功运作一个开源项目的15个要点
少。 2、透明 这一点很容易理解：我们要使得社区可以观察和了解你正在做的事情：使用易于查找的可公开访问的源代码存储库，使用面向公众的问题跟踪软件，在社区可以找到的地方公布发布计划，以及在公共论坛捕获会议记录(例如归档邮件列表)。 3、开放 对于很多开源项目来说，“透明度”和“开放性”意味着同一件事，但其实这两个术语的含义截然不同。开放不仅仅指的是“一目了然”(这与透明本质上是一样的)。对于许多人来说，开源的“开放”意味着开放新思想，或开放参与。参与开源项目的规则对于每个人应该是一样的(“公平的竞争环境”)：仅仅接受几个补丁是不够的，你必须对新的思路点子开放。总之，你必须允许别人参与你的项目，放弃对项目的绝对控制。 4、保持“公平的竞争环境” 这并不一定意味着你必须让任何人加入项目，而是要确保...阅读全文
Netty+Nacos+Disruptor自研企业级API网关
Netty+Nacos+Disruptor自研企业级API网关 download：https://www.51xuebc.com/thread-566-1-1.html React18+TS+NestJS+GraphQL全栈开发示例 全栈开发是指一位开发人员可以熟练掌握前端、后端和数据库等多个领域的技术，能够完整地开发一个应用程序。在本文中，我们将介绍如何使用React18+TS+NestJS+GraphQL这个技术组合来进行全栈开发。 技术选型 在开始开发之前，我们需要选择合适的技术栈。以下是我们所采用的技术： React 18：React18是React框架最新版本，它具有更好的性能、更好的可访问性、更好的代码拆分等特点，可以提高开发效率和应用性能...阅读全文
Go 公布 2.0 设计草案：规模化和扩展性、支持泛型
去年7月，Go 语言官博就曾透露 Go 2 开发计划，并表示 Go 2 的目标就是解决 Go 1.x 在规模化方面做的还不够好的地方。随着时间的推进，开发团队已着手准备 2.0 版本的开发工作，并公布了设计草案，供社区讨论和反馈，以促进最终的语言设计。 设计草案包含三个方面，错误处理、错误值和泛型，并针对各个方面进行了详细的概述和改进草案。大致总结如下： 一、错误处理（Error handling） 为扩展至大型代码库，Go 程序必须是轻量级的，不会过度重复，且具备稳健性，能够优雅地处理出现的错误。 目前 Go 检查错误的代码太多，但处理这些错误的代码却严重不足。对于 Go 2，开发团队希望错误检查更加轻量级，减少用于错误检查的 Go 程序的文本量。此外，还能更加方便地编写错误处理程序，提...阅读全文
分布式任务调度平台 XXL
将会主动触发一次子任务的执行, 多个子任务用逗号分隔； 22、一致性：“ 调度中心” 通过 DB 锁保证集群分布式调度的一致性, 一次任务调度只会触发一次执行； 23、自定义任务参数：支持在线配置调度任务入参，即时生效； 24、调度线程池：调度系统多线程触发调度运行，确保调度精确执行，不被堵塞； 25、数据加密：调度中心和执行器之间的通讯进行数据加密，提升调度信息安全性； 26、邮件报警：任务失败时支持邮件报警，支持配置多邮件地址群发报警邮件； 27、推送 maven 中央仓库: 将会把最新稳定版推送到 maven 中央仓库, 方便用户接入和使用; 28、运行报表：支持实时查看运行数据，如任务数量、调度次数、执行器数量等；以及调度报表，如调度日期分布图，调度成功分布图...阅读全文
Cortex: 高可用和水平扩展Prometheus监控系统
复制。有三个Prometheus配置文件。它们具有外部标签，在执行远程写入时将标签添加到所有指标。Prometheus1和Prometheus3容器写入Cortex1，而Prometheus2容器写入Cortex2。我们将在Cortex3上运行查询。以下代码片段显示了三个Prometheus实例的配置差异。# Prometheus one global: # ... external_labels: cluster: two # ... remote_write: - url: http://cortex2:9009/api/prom/push # Prometheus two global: # ... external_labels: cluster: two...阅读全文
深入理解Golang之context
++ { messages <- i } time.Sleep(5 * time.Second) close(done) time.Sleep(1 * time.Second) fmt.Println("main process exit!") } 上述例子中定义了一个buffer为0的channel done, 子协程运行着定时任务。如果主协程需要在某个时刻发送消息通知子协程中断任务退出，那么就可以让子协程监听这个done channel，一旦主协程关闭done channel，那么子协程就可以推出了，这样就实现了主协程通知子协程的需求。这很好，但是这也是有限的。如果我们可以在简单的通知上附加传递额外的信息来控制取消：为什么取消，或者有一个它必须要完成的最终期限，更或者有多个取消选项，我们需要根据额外的信息来判断...阅读全文
使用 Go 语言的三个原因
阅读行为放在编写之上 。Go 通过工具和自定义来强制所有代码格式化成特定的样式。这消除了学习项目特定语言的方言时的困难，并有助于发现错误，因为它们 看上去 就是不正确。 由于专注于分析和机器辅助，Go 开发人员开始采用越来越多的工具来发现常见的编码错误，这种工具从来没有在 C 语言开发者中产生共鸣 – Go 开发人员 希望 工具帮助他们保持代码清洁。 并发性 十多年来，芯片设计师一直在警告 免费午餐将会结束 。从最低端的手机到最耗电的服务器，硬件的并行性以 更多、更慢、堆砌 cpu 内核 的形式出现，但只有 当 你的语言可以利用它们才有意义。因此，并发特性需要内置到我们编写的要在今天的硬件上运行的软件中。 通过提供一种基于协程的 轻量级并发模型 ，或者是 Go 中已知的 goroutines...阅读全文
Facebook 开源的一组 Linux 内核组件与工具
近日，Facebook 开源了一套解决重要计算集群管理问题的 Linux 内核组件和相关工具，这些项目覆盖了资源控制、资源利用、工作负载隔离、负载均衡、测量和监控等方面：BPF、Btrfs、Netconsd、Cgroup2、PSI、Oomd。 Facebook 表示这些项目现在已大规模用于其所有基础设施生产环境中，并用于其它许多企业组织的环境中。 BPF：https://facebookmicrosites.github.io/bpf/ BPF 是 Linux 内核中一种高度灵活、高效率的代码执行引擎，可以让字节码在各个 hook 点运行，以使用自定义代码。虽然 BPF 已广泛用于数据包过滤，但是 BPF 的指令集具有很强的通用性和灵活性，足以支持和允许除网络之外的众多使用场合，比如跟踪和...阅读全文
企业制定开源战略的免费指南
源，这让他们毫不含糊地知道公司的战略领导者完全支持它。此外，如果有某些我们不希望工程师使用的许可证或有其他开源指南，我们的内部文档需要明确。” 开源计划有助于促进企业文化，使企业更高效，并且根据指南，强有力的战略文档可以“帮助你的团队了解开源计划背后的业务目标，确保更好的决策，并最大限度地降低风险。” 了解如何使用 设置开源策略 新指南中的提示和经过验证的实践，将管理和创建开源软件的目标与组织的业务目标保持一致。然后，查看所有 12 个 企业开源指南 ，了解有关使用开源获得成功的更多信息。...阅读全文
2017年的Linux内核防护依然脆弱
，RedHat 网站上所谓的 "Under Investigation" 只是继续等待 Linux 主线内核的修复，或许要让 Linux 内核安全有所改善我们需要更多的 stack clash 和 DirtyCow 持续曝光。 因为利益的关系，Linux 基金会对自由软件社区和 GPL 已经非常不友好，虽然 Greg K-Hartman 一直强调 Linux 基金会是一个非盈利组织，但一个 NGO 的 CEO 为什么有高达 49 万美金（2014 财年）的年薪，也没人知道为什么 Greg 本人会有 Google 的邮箱（拿 Linux 基金会和 Google 双薪水？），Linux 内核本来有一次改善安全的机会，可惜 Linux 基金会的市场 PR 需求搞砸了整件事。HardenedLinux 社区在这...阅读全文
Debian软件包常用管理命令整理
在Debian及其衍生的系统中，我们需要经常使用的软件包管理命令，对系统进行管理，以便系统达到预期的状态。Debian系统中，常用的软件包命令有 apt、apt-get、dpkg、apt-cache等，这里我们着重列举常见的一些用法。 软件包查询（不需要sudo权限） $ apt-cache search pkg_keyword #列出匹配关键字的软件包 $ apt search pkg_keyword #列出匹配关键字的软件包，包括了版本信息 $ apt list pkgname #查找该软件包，会显示版本信息 $ apt-cache show pkgname #查询软件包详细信息 $ apt show pkgname #查询软件包详细信息 $ apt-cache depends...阅读全文
Go 泛型草案更新，明年8月Go 1.17引入
Go 团队近日在博客介绍了 Go 泛型的最新进展。 Go 团队表示他们一直在完善泛型的设计草案，并为此编写了一个类型检查器——可按照设计草案中的说明，解析使用泛型的 Go 代码并报告任何类型的错误。为了收集社区的反馈，他们还编写了示例代码并在草案中提供。 根据收集的反馈和了解的信息，Go 团队发布了更新后的泛型设计草案。 "The design is fully backward compatible with Go 1"，完全兼容 Go 1 新版草案最大的变化是放弃了关于 contracts 的想法。因为团队认为 contracts 和 interface 类型之间的区别会令人感到困扰，所以他们正在消除这种区别。类型参数现在受 interface 类型约束，当 interface 类型仅...阅读全文
树莓派4发布：性能飙升 配件丰富 价格不变
频 1.5GHz 。内存： 1GB、2GB 或 4GB LPDDR4 SDRAM（取决于型号）。连接性：双频 IEEE 802.11ac 无线 + 蓝牙5.0，千兆以太网，2×USB 3.0、2×USB 2.0 端口。GPIO：向前兼容树莓派的标准 40 针引脚。视频和声音： 2×micro-HDMI 输出（4kp60 或 4kp30）、2 通道 MIPI DSI 显示端口、2 通道 MIPI CSI 摄像头端口、4 极立体声音频和复合视频端口。多媒体： HEVC / H.265（4kp60 解码）、AVC / H.264（1080p60 解码 / 1080p30 编码）、OpenGL ES 3.0 GPU 。存储：Micro SD 卡槽，用于加载操作系统和数据存储。电源输入： 5V DC...阅读全文
大起底：揭开亚马逊云计算丰厚利润的秘密 - 电子商务
件公司Tableau卖给了Salesforce公司。AWS业务有点像自助餐，给开发者和终端用户提供了几百种在线服务自由选择，另外每年还不断推陈出新。从财务角度看，这一业务还是个“黑箱”。亚马逊没有披露云计算业务的具体营收来源，也没有给出各个子版块的利润率情况。AWS诞生初期，就是作为一个基础计算服务的外包供应商，包括计算资源和数据存储等。可以判断，该业务大部分收入和利润仍然来自这些业务。科技业人士克里·奎因（Corey Quinn）曾经在私营的Duckbill集团担任首席云经济学家，帮助客户公司降低他们在亚马逊云计算的开支。奎因预测，AWS一半以上的收入来自于EC2计算服务。这一服务相当于让企业用户在亚马逊数据中心租赁到了实体服务器虚拟的“一部分”。奎因表示，计算服务再加上“弹性块存储...阅读全文
Redis 6.0.0 GA已正式发布
Redis 6 是有史以来改变最大的 Redis版本，因此即使稳定，也要小心处理，并在投入生产之前对其进行测试，以进行工作量测试。到目前为止，我们从未发现重大问题，但请务必小心。在收集错误报告时，我们将准备尽快发布Redis 6.0.1。 变化如下：除了稳定性之外，RC1和今天之间还有什么变化？ 1. 在某些方面对客户端缓存进行了重新设计，尤其是放弃了缓存插槽方法，而只使用键名。在分析了替代方案之后，在其他Redis核心团队成员的帮助下，这种方法最终看起来更好。除此之外，尤其是“广播模式”，我相信它将成为该功能最流行的使用模式之一。 使用广播时，服务器不再尝试记住每个客户端请求的密钥。相反，客户端订阅密钥前缀：每当与该前缀匹配的密钥被修改时，它们就会收到通知。这意味着可广播更多消息（但仅适...阅读全文
聊聊很重要的内核技术eBPF
在2018年的 Linux Plumber 大会上，eBPF成了亮点，有24个议题提到了 eBPF，可以预计eBPF会成为一大技术热点。 eBPF(Extended Berkeley Packet Filter) 的核心是驻留在 kernel 的高效虚拟机。最初的目的是高效网络过滤框架，前身是 BPF。 Linux kernel 3.18版本开始包含了eBPF，相对于 BPF 做了一些重要改进，首先是效率，这要归功于 JIB 编译 eBPF 代码；其次是应用范围，从网络报文扩展到一般事件处理；最后不再使用socket，使用map进行高效的数据存储。 根据以上的改进，内核开发人员在不到两年半的事件，做出了包括网络监控、限速和系统监控。目前eBPF可以分解为三个过程： 以字节码的形式创建...阅读全文
新加坡华侨银行(OCBC) 零门槛开户 使用APP在家即可申请
OCBC 简介OCBC 全称是新加坡华侨银行，是新加坡第二大银行。曾连续多年被评为“全球最安全银行”前三名，本文会介绍一下 OCBC 的开户条件、流程、手续费等。下面是开户流程。拿不准的可以加我 TG @algo6，可以免费咨询境外银行开户、港美股开户等问题。所需材料：有效期大于6个月的护照，不是需要办理后满6个月。有NFC功能的手机 （扫描护照内置芯片使用）有效期内的身份证（需要拍摄身份证正面）大陆地区的手机号码（接收验证码使用）半年内充值超过 1000 SGD 用于激活账户（顺便领取现金奖励）1. APP 下载安卓有条件的可以使用 Google Play 搜索 OCBC，下载 OCBC Digital - Mobile。iOS 直接商店搜索。没有谷歌 Play 的可以试试 华为商店，或...阅读全文
Debian Live 项目的剧变
Williams 却坚持认为取代 live-build 很有必要。Learmonth 给 live-build-ng 换了一个争议性也许小一些的名字： live-wrapper 。他说他的目标是为 Debian Live 项目加入新的工具（并且「把 Debian Live 项目引入 Debian 里面」），但是完成这件事还需要很大的努力。 我向已经被 ITP 问题所困扰的每个人道歉。我们已经告知大家 live-wrapper 还不足以完全替代 live-build 且开发工作仍在进行以收集反馈。尽管有了这部分的工作，我们收到的反馈缺并不是我们所需要的。 这种对于取代 live-build 的强烈反对或许已经被预知到了。自由软件社区的沟通和交流很关键，所以，计划去替换一个项目的核心很容易引起争议——更何况是...阅读全文
域名与商标： 如何防止域名被仲裁
几率是相当高的。因此，在推销域名的时候，应尽量避免使用域名注册邮箱进行，而且还得保证你所使用的推销邮箱与你本人的关联性不强才行。同时，为迫使对方高价赎回，利用这类商标域名，建立一些会对商标产生负面影响的网站，就更不可取了。 如果一旦认定域名为“恶意抢注”，通行的作法是商标权利人胜诉。 二、盗用和模仿类域名 即平时所讲的TYPO域名和加前缀、加后缀的流量域名，在域名仲裁中也是及易被仲裁的类别。 这类域名由于与对应的商标高度相似，及易导至网络用户的混淆、误认，实际上是淡化了原商标的知名度。这类域名会被定义为商标盗用类域名。它也有两个显著特点： 1、域名与商标(包括知名公司的名称、专有指代标识)及为相似，客观上会造成他们混淆、误认。2、商业使用。 第一个特点是显著的，大多数情况下，米农注册这类域名...阅读全文
我要彻底放弃 Debian 操作系统！-Michael Stapelberg
。 这是什么意思？ 在接下来的几周内，我将： 将包转交给相应的维护团队从其他维护者的包的Uploaders字段中删除自己的名字对于那些只有我在维护的包，那就任其自生自灭吧 我将尽最大努力维护manpages.debian.org服务（https://manpages.debian.org/）和codesearch.debian.net服务（https://codesearch.debian.net/），但是随时欢迎别人来帮忙。 请所有人都当我永远休假去了。我会尽力解决管理的问题（例如许可转移等），如果有人直接向我提问，而且问题很容易回答的话，我也会尽力回答。 为什么？ 当年加入Debian的时候，我还是一名学生，所以我有大量的业余时间。现在，经过5年多的全职工作，我从日常的工作中学到了很多知识...阅读全文
Kubernetes源码探疑：Pod IP泄露排查及解决方法
的Kubernetes API， 以UCloud 公有云资源为基础， 通过自研的插件整合打通了ULB、UDisk、EIP等公有云网络和存储产品，为用户提供一站式云上Kubernetes服务。 其中VPC既保障网络隔离，又提供灵活的IP地址定义等，是用户对网络的必备需求之一。UK8S研发团队经过考察后认为，UCloud基础网络平台具有原生、强大的底层网络控制能力，令我们能抛开Overlay方案，把VPC的能力上移到容器这一层，通过VPC的能力去实现控制和转发。 UK8S每创建一个Pod都为其申请一个VPC IP并通过VethPair配置到Pod上，再配置策略路由。 原理如下图所示。 此方案具有以下优势： 无Overlay，网络性能高。50台Node下的测试数据表明，容器与容器之间的网络性能，相...阅读全文
玩转 AWS 的必备工具
主要详细介绍Ansible和SaltStack。 AnsibleAnsibleisSimpleITAutomation Ansible的配备简易，不用在远程控制instances上事先尤其的手机软件，只必须能根据ssh登陆和Python就可以了。其原理都不繁杂，Ansible最先根据ssh将Ansible的可执行程序拷贝到总体目标isntances上并实行，随后根据ssh连接在远程控制服务器上启用Ansible可执行程序。Ansible应用YAML做为配备模版英语的语法。 小编在考博士期内以前参加过一个十分相近Ansible的群集管理系统软件新项目GXPClusterShell。GXP比Ansible大概早了五年。根据GXP不但能够达到相近Ansible的群集管理方法，与此同时也涵盖了...阅读全文
玩转 AWS 的必备工具
SaltStack。 AnsibleAnsibleisSimpleITAutomation Ansible的配备简易，不用在远程控制instances上事先尤其的手机软件，只必须能根据ssh登陆和Python就可以了。其原理都不繁杂，Ansible最先根据ssh将Ansible的可执行程序拷贝到总体目标isntances上并实行，随后根据ssh连接在远程控制服务器上启用Ansible可执行程序。Ansible应用YAML做为配备模版英语的语法。 小编在考博士期内以前参加过一个十分相近Ansible的群集管理系统软件新项目GXPClusterShell。GXP比Ansible大概早了五年。根据GXP不但能够达到相近Ansible的群集管理方法，与此同时也涵盖了一个根据make的Map-Reduce解决构架和一...阅读全文
RabbitMQ 高可用实现镜像队列
：A，B同时停 该场景下可能是由掉电等原因造成，只需在30s内联系启动A和B即可恢复镜像队列。 场景3：A先停，B后停，且A无法恢复。 因为B是master，所以等B起来后，在B节点上调用rabbitmqctl forget_cluster_node A以接触A的cluster关系，再将新的slave节点加入B即可重新恢复镜像队列。 场景4：A先停，B后停，且B无法恢复 该场景比较难处理，旧版本的RabbitMQ没有有效的解决办法，在现在的版本中，因为B是master，所以直接启动A是不行的，当A无法启动时，也就没版本在A节点上调用rabbitmqctl forget_cluster_node B了，新版本中forget_cluster_node支持-offline参数，offline参数允许...阅读全文
2017 年会是 Serverless 爆发之年吗
定运行。通过以一种松散编排的方式将函数和服务组合起来，能够构建易于理解、易于管理的复杂后端系统。 为 lambda 等计算服务编写的代码应该以无状态方式进行构建，这样会让无状态功能很强大，让平台得以迅速扩展，处理数量不断变化的请求或者事件。 设计基于推送的、事件驱动的管道可以构建满足任何用途的服务器架构。系统可以一开始就构建成无服务器，也可以逐步设计现有的单体型应用程序，以便充分发挥这种架构的优势。最灵活、最强大的无服务器设计是事件驱动型的。 构建事件驱动的、基于推送的系统常常有利于降低成本和系统复杂性，但是要注意，并不是任何情况下都是适当的或者容易实现的。 创建更强大的前端由于 Lambda 的定价基于请求数量、执行时间段以及分配的内存量，所以代码执行需要越快越好。数据签名的令牌让前端可以...阅读全文
专访Docker大牛：Docker背后的真正引擎是Containerd
最近，我们可能经常会听到一种说法"Docker正在彻底改变IT!"这种说法是否存在炒作嫌疑呢？Docker对于现有格局的破坏性到底在哪里？Docker和虚拟机之间有什么区别？Docker真正的附加价值在哪里？本文我们将和Docker大牛Chanwit Kaewkasi来讨论这些话题。 Asst. Prof. Dr. Chanwit Kaewkasi 问：您是如何与Docker结缘的呢？ Chanwit Kaewkasi：这个可以追溯到2014年，当时我们实验室正在寻找一个虚拟化层来帮助管理大数据栈，而虚拟机解决方案对我们来说太重了，所以遇到Docker对我们来说是一件幸事。 问：我们经常听到"Docker正在彻底改变IT"，你认同这种观点吗？Docker技术有什么破坏性？ Chanwit...阅读全文
LXD 3.8 发布，下一代容器管理器
LXD 3.8 发布了，LXD 是下一代容器管理程序，它提供类似于虚拟机的用户体验，但使用的是 Linux 容器。LXD 的核心是一个特权守护程序，它通过本地 unix 套接字以及网络暴露 REST API。随后客户端通过该 REST API 执行所有操作，这意味着无论是与本地主机还是远程服务器通信，都以相同的方式运行。LXD 附带提供命令行客户端。 此版本改进了许多功能，还带来一些新功能，包括： 自动化容器快照 引入了三个配置键来控制自动快照并配置它们的命名方式。 支持项目之间的复制/移动 lxc copy 和 lxc move 都添加了一个新的 –target-project 选项，可以在项目之间复制或移动容器。 cluster.https_address 服务器选项 以往，集群...阅读全文
Debian GNU/Linux 诞生 27 周年
8月16日，Debian 官方博客发文庆祝 Debian GNU/Linux 诞生 27 周年。 由于 COVID-19 大流行，官方表示今年无法像以往那样组织线下的现场庆祝活动，因此他们要求贡献者、开发者、维护者、团队、社区和用户在8月16日（和/或15日）在线宣传 Debian 项目和举办庆祝活动。 如果你所在地区没人组织庆祝活动，或者自己不想参加活动，Debian 团队提议使用 OBS Studio 把自己准备的庆祝活动录制下来然后上传至网络或者直接开直播。 Debian 于1993年8月16日由 Ian Murdock 首次发布，最初将其称为”Debian Linux Release”。当时，他将这封著名的电子邮件发送到 comp.os.linux.development 邮件列表...阅读全文
NVDIMM-P非易失内存标准公布：断电不丢数据、兼容DDR4
。 － 大容量：支持扩展的内存寻址功能。 － 支持即插即用：在电脑开机时可以直接插入标准的双列内存插槽，并立刻与同一总线上的DDR内存交互操作。 NVDIMM-P的主要特征： － 与现有DDR通道完全兼容，包括物理接口、电气性能、协议、时钟。 － 保证为下一代CPU插槽增加的针脚尽可能少。 － 协议支持数据读取时的不确定延迟。 － 确保数据在非易失内存中的事务性操作。 － 从NAND到DRAM多种延迟模式的支持(在模块级别)。 － 内存本身具备高可靠性、链路错误保护功能。 事实上，NVDIMM是一个系列标准，除了这里说的NVDIMM-P，还有NVDIMM-F、NVDIMM-N、NVDIMM-H。 NVDIMM-F本质上就是DDR接口的SSD固态盘，只使用NAND闪存，优点是延迟低(纳秒级别)、带宽高...阅读全文
Go 1.10 发布说明草案：预计于 2018 年 2 月发布
Go 1.10 还没发布，下面将简单介绍正在进行中的 Go 1.10 发布说明草案。Go 1.9 已于 2017 年 8 月发布，最新的 Go 1.10 预计将于 Go 1.9 发布六个月后 —— 2018 年 2 月发布。 Go 1.10 大部分的变更仍然集中在工具链、运行时和库的实现上。一如既往地，此版本依然会 保持与 Go 1.x 的兼容性 ，官方表示几乎所有的 Go 应用程序都能像以前一样继续编译和运行。 语言特性方面的改变 语言特性方面没有实质性的变化。 极端情况下，由无类型常量引起的变化已经弄清楚。因此，编译器也已进行升级，它可允许这样的索引表达式 x[1.0 << s] 通过编译，其中 s 是一个无类型常量。go/types 包也已完善。 方法表达式的语法 (grammar...阅读全文
鸟哥：PHP Next: JIT
12月23日，由开源中国联合中国电子技术标准化研究院主办的2017源创会年终盛典在北京万豪酒店顺利举行。作为年末最受期待的开源技术分享盛会，国内顶尖技术大拿、知名技术团队、优秀开源项目作者，及近1000名技术爱好者共聚一堂，探讨最前沿、最流行的技术话题和方向，推动国内开源创新体系发展，共建国内开源生态标准。 PHP7 已发布近两年, 大幅的性能提升使得 PHP 的应用场景更加广泛，刚刚发布的 PHP7.2 相比 PHP7.1 又有了近 10% 的提升。在本次大会上，链家集团技术副总裁、PHP 开发组核心成员鸟哥发表了以 “ PHP Next: JIT ”为主题的演讲，分享了 PHP 的下一个性能提升的主要举措：JIT 的进展, 以及下一个大版本的 PHP 可能的特性。他表示，JIT 相比...阅读全文
谷歌安全博客披露“ 英特尔内核漏洞 ”更多细节
去年的时候，Google 旗下 Project Zero 团队发现了一个由 CPU “ 预测执行 ” 导致的严重安全漏洞，而它也是一项被大多数现代处理器使用的性能优化方案。根据研究人员 Jann Horn 的演示，恶意攻击者可借此读取不该被它访问到的系统内存。某个未经授权的一方，可能在系统内存中读取到一些敏感信息，比如密码、加密密钥、或者在应用程序中打开的其它机密信息。 测试还表明，在一台虚拟机上发起的攻击，甚至能够访问到主机的物理内存。基于此，还可以获取在同一主机上、不同虚拟机的内存读取访问。 该漏洞影响许多 CPU，包括来自英特尔、AMD、ARM 的芯片，以及搭配运行的设备和操作系统。在获悉这种新型攻击的第一时间，谷歌安全和产品开发团队就积极动员了起来，以保护自家系统和用户数据。 万幸...阅读全文
QEMU 5.0 稳定版发布
设备HPPA: 通过 HP Artist 图形设备支持图形控制台MIPS: 支持 GINVT (global TLB invalidation) 指令PowerPC: 当 ic-mode=dual 时，‘pseries’ 机器不再需要重启来进行 XIVE/XICS 中断控制器之间的中断控制PowerPC: ‘powernv’ 机器现在可以模拟 KVM 硬件加速，并在 TCG 模式下运行 KVM guestsRISC-V: ‘virt’ 和 ‘sifive_u’ 板卡现在支持 Linux 中的通用 syscon 驱动，以控制启动和重启RISC-V: ‘virt’ 板卡支持 Goldfish RTCRISC-V: 实验性支持扩展草案的 v0.5 版本s390: 当在 KVM 模式中运行时，支持适...阅读全文
Firefox 59 将启用对分布式网络架构协议的支持
为了帮助实现更加开放、让每个人都能轻松访问到的分布式互联网技术，Mozilla 于去年与美国国家科学基金会携手提供了 200 万美元的奖金。现在，这个项目似乎已经取得了积极的成果。 Mozilla 刚刚宣布，自 Firefox 59 开始，用户将能够通过扩展来启用“分布式互联网协议”。Firefox 59 的正式版定于 2018 年 3 月份推出，其中包含了对一些新批准的协议的支持，比如 Dat Project、IPFS、以及 Secure Scuttlebutt 。 此举意味着 Mozilla 在积极为当前占主导地位的“客户端-服务器”模型（CS Model）寻找替代方案。需要指出的是，协议实施的重担并没有落在 Mozilla 身上，只是 Firefox 浏览器会将其认定为合法的而已。此...阅读全文
Apollo 配置中心简单介绍
、Thread Pool Size、Buffer Size、Request Timeout、Feature Switch、Server Urls等。配置伴随应用的整个生命周期 配置贯穿于应用的整个生命周期，应用在启动时通过读取配置来初始化，在运行时根据配置调整行为。配置可以有多种加载方式 配置也有很多种加载方式，常见的有程序内部hard code，配置文件，环境变量，启动参数，基于数据库等配置需要治理 权限控制 由于配置能改变程序的行为，不正确的配置甚至能引起灾难，所以对配置的修改必须有比较完善的权限控制不同环境、集群配置管理 同一份程序在不同的环境（开发，测试，生产）、不同的集群（如不同的数据中心）经常需要有不同的配置，所以需要有完善的环境、集群配置管理框架类组件配置管理 还有一类比较特殊的配置...阅读全文
开源软件对于商业机构的6大好处
常是对产品供应商有利，而非客户。如果软件停止运行，或者如果供应商要求支付更多的费用，你甚至无法起诉供应商的不当行为。而像 GPL 一类的开源许可证就是为保护客户专门设计的，而不是供应商，它确保你按照自己的需求使用软件，而没有专制限制。 由于它们的广泛使用，GPL 及其衍生许可的含义被广泛理解。 例如，许可证允许你现有(开源或闭源)基础设施通过定义良好的 API 与其连接，对时间或用户数量没有限制，并且不会强制你打开配置或知识产权 财产(如公司标志)。但有一个问题就是，有一些开源内核混合了 GPL 和专有软件的条款，这违反了许可证规定，会将客户置于危险境地。 使用专有软件意味着你需要面对严苛的法规遵从性条款，还有承担高额罚款的风险。...阅读全文
巴克莱：仍预计美联储2月加息50个基点，3月加息25个基点
【巴克莱：仍预计美联储2月加息50个基点，3月加息25个基点】1月7日消息，巴克莱银行仍然预计美联储将在2月份的会议上加息50个基点，3月份加息25个基点。经济学家们认为，3月份较小幅度的加息将是对经济活动和劳动力市场放缓的越来越多证据以及通胀数据继续放缓的回应。这将使联邦基金目标区间在3月会议后达到5%-5.25%，与12月的经济预测报告中的点阵图中值相对应。然而，2月FOMC的决定仍取决于关键数据的发布，如下周公布的12月CPI。经济学家们称，展望3月份以后，他们预计FOMC将暂停加息行动，但不排除如果该委员会未能看到足够的经济放缓，会继续逐步加息的可能性。 日期： 2023-01-07 23:52...阅读全文
Kafka生产问题总结以及性能优化
送下一条消息。这种情况下，如果follower没有成功备份数据，而此时leader又挂掉，则消息会丢失。 （3）acks=-1或all： 这意味着leader需要等待所有备份(min.insync.replicas配置的备份个数)都成功写入日志，这种策略会保证只要有一个备份存活就不会丢失数据。这是最强的数据保证。一般除非是金融级别，或跟钱打交道的场景才会使用这种配置。当然如果min.insync.replicas配置的是1则也可能丢消息，跟acks=1情况类似。 消息消费端： 如果消费这边配置的是自动提交，万一消费的数据还没处理完，就自动提交offset了，但是此时你consumer直接宕机了，未处理完的数据丢失了，下次也消费不到了。所以消费端也要设置为手动提交； 2.1.2 消息重复消费...阅读全文
Apollo 分布式配置中心详解
。 版本发布管理 所有的配置发布都有版本概念，从而可以方便地支持配置的回滚。 灰度发布 支持配置的灰度发布，比如点了发布后，只对部分应用实例生效，等观察一段时间没问题后再推给所有应用实例。 权限管理、发布审核、操作审计 应用和配置的管理都有完善的权限管理机制，对配置的管理还分为了编辑和发布两个环节，从而减少人为的错误。所有的操作都有审计日志，可以方便的追踪问题。 客户端配置信息监控 可以在界面上方便地看到配置在被哪些实例使用。 部署简单 配置中心作为基础服务，可用性要求非常高，这就要求 Apollo 对外部依赖尽可能地少，目前唯一的外部依赖是 MySQL，所以部署简单，只要安装好 Java 和 MySQL 就可以让 Apollo 跑起来。 Apollo 配置中心适用范围 既然 Apollo 定位...阅读全文
Let’s Encrypt已颁发10亿份证书 13名员工服务1.9亿网站
Let's Encrypt官方发布庆祝博文，宣布于2020年2月27日颁发了第10亿份证书。博文中回顾了从第1亿份证书到今天最新里程碑的过程，并反思了这些年互联网行业的发展。 在博文中首先指出的是，当前Web的加密程度要比以往高出很多。在2017年6月，全球使用HTTPS的网站只有58%，美国地区为64%。而今天全球有81%的网页加载使用HTTPS，美国地区更是高达91%。这是一个了不起的成就，这表明每个人都有更多的隐私和安全保护。 Let's Encrypt服务的企业规模也有所增加，在2017年6月该机构为4600万个网站提供服务，不过当时机构只有11名员工，年度预算为261万。而今天该机构为1.92亿个网站提供服务，拥有13名全职员工，年度预算约为335万美元。 这意味着只增加2名新员...阅读全文
开源社区纠纷不断：20 年的 Debian 开发者被排挤出项目
近日，据外媒报道，一位在 Debian 项目中服务超过 20 年的开发者 Norbert Preining 在去年 12 月被降级为维护者，这一行为导致他决定离开该项目。Preining 称，Debian 客户经理团队认为他“多年来一直在欺负项目成员”、“不能与社区团队沟通”。在接受采访时，Preining 表示他现在已经加入了 Arch Linux 项目，将在以后的博文中进行更多的解释。Debian 是一款为数极少的纯社区驱动的 Linux 发行版，而不是由商业公司或者政府机构所掌控。虽然 Debian 采用了 Linux Kernel （操作系统的核心），但是大部分基础的操作系统工具都来自于 GNU 工程， 因此又称为 Debian GNU/Linux。DAM 认为 Preining...阅读全文
最新评论
