Apollo（阿波罗）是携程框架部门研发的分布式配置中心，能够集中化管理应用不同环境、不同集群的配置，配置修改后能够实时推送到应用端，并且具备规范的权限、流程治理等特性，适用于微服务配置管理场景。 本文简单从功能特点做介绍，更详细的说明请参考Apollo配置中心介绍。本地快速部署可以参考这里。线上的演示环境从这里可以访问到： 106.54.227.205 （账号/密码: apollo/admin） Apollo 配置中心产生背景 大多情况下程序随着功能的复杂，程序的配置也会增多：包括各种功能开关、参数配置、服务地址信息配置等，同时开发人员对程序配置的期望值也越来越高：配置修改后实时生效，灰度发布，分环境、分集群的管理配置、权限控制、审核机制等。 在这样的大环境下，传统的通过配置文件、数据库...阅读全文
：使用`/latest_producer_id_block`节点来保存PID块，主要用于能够保证生产者的任意写入请求都能够得到响应。/log_dir_event_notification：主要用于保存当broker当中某些LogDir出现异常时候,例如磁盘损坏,文件读写失败等异常时候,向ZK当中增加一个通知序号，controller监听到这个节点的变化之后，就会做出对应的处理操作。以上就是kafka在zk当中保留的所有的所有的相关的元数据信息，这些元数据信息保证了kafka集群的正常运行。二、kafka3的安装配置在kafka3的版本当中已经彻底去掉了对zk的依赖，如果没有了zk集群，那么kafka当中是如何保存元数据信息的呢，这里我们通过kafka3的集群来一探究竟。（一）kafka安装配置...阅读全文
谷歌开源了一套代码评审（Code Review）规范，它是谷歌一套通用的工程实战指南，几乎涵盖了所有编程语言与各种类型的项目，这个规范代表了谷歌长期发展以来最佳实战经验的集合，谷歌表示希望开源项目或其他组织能够从这套规范中受益。 代码评审，也称代码复查，如果一个团队正在使用任务分支工作流，那么在所有代码编写完成并通过自动化测试之后，在代码合并之前，就会启动代码评审。通常的目的是查找系统缺陷，保证软件总体质量和提高开发者自身水平，代码评审的所有工具和过程都是为了这个目的而构建的。代码评审对于敏捷团队来说的作用如下： 代码评审共享知识通过代码评审可以更好的进行工作评估代码评审能让你享受休假通过代码评审指导新工程师 既然代码评审要进行众多的检查，那么找一个优秀的评审者就非常重要了。一般对于变更列...阅读全文
，Debian 邮件列表出现了一封标题为“Leaderless Debian”的公开信，文章表示，这年的3月3日-10日是候选人提名阶段，然而，截至公开信发出，还没有一位符合资格的 Debian 开发者提交申请。 此前的 Debian 领导人 Chris Lamb 一直被寄予厚望，他已经连任了两年，但是今年他公开表示因为一些 Debian 相关的，以及一些私人的原因不参与竞选。由此，Debian 不得不根据章程延长提名时间，直至有人提交申请为止。 当然，最后还是有人跳了出来参加竞选。这里要指出的是，这一尴尬事件非常直观地反映出一个事实 —— DPL 并不吃香。 准确来说，在 Debian 章程的制约下，DPL 是一个没有绝对权利的虚席。 首先，DPL 并不接触具体业务，他可以任命某人执行专门的任务，而这...阅读全文
去年GitHub突然宣布开源代码也要受美国出口管制EAR让全球程序员都担心了，不过Linux基金会现在可以确认开源技术不受美国管制了。 软件开发方面，开源技术已经成为全球共识，很多项目都是全球各地的程序员合作开发的，不仅有美国及欧洲程序员，中国不少公司及开发者也是全球开源社区的重要组成，任何一方如果强硬限制，那么整个开源社区就存在断链的风险。 本周，Linux基金会在官网上发表了一份白皮书《了解开源科技和美国出口管制》，中英文双版介绍了美国出口管制的限制，最重要的是这个指南明确了“公开发布给全世界享用的开源技术是不受制于美国出口管制EAR，开源至今仍然是一个最为便利的全球协作的模式。” EAR第734.7条款指出，当可被公众获取且无进一步传播限制时，未被归类为密级事项的『技术』或『软件』属...阅读全文
，所以，从计算的历史来说，这实际上是规模最大的，Linux的规模扩展还是非常好的。” （3）在Linux 与人工智能、云计算、物联网结合方面，Jim 也发表了一些自己的观点：在云计算里面，像Kubernetes对于云应用的开发是发展最快的；在人工智能机物联网项目方面，Linux 的 EdgeX 项目和 IOT 项目在这些方面也有很多开源的项目。 （三）开源方面，中国正大步迎头赶上，高质量开源项目不断发展 近几年来，中国越来越多的开发者加入开源，但是在 GitHub上来自中国的高质量开源很少，大部分都是来自于国外。Jim 认为产生这种差距的其中一个原因在于美国的软件开发历史比中国要长一些。 而不可否认的是，中国在开源方面正大步地迎头赶上。正如 Jim 所说“中国有一些高质量的开源项目也在不断地发...阅读全文
Node.js 早诞生将近20年，所以在文档，API 和代码库等在线资源方面更为丰富。所以很有可能其他人也尝试了你想要用代码完成的事情并从中获得了帮助。另一方面，Node.js 虽然已经得到了开发者和组织的广泛关注，但是它支持开发者开发的资源缺相当少。 8.学习曲线： 编写 Node.js 代码对于新手甚至是专业的 JavaScript 开发人员来说都不是件容易的事情，因为他们需要在入门之前理解一些复杂的概念，比如 web worker 和回调函数。相反，PHP是一门非常友好的编程语言对于开发 Web 应用程序的新手来说。 Node.js 和 PHP 战斗的结果是相辅相成的，因为这两种技术都有各自的优点和缺点。这大多是相似的情况在比较或选择用于 Web，桌面和移动开发的其他技术时。Node.js 有前途...阅读全文
Nginx 1.14.1 稳定版和 Nginx 1.15.6 主线版已发布，主要修复了 HTTP/2 （CVE-2018-16843，CVE-2018-16844）以及 MP4 模块（CVE-2018-16845）中的漏洞，具体如下： Nginx 1.14.1 Security: 在使用 HTTP/2 时可能导致客户端内存消耗过大 (CVE-2018-16843)，CPU 使用率过高 (CVE-2018-16844)； Security: 使用 ngx_http_mp4_module 处理特制的 mp4 文件可能导致工作进程内存泄露（CVE-2018-16845）； Bugfix: 使用 gRPC 后端可能会导致内存过度消耗。 Nginx 1.15.6 在 1.14.1 的基础上额外包含...阅读全文
得益于传输距离更广（300 米）、功耗更低、速度更快（2Mbps）、可同时连接两个音频设备等特性，蓝牙 5.0（2016 年 6 月正式发布）正快速普及中。 本周，蓝牙 SIG 组织宣布， 蓝牙 5.1 已交付开发者，新变化中最值得一说的便是位置查找（ “direction finding” ）特性。蓝牙组织希望借助 5.1 标准，取代 Wi-Fi 的辅助定位角色，为需要 GPS 等位置服务的场景助力， 包括确定距离甚至精确位置 。 蓝牙 SIG 称，5.1 的定位精度可达厘米级（目前 1 到 10 米），在室内导航、快速找寻手环/遥控板等情景，将发挥重要作用。 其它特性还有优化的 GATT（通用属性配置文件），提高配对和通信速度；有助于避免数据包冲突的随机信道索引确保蓝牙广告抵达率等。...阅读全文
Linux Kernel 5.10 LTS 的第八个维护版本更新于今天正式发布，本次更新最值得关注的改进就是终于解决了 5.10 Btrfs 性能倒退的问题。在去年圣诞节的时候，Linux 5.10 就被反馈 Btrfs 出现了明显的性能倒退问题。例如简单解压一个 Linux 内核源码.tar.zst 文件，可能需要花费数倍的时间。 虽然修复 Btrfs 性能倒退的补丁在去年年底就已经推出，但直到今天才整合到 mainline 上。而且，在即将到来的 Linux 5.11 上还将会对 Btrfs 进行大量的改进。 总体来说，Linux 5.10.8 的情况应该不错。Btrfs 开发者 Josef Bacik 在该页面上评论道：“5.10+patch比普通的5.9快了很多，因为我的系列补丁更...阅读全文
自从跳板机升级后，无所不在的二次验证 token 让小x很是恼火。使用 ssh clone session ，就可以避免每次登陆，都需要输入一次 2FA 验证 Code。 ** Linux 或 Mac OS 系统 ** 在 Linux 或者 Mac OS 下很简单，只需要修改或者创建 ~/.ssh/config 文件，写入以下内容即可， ``` #file:~/.ssh/config Host * ControlMaster auto ControlPath ~/.ssh/master-%r@%h:%p ``` 这样第一次登陆跳板机时正常输入token，只要这个 session 没有退出，再次登陆就可以复用这个 SSH Session， 不需要再输入...阅读全文
国内腾讯云和阿里云的机器是没有ipv6的，但安装完 Debian 9 却发现默认启用了ipv6，所以需要将 IPv6 禁用，或者降低优先级。 方法一：降低 IPv6的优先级 使IPv4优先 默认的安装中，ipv4 和 ipv6 并存，并且 ipv6 却优先于 ipv4。如果不需要彻底关闭 ipv6，可以设置让 ipv4 优先于 ipv6。配置方式如下： echo "precedence ::ffff:0:0/96 100" >>/etc/gai.conf 当然也可以直接修改 /etc/gai.conf 文件，找到下面这一行 #precedence ::ffff:0:0/96 100 把前面的#去掉即可。 方法二：设置 GRUB 启动参数禁用 IPv6 编辑 /etc/default...阅读全文
Debian 9 Stretch 发布已经一个多月了，本文介绍如何在 Debian Stretch 下，安装最新的 Skype 64位版本。注意 Debian 下的大版本号已更新至 Skype-5.4。 首选建议安装使用 sudo 做命令行下的高权限类的操作。安装 sudo， apt-get install sudo 下载安装 Skype for Linux 的 deb 包。需要用流浪器打开本地址， https://go.skype.com/linux.deb 会自动触发下载，下载完成后的包名为 skypeforlinux-64.deb。 安装软件包： sudo dpkg -i skypeforinux-64.deb 注意这一步的安装，可能会有报错。我们需要需要解决一些依赖问题，使用以下命...阅读全文
Debian 9.13 已发布，这也是 Debian 9 的最后一个版本，因为安全和发布团队计划不再进行更新。官方鼓励用户升级到 Debian 10。 Debian 9.13 包含多个安全修复以及解决了部分“严重问题”。这些变更主要包括： 提供新版本的 ClamAV 以修复安全问题针对 CUPS 打印服务器的堆缓冲区溢出修复针对 D-Bus 的 DOS 问题修复针对 File-Roller 的安全修复对英特尔 Skylake 微代码文件进行降级以解决部分 CPU 在启动时的挂起问题针对 libvncserver 的堆溢出修复针对安全问题对 NVIDIA 驱动进行更新其他针对一般错误和安全问题的修复 详情查看 https://www.debian.org/News/2020/20200718...阅读全文
尽管 Linux 桌面操作系统有着很高的生产力和安全性，但其在软件和功能的丰富程度上仍无法与 Windows 10 和 macOS Sierra 相比，比如 Microsoft Office 和 Adobe Photoshop。好消息是，微软刚刚发布了 Skype for Linux 1.13 版本，允许从该平台上发布文本短信。此前，尽管 Google Voice 之类的基于 web的解决方案可以实现同样的功能，但在浏览器上的使用体验并不完美。 在 Skype for Linux 的最新版本中，迎来了如下变动： 支持发送短信； 更新至 Electron 1.4.7； 支持远程群体会话； 改进崩溃报告； 增加对身份验证令牌撤销的支持； 其它bug修复与性能改进。 Skype for...阅读全文
Systemd在Linux社区引起了无限争议。一些Linux用户对systemd的反对绝不屈从，还有一些Linux用户对systemd喜爱有加，还有很多人满不在乎。近日，关于systemd的话题又出现在社区中，很多人分享了自己的想法。一时兴起，笔者梳理了几个比较经典的回答。 为什么不喜欢systemd? 不断地听到很多人抱怨systemd有多么不好，但它还是被极大地普及了，并且我在网上所读到的很多文章都在介绍systemd的好处，比如更快的启动时间和更完善的日志记录，据说过去在fedora-13上开机速度测试，upstart是27秒，而systemd仅用了24秒。 有人认为unix是做一件事，就把它做好，而systemd则是把pid 1扩张到最大化。这可能是很多人讨厌systemd的重大原...阅读全文
会议、视频消息、文件共享和其他协作工具等。 Ramesh 认罪时表示自己 “部署代码时行为鲁莽，并有意无视了可能对思科造成伤害的巨大风险。” 由于 Ramesh 的行为，超过 16,000 个 WebEx Teams 帐户被关闭长达两周，导致思科花费约 1,400,000 美元的员工时间来恢复应用程序，并向受影响的客户退款超过 1,000,000 美元。 目前，此次事件没有造成客户数据泄露。Ramesh 被控违反《美国法典》第 18 篇第 1030(a)(5)(B) 和 (c)(4)(A)(i)(I) 条，“故意未经授权访问受保护的计算机并轻率地造成损害”。这项罪名的最高法定刑罚是 5 年监禁和 25 万美元的罚款。 被告 Ramesh 本人正在保释中，保释金为 50,000 美元。量刑听证...阅读全文
本站放出了Linode各个机房的测试结果，但是可能很多国内用户对Linode还是不是很熟悉，这里打算写一篇文章给想要入手Linode VPS的朋友提供一个参考，其实过程很简单，唯一麻烦的是，需要有一张VISA或者MASTERCARD的信用卡，因为Linode默认不支持PayPal付款，只支持信用卡付款。 Linode官网：www.linode.com 首先，我们通过上面哪个链接打开Linode官网，打开后页面如下： 页面上有三个输入框，分别是输入邮箱，用户名和密码，我们按照要求输入之后，来到一个提示页面： 这里提示我们已经往我们邮箱发送了一封邮件，我们打开邮箱，能看到有一封邮件，如图： 用填写注册信息的浏览器打开邮件里面的验证链接，来到这个界面： 这是说欢迎我们，内容可以不用管，点击其中的...阅读全文
一个 GitHub 导入工具，可将您的 GitHub 项目导入到 SourceForge 中，并在 SourceForge 上同步您的 GitHub 项目文件版本，以便利用这两个平台的优势。SourceForge 表示当开源项目有多个选项可以生存时，开源社区会更好地提供服务，而这些选项并不相互排斥。...阅读全文
在2018年的 Linux Plumber 大会上，eBPF成了亮点，有24个议题提到了 eBPF，可以预计eBPF会成为一大技术热点。 eBPF(Extended Berkeley Packet Filter) 的核心是驻留在 kernel 的高效虚拟机。最初的目的是高效网络过滤框架，前身是 BPF。 Linux kernel 3.18版本开始包含了eBPF，相对于 BPF 做了一些重要改进，首先是效率，这要归功于 JIB 编译 eBPF 代码；其次是应用范围，从网络报文扩展到一般事件处理；最后不再使用socket，使用map进行高效的数据存储。 根据以上的改进，内核开发人员在不到两年半的事件，做出了包括网络监控、限速和系统监控。目前eBPF可以分解为三个过程： 以字节码的形式创建...阅读全文
apt install git sudo adduser --disabled-login --gecos 'Gogs' git 切换至 git 账户并且创建名为 local 的目录。 su - git mkdir -p /home/git/local 切换到 local 目录，依照下方所展示的内容，使用 wget 命令下载 Go（最新版）。 cd ~/local wget https://dl.google.com/go/go1.9.2.linux-amd64.tar.gz 安装 Go 和 Git 解压并且删除 go 的压缩文件。 tar -xf go1.9.2.linux-amd64.tar.gz && rm -f go1.9.2.linux-amd64.tar.gz Go 二进制文件已经被...阅读全文
施提供商（Deutsche Telekom），汽车制造商（宝马），软件解决方案提供商（SAP，Salesforce）等等。 Ceph也被Rook使用，这是一个云原生计算基础项目，它将文件，块和对象存储服务无缝配置到Kubernetes环境中，使其可以在容器中运行以及更好的为Kuernetes提供后端存储。...阅读全文
。IOChaos：模拟具体某个应用的文件 I/O 故障，例如 I/O 延迟、读写失败。TimeChaos：模拟时间跳动异常。KernelChaos：模拟内核故障，例如应用内存分配异常。平台类型故障：AWSChaos：模拟 AWS 平台故障，例如 AWS 节点重启。GCPChaos：模拟 GCP 平台故障，例如 GCP 节点重启。应用层故障：JVMChaos：模拟 JVM 应用故障，例如函数调用延迟。混沌实验场景混沌实验场景由一组混沌实验和应用状态检查组成，旨在帮助用户在平台上实现混沌工程闭环。用户运行混沌场景，可以通过一系列的混沌实验，不断地扩大爆炸半径（包括攻击范围）和增加故障类型。运行混沌实验后，用户可以方便地检查当前的应用状态，判断是否需要进行后续混沌实验。同时用户可以不断地迭代混沌实验场景，积累...阅读全文
http://packages.dotdeb.org wheezy all 完成之后更新源： apt-get update 接下来就可以开始安装nginx、mysql、php了。 2.MySQL 使用apt工具安装： apt-get install -y mysql-server mysql-client 安装过程中会询问root密码，输入你想设定的密码就可以。安装完成后执行如下配置命令： mysql_secure_installation 按提示往下走就行，过程中会询问是否更改root密码、是否移除匿名用户、是否禁止root远程登录等，自己按需配置即可。 注：我在使用mysql的过程中发现远程客户端无法连接到数据库，后来发现问题是“/etc/mysql/my.cnf”文件中“bind...阅读全文
遇到问题，当然应该大胆提问！但绝对不是随便截个图丢给其他人，等待解决方案。原文请见 提问的智慧 (How To Ask Questions The Smart Way) 。这篇文章对于社区提问给出了很多建议，现作要点精简如下。请你做到完成了 RTFM (Read The Fucking Manual) 和 STFW (Search The Fucking Web) 两个步骤。通常，用这两句之一回答你的人会给你一份包含你需要内容的手册或者一个网址，而且他们打这些字的时候也正在读着。这些答复意味着回答者认为你需要的信息非常容易获得；你自己去搜索这些信息比灌给你，能让你学到更多。按发生时间先后列出问题症状问题发生前的一系列操作，往往就是对找出问题最有帮助的线索。因此，你的说明里应该包含你的操作步...阅读全文
在被英特尔碾压多年之后，AMD 终于“平地一声惊雷”般地推出了可之平起平坐的首批 Ryzen 系列高端处理器。尽管不少人对 Ryzen 的超线程（SMT）、互联、Windows 调度、以及较小的动态频率等方面的表现存有疑虑，但 AMD 证实 Ryzen 已经达到了预期。在发布两周之后，AMD 表示 Ryzen 在大多数情况下的表现良好，且无需 Windows 等方面进行太大的调整以充分发挥其性能。 显然，AMD 留意到了有些人在对比测试 Ryzen 在 Windows 7 / 10 系统中的表现。该公司表示其已意识到这件事，所以会与开发者携手给软件带来“针对性的优化”，以更好地发挥新处理器的潜力。 此外，在许多情况下，可以通过微小改动来提升 Ryzen 在特定应用程序中的性能。调查发现，只...阅读全文
照”版本，并且用户缺少正确认识有关开发阶段的期望，那么用户的测试将会减少。但开发者也同意，转向更频繁的快照/测试版本可能会有好处。 所以我们不妨看看到时 Qt 5.12 是如何表示测试阶段的版本号的，如果一切顺利的话，我们可以期待另一个 Qt5 工具套件在圣诞节前一个月的更新。 原文： https://www.phoronix.com/ 编译：开源中国...阅读全文
Istio 1.2.0 已发布，距上一个重要版本 1.1 发布过去刚好三个月。更新的内容主要有以下这些。 General 添加了 traffic.sidecar.istio.io/includeInboundPorts 注解以消除服务所有者在部署 yaml 文件中声明 containerPort 的需要。这将成为未来版本的默认设置。为 Kubernetes 集群添加了对 IPv6 的实验性支持 Traffic Management 在多集群环境中改进基于 基于位置的路由改进 ALLOW_ANY 模式 下的出站流量策略。现有端口上未知的 HTTP/HTTPS 主机流量将按 原样转发 。Envoy 访问日志将记录未知流量。添加了对上游服务设置 HTTP 空闲超时的支持改进了对 NONE 模式...阅读全文
据 Dgraph Labs 创始人 Manish Rai Jain 在其宣布 1.0.0 版本正式发布 的 文章 中透漏，他们已完成了由贝恩资本投资公司的 Salil Deshpande 领头的 300 万融资。凭借早期在基础设施软件和开源软件方面的经验，Salil 将加入 Dgraph 董事会。Jain 表示，这一轮融资正好是我们扩大云服务的时机，并继续建立世界上最先进的图数据库。 Dgraph 是一个可扩展的，分布式的，低延迟的图数据库，于 2015 年开源，最初是出于希望消除传统关系型数据库的典型弱点而创建的。为了解决组织在数据库增长超过单个服务器时面临的一些问题，Dgraph 以更有效的方式分割数据，这使查询可以在没有通用视图的情况下执行。它还减少了网络调用和磁盘查询需要执行查询的...阅读全文
| 64-bit Linux Mint 更新内容： 新版本除了对附带的软件进行升级，还带来了许多改进和新特性，让你的桌面使用起来更加舒适。除此之外，还提供了 UI 方面的改进，例如现在支持对滚动条的配置进行设置，并且在应用程序菜单中对具有相同名称的程序显示添加的描述，以便用户可以在 GNOME 程序的 X-Apps 和 Deb 软件包的 Flatpaks 中进行区分。 Linux Mint 19 针对 Xfce, MATE 和 Cinnamon 这三个桌面环境版本都提供了一些独有的新特性，但大多数新特性对于所有的版本都是通用的，下面来看看有哪些变化。 改进了升级管理器中的内核管理软件管理器可以获取“丢失”的 GPG 密钥软件管理器可以扫描/删除重复的源优化了 Muffin 窗口管理器，使用起来感觉...阅读全文
Go 1.10 还没发布，下面将简单介绍正在进行中的 Go 1.10 发布说明草案。Go 1.9 已于 2017 年 8 月发布，最新的 Go 1.10 预计将于 Go 1.9 发布六个月后 —— 2018 年 2 月发布。 Go 1.10 大部分的变更仍然集中在工具链、运行时和库的实现上。一如既往地，此版本依然会 保持与 Go 1.x 的兼容性 ，官方表示几乎所有的 Go 应用程序都能像以前一样继续编译和运行。 语言特性方面的改变 语言特性方面没有实质性的变化。 极端情况下，由无类型常量引起的变化已经弄清楚。因此，编译器也已进行升级，它可允许这样的索引表达式 x[1.0 << s] 通过编译，其中 s 是一个无类型常量。go/types 包也已完善。 方法表达式的语法 (grammar...阅读全文
WebAssembly 和 JavaScript 之间的不匹配问题，JavaScript 可以调用 WebAssembly 函数，而反过来， WebAssembly 可以也对 JavaScript 函数执行相同的操作。 基于 ECMAScript 模块，wasm-bindgen 专注于 Rust，但其目的也是最终用于 C 和 C ++ 等语言。但 Mozilla 称 wasm-bindgen 目前还不够稳定，暂时还无法扩展到其它语言。 Rust 社区的一大目标是让 Rust 成为 Web 语言。通过对标 WebAssembly，Rust 可以像 JavaScript 一样成为一种可以在网络上运行的语言。但 Mozilla 指出，它并没有试图用 Rust 取代 JavaScript。它不希望 Rust...阅读全文
码的困境结束，从而实现更快的开发。 简而言之，Web框架可以简化Web开发。 如果您想深入了解Web框架及其优点，请点击此处。 为什么Django是Python开发者的最佳选择 Django是一个Python编写的，高级的，MVC风格的开源库。 Django也被称为“完美主义者的最终框架”，它最初是为新闻网站设计的，因为它允许开发人员编写数据库驱动的Web应用程序，而无需从头开始编码。 除了更快完成常见的Web开发任务，Django还可以保持设计干净且实用。 Django是Python Web开发新人的最佳选择，因为官方文档和教程是几个（同类）软件开发框架中最好的。 技术市场充斥着一系列网络框架，但Django在最受欢迎的服务器端Web框架里处于顶峰位置。设计Django背后的座右铭很简单...阅读全文
Scrapy 是一个为了爬取网站数据，提取结构性数据而编写的应用框架。 可以应用在包括数据挖掘、信息处理或存储历史数据等一系列的程序中。本文着重介绍 Scrapy 架构及其组件之间的交互。 Scrapy 组件介绍 Scrapy Engine 引擎负责控制数据流在系统中所有组件中流动，并在相应动作发生时触发事件。 详细内容查看下面的数据流(Data Flow)部分。 调度器(Scheduler) 调度器从引擎接受request并将他们入队，以便之后引擎请求他们时提供给引擎。 下载器(Downloader) 下载器负责获取页面数据并提供给引擎，而后提供给spider。 Spiders Spider 是 Scrapy用户编写用于分析response并提取item(即获取到的item)或额外跟进的...阅读全文
我们可以使用 alias 命令定义或显示 bash shell 别名。一旦创建了 Bash shell 别名，它们将优先于外部或内部命令。本文将展示如何暂时绕过 bash 别名，以便你可以运行实际的内部或外部命令。 我在我的 Linux 系统中定义了以下 mount 别名： alias mount='mount | column -t' 但是，在我挂载文件系统和其他用途时想绕过这个 bash 别名，我如何临时禁用或者绕过这个别名呢？ 你可以使用 alias 命令定义或显示 bash shell 别名。一旦创建了 bash shell 别名，它们将优先于外部或内部命令。本文将展示如何暂时绕过 bash 别名，以便你可以运行实际的内部或外部命令。 五种绕过 Bash 命令别名的方法 尝试以下任...阅读全文
API 的扩展 4.4.1 丰富的组件度量 在第二阶段 OpenTracing 时期，我们使用 Endpoint 贯穿了多个组件的指标埋点，这个优秀的特性也延续至第三阶段，我们基于底层 Prometheus SDK 设计了一套完善的指标埋点 SDK，并且借助字节码插桩的便捷，优化并丰富了更多了组件库。（在此阶段，OpenTelemetry SDK 主版本是 1.3.x ，相关 Metrics SDK 还处于Alpha 阶段） Otel 的 Java Instrumnetation 主要使用 WeakConcurrentMap 来做异步链路上下文数据传递和同线程上下文关联的容器，由于 Otel 对许多流行组件库做了增强，因此 WeakConcurrentMap 的使用频率也是非常高的，针对这个对象...阅读全文
括存储大量数据，以及能够在合理的时间范围内处理数据，对于网络、存储技术和高效计算架构都是很大的压力。“Bell 说到。大型强子对撞机的运作规模和它产生的数据量带来了严峻的挑战，但 CERN 对这些问题并不陌生。CERN 成立于 1954 年，已经 60 余年了。“我们一直面临着难以解决的计算能力挑战，但我们一直在与开源社区合作解决这些问题。”Bell 说，“即使在 90 年代，当我们发明万维网时，我们也希望与人们共享，使其能够从 CERN 的研究中受益，开源是做这件事的再合适不过的工具了。”使用 OpenStack 和 CentOS时至今日，CERN 是 OpenStack 的深度用户，而 Bell 则是 OpenStack 基金会的董事会成员之一。不过 CERN 比 OpenStack 出...阅读全文
，卷上的典型操作（如快照、克隆、扩展等）也被支持。Kubelet 内存控制策略 Alpha内存控制策略是 Kubelet 在 v1.21 中新增的一个 Alpha 特性，用于为 Pod 提供 NUMA 内存。Kubelet 新增了 --memory-manager-policy 用于配置内存控制策略，它支持两个策略：默认策略是 none，等同于内存控制策略未开启；static 策略：为 Pod 分配 NUMA 内存并确保 Guaranteed Pod 预留足够的内存（Kubelet 状态保存在 /var/lib/kubelet/memory_manager_state 文件中）。image.pngServiceLoadBalancerClass Alpha以前 LoadBalancer 类型的...阅读全文
osquery 是 SQL 驱动的分析和监控操作系统的工具，是操作系统分析框架，支持 OS X 和 Linux 系统。osquery 能帮助监控和分析低水平的操作系统，提供更直观的性能监控。 4.1.0 版本内容如下： New Features / Under the Hood improvements 还原扩展 SDK 和构建支持改进文档在整个代码库中添加更多的测试允许使用标志配置更多 Linux Audit 设置添加 logger_tls_max_lines 标志添加对 AWS Session Token 支持 Build 在所有平台上将 OpenSSL 升级到 1.0.2t在 Windows 和 MacOS 上使用 SQLite 3.29.0在 Windows 和 MacOS 上使用...阅读全文
nodes master1 node-role.kubernetes.io/master=:NoSchedule` 注意: 为master设置的这个taint中, node-role.kubernetes.io/master为key, value为空, effect为NoSchedule 如果输入命令时, 你丢掉了=符号, 写成了node-role.kubernetes.io/master:NoSchedule, 会报error: at least one taint update is required错误 容忍tolerations主节点的taints 以上面为 master1 设置的 taints 为例, 你需要为你的 yaml 文件中添加如下配置, 才能容忍 master...阅读全文
head 信息对模型进行 数据库级别约束对于 runserver 兼容性的调整 ，以改进浏览大量文件进行更改时的性能 随着 Django 2.2 的发布，Django 2.1 已到达获得主流支持的终点 —— 今天发布了最后的小错误修复版本 2.1.8。Django 2.1 将在 2019 年 12 月之前收到安全问题和数据丢失的修复程序。因此鼓励所有用户在此之前升级以继续接收安全问题的修复程序。 有关受支持版本以及未来发布计划的安排表，请参阅 下载页面 。 Django roadmap 路线发布计划 Django 生命周期...阅读全文
由于日常大部分工作需要在 Debian 环境下完成，最近发现升级到 Debian Stretch 后，Vim 的一个常用操作没法做了，没法使用鼠标，直接选择并复制。很别扭，之前用着没问题的。今天来分享一个解决办法，为大家解决 Debian 9 VIM 环境下，无法使用鼠标右键进行选择、复制的问题，供大家参考。 Debian 9 (Stretch) 无法使用鼠标右键选择、复制的解决方法，Debian 9怎么使用右键复制 装了 debian 9 以后，vim没有办法使用鼠标直接选择并复制，检查后发现是一个默认的配置问题。可以使用以下方法彻底解决。 1、 打开 Vim 的默认配置文件 vim /usr/share/vim/vim80/defaults.vim 2、 转至第 70 行，找到： if...阅读全文
为即将到来的 Linux 5.12 合并窗口预定的 USB4 / Thunderbolt 变更已经被排入 USB-next 树中。这是英特尔的开发人员为下一个内核合并窗口所做的Thunderbolt改变，作为其中的一部分，包括最新的USB4方面的改进。Linux 5.12的新安全选项之一是支持USB 4的安全级别5（SL5）。 通过这个新的安全级别，PCIe隧道将被禁用。这个禁用PCI Express隧道的更高安全级别通常是支持USB 4硬件的BIOS配置选项。这个 "nopcie "选项在只使用DisplayPort的 "dponly "模式下也会被强制执行。 Linux内核现在已经支持 Thunderbolt / USB 4 安全设置，特性包括要求用户批准授权新设备，自动隧道...阅读全文
Intro Dapr 官方团队已于最近（2021.1.17）正式发布Dapr v1.0，Dapr已正式生产可用，可以部署到自托管环境或 Kubernetes 集群。对于绝大多数开发者来说，想必对Dapr只是有所耳闻，而具体是什么（What），可以解决什么样的问题（Why&How），有怎样的应用场景（Where），并不知悉。本文就尝试简要梳理下Dapr，并尝试回答以上问题。 What's Dapr Distributed Application Runtime. An event-driven, portable runtime for building microservices on cloud and edge. 分布式应用运行时。一个事件驱动、可移植的运行时用于在云上和边缘计算上构建...阅读全文
伦堡的 SUSE 办公室。 而在2012年2月1日，Linux基金会官方发文正式宣称GKH加入。 https://www.linuxfoundation.org/press-release/2012/02/leading-kernel-maintainer-greg-kroah-hartman-joins-the-linux-foundation/ Linux基金会的执行董事Jim Zemlin对GKH更是赞不绝口，“Greg是这个世界上最具天赋的软件开发者之一，他将会对Linux的发展提供无与伦比的贡献。”，并表明GKH的工作将会聚焦于Linux内核方面。 会员类别与年费 Linux基金会的会员分为企业会员和个人会员，而企业会员又分为白金会员、黄金会员和白银会员三种。 会员类别企业/个人会...阅读全文
本篇技术blog，由360信息安全部0kee Team、360网络安全研究院、360-CERT共同发布。Memcache UDP 反射放大攻击（以下简称 Memcache DRDoS）在最近的一周里吸引了安全社区的较多注意。以下介绍我们对该类型攻击观察到的情况。 在PoC 2017 会议上的原始报告 Memcache DRDoS，由360信息安全部0kee Team在2017-06 附近首先发现，并于 2017-11 在 PoC 2017 会议上做了公开报告。会议报告在 这里，其中详细介绍了攻击的原理和潜在危害。 在这份文档中，作者指出这种攻击的特点： memcache 放大倍数超高，至少可以超过50k； memcache 服务器（案例中的反射点）数量较多，2017-11时估算全球约有...阅读全文
-Windows 系统发送消息 smbclient可以和 SMB/CIFS服务器通信。它可以向MS-Windows系统的指定用户发送消息： smbclient -M WinXPPro < 或者 echo "${Message}" | smbclient -M salesguy2 10. Bash Socket 编程 你可以在bash中开启一个socket链接，并且传输数据。Bash有两个特殊的设备文件： /dev/tcp/host/port - 如果hostname，和port是合法的话，bash会尝试开启一个TCP连接。 /dev/udp/host/port - 如果hostname和port是合法的话，bash会开启一个UDP连接。 你可以利用这个技术来测试一台主机的端口是否是开启的，而不需要使用...阅读全文
论 Go 2 了。 开发团队表示，Go 语言如今的目标与 2007 年相同，就是希望使程序员更有效地管理两种规模：生产规模和开发规模，其中又主要针对的是与许多其他服务器交互的并发系统，和许多工程师协调的大型代码库。Go 2 的目标就是解决 Go 1 在规模化方面做的还不好的地方。 据 Russ 估算，目前全球的 Go 开发者至少有 50 万，这意味着有数百万个 Go 源文件和至少十亿行 Go 代码。那些程序员和源代码代表了 Go 的成功，但同时也是对 Go 2 的主要约束。只有在回报非常巨大时，才能让开发者改变原有的旧习惯，学习新用法。Go 2 必须修正 Go 1 的问题，带动所有的 Go 开发者， 也就必须带上所有现有的 Go 源代码，不能让生态系统分裂。 如果把 Go 2 要增加的特性分...阅读全文
Debian 的 1011 位开发人员中，有 339 位在今年的选举中投了赞成票，参与人数与往年差不多，且相比几年前票数还略有提高。 具体的投票过程与结果分析查看：https://www.debian.org/vote/2020/vote_001 新当选的 Jonathan Carter 在竞选“宣言”中写下了几个大目标： 继续做 Debian 做得好的事情。技术卓越、推广自由软件、分发新版本、稳定的版本更新。使 Debian 对贡献者有吸引力。使它成为一个有趣、有意义和受欢迎的项目，让更多贡献者有意愿参与进来。更好地了解正在完成的工作。减少影响贡献者的瓶颈。收集有关阻碍个人在 Debian 中所做的事情的反馈，并找到减少这种摩擦的方法。改善在线协作。改善项目内务管理。关于支出和可用资金，具有更好的可...阅读全文
外，这些扩展可以自由地提供各自的实现方式。 由博客文章可知，Mozilla 坚信这会是“一个健康的互联网的关键组成部分”。 2017 年 6 月的时候，作为 200 万美元的分布式互联网奖金的一部分，Mozilla 收集开发了一票面向网络访问不可靠社区的无线解决方案。 作为 Mozilla 推动创新的最新举措，这家非盈利组织最近还捐赠了 27.5 万美元，用于支持教育技术项目。 Dat Project、IPFS、Secure Scuttlebutt 旨在通过支持对等网络的文件传输和 Web 浏览功能，以改善互联网基础设施，而这当前是基于“客户端-服务器”的 Web 所提供的功能。这些协议与现有模型的区别，主要体现在改进了隐私和安全性，以及对网络中立性的支持。 除了这些特性，即将推出的...阅读全文
