Scrapy 是一个为了爬取网站数据，提取结构性数据而编写的应用框架。 可以应用在包括数据挖掘、信息处理或存储历史数据等一系列的程序中。本文着重介绍 Scrapy 架构及其组件之间的交互。 Scrapy 组件介绍 Scrapy Engine 引擎负责控制数据流在系统中所有组件中流动，并在相应动作发生时触发事件。 详细内容查看下面的数据流(Data Flow)部分。 调度器(Scheduler) 调度器从引擎接受request并将他们入队，以便之后引擎请求他们时提供给引擎。 下载器(Downloader) 下载器负责获取页面数据并提供给引擎，而后提供给spider。 Spiders Spider 是 Scrapy用户编写用于分析response并提取item(即获取到的item)或额外跟进的...阅读全文
Elasticsearch 7.6.0 发布了，Elasticsearch 是一个分布式的 RESTful 风格的搜索和数据分析引擎。 更新内容较多，摘取部分新特性： Aggregations 新的直方图字段映射器，支持百分位数聚合 #48580 (issue: #48578)对字符串术语实施统计汇总 #47468 Analysis 实施 Lucene EstonianAnalyzer，投票 #49149 (issue: #48895) Authentication 受密码保护的密钥库 (Feature Branch) #49210 Features/ILM+SLM 等待 SLM 策略执行的 ILM 操作 #50454 (issue: #45067)添加 ILM histore 商店索引...阅读全文
包 Packages: Cargo提供的让我们创建, 测试和分享Crates的工具.箱 Crates: 提供类库或可执行文件的模块树模块 Modules and use: 管理和组织路径, 及其作用域和访问权限路径 Paths: 如结构体(structs), 函数(function), 或模块(module)等事物的命名方式包(Packages)和箱(Crates)包(Package)通过Cargo创建. 每一个包(Package)都有一个Cargo.toml文件. 包(Package)包含箱(Crates)的规则如下:只能包含0或1个类库箱(library crates)可以包含任意多个二进制箱(binary crates)至少有一个箱(Crate), 可以是类库箱(library...阅读全文
-mysql php5-memcache php5-curl 如上命令安装了php5-memcache的扩展，因此继续安装Memcached： apt-get install memcached 安装完成之后，可以使用“php5-fpm -v”查看PHP的版本。 4.安装Nginx 我在安装的时候直接安装了Nginx的全部扩展功能（nginx-full），后边可能会有功能性的增强，所以在安装的时候直接全部安装了： apt-get install -y nginx-full 然后启动Nginx： service nginx start 放问地址http://ip，如果看到如下所示，就说明你的Nginx安装正常。 接下来配置Nginx，Nginx的配置文件在“/etc/nginx/sites...阅读全文
服务(service)。看监控语法： check <类型> <服务名> [PATH
知名市场研究公司IDC周四发布报告称，2018年，亚马逊公司在技术上的投入超过136亿美元，成为全球IT支出最高的公司。IDC追踪了4800家公司，他们在去年的总IT支出预计达到1.1万亿美元，前十大公司占据了总支出的7%。谷歌母公司Alphabet、沃尔玛公司分别排在第二、第三位，他们去年在软件、硬件、服务、电信设备以及员工上的支出分别接近120亿美元。 IDC客户洞察和分析研究经理大卫·拉特斯曼(David Lantsman)表示，亚马逊和谷歌向寻求降低自主IT预算的其他公司销售云服务、服务器和其他数据中心基础设施占据了他们的大部分支出。 2018年前十大IT支出公司 沃尔玛是前十大IT支出公司中的唯一一家零售商，去年的IT支出预计为117亿美元。沃尔玛执行副总裁兼首席技术官杰里米·金...阅读全文
论 Go 2 了。 开发团队表示，Go 语言如今的目标与 2007 年相同，就是希望使程序员更有效地管理两种规模：生产规模和开发规模，其中又主要针对的是与许多其他服务器交互的并发系统，和许多工程师协调的大型代码库。Go 2 的目标就是解决 Go 1 在规模化方面做的还不好的地方。 据 Russ 估算，目前全球的 Go 开发者至少有 50 万，这意味着有数百万个 Go 源文件和至少十亿行 Go 代码。那些程序员和源代码代表了 Go 的成功，但同时也是对 Go 2 的主要约束。只有在回报非常巨大时，才能让开发者改变原有的旧习惯，学习新用法。Go 2 必须修正 Go 1 的问题，带动所有的 Go 开发者， 也就必须带上所有现有的 Go 源代码，不能让生态系统分裂。 如果把 Go 2 要增加的特性分...阅读全文
Ferrari 的冲突，她经常以非常奇怪的方式叫我出来，这也导致了她和我长期以来的分歧，”他补充说。“无论如何，这些都是旧事，但 DAM 仍然用‘你多年来一直在欺负项目成员’和我不能与社区团队沟通打击我，并且允许 Debian 中的其他成员在不相关的论坛中在 IRC 上欺负我。”Preining 还表示，总的来说还是因为 Martina 和其他成员是 DAM、CT 以及 Debian 的‘领导圈’的密友，所以他们可以不用遵守相同的社区标准。虽然其中的是非曲折，目前尚不能做出判断，但是对于开源社区来说，纠纷已不是第一次发生。不满 Debian 开发流程，Debian 包维护者曾退出早在 2019 年，一位名为 Michael Stapelberg 的 Debian 包维护者在其个人博客发表了一篇长文，宣布...阅读全文
如果你经常让你的系统经历休眠周期，那么从即将开始的 Linux 5.10 周期开始，性能应该会好很多。在即将到来的Linux 5.10合并窗口中，有一个变化允许对休眠/恢复的I/O请求进行批处理，以加快休眠和恢复进程。 到目前为止，Linux 内核依靠为每一页数据提交单独的 I/O 请求，但现在 Linux 5.10+ 的时候，它设置为使用 batch 与 blk_plug。 开发者Xiaoyi Chen的内核补丁解决了这一问题：合并I/O请求让系统休眠和恢复的速度提升了一个数量级以上。在使用的32GB内存中，16GB内存的一个休眠和恢复周期在改变前需要21分钟左右，在存储IOPS有限的系统上，改变后仅需要1分钟。" Xiaoyi Chen在亚马逊EC2旗下主导了这项工作，这项改变是在系统...阅读全文
0L2QEXD7我有一个名为 nvme0n1 的驱动器。它列出了序列号、品牌、容量、固件版本等等。通过使用 id-ctrl 子命令，你可以得到更多关于该硬盘和它所支持的特性的信息：$ sudo nvme id-ctrl /dev/nvme0n1NVME Identify Controller:vid : 0x144dssvid : 0x144dsn : S42GMY9M141281mn : SAMSUNG MZVLB256HAHQ-000L7fr : 0L2QEXD7rab : 2ieee : 002538cmic : 0mdts : 9cntlid : 0x4ver : 0x10200rtd3r : 0x186a0rtd3e : 0x7a1200[...]驱动器健康你可以通过 smart-log 子命令...阅读全文
SQL审核是保证数据库 DDL 和 DML 安全使用、SQL变更可追溯、降低线上数据事故概率的重要手段。去哪儿网开源的 Inception 工具有较大的使用基础，提供了相对完善的 API 接口，结合一些外层的操作界面，可以实现SQL审核、执行、备份和恢复功能，为DBA操作利器。本文详细介绍如何配置 Inception 和 Yearning 的整合。 Inception Inception是一个自动化运维工具，在Mysql前做一个审核和操作的屏障。跟Inception的交互是程序级别的，即通过Python或其他程序编程实现对Inception的命令调用，并解析结果。 Inception的文档地址：http://mysql-inception.github.io/inception...阅读全文
HHVM 3.24 终于发布了，此版本包含新功能、错误修复、性能改进和对未来改进的支持工作。值得注意的是，HHVM 3.24 是支持 PHP 5 的最后一个版本，这包括对 PHP 5 扩展 (ext_zend_compat) 的源码级别兼容性。官方建议迁移到 Hack 或 PHP 7。 此外，HHVM 3.24 也是对 Debian 7 Wheezy 和 Ubuntu 17.04 Zesty 支持的最后一个版本。 有以下值得关注的更新亮点： In Hack code, reference arguments must now be marked at the call site, e.g. $foo = [3, 1, 2]; sort(&$foo); Support for using...阅读全文
Facebook的Michel Salim在上周末的FOSDEM 2021虚拟会议上介绍了该公司内部桌面机队的情况。虽然Facebook以他们在服务器上使用CentOS而闻名，但当涉及到他们的员工桌面上的Linux时，Fedora是主要发行版本，但变化在于，对接下来CentOS Stream的支持越来越多。Facebook内部在过去曾推荐Ubuntu LTS版本给他们的员工，但转向Fedora是为了能够重新利用他们内部的许多基础设施，用于对接在他们的服务器上的CentOS。通过在他们的桌面上使用Fedora，他们也发现它 "可以作为一个整合点来推动功能进入CentOS"，这意味着全方位的在桌面上使用Fedora / CentOS Stream更适合，与此同时，在员工设备上使用Fedora...阅读全文
frp是一个使用go语言开发的反向代理服务，可用于内网穿透，支持tcp, udp协议，为http和https协议提供了额外的能力，且尝试性支持了点对点穿透。 由于ngrok 2.x已经闭源，ngrok 1.x已不再维护，所以这里尝试使用frp替代ngrok作为个人的内网穿透工具。 0.前提条件 一台Linux云主机(这里是CentOS 7），并要求具有固定公网IP暴露这台云主机指定端口的能力 有一个域名解析到这个公网IP，如frp.frognew.com和*.frp.frognew.com解析到这个公网IP 1. 下载frp服务端frps和客户端frpc可执行文件 分别在服务器和个人本地机器上，从[https://github.com/fatedier/frp/releases]下载对应平...阅读全文
长期支持的KDE Plasma 5.12 LTS桌面环境于今天获得了第8个维护版本更新，修复了大量错误并对性能进行了优化调整。KDE Plasma 5.12.8 LTS带来了70多项改进，包括将breeze_cursors设置为默认光标主题，改进天气通知，更好的支持海盗船鼠标，键盘导航支持KonsoleProfiles小程序，以及Qt 5.12兼容PulseAudio声音服务器。 其他值得注意的改变包括的修复了SDDM 的KCM中的自动会话加载，群组弹出对话框的修复，Componentchooser KCM中默认Web浏览器的选择改进，改善共享视图的下拉菜单以及对天气数据的诸多改进。完整的更新日志可以访问这里。 在更新日志中写道：“今天KDE发布了KDE Plasma 5的维护版本更新...阅读全文
作为 Debian 10“Buster”系列发行版的第四个稳定更新，Debian 10.4 主要修复了安全性问题。维护团队希望已经用上 Debian 10 的设备能够尽快部署安全修复程序，更新过程很是... 05月10日 2,237 评论...阅读全文
。例如 CPU 和 GPU 等计算资源价格相对较高，Mem 价格相对较低，而 Disk 价格则更低），相同的资源利用效率，不同资源对成本的贡献度也不一样。 例如，100%的 Disk 利用率，但是由于磁盘相对便宜，对最终的成本控制的贡献就较低。但如果是 CPU 资源，即使资源利用率为30%，由于 CPU 资源价格相对昂贵，最终可能对成本起到关键作用，因此需要用加权平均来评估成本效率，例如： - Mem 的效率：MemEfficiency = MemUsage / MemRequest - CPU 的效率：CPUEfficiency = cpuUsage / cpuRequest - Mem 的成本效率：MemCostEff = a.MemEfficiency...阅读全文
Linux Kernel Organization（kernel.org） 是一家建立于 2002 年的加利福尼亚公共福利公司，其目的是公开地免费分发 Linux 内核和其它开源软件。它接受 Linux 基金会的管理，包括技术、资金和人员支持，用以维护 kernel.org 的运营。 Linux 内核组织是 Linux 内核发布的官方场所，在其站点上可以找到 Linux 内核的各个版本，包括最早的 1.0 到最新的 4.x 内核。其所提供的内核获取方式多种多样，包括： HTTP https://www.kernel.org/pub/ GIT https://git.kernel.org/ RSYNC rsync://rsync.kernel.org/pub/ 以及 FTP 方式，然而，现在...阅读全文
正在直播2022开放原子全球开源峰会！>>>>> 谷歌内部使用了许多不同的操作系统平台，其中包括 Linux。15 多年前，谷歌选择基于 Ubuntu LTS 构建内部 Linux 发行版 Goobuntu，主要是看中了 Ubuntu 具备用户友好、易于使用的特性，以及提供了许多优秀功能。此外，LTS 会获得 Canonical 提供 2 年以上的安全更新。 根据官方介绍，Goobuntu 是谷歌长期以来一直使用的 Linux 发行版。不过 Ubuntu LTS 的两年更新周期意味着谷歌必须在操作系统 EOL 之前，对超过 10 万台设备中的每台机器进行升级。这是一项非常困难且耗时的工作，毕竟每两年让所有工程师从头开始配置他们的工作空间，这对生产力是严重的打击，并且从经济角度来看也是一个不...阅读全文
Linux是全球最重要的开源软件，RISC-V则是近年来兴起的一个开源CPU指令集，现在这两个阵营宣布达成合作——Linux基金会与RISC-V基金会将共同合作加速推广RISC-V ISA的开发及采用，Linux基金会还将为RISC-V生态系统提供大量资源，包括培训计划、基础工具以及社区扩展、营销和法律专业知识。 Linux开源社区经过这么多年发展已经很成熟了，而RISC-V在普通人眼里还很陌生，有些人可能还记得之前ARM公司还专门上线了一个网站，攻击RISC-V指令集的各种缺点，而ARM之所以如此兴师动众就是担心RISC-V指令集未来会跟自己抢饭碗，因为ARM赖以生存的就是ARM处理器/指令集授权费，但RISC-V是开源、免费的CPU指令集。 相比ARM指令集，RISC-V的历史很短...阅读全文
也是吸引用户的关键因素之一。 开发一个新版本就必定会面临新的编程难题。不过 Murdock 自有他的「秘密武器」： 我倒是无知者无畏，因为不了解自己将会面对什么，于是也就无所畏惧。我只知道我的目标和方向，但我当时完全不知道这一路会有多艰难。除此之外，Debian 的「分散式」定位就是用户可以随时参与开发过程前来帮忙。Debian 是开放式的，因此有些我不精通的地方我可以向公众寻求帮助。比如我有个 2400 波特的调制解调器，但是我这辈子都没用过以太网卡，所以关于这方面我实在了解不多；但是有人肯定比我精通，可以帮我们忙。 Murdock 指出，Debian 的这个优势其实也同样是 Linux 和其他所有免费软件的最大武器。 这就是为什么 Linux 这样的软件质量会如此之高，因为它并不是单单为...阅读全文
机系统。 但与此同时，Stapelberg 也逐渐发现并认识到了 Debian 在许多方面的不足，他发现 Debian 整个开发评估流程都非常迟钝。举例来说，补丁的评估没有截止日期，有时候他会收到通知说几年前递交的补丁现在合并了。Debian 的一些维护者出于个人喜好拒绝合作，维护者给予的个人自由度太高对 Debian 构成了严重影响。Debian bug 跟踪器 debbugs 源自 1994 年，只有 Debian 和 GNU 项目使用。 Stapelberg 抱怨了 Debian 糟糕的开发流程，对此感到十分不满，还表示对 Debian 开发流程的沮丧程度最终超过了其忍受的阈值。为此，他撰写了这篇文章，并希望自己的文章能激励 Debian 做出改变，继而改进开发者参与维护的体验。...阅读全文
当我们还在体验 Linux 5.5 稳定发行版带来更好的硬件支持时，Linux 5.6 已经来了。说实话，Linux 5.6 比 5.5 更令人兴奋。即使即将发布的 Ubuntu 20.04 LTS 发行版将自带 Linux 5.5，你也需要切实了解一下 Linux 5.6 内核为我们提供了什么。 我将在本文中重点介绍 Linux 5.6 发布版中值得期待的关键更改和功能： Linux 5.6 功能亮点 当 Linux 5.6 有新消息时，我会努力更新这份功能列表。但现在让我们先看一下当前已知的内容： 1、支持 WireGuard WireGuard 将被添加到 Linux 5.6，出于各种原因的考虑它可能将取代 OpenVPN。如果你使用过它，那你可能已经知道它比 OpenVPN 更好的...阅读全文
。但是 Ubuntu 17.04（Zesty Zapus）仅配备有最新的组件和应用程序。 Ubuntu 17.04（Zesty Zapus）的默认桌面环境仍然是 Unity 7，所以你钟爱的 Ubuntu 桌面环境此刻还没有消失。在未来的 Ubuntu 17.10 中，Unity 依然可用，Ubuntu 17.10 将在下个月开始开发。之后，从 Ubuntu 18.04 LTS 开始，将默认使用 GNOME 桌面。 默认使用 Unity 7 桌面 Ubuntu 17.04 有一些新的特性： 免驱动打印 交换文件 不再支持 32 位 PPC 架构 伴随其他有趣的技术一起装载在 Ubuntu 17.04 的最终发行版上，最值得一提的是交换文件，对于新安装的系统来说可以用它来替代交换分区。所以如果你...阅读全文
务账户给应用，方便应用能够获取一定的权限 initContainers: #初始化镜像执行初始化操作 - name: peer-finder-plugin-install image: nacos/nacos-peer-finder-plugin:1.0 volumeMounts: - mountPath: "/home/nacos/plugins/peer-finder" name: plugindir affinity: #配置Pod反亲和性，放置Pod都起在同一节点上（如果都在一个节点，节点宕机将会使全部实例不可用） podAntiAffinity: # requiredDuringSchedulingIgnoredDuringExecution: #硬策略，pod一定不能启在同一个节...阅读全文
时间才能被认为是可靠的。 当有人在内核中作为维护人员工作了十年时，就出现了这个问题。填补这个空白是不容易的，因为不能像普通的软件项目那样来处理任务。 但这并不意味着不应该试图成为一个项目，因为项目实际上需要更多的内核维护者。如果你能证明你是可靠的，你就在那里（处理传入的提交），并且你对邮件中的问题作出了回应，那么欢迎你成为内核维护者。 我爱（内核）维护者...它可能不会总是以这种方式在我的电子邮件中出现...这是一个艰难的爱 - Linus Torvalds（推特上这样说） 将会有Linux Kernel 5.0，但你不要指望它是一个革命性的发行版 Linus Torvalds透露，最有可能的Linux Kernel 5.0将会在2018年夏天发布。如果你对此太兴奋了，让我先跟你说，这只是一...阅读全文
在 Systemd (linux 操作系统流行的 init 系统和服务管理器) 中发现了一个关键漏洞, 这使得远程攻击者有可能触发缓冲区溢出, 从而通过 dns 响应在目标计算机上执行恶意代码。 Systemd是什么 systemd 是一种系统初始化程序。和 sysVinit 以及 upstart 一样，systemd 会成为系统开机时启动的第一个进程（至少 PID 是 1），由它掌管计算机接下来要做的事情，例如读取 fstab 挂载磁盘和按照 runlevel 的设定启动各种服务。其安全的重要性不言而喻。 Systemd远程代码执行漏洞 CVE-2017-9445 该漏洞编号 CVE-2017-9445 ，实际上驻留在 " systemd-resolved " 的...阅读全文
按Kubernetes每季推出新版本的周期，暨今年3月底发布1.6版后，应该即将有一波大公布。果不其然，作为Kubernetes 1.7开发团队成员之一的Mirantis，在近日宣布，Kubernetes 1.7版会如期在6月底发布。 在1.6版中，Kubernetes不仅新增了角色权限控管，还将集群规模扩大至5,000个节点，但对Kubernetes社区而言，1.6版只不过是求稳定，并无太多新功能。Mirantis表示：1.7版本则是全力锁定推新功能，预计会有超过50个新功能，例如丛集联邦、安全性以及容器网络。 而根据Kubernetes现今对外的文件，还可发现许多有趣的新功能，像是支持容器基础组件Containerd、加强容器Runtime接口等。在容器储存功能方面，则预计开始支持本地...阅读全文
【巴克莱：仍预计美联储2月加息50个基点，3月加息25个基点】1月7日消息，巴克莱银行仍然预计美联储将在2月份的会议上加息50个基点，3月份加息25个基点。经济学家们认为，3月份较小幅度的加息将是对经济活动和劳动力市场放缓的越来越多证据以及通胀数据继续放缓的回应。这将使联邦基金目标区间在3月会议后达到5%-5.25%，与12月的经济预测报告中的点阵图中值相对应。然而，2月FOMC的决定仍取决于关键数据的发布，如下周公布的12月CPI。经济学家们称，展望3月份以后，他们预计FOMC将暂停加息行动，但不排除如果该委员会未能看到足够的经济放缓，会继续逐步加息的可能性。 日期： 2023-01-07 23:52...阅读全文
大家详细介绍CET，以及推出它的全球知名数字资产交易服务商CoinEx。 CET（CoinEx Token）诞生于2018年1月，是 CoinEx业务生态内的用户增值服务权益体系，最开始 CET 基于 Ethereum ERC20 协议发行。CoinEx业务生态内的用户增值服务权益体系，CET价值远不止这些。CET可以在多种场景下流通并使用。CET的核心价值包括并不限于： ** 1、长期回购销毁 ** CoinEx每天自动将平台手续费收入的50%用于回购CET，并在每个自然季度结束时将当季回购的CET全部销毁，直至CET总量减至30亿。CET总量减至30亿后，CoinEx将继续把平台手续费收入的20%用于回购并销毁CET，直至CET全部销毁。 ** 2、优惠抵扣平台交易费 ** CoinEx...阅读全文
LXD 服务器必须配置为监听单个 IPv4 或 IPv6 地址，同时内部集群流量和常规客户端流量都使用相同的地址。LXD 3.8 引入新的 cluster.https_address 选项作出改变，write-once 写入密钥保存用于集群通信的地址，并且无法在不必从集群中删除节点的情况下进行更改。有了这个单独的密钥，现在可以将集群节点上的常规 core.https_address 更改为任何地址，包括通配符模式，如 :8443。 集群镜像复制 集群中引入了自动镜像复制， 在 LXD 3.8 之前，镜像只会被复制到其它集群成员，虽然有利于性能、带宽和磁盘使用，但这有一个明显的缺点，即如果镜像仅出现在单个系统上并且系统脱机，那么在系统恢复之前将无法使用该镜像。 此版本通过在至少 3 个系统上复制所...阅读全文
Redis 官网 redis.io 昨日罕见地宕机了一段时间。宕机原本不是什么新鲜事，但戏剧性的是网站的报错信息居然是连接不上 Redis。 Redis::CannotConnectError at / Error connecting to Redis on 127.0.0.1:6379 (Errno::ECONNREFUSED) ▲ 看到这，忍不住刷一句：禁止套娃！ Redis 作者 Antirez 很快修复了问题，并解释了宕机的原因。原来是因为他最近在运行 redis.io 的实例上安装了 Try Redis（用于在线体验 Redis 数据库），可能是未能对 session key 进行良好的垃圾回收，从而导致内存累积，最终因为内存溢出（OOM ）引发宕机。对此，Antirez 表示...阅读全文
ThinkPHP V5.1 —— 12 载初心不改，你值得信赖的 PHP 框架。期盼已久的 V5.1.0 版本今日正式发布，祝大家 2018 年新年快乐！ ThinkPHP 自诞生以来一路走来已经 12 载，初心不改，并将继续努力，感谢大家的一路支持和贡献！ 特性 5.1 版本主要特性包括： 引入容器和 Facade 支持 依赖注入完善和支持更多场景 重构的（对象化）路由 路由跨域请求支持 支持注解路由 配置和路由目录独立 取消系统常量 助手函数增强 类库别名机制 模型和数据库增强 验证类增强 模板引擎改进 支持 PSR-3 日志规范 安装 5.1 版本开始官方不提供下载包，请使用 composer 安装： composer create-project topthink/think tp...阅读全文
开源正在改变网络，但是由于项目太多，协调性太差，导致了整个生态系统不协调。以 Linux 基金会为首的开源平台，以及开放网络自动化平台（ONAP），NFC（OPNFV）开放平台，OpenDaylight，FD.io，PNDA和流媒体网络分析系统（SNAS）聚集在一起，创立了用于跨项目合作的 LF Networking Fund (LFN) 。他们共同协调了软件定义网络（SDN）和网络功能虚拟化（NFV）。 LFN 需要做的是提供项目之间的合作渠道，以及相关项目和整个社区的生态系统平衡。LFN平台将弥补方案之间的差距，促进跨项目协作。 Linux 基金会网络和编排总经理 Arpit Joshipura 的说道：“以Linux的云本地计算基金会（Cloud Native Computing...阅读全文
，使用了很多叫做arena的memory pool,缺省配置在64bit下面是每一个arena为64M，一个进程可以最多有 cores * 8个arena。假设你的机器是4核的，那么最多可以有4 * 8 = 32个arena，也就是使用32 * 64 = 2048M内存。 当然你也可以通过设置环境变量来改变arena的数量.例如 export MALLOC_ARENA_MAX=1 hadoop推荐把这个值设置为4。当然了，既然是多核的机器，而arena的引进是为了解决多线程内存分配竞争的问题，那么设置为cpu核的数量估计也是一个不错的选择。设置这个值以后最好能对你的程序做一下压力测试，用以看看改变arena的数量是否会对程序的性能有影响。 mallopt(M_ARENA_MAX, xxx)如果...阅读全文
; echo $y; }？ 于是msg=$(history 1 | { read x y; echo $y; });，$msg 变量总是表示当前执行的命令？ 上面是我的理解，结果是明显的，就是 $msg 变量保存的是 bash 最后执行的命令。 但还是觉得讲不明白，history 1 和管道结合还是感觉没太理解。 如果那个高手看到了，麻烦指点下到底怎么理解它。...阅读全文
方法论，就是关于人们认识世界、改造世界方法的经验性的理论，它是一种以解决问题为目标的体系或系统，通常涉及对问题阶段、任务、工具、方法技巧的论述。方法论会对一系列具体的方法进行分析研究、总结并最终提出较为一般性的原则。 这里汇总介绍几种方法论。 吉德林法则 美国通用汽车公司管理顾问查尔斯·吉德林提出：把难题清清楚楚地写出来，便已经解决了一半。只有先认清问题，才能很好地解决问题。这种观点在管理学上被称为吉德林法则。 墨菲定律（Murphy's Law） 主要内容有四个方面：一、任何事都没有表面看起来那么简单；二、所有的事都会比你预计的时间长；三、会出错的事总会出错；四、如果你担心某种情况发生，那么它就更有可能发生。 彼德原理 每个人在层级组织里都会得到晋升，直到不能胜任为止。换句话说，一个人...阅读全文
virpus是一家成立很久的美国vps主机商，本次黑五活动，算是相当给力了。采用xen虚拟架构技术，数据中心为西雅图，国内速度还是很优秀和稳定的，硬盘为hdd+ssd缓存，带宽为1Gbps上行；折扣为3折，非常给力。 优惠码：BLACKFRIDAY2017 黑五专属折扣，算是很有性价比了，机会不容错过。支持Paypal、MasterCard、比特币支付。 优惠方案 核心：4核CPU 内存：1GB 硬盘：50GB 流量：1.5TB 端口：1Gbps 架构：Xen 价格：$1.50/month 传送：购买链接 https://my.virpus.com/cart.php?a=confproduct&i=0 官网链接 https://www.virpus.com/...阅读全文
目最佳用户，贡献者和合作伙伴颁发社区成就奖。 12月，Harbor 首次登陆 KubeCon 北美大会，项目成员发表了数场演讲，吸引了世界各地的粉丝前来交流。目前，Harbor 项目组每月定期举行社区电话例会，讨论发展路线图，并与国内外的企业及个人建立了广泛的合作关系，社区生态发展得如火如荼。 年近岁末， 经过 Harbor 社区三个多月的不懈努力，Harbor v1.7版本正式发布！新版本带来诸多新功能： · 镜像构建历史 - 用户可查看容器镜像的构建历史和内容； · 镜像复制（retagging）- 提供了在镜像上传至Harbor后重新创建镜像tag的能力。此功能在CI流水线中提升镜像到生产状态或者通过编程方式重新tag镜像，亦或将特定镜像重新tag或者移动到其它仓库或者项目等场景中特别...阅读全文
Debian.cn 正式更名为 Debian中国。相比我们之前使用的名字”Debian社区“，这个名字更中性一些，也避免了歧义。 Debian.cn 的内容风格还会和以前保持一致，不会有明显变化，我们会继续重点关注 Debian系统 在生产环境的基础设施上的广泛应用，包括容器化、业务环境、大数据、媒体智能等。 这次一同调整的还有论坛功能。由于论坛中的的内容很少，我们上线了独立的讨论平台 bbs.debian.cn，和主站的账号系统保持独立，并简化了注册。论坛的后台系统使用Discuz! Q 这个刚推出不久的开源的系统，欢迎注册。...阅读全文
channel通道golang的并发模型是序列通信处理CSP（communicating sequential process）——使用通信来共享内存 ，避免goroutine因竞争共享内存频繁加锁产生的性能问题。基本数据结构golang中提供了一个特殊的类型channel实现goroutine之间的通信。channel类似于队列，先进先出。channel数据结构源码在src/runtime/chan.go下。chan 使用 hchan 表示，它的传参与赋值始终都是指针形式，每个 hchan 对象代表着一个 chan。hchan 中包含一个缓冲区 buf，它表示已经发送但是还未被接收的数据缓存。buf 的大小由创建 chan 时的参数来决定。qcount 表示当前缓冲区中有效数据的总量...阅读全文
，而我们也开始考虑利用基于kubectl exec构建的工具为开发人员提供支持。此次新增的kubectl debug命令（目前为alpha版）允许开发人员在集群当中轻松调试自己的Pod，进而获得巨大的便利性增益。这项命令将创建一个即席容器，容器运行在待检查Pod旁边，同时附带有控制台以执行交互式故障排查。 SIG-CLI 调试程序的能力变得越来越必要，基于 kubectl exec，增加了 kubectl alpha debug 命令（目前为 alpha 阶段），使开发人员可以轻松地在集群中调试其 Pod。此命令允许创建一个临时容器，该容器在要检查的 Pod 旁边运行，并且还附加到控制台以进行交互式故障排除。 Windows CSI 支持 带来了用于 Windows 的 CSI 代理，目前处于...阅读全文
推荐的加密和散列证书，而不是使用不安全算法的老化证书。 不过，本周一时，DigiCert 的 Timothy Hollebeek 却反对将证书有效期缩短至 13 个月，他认为，缩短证书寿命确实带来的好处，但意味着要有更好的方法来确保证书是最新的和安全的，同时也存在一些麻烦，企业不得不每年续签一次付费证书，并且增加其成本。 换句话说，减少有效期可能会促使企业免费使用 Let's Encrypt TLS/SSL，就不会向 Digicert 这样的机构支付费用。Let's Encrypt 可以免费发放 90 天的 HTTPS 证书，使用提供的软件客户端来自动更新和部署证书，而由于几乎所有浏览器和操作系统都支持 Let's Encrypt TLS/SSL 证书，导致该服务正给向 HTTPS 证书收费...阅读全文
双因子身份验证就是指，需要两种身份验证才能完成账号有效性的验证，可以是密码、SSH 密钥，也可以是第三方服务，比如 Google Authenticator。这意味着单个验证方式的缺陷，不会影响账号的安全。本文我们将介绍如何在 Debian 服务器上启用双因子验证。 请注意，本文涉及到多次修改 SSH 配置，当你修改配置时，请确保有至少两个到服务器终端的连接。打开的终端将一直保持，即便 SSH 服务重启。第二终端意味着你可以修复你在SSH配置的错误。 密钥和密码验证的SSH SSH 支持对登录要求不止一个身份验证方法，我们首先启用密钥和密码验证。 在 /etc/sh/sshd_config 中的 SSH 服务器配置文件中的 AuthenticationMethods 选项中设置了身份验证方...阅读全文
。Blackbox Exporter 最重要的功能之一是测量 Endpoint 的可用性。 当然, Blackbox Exporter 探测 HTTPS 后就可以获取到证书的相关信息, 就是利用这种方式实现对 Kubernetes apiserver 证书过期时间的监控. 配置步骤 调整 Blackbox Exporter 的配置, 增加 insecure_tls_verify: true, 如下: 重启 blackbox exporter: kubectl rollout restart deploy ... 增加对 Kubernetes APIServer 内部端点https://kubernetes.default.svc.cluster.local/readyz的监控. 如果你没有使用...阅读全文
,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc noqueue state UP group default link/ether 56:7b:98:07:30:bc brd ff:ff:ff:ff:ff:ff link-netnsid 0 inet 192.168.134.93/27 brd 192.168.134.95 scope global eth0 valid_lft forever preferred_lft forever 通过内网 IP 地址，我们得知已成功进入容器内部。 原理 namespace namespace 是 Linux 中一些进程的属性的作用域，使用命名空间，可以隔离不同的进程。 Linux在不断的添加命名空间，目前有： mount：挂载命名空间，使...阅读全文
我们将介绍，如何在三个树莓派上，创建出一套 Kubernetes 集群并正常使用。在这种场景下，主节点的内存和 CPU 资源较有限，执行 Kubernetes 任务时性能会有折扣，想做升级也不容易。 在开始之前，我们先介绍 K3s 这个项目。K3s 被誉为是最轻量级的 Kubernetes 发行版，它针对低配的 x86 和 ARM 处理器优化，可以让 Kubernetes 在树莓派上运行得更好。 基于 Raspbian 的 kubernetes 集群 本文我们将介绍如何使用 K3s 在树莓派上创建 Kubernetes 集群。系统我们用的是树莓派最流行的 Raspbian。 准备工作 在开始创建 Kubernetes 集群之前，我们需要准备， 至少一个树莓派，包括 SD 卡和电源网线，普通...阅读全文
Alpine Linux 3.6.1 已发布。Alpine Linux 是由社区开发的操作系统，它面向 x86 路由器、防火墙、虚拟专用网、IP 电话盒及服务器而设计。它在设计时就贯彻了安全的理念，包含了一些主动安全特性如 PaX 和 SSP ，它们能防止软件中的漏洞被敌手加以利用。该系统采用的 C 语言库是 musl ，基础工具则都在 BusyBox 中。它们在嵌入式系统中很常见，它们比 GNU/Linux 系统中的工具要小。 此次更新进行了大量 Bug 修复，相关内容： Bug #6668: Can’t boot on Raspberry Pi 2 Bug #7047: v4l2-ctl segfaults when setting control values Bug #7093...阅读全文
Channel 1. 概述 “网络，并发”是Go语言的两大feature。Go语言号称“互联网的C语言”，与使用传统的C语言相比，写一个Server所使用的代码更少，也更简单。写一个Server除了网络，另外就是并发，相对python等其它语言，Go对并发支持使得它有更好的性能。 Goroutine和channel是Go在“并发”方面两个核心feature。 Channel是goroutine之间进行通信的一种方式，它与Unix中的管道类似。 Channel声明： ChannelType = ( "chan" | "chan" "<-" | "<-" "chan" ) ElementType . 例如： var ch chan int var ch1 chan<- int //ch1只能写...阅读全文
此次更新内容：新版本提供了三个不同名称的独立 ISO 映像表明意图 — Xfce，DDE（Deepin 桌面环境）和服务器。 发行说明仅以土耳其语提供，但在临时的 Pardus 版本中，在线翻译服务翻译了更改日志： 下载目录的默认名称已从“下载”更改为“İndirilenler”; 系统设置菜单已改进; 默认打印机测试页面已重新设计; 预先定义的“pardus”用户的密码在开启直播系统时被移除; gdebi 程序运行图形界面时发生的崩溃是固定的; gnome-disks 程序某些部分的 bug 已经修复; 新增桌面壁纸; 许多软件包已经更新; 主题已经刷新; 深度桌面媒体支持添加; 许多安全和系统性能补丁已被添加 完整内容请查看 发布主页 。 下载地址：http...阅读全文
