1. HDFS概述 Hadoop 分布式系统框架中，首要的基础功能就是文件系统，在 Hadoop 中使用 FileSystem 这个抽象类来表示我们的文件系统，这个抽象类下面有很多子实现类，究竟使用哪一种，需要看我们具体的实现类，在我们实际工作中，用到的最多的就是HDFS(分布式文件系统)以及LocalFileSystem(本地文件系统)了。 在现代的企业环境中，单机容量往往无法存储大量数据，需要跨机器存储。统一管理分布在集群上的文件系统称为分布式文件系统。 HDFS（Hadoop Distributed File System）是 Hadoop 项目的一个子项目。是 Hadoop 的核心组件之一， Hadoop 非常适于存储大型数据 (比如 TB 和 PB)，其就是使用 HDFS 作为存...阅读全文
Git v2.12.2 发布了，Git 是一个开源的分布式版本控制系统，用以有效、高速的处理从很小到非常大的项目版本管理。是 Linus Torvalds 为了帮助管理 Linux 内核开发而开发的一个开放源码的版本控制软件。 部分更新内容： git status –porcelain” is supposed to give a stable output, but a few strings were left as translatable by mistake. “Dumb http” transport used to misparse a nonsense http-alternates response, which has been fixed. “git diff...阅读全文
备受期待的Devuan GNU/Linux 1.0.0 “Jessie”操作系统于昨天正式发布，可以在不安装systemd或者没有任意systemd相关安装包的情况下安装到笔记本和工作站上。自2014年11月立项以来，Devuan项目的目标就是在没有systemd初始化进程的情况下开发出Debian GNU/Linux分支。 2014 年，因为选择初始化系统 systemd 引发的争议，一群不满的开发者创建了不使用 systemd 的 Debian 分支 Devuan。现在，Devuan 开发者宣布释出 Devuan Jessie 1.0 正式版。 这主要是因为于2015年发布的Debian 8 Jessie系统中默认初始化系统为systemd，可选使用sysvinit。systemd最受...阅读全文
FFmpeg 是一款流行的多媒体框架，可以用来记录、转换数字音频、视频，并能将其转化为流的开源计算机程序。采用LGPL或GPL许可证。它提供了录制、转换以及流化音视频的完整解决方案。它包含了非常先进的音频/视频编解码库libavcodec，为了保证高可移植性和编解码质量，libavcodec 里很多 codec 都是从头开发的。 还值得一提的是，ffmpeg 转换多媒体文件提供了 FFmpeg 工具，ffserver 流工具，基于 SDL 和 FFmpeg 库和 ffprobe 多媒体码流分析仪 ffplay 媒体播放器。 最新的版本是ffmpeg 3.3.4 "Hilbert", 软件库的版本如下， libavutil 55. 58.100 libavcodec 57. 89.100...阅读全文
平安夜当天，Slax 开发者 Tomas Matejicek 宣布了 Slax 9.3 GNU/Linux 发行版已正式到来。Slax 9.3 是自开发者休眠 2 年以来的第二个稳定版更新，不过这一次，其已经基于 Debian GNU/Linux 打造，而不是 Slackware 。 虽然这一点可能让很多人感到失望，但 Tomas Matejicek 还是在发行公告中表示：“趁着许多人在庆祝节日的到来，今天就给大家送上一份礼物 —— Slax 9.3 已于几分钟前刚刚发布！对于前进的方向，我必须说我是很高兴的”。 在 9.2.1 版本之后，Slax 9.3 中添加了对许多固件驱动的支持（比如 Wi-Fi 设备）、默认的 PCManFM 文件管理器、以及默认的 Wicd 网络管理器，支持从...阅读全文
随着互联网的高速发展，云存储技术已经相当成熟了，网盘成了人们工作和学习中不可缺少的部分。尽管如此，离线存储技术也无法被取代，毕竟在没有网络的情况下，离线存储才是最佳的解决方案。 而目前使用的最多的且最方便的离线存储设备就是U盘，凭借小巧便携的体型设计赢得了广大用户的喜爱，但随着数据的日益膨胀，小小的U盘无论是在读写速度还是在容量上已经无法满足我们日益增长的存储需求。 而今天，金士顿在CES大会上展示了一款离线存储设备——HyperX Savage EXO外置SSD。HyperX Savage EXO外置SSD外壳采用聚碳酸酯打造，存储颗粒为3D TLC NAND闪存，拥有480GB和960GB两种容量可供选择。 外置SSD的接口为USB3.1 Gen 2，带宽高达10Gbps，实际连续读写...阅读全文
在做 Web 开发的时候，经常需要对 Web Page 或者 REST-ful API 做简单的 Benchmark。本文将介绍如何使用 cURL 进行简单快速的性能评测。本文内容分为以下两部分： 使用 curl 查看加载时间 使用 curl -w 查看更多的网络情况 使用 curl 查看加载时间 curl -s -w "%{time_total}\n" -o /dev/null http://www.github.com/ 1.492 可以看到请求时间为 1.492 秒。此时： -s, --silent： 让 curl 保持静默模式，不会输出进度条 -w "%{time_total\n}"：输出使用时间 -o /dev/null： 这个参数用来隐藏 response 的内容 如果使用...阅读全文
TurnKey Linux 16.0 稳定版已发布，这也是该发行版首个基于 Debian 10 的衍生版本。 TurnKey Linux 是基于 Debian 的虚拟应用程序库，它将一些最好的开源软件集成到完备可用的解决方案中。每一个虚拟应用程序都为易用性进行了优化，并能在数分钟内就部署在裸机、虚拟机及云中。 每一个虚拟应用都可以光盘镜像或是虚拟机镜像的形式获得，而这份仍在增长的应用列表包括 Bugzilla、Django、Drupal、File Server、Joomla、LAMP、Magento、Mantis、MediaWiki、MoinMoin、Moodle、MovableType、MySQL、Openbravo、phpBB、PostgreSQL、ProjectPier、Rails...阅读全文
如果你经常让你的系统经历休眠周期，那么从即将开始的 Linux 5.10 周期开始，性能应该会好很多。在即将到来的Linux 5.10合并窗口中，有一个变化允许对休眠/恢复的I/O请求进行批处理，以加快休眠和恢复进程。 到目前为止，Linux 内核依靠为每一页数据提交单独的 I/O 请求，但现在 Linux 5.10+ 的时候，它设置为使用 batch 与 blk_plug。 开发者Xiaoyi Chen的内核补丁解决了这一问题：合并I/O请求让系统休眠和恢复的速度提升了一个数量级以上。在使用的32GB内存中，16GB内存的一个休眠和恢复周期在改变前需要21分钟左右，在存储IOPS有限的系统上，改变后仅需要1分钟。" Xiaoyi Chen在亚马逊EC2旗下主导了这项工作，这项改变是在系统...阅读全文
配的中文包，都可以将适用系统的大部分桌面，菜单，副菜单，图标标题及弹出提示变成简体中文 (zhcn) 或繁体中文(zhhk)。请注意：所有中文包都侬赖系统巳经安装好一个合适的半中文包（详情请见甲栏），去提供中文字型和中文输入法。 下载及用法: 更多有关这些半中文包及中文包的资料及使用方法，可以参考“icake DebianLive 中文包使用手册”。这本使用手册、半中文包及中文包，已上传到我的公开分享目录中，网址请看本欗第一个帖，它们亦可从这个网址下载： https://sourceforge.net/projects/icake-debianlive-chinese-debs/ 我希望这些中文包，会对 Debian 爱好者有用。更希望试用过中文包的用者，能将须要改善的地方告诉我。谢谢。...阅读全文
2021 Debian 项目负责人 (DPL, Debian Project Leader) 的选举结果已公布，Jonathan Carter 再次当选为新一任的 DPL，他的新任期将从2021-04-21开始。 被提名参与本届选举的人员总共两名，分别是 Jonathan Carter 和前两届 DPL Sruthi Chandran。 - Jonathan Carter [jcc@debian.org] [nomination mail] [platform] - Sruthi Chandran [srud@debian.org] [nomination mail] [platform] 据介绍，DPL 选举投票是不记名投票，参与的投票人数为 1018，其中支持 Jonathan...阅读全文
Consul 1.6.0 已于近日 发布 GA 版本 ，Consul 是 HashiCorp 公司推出的开源工具，也是主流的用于实现分布式系统服务发现与配置的方案。HashiCorp 对 Consul 的介绍是一个多云服务网络平台，用于在跨任何运行时平台和公共云或私有云的场景连接和保护服务。 本次更新主要集中在 Consul Connect（为其增加了一些主要新特性）和 Consul 的服务网格解决方案方面，此外还有一些改进和错误修复。 Consul 1.6 新特性 支持对 L7 层的流量管理 。1.6 使用了新的配置条目类型，可为服务到服务（service-to-service）的请求启用高级流量管理模式。其他配置条目类型如服务解析器、服务隔离器以及服务路由器通过高级服务故障转移和部署模...阅读全文
nginx 1.18.0 已发布，这是继 1.16 系列之后的最新稳定版本。 1.18.0 加入了 1.17.x mainline 分支中的新功能和 bug 修复，包括 limit_req 和 limit_conn 中的 dry run 模式，limit_rate, limit_rate_after 和 grpc_pass 指令中对变量的支持，以及支持 auth_delay 指令等。 auth_delay 指令位于 ngx_http_core_module 模块中，用法如下： 语法：auth_delay time; 默认值：auth_delay 0s; 上下文：http, server, location 通过 401 响应状态码来延迟处理未经授权的请求，以防止因密码、子请求结果或 JWT...阅读全文
11.6~15.6 英寸屏幕的 30 针 eDP 和支持触屏的 6 针连接器。 虽然核显性能羸弱，但至少可在 720p 分辨率和低特效设置下运行 Valorant 和 LoL 等游戏。 网络方面，HackBoard 2 板载了 Wi-Fi 和千兆以太网，此外采用 M.2 接口的 4G / 5G 模块分别需要 50 / 299 美元（约328 / 1959 RMB）。 连接方面，HackBoard 2 提供了三个 USB 2.0（支持键鼠等外设），一个 5 针 USB 2.0 摄像头连接器，以及两个 M.2 B Key（其中给一个支持 M Key）插槽。 如果一切顺利，CrowdSupply 可于 2021 年 4 月 30 日前向早期支持者发货。此外美国境内运费为 8 美元（约 52 RMB），国...阅读全文
每次将 Mac OS X 升级到新版本时，你只能干等着，看进度条慢慢变化，是不是觉得很无奈。最近有用户在 Reddit 中发帖，和其他用户共享了只需一个终端指令就能够让 macOS 升级变得更快。 这名用户表示，自己通过 App Store 升级 macOS 前后通常需要半个小时。macOS 已经内置了一个软件升级实用工具，它能够让系统升级变得更快。而且还支持用户一边升级一边使用设备。 这名用户表示自己通过这个办法升级 macOS 12.6 最新版本时只需要 10 分钟，升级过程中因为需要重启设备，有大约 2 分钟的时间无法使用设备。这名用户在帖子建议使用一下两条命令行即可执行更新： softwareupdate -ia 这个命令会执行安装更新的任务。升级过程时会收到提示，用户需要重启设备...阅读全文
Debian 项目组宣布计划从下个月开始终止对 Debian GNU/Linux 8 “Jessie” 系列操作系统提供定期安全更新支持，仅有数量有限的软件包仍将受支持。 根据开发者 Moritz Muehlenhoff 在 Debian-security-announce 邮件列表上发布的 安全通告 ，截至 2018 年 6 月 17 日，Debian GNU/Linux 8 “Jessie” 系列操作系统将不会再接收到定期的安全更新。但是，数量有限的部分软件包仍将会更新一段时间。Moritz Muehlenhoff 表示这是一个预先通知，与以前的版本一样，6 月 17 日后，只会为更少的架构和软件包提供额外的 LTS 支持。 LTS 支持将提供至 2020 年 6 月 6 日 2018...阅读全文
树莓派4B因为性能的巨大提升，采用电源性能更好的 type c 作为供电口。令人不可思议的是树莓派4B的 USB-C 居然缺少一个 5.1k 欧姆的电阻：原本有两个电阻，分别是R1和R79，结果变成了共用一个电阻。于是所有带有 e-mark 的 type c 电源（可以简单的理解为pd标准的电源）连接树莓派4B的时候都会被当作非供电设备，比如耳机等。 树莓派4B的初始版本是v1.1，包括 1G/2G/4G，revision code 分别是a03111 / b03111 / c03111 。当时树莓派基金会只表示会在后期修复这个硬件bug，但是并没有明确的时间。但是在2019年12月时，已经有明确的案例报道4G版本的树莓派4B已经有v1.2了，这个版本已经增加了电阻。pd标准的...阅读全文
本周日，谷歌在全球范围内遭遇了大规模中断，包括Gmail、YouTube和Google Drive在内基于谷歌云架构服务的诸多谷歌服务均受到影响。本次宕机北京时间6月3日凌晨2点58分开始，用户访问谷歌服务出现各种错误提醒，并且用户无法访问电子邮件、上传YouTube视频等。 根据谷歌官方状态页面显示，包括Gmail, Calendar, Drive, Docs, Sheets, Slides, Hangouts, Meet, Chat和Voice在内的谷歌服务均无法使用。那些依赖于谷歌云架构的第三方服务同时也受到影响，目前谷歌官方并没有完全恢复的预估时间，也没有公布关于本次宕机事件的根本原因。 苹果的iCloud服务也受到轻微影响，苹果报告称有不到1%的用户出现了响应时间低于正常值的情况...阅读全文
简单记录一下， ``` # 修复vim中鼠标右键无法复制 参考 https://debian.cn/articles/307 perl -pi -e 's/mouse=/mouse-=/g' /usr/share/vim/vim8?/defaults.vim 2>/dev/null # 关闭 IPv6，绝大部分环境不需要IPv6 perl -pi -e 's/^GRUB_CMDLINE_LINUX_DEFAULT=.*/GRUB_CMDLINE_LINUX_DEFAULT="ipv6.disable=1 quiet"/g' /etc/default/grub update-grub ```...阅读全文
最近发现网站跑了这么久，搜索页的搜索的功能还有问题，应该是一直都不能用。 就开了一贴记录网站后台更新的 changelog，和现存的 bug、feature 需求等。记录为主，大部分 Bug 也不会第一时间修复。...阅读全文
备受期待的 Debian GNU/Linux 9 “Stretch”操作系统终于确认了发布日期，就在几分钟前团队成员宣布这款热门发行版本将于2017年6月17日正式发布，距离现在还有三周时间。 （更多... 05月27日 1,159 评论...阅读全文
kubernetes 中的垃圾回收机制主要有两部分组成：一是由 kube-controller-manager 中的 gc controller 自动回收 kubernetes 中被删除的对象以及其依赖的对象；二是在每个节点上需要回收已退出的容器以及当 node 上磁盘资源不足时回收已不再使用的容器镜像；本文主要分析 kubelet 中的垃圾回收机制，垃圾回收的主要目的是为了节约宿主上的资源，gc controller 的回收机制可以参考以前的文章 garbage collector controller 源码分析。kubelet 中与容器垃圾回收有关的主要有以下三个参数:--maximum-dead-containers-per-container: 表示一个 pod 最多可以保存多少个...阅读全文
kubernetes，简称K8s，是知名的开源容器编排与调度平台，它的目标是让容器化部署、资源分配简单且高效。K8s是绝对主流且流行的容器管理平台，据说在合肥运维同学不会k8s是找不到工作的。本文我们... 03月13日 1,712 1...阅读全文
kubernetes，简称K8s，是知名的开源容器编排与调度平台，它的目标是让容器化部署、资源分配简单且高效。K8s是绝对主流且流行的容器管理平台，据说在合肥运维同学不会k8s是找不到工作的。本文我们... 03月13日 1,712 1...阅读全文
去年 5 月曾经写了一篇文章介绍了下 [Lex Fridman 大佬的日常生活安排](https://zhuanlan.zhihu.com/p/371254789) ，后续我也根据他的方法对自己的日常生活做了一系列规范和改进。这一年整体实行下来，效果还是非常显著的，本文的最后会对我的一些实践以及借助的工具做一些分享。...阅读全文
stable的前提下使用某些还处于testing distribution的package,这样就是一个stable/testing混合的系统了；这时如果只是在sources.list加入testing源，然后用apt-get install/upgrade而不加其他的选项是不会达到我们想要的效果的，因为这时apt系统为所有已安装的packages分配的优先级是100，为所有未安装的packages分配的优先级是500，然后应用下面的规则来选择package的版本： Never downgrade unless the priority of an available version exceeds 1000. ("Downgrading" is installing a less recent...阅读全文
结果发布到IM中，比如 HipChat、JIRA 或者 Slack 等。 自动修复 - 识别和验证OpenStack计算节点上的硬件故障，正确排空实例并向管理员发送关于潜在停机时间的电子邮件，但如果出现任何问题 - 冻结工作流程并呼叫PagerDuty唤醒人员。 持续部署 - 与Jenkins一起构建和测试，配置新的AWS群集，基于NewRelic的应用程序性能数据，打开负载均衡器的一些流量，以及前滚或回滚。 Stackstorm工作原理 主要组件角色： 传感器（Sensors） 用于分别接收或监视事件的入站或出站集成的Python插件。 当来自外部系统的事件发生并由传感器处理时，StackStorm触发器将发射到系统中。 触发器（Triggers）外部事件的StackStorm表示形式...阅读全文
ComplianceIntegrated with many AWS servicesEventually ConsistentFree to use 基本概念 User 您可以在账户中创建与组织中的用户对应的各 IAM 用户，而不是与他人共享您的根账户凭证。IAM 用户不是单独的账户；它们是您账户中的用户。每个用户都可以有自己的密码以用于访问 AWS 管理控制台。您还可以为每个用户创建单独的访问密钥，以便用户可以发出编程请求以使用账户中的资源。 Group IAM中，组是 IAM 用户的集合。利用组，可为多个用户指定权限，以便更轻松地管理这些用户的权限。例如，您可能有一个名为 Admins 的组，并向该组授予管理员通常需要的权限类型。该组中的任何用户均自动具有分配给该组的权限。如果有新用户加入您的组织，并且需要管理员权限，则可...阅读全文
我们重视保护用户的隐私权，请您在浏览本网站以及使用本网站的特定服务前，仔细阅读本隐私权声明。使用本网站，即视为您同意本隐私权声明并同意本网站根据本隐私权声明收集、使用、披露您的部分信息。 本隐私权声明主要包括如下内容：当您浏览本网站时，我们向您收集哪些信息；我们如何使用这些信息；我们会在何种情况下披露这些信息；以及您的选择。 本隐私权声明适用于本网站收集的关于您的个人信息。请注意本网站可能包含连接到其他网站的链接，我们对这些其他网站的隐私权做法不承担任何责任。我们建议您仔细阅读您所浏览的其他网站的隐私权声明。 1. 信息的收集 您向我们提供的信息。 如果您仅仅浏览本网站的一般性内容，我们并不要求您提供任何个人信息。在您需要使用或浏览我们提供的特定服务或信息时（比如参...阅读全文
Apollo（阿波罗）是携程框架部门研发的分布式配置中心，能够集中化管理应用不同环境、不同集群的配置，配置修改后能够实时推送到应用端，并且具备规范的权限、流程治理等特性，适用于微服务配置管理场景。 本文简单从功能特点做介绍，更详细的说明请参考Apollo配置中心介绍。本地快速部署可以参考这里。线上的演示环境从这里可以访问到： 106.54.227.205 （账号/密码: apollo/admin） Apollo 配置中心产生背景 大多情况下程序随着功能的复杂，程序的配置也会增多：包括各种功能开关、参数配置、服务地址信息配置等，同时开发人员对程序配置的期望值也越来越高：配置修改后实时生效，灰度发布，分环境、分集群的管理配置、权限控制、审核机制等。 在这样的大环境下，传统的通过配置文件、数据库...阅读全文
为“从零开始构建的 Linux”。好吧！看起来很高大上 OTZ，可它到底是什么东西呢？感觉上它好像经常和 RedHat，Debain 这类发行版混在一起，那它应该也是个发行版吧！ 这样理解其实也没有什么不对，但比起发行版来，它其实更像一本书。书本只提供知识，它只教你做，不会帮你做。这才是 LFS 和别的发行版的本质区别。这本书可以教你如何亦步亦趋的从零开始搭建一个具体而微的 Linux 系统，没错，就是从零开始，是不是有一种上帝视角的感觉呢？ 那么在哪儿可以找到这本“书”呢？你可以在网上找到电子版，当然，乐意的话，你可以打印出来——不过，我认为这没必要。你只需要按照这本书的指导，一个字母都不要敲错，你就能在它手把手地指导下，打磨出你自己的 Linux 系统啦！ LFS 是本好书吗？ 是的...阅读全文
一家新兴的 SSL 证书提供商，赛门铁克(Symantec)亚太区的白金合作伙伴。随着 Symantec 的 CA 业务被 DigiCert 收购完成，其证书链也从 Symantec 变为 DigiCert。现在也开始提供免费 1 年期的 DV SSL 证书。 在线申请网址：https://freessl.org/ 三、AlwaysOnSSL 官方网站：https://alwaysonssl.com/ 点评：AlwaysOnSSL 是一个新的免费和自动认证机构。它由 CertCenter 和 Digicert 运行，免费提供 6 个月的 DV SSL 证书。 在线申请网址：https://alwaysonssl.com/ 四、Comodo 官方网站：https...阅读全文
Go 1.9 beta版已发布， 正式版预期在8月初发布，让我们先来看看你Go 1.9带来了那些新特性。 type alias 类型别名原本在1.8中加入的，但是临时发现有些问题，为了能全面的设计 type alias 被移到了 Go 1.9中了。 这个特性主要用在类型从一个package移动到另外一个package中的时候，导致的项目中对引入的路径不一致导致的问题， 比如原先 context是在golang.org／x/net/context包下，在Go 1.7中菜正式移到标准库context。 相关的issue: go#16339 go#18130 提案: type alias 并发map 在Go 1.6之前， 内置的map类型是部分goroutine安全的，并发的读没有问题，并发的写...阅读全文
SciPy 是一个开源的 Python 算法库和数学工具包。SciPy 包含的模块有最优化、线性代数、积分、插值、特殊函数、快速傅里叶变换、信号处理和图像处理、常微分方程求解和其他科学与工程中常用的计算。 10月25日，SciPy 团队成员 Ralf Gommers 在 Python 官方邮件组发文宣布 SciPy 1.0 终于发布了。 Ralf 称，很高兴宣布 SciPy 1.0 的发布，自从 0.1 版面世 16 年后，1.0 版姗姗来迟。这是一次漫长而富有成效的旅程，期待在未来有更多令人激动的特性。 为什么现在才发布 1.0 版呢？ Ralf 认为版本号应当体现出项目的成熟程度，SciPy 是一个成熟且稳定的库，已经在生产环境长期大量使用很久了。从这个角度来说，1.0 版来晚了。 最...阅读全文
广泛使用一个全局 metrics registry 来注册要公开的 metrics。通过实现 metrics registry，metrics 可以以更透明的方式注册。而在这之前，Kubernetes metrics 被排除在任何稳定性需求之外Volume Extension：新版本有大量和 Volume 及 Volume 修改相关的增强。CSI 规范中对 Volume 调整的支持正在转向 Beta 版，它允许任何 CSI spec Volume plugin 都可以调整大小 其他值得注意的功能更新： 拓扑管理器是一个新的 Kubelet 组件，旨在协调资源分配决策，以提供优化的资源分配IPv4/IPv6 双栈允许将 IPv4 和 IPv6 地址分配给 Pods 和服务API Server...阅读全文
数据库。 6. 拥有复杂的数据（视频、图像、文件）——选择 Blob/对象存储。 7. 复杂的计算——使用消息队列和缓存。 8. 海量数据搜索——考虑搜索索引、尝试搜索引擎。 9. 扩展 SQL 数据库 — 实施数据库分片。 10. 高可用性、性能和吞吐量 — 使用负载均衡器。 11. 全球数据交付——考虑使用 CDN。 12. 图形数据（具有节点、边和关系的数据）——利用图形数据库。 13. 扩展各种组件——实现水平扩展。 14. 高性能数据库查询——使用数据库索引。 15. 批量作业处理——考虑批处理和消息队列。 16. 服务器负载管理和防止 DOS 攻击 - 使用速率限制器。 17. 微服务架构——使用 API 网...阅读全文
（"hot spot"热点竞争问题）工作负载。 2. NoSQL：MySQL 从 5.7 版本开始提供 NoSQL 存储功能，目前在 8.0 版本中这部分功能也得到了更大的改进。该项功能消除了对独立的 NoSQL 文档数据库的需求，而 MySQL 文档存储也为 schema-less 模式的 JSON 文档提供了多文档事务支持和完整的 ACID 合规性。 3. 窗口函数(Window Functions)：从 MySQL 8.0 开始，新增了一个叫窗口函数的概念，它可以用来实现若干新的查询方式。窗口函数与 SUM()、COUNT() 这种集合函数类似，但它不会将多行查询结果合并为一行，而是将结果放回多行当中。即窗口函数不需要 GROUP BY。 4. 隐藏索引：在 MySQL 8.0 中，索引可以被...阅读全文
在这篇文章里，我将在 VMWare 里面虚拟四台 Debian 虚拟机，一个做master，三个slave。这四台主机的 hostname 分别是 master、slave1、slave2、slave3。下面的 JDK 和 Hadoop 安装配置操作都是使用普通用户 hadoop 来执行，并非 root。 集群环境准备 1. 静态网络的配置 编辑/etc/network/interfaces文件，注释自动获取IP，并添加下面内容 # static IP address auto ens33 iface ens33 inet static address 192.168.20.101 netmask 255.255.255.0 gateway 192.168.20.2 dns...阅读全文
Sysdig 是 Sysdig Cloud 开发的主要基于Lua语言的一个开源系统分析工具。Sysdig 能从运行的系统中，获取系统状态和行为，做过滤分析，功能上超同类开源工具。Sysdig 可以看做是 strace + tcpdump + lsof + htop + iftop 以及其他系统分析工具的合集 。 此外 Sysdig 还能对容器（如docker、coreOS、LXC）进行监控。 Sysdig 也支持windows平台和mac平台。下面我们以 Linux系统为例，举例说明 Sysdig 的用法，你也可以参考官方原文。 网络 查看占用网络带宽最多的进程：sysdig -c topprocs_net显示主机192.168.0.1的网络传输数据 as binary：sysdig...阅读全文
日志文件增长，某些应用会在目标目录下产生多个日志文件甚至现在不能确定将来的日志文件名，架构上要支持多输入多输出流式日志采集传输，为了达成以上需求，我研究了所需技术，评估实现难度并不高，就自研了 logpipe。 logpipe 是一个分布式、高可用的用于采集、传输、对接落地的日志工具，采用了插件风格的框架结构设计，支持多输入多输出按需配置组件用于流式日志收集架构，无第三方依赖。 logpipe 的一种用法是能异步实时监控集群里的所有日志目录，一旦有文件新增或追加写，立即采集并传输到大存储上以相同日志文件名合并落地，或者写入 HDFS。异步意味着不影响应用输出日志的性能，实时意味着一有日志立即采集，很多日志采集工具如 flume-ng、logstash 介绍文档通篇不提采集方式是否实时还是周期...阅读全文
Nginx（发音同 engine X）是一款轻量级的 Web 服务器/反向代理服务器及电子邮件（IMAP/POP3）代理服务器，并在一个 BSD-like 协议下发行，可以在 UNIX、GNU/Linux、BSD、Mac OS X、Solaris，以及 Microsoft Windows 等操作系统中运行。 nginx 1.16.0 稳定版已发布，包含来自 1.15.x 主线分支的新功能和错误修复： 针对流模块（stream module）中的 UDP 代理改进随机负载均衡方法（random load balancing method）支持 TLS 1.3（TLS 1.3 early data）动态加载 SSL 证书等 下载地址： http://nginx.org/en...阅读全文
首先查看哪些服务占用了开机时间： `systemd-analyze blame` 本文示例中发现 networking.service 的时间长达 5 分钟。查看该服务状态可发现如下错误： ``` systemd[1]: networking.service: Start operation timed out. Terminating. systemd[1]: networking.service: Main process exited, code=killed, status=15/TERM systemd[1]: networking.service: Failed with result 'timeout'. systemd[1]: Failed to...阅读全文
主要有三个步骤； * 猪油要先焯水，去浮沫后再煮2-3分钟 * 重新下锅熬油时，多加清水（ 1/3 的肉量）。开始出油时，加姜片、小葱段去腥增香。 * 熬好的油用砂锅存放，锅底先放黄豆、红花椒、一勺盐。熬好的猪油，自然冷却后放冰箱保鲜层保存。 这样熬出来的猪油，不腥不苦，雪白细腻，炒菜和面都非常的香。...阅读全文
O'Reilly 在出版了《Google运维解密（Site Reliability Engineering）》和《网站可靠性工作手册（The Site Reliability Workbook）》之后，出版了 Google 工程师的另一本有关网站可靠性的书《Building Secure and Reliable Systems》，这次强调的是安全。 针对设计、实现和维护系统的开发群体，Google 的工程师分享了设计从基础上安全的，可伸缩的可靠系统的方法。 前两本书都提供了 HTML 免费版本，而新书没有提供 HTML 版本，但提供了 PDF、EPUB 和 MOBI 版本。...阅读全文
本文将会为 Ubuntu、Linux Mint 和 Debian GUN/Linux 用户讲述，如何在它们基于Debian的Linux操作系统上轻松的解压和重新打包.deb文件。 有时候你在生活中会碰到这样的问题，你想要修改.deb文件的部分内容，然后重新打包。下面的例子是刚发生在我身上的真实经历。一位Linux开发者为一个软件构建了一个Debian包（.deb），我也成功地将它安装在我的装载Ubuntu的电脑上。 当我试图从一个Git库中检索一些文件时，它总是卡顿，很显然，该软件并没有正常工作。我知道安装的文件在哪里（/opt目录），所以，我搜查了代码并适当地将部分问题修复。之后，当程序试图检索需要的包时不再卡顿。 所以长话短说，我要将.deb文件解包，替换上我的补丁文件，然后再重新打包...阅读全文
中共中央办公厅、国务院办公厅印发了《推进互联网协议第六版（IPv6）规模部署行动计划》，计划全面推进部署 IPv6，协同推进网络实名制。 通知称，用 5 到 10 年时间，建成全球最大规模的 IPv6 商业应用网络。具体计划包括： 1．到 2018 年末，IPv6 活跃用户数达到 2 亿，在互联网用户中的占比不低于 20%，并在以下领域全面支持 IPv6：国内用户量排名前 50 位的商业网站及应用，省部级以上政府和中央企业外网网站系统，中央和省级新闻及广播电视媒体网站系统，工业互联网等新兴领域的网络与应用；域名托管服务企业、顶级域运营机构、域名注册服务机构的域名服务器，超大型互联网数据中心（IDC），排名前 5 位的内容分发网络（CDN），排名前 10 位云服务平台的 50% 云产品；互联...阅读全文
12月23日，由开源中国联合中国电子技术标准化研究院主办的2017源创会年终盛典在北京万豪酒店顺利举行。作为年末最受期待的开源技术分享盛会，国内顶尖技术大拿、知名技术团队、优秀开源项目作者，及近1000名技术爱好者共聚一堂，探讨最前沿、最流行的技术话题和方向，推动国内开源创新体系发展，共建国内开源生态标准。 PHP7 已发布近两年, 大幅的性能提升使得 PHP 的应用场景更加广泛，刚刚发布的 PHP7.2 相比 PHP7.1 又有了近 10% 的提升。在本次大会上，链家集团技术副总裁、PHP 开发组核心成员鸟哥发表了以 “ PHP Next: JIT ”为主题的演讲，分享了 PHP 的下一个性能提升的主要举措：JIT 的进展, 以及下一个大版本的 PHP 可能的特性。他表示，JIT 相比...阅读全文
JavaFX 11 发布了，JavaFX 是一个强大的图形和多媒体处理工具包集合，它允许开发者来设计、创建、测试、调试和部署富客户端程序，并且和 Java 一样跨平台。由于 JavaFX 库被写成了 Java API，因此 JavaFX 应用程序代码可以调用各种 Java 库中的 API，例如 JavaFX 应用程序可以使用 Java API 库来访问本地系统功能并且连接到基于服务器中间件的应用程序。JavaFX 可以自定义程序外观，CSS 将外观和样式与业务逻辑实现进行了分离，因此开发人员可以专注于编码工作。值得注意的是，从 JDK 11 开始，JavaFX 模块与 JDK 分开提供 。 JavaFX 11 需要 JDK 10（必须是 OpenJDK 版本）或 JDK 11，建议使用...阅读全文
随着64层堆栈3D NAND闪存的大规模量产，全球6大NAND闪存厂商今年都开始转向96层堆栈的新一代3D NAND，几家厂商的技术方案也不太一样，SK Hynix给他们的新闪存起了个4D NAND闪存的名字。 在今年的FMS国际闪存会议上正式宣告了业界首个基于CTF技术的4D NAND闪存，日前他们又宣布4D NAND闪存正式量产，目前主要是TLC类型，96层堆栈，512Gb核心容量，使用该技术可以减少30%的核心面积，读取、写入速度分别提升30%、25%。 根据SK Hynix之前公布的信息，所谓的4D NAND闪存其实也是3D NAND，它是把NAND闪存Cell单元的PUC（Peri Under Cell）电路从之前的位置挪到了底部，所以叫了4D NAND闪存，本质上其实还是3D...阅读全文
奇虎 360 宣布正式开源 Wayne ，这是一个由 360 搜索云平台团队开发的通用的、基于 Web 的 Kubernetes 多集群一站式可视化管理平台。内置了丰富多样的功能，满足企业的通用需求，同时插件化的方式可以方便集成定制化功能。 目前 Wayne 已大规模服务于 360 搜索，承载了内部绝大部分业务，稳定管理了近千个业务，上万个容器，运行了两年多时间，经受住了生产的考验。 功能特性 可视化操作 ：提供直观、简便的方式操作 Kubernetes 集群，减小学习成本，快速上线业务。 多样的编辑模式 ：支持图形化编辑，也支持 Json、Yaml 两种高级定制化编辑模式。 微内核架构 ：采用可扩展的插件化方式开发，定制化选择特性功能，更方便的集成符合企业需求的新功能。 多集群管理 ：可...阅读全文
