使用df -h检查磁盘文件，看到 journal 日志占用了数G空间， ~:/var/log/journal/4211ff3f594041f3966d836585a11a05# journalctl --disk-usage Archived and active journals take up 6.4G in the file system. 清理方法可以采用按照日期清理，或者按照允许保留的容量清理 ``` journalctl --vacuum-time=2d journalctl --vacuum-size=500M ``` ...阅读全文
以及QLC闪存？ TLC = Trinary-Level Cell，即3bit/cell（每个Cell单元储存3个数据，有8个状态，具体如上图，有八种不同电压状态）。主要特点：成本低，容量大，但速度慢，寿命短，约500-1000次擦写寿命。但随着技术的成熟，寿命问题已经得到改善（约1500-2000次擦写寿命），并成为目前闪存颗粒中的最主流产品。 QLC=Quad-Level Cell，即4bit/cell（每个Cell单元储存4个数据，有16个状态，具体如上图，有十六种不同电压状态）。相比于TLC来说，成本比更低，容量更大，而可靠、稳定性及寿命则更差些（此前几年预计的理论可擦写100-150次），不过目前东芝宣称，他们的QLC NAND拥有多达1000次左右的P/E编程擦写循环，几乎已经和...阅读全文
随着热辅助磁记录（HAMR）技术的成熟，希捷也终于拿出了 16TB 的 3.5 英寸 Exos HAMR 硬盘驱动器。目前该产品已在全面测试阶段，且较西部数据（WD）的微波辅助磁记录（MAMR）技术有更大的优势。HAMR 可借助激光对下方盘片进行加热，使磁头更易于记录、从而实现更高的存储密度。 希捷表示，HAMR 磁头的可靠性，已经超越了“行业标准”。 目前希捷正在对 16-TB HAMR 驱动器进行一系列的基准和集成测试，例如检查它们是否能够对控制器的命令做出了适当的响应。该制造商指出，客户无需做出任何特殊的改动，即可直接像传统 3.5" 硬盘驱动器那样使用 HAMR 驱动器。 如果一切顺利，希捷有望在 2020 年提供容量高达 20 TB 的 HAMR 硬盘驱动器产品。...阅读全文
Linux 的 I/O 调度器是一个以块式 I/O 访问存储卷的进程，有时也叫磁盘调度器。Linux I/O 调度器的工作机制是控制块设备的请求队列：确定队列中哪些 I/O 的优先级更高以及何时下发 I/O 到块设备，以此来减少磁盘寻道时间，从而提高系统的吞吐量。 目前 Linux 上有如下几种 I/O 调度算法： noop - 通常用于内存存储的设备。 cfq - 完全公平调度器。进程平均使用IO带宽。 Deadline - 针对延迟的调度器，每一个 I/O，都有一个最晚执行时间。 Anticipatory - 启发式调度，类似 Deadline 算法，但是引入预测机制提高性能。 查看设备当前的 I/O 调度器： # cat /sys/block//queue/scheduler 假设磁...阅读全文
Sysdig 是 Sysdig Cloud 开发的主要基于Lua语言的一个开源系统分析工具。Sysdig 能从运行的系统中，获取系统状态和行为，做过滤分析，功能上超同类开源工具。Sysdig 可以看做是 strace + tcpdump + lsof + htop + iftop 以及其他系统分析工具的合集 。 此外 Sysdig 还能对容器（如docker、coreOS、LXC）进行监控。 Sysdig 也支持windows平台和mac平台。下面我们以 Linux系统为例，举例说明 Sysdig 的用法，你也可以参考官方原文。 网络 查看占用网络带宽最多的进程：sysdig -c topprocs_net显示主机192.168.0.1的网络传输数据 as binary：sysdig...阅读全文
IRSSI 是一款优秀的命令行下的 IRC 客户端，支持常见的操作系统，包括Windows、Mac OSX，Debian、RHEL等系统。本文介绍如何在Debian环境下安装、使用IRC客户端工具 irssi。 安装客户端irssi sudo apt-get install irssi 登陆服务器 irssi -c irc.freenode.net 设置昵称 /nick
TMS 是一个用 Java 语言开发的，类似 Slack、Barrychat 的团队协作沟通Web平台，同时也是一个支持博文wiki撰写，国际化翻译管理的 Web管理系统。近期，TMS 发布了新版本 v2.10.0。 新功能： #IHIS4: 博文最近编辑文章列表，方便找到最近编辑创建的文章， 待办事项管理（让繁多的待办事项有条不紊的备忘记录，然后逐步攻破，减少记忆负担，提高工作利率不是一丢丢） 频道组（聊天频道支持创建分组，方便一次性 @多人 ，减少@具体用户的数次（爽的不要不要的） 优化改进： #II5PA: 游客可见博文 分享链接 复制分享 博文过滤查找清除过滤条件，输入框获取输入焦点 #II9N9: 沟通频道，按标签检索过滤 #IINTK: 沟通内容页面当 window...阅读全文
Gitlab 12.2 已经发布，此版本将帮助团队优化他们的管道，改进协作，并管理项目之间的相互依赖。更新内容如下： 更快、更灵活的管道 CI 管道的目标是自动化手工构建和测试任务，加速软件交付，同时减少错误。然而，对于某些用例，GitLab CI/CD 管道并没有那样高效。GitLab 12.2 现在支持 Directed Acyclic Graphs (DAG) 作为创建和管理详细作业依赖关系的方法，而不是依赖于顺序阶段。使您的 CI 管道变得更快和更有效率。 设计管理 软件开发是一项团队协作工作，在 12.2 版本中，提供了新的能力，包括在 GitLab 上的设计管理。设计管理将使设计内容的共享、版本和协作变得容易，从而帮助团队更有效地使用单一来源。 跨项目合并请求依赖 复杂系统通常...阅读全文
3月27日，华为开发者大会2020以线上形式举行，华为云与计算BG总裁侯金龙在主题演讲中发布openEuler系商业发行版操作系统，首批参与的操作系统包括银河麒麟服务器操作系统V7.6，普华服务器操作系统V5.1（鲲鹏版）、深度欧拉V1.0以及傲徕服务器操作系统1.0。 IT之家此前报道过，今年1月份，openEuler开源社区（以下简称openEuler社区）正式开放源代码、镜像及开发测试环境，标志着openEuler社区开放运作迈出了坚实一步。作为主要筹备方，华为会逐步开放在ICT基础软件领域的技术积累，将操作系统、编译器/JDK等领域的基础平台能力开源至openEuler社区。 在openEuler社区，社区参与者可下载操作系统安装镜像或源代码，快速了解并掌握openEuler操作系...阅读全文
方法论，就是关于人们认识世界、改造世界方法的经验性的理论，它是一种以解决问题为目标的体系或系统，通常涉及对问题阶段、任务、工具、方法技巧的论述。方法论会对一系列具体的方法进行分析研究、总结并最终提出较为一般性的原则。 这里汇总介绍几种方法论。 吉德林法则 美国通用汽车公司管理顾问查尔斯·吉德林提出：把难题清清楚楚地写出来，便已经解决了一半。只有先认清问题，才能很好地解决问题。这种观点在管理学上被称为吉德林法则。 墨菲定律（Murphy's Law） 主要内容有四个方面：一、任何事都没有表面看起来那么简单；二、所有的事都会比你预计的时间长；三、会出错的事总会出错；四、如果你担心某种情况发生，那么它就更有可能发生。 彼德原理 每个人在层级组织里都会得到晋升，直到不能胜任为止。换句话说，一个人...阅读全文
今天Go 团队很高兴地宣布Go 1.8发布了。现已提供下载。整个标准库有了显著的性能提升和变化。该版本主要的更新内容如下： Go 1.7中为64位x86引入的编译器后端现在用于所有体系结构，这些体系结构将会有显著的性能改进。例如，我们的基准程序所需的CPU时间在32位ARM系统上减少了20-30％。在此版本中，64位x86系统还有一些性能改进，编译器和链接器更快了，编译时间应该比Go 1.7提高约15％。但是在这一领域还有很长的路要走：我们希望在未来版本中实现更快的编译速度。 垃圾收集暂停时间明显更短，通常在100微秒以下，有时候甚至低至10微秒。 HTTP服务器添加对 HTTP/2 Push的支持，允许服务器抢先发送响应到客户端。这对于通过消除往返行程来最小化网络延迟非常有用。HTTP服...阅读全文
QEMU 是一个纯软件实现的通用模拟器和虚拟机，它有三种模式，几乎可以模拟任何硬件设备：Full-system emulation 可在任何支持的硬件架构上运行任何操作系统，User-mode emulation 可用来运行另一个 Linux/BSD 程序，Virtualization 可以接近本机性能运行 KVM 和 Xen 虚拟机。 QEMU 5.0.0 已正式发布，官方的下载链接在此。本次更新的亮点主要包括： 支持通过 virtiofsd 将主机文件系统目录传递给访客支持对在 QEMU D-Bus 上运行的外部进程进行实时迁移支持针对 main/”built-in” guest RAM 使用 Memory Backend（虚拟内存的后端）block: 支持通过块设备作业压缩备份镜像...阅读全文
Apache 软件基金会宣布 Apache Superset 成为顶级项目 (Top-Level Project, TLP)。 Apache Superset 是一款现代化的开源数据工具，用于数据探索和数据可视化。它提供了简单易用的无代码可视化构建器和声称是最先进的 SQL 编辑器，用户可以使用这些工具快速地构建数据仪表盘。 Apache Superset 将 SQL IDE、数据浏览工具、拖拽式仪表板编辑器和插件组合使用，以构建自定义的可视化效果，支持从许多关系数据库和非关系数据库中创建仪表板，这些数据库包括 SQLite、MySQL，以及 ClickHouse、Google BigQuery、Snowflake、Oracle 数据库、IBM DB2 和其他各种兼容的数据源，并且可以连接...阅读全文
按Kubernetes每季推出新版本的周期，暨今年3月底发布1.6版后，应该即将有一波大公布。果不其然，作为Kubernetes 1.7开发团队成员之一的Mirantis，在近日宣布，Kubernetes 1.7版会如期在6月底发布。 在1.6版中，Kubernetes不仅新增了角色权限控管，还将集群规模扩大至5,000个节点，但对Kubernetes社区而言，1.6版只不过是求稳定，并无太多新功能。Mirantis表示：1.7版本则是全力锁定推新功能，预计会有超过50个新功能，例如丛集联邦、安全性以及容器网络。 而根据Kubernetes现今对外的文件，还可发现许多有趣的新功能，像是支持容器基础组件Containerd、加强容器Runtime接口等。在容器储存功能方面，则预计开始支持本地...阅读全文
日前，虽然 谷歌 宣布消灭Chrome浏览器的应用已经过去一段时间，也的确有一部分应用转换成了插件，但谷歌似乎一直没有采取相应的行动。但在近日，该公司却突然动手。 事实上，谷歌早在一年前就宣布，Windows、Mac和Linux版Chrome浏览器将无法使用应用，但这些应用仍将兼容Chrome OS。而现在，该公司已经彻底从Chrome Web Store中删除了应用板块。 应用板块和游戏板块在Chrome浏览器中一同消失，但仍然可以在Chrome OS上找到。谷歌之前表示，之所以做出这一决定，是因为几乎没有人使用这些应用。 但Chrome插件显然会在可以预见的未来继续存在下去。谷歌已经发邮件给开发者，向其告知了这一变化，该公司还将在2018年第一季度从Chrome浏览器中彻底删除应用功能...阅读全文
OpenSSL 1.1.1 已发布，这是新的长期支持版本（LTS），开发团队承诺至少提供五年支持。自 1.1.0 发布以来，已有超过 200 位个人贡献者提交了近 5000 个 commits。OpenSSL 1.1.1 最重要的变化就是添加对 TLS v1.3 (RFC8446) 的支持。 TLS v1.3 的优势包括： 由于减少了客户端和服务器之间所需的往返次数，缩短了连接时间。 在某些情况下，客户端能够立即开始将加密数据发送到服务器而无需与服务器进行任何往返（称为 0-RTT 或“early data”）。 由于删除了各种过时和不安全的加密算法及握手加密，提高了安全性。 OpenSSL 1.1.1 其他亮点包括： 完全重写 OpenSSL 随机数生成器以引入以下功能： The...阅读全文
CTO 招聘需求 ** 职位介绍：** 1. 全面负责技术层面的整体运营，制定研发战略和计划，负责全面实施，并与业务发展需求. 系统现状等结合起来； 2. 全面支持平台日常安全运营. 系统维护. 升级，确保公司各项投融资业务能在网站上安全. 有序开展，保障系统和数据的安全. 稳定； 3. 负责平台的研发与核心技术管理工作，组织制定和实施重大技术决策和技术方案； 4. 研究决策网站技术发展路线，规划公司产品的技术构架，负责互联网产品技术框架的选型与搭建，程序开发及技术攻坚； 5. 网站的技术团队的梯队化建设及管理，包括技术团队的培养； 6. 主导公司技术架构. 数据库结构. 业务逻辑等编码工作； 7. 负责制定技术开发规范. 编码规范等技术团队...阅读全文
Trivy是一种适用于CI的简单而全面的容器漏洞扫描程序。Trivy可检测操作系统包（Alpine、RHEL、CentOS等）和应用程序依赖（Bundler、Composer、npm、yarn等）的漏洞。 Trivy很容易使用，只要安装二进制文件，就可以扫描了。扫描只需指定容器的镜像名称。与其他镜像扫描工具相比，例如Clair，Anchore Engine，Quay相比，Trivy在准确性、方便性和对CI的支持等方面都有着明显的优势。推荐在CI中使用它，在推送到container registry之前，您可以扫描本地容器镜像。...阅读全文
Facebook 已于上周正式发布 JavaScript 包管理器 Yarn 1.0。 Facebook 表示 GitHub 上有 175,000 个项目在使用 Yarn，许多大大小小的公司和广大开源社区也在使用 Yarn，每个月通过 Yarn 下载的包数量接近 30 亿个。此外，Yarn 现在也已预安装在诸如 CircleCI、Travis CI 和 AppVeyor 这些主流的持续集成平台上。 Yarn 具有极佳的伸缩性，可以支持成千上万个直接或间接的包依赖。Yarn 的设计初衷是保证稳定性、弹性和高性能。基于这些原则，Yarn 1.0 带来了更多的新特性，希望能够帮助 Yarn 社区更快地发展，构建更好的项目。 Yarn 1.0 中值得关注的新特性 Yarn 工作区 (Yarn...阅读全文
Debian是使用非常广泛的系统，本篇文章第一部分讲述如何在Debian 8 (Jessie) 下面安装 Docker 环境，第二部分介绍了如何彻底的清理 Debian 8 上的 Docker 环境。 Debian 8 使用了3.16的内核，已经满足了docker运行的要求。但是因为安全方面的原因，docker.io 包并没有放在debian的stable源里面，而是放在了backports 源里面。为什么从jessie源里面移除docker.io包，简而言之，是因为go语言包版本的问题。 Debian backports的介绍和使用可以参考本篇文章，或者官方站点的介绍。 安装Docker包之前，先设置安装源。 这里我们使用了Docker官方提供的Debian安装源。配置方法如下。新建一个...阅读全文
在使用 Docker 时，我们可以使用 docker restart container_id 来非常方便的重启容器，但是在 kubernetes 中并没有重启 pod 的命令。有时 Pod 意外终止时，我们希望重启 pod，来进行排障或者尝试恢复服务。这时我们会发现蛋有点疼，没有一个很直观的方式来重启 pod。 这里我总结了几种重启 Pod 的方式，分两种情况讨论如何重启 K8S 中的 Pod，希望对大家有所帮助。 第一种方式：Deployment方式下重启Pod 大多数生产环境，使用的是 Deployment 方式部署应用。这种场景下，我们可以直接删除对应的 Pod，让k8s去完成 pod 重建，命令： kubectl delete pod {podname} -n...阅读全文
source /etc/profile Hadoop文件配置 配置文件都在etc/hadoop/文件夹下 1. hadoop-env.sh # jdk环境变量 （因为要远程调用 ${java_home}找不到变量） export JAVA_HOME=/usr/lib/jvm/jdk 2. workers # 添加所有slave机器的hostname slave1 slave2 slave3 3. core-site.xml