合用来做大数据分析的底层存储服务，并不适合用来做网盘等应用，因为修改不方便，延迟大，网络开销大，成本太高。 4. HDFS 的命令行使用 如果没有配置 hadoop 的环境变量，则在 hadoop 的安装目录下的bin目录中执行以下命令，如已配置 hadoop 环境变量，则可在任意目录下执行 help 格式: hdfs dfs -help 操作命令 作用: 查看某一个操作命令的参数信息 ls 格式：hdfs dfs -ls URI 作用：类似于Linux的ls命令，显示文件列表 lsr 格式 : hdfs dfs -lsr URI 作用 : 在整个目录下递归执行ls, 与UNIX中的ls-R类似 mkdir 格式 ： hdfs dfs -mkdir [-p]
起初GNU/Linux系统中只有.tar.gz。用户 必须自己编译他们想使用的每一个程序。在Debian出现后，人们认为有必要在系统 中添加一种机 制用来管理 安装在计算机上的软件包。人们将这套系统称为 dpkg。至此着名的package首次在GNU/Linux上出现。不久之後红帽子也开始着手建立自己的包管理系统 rpm。 GNU/Linux的创造者们很快又陷入了新的窘境。他们希望通过一种快捷、实用而且高效的方式来安装软件包。这些软件包可以自动处理相互之间 的依赖关系，并且在升级过程中维护他们的配置文件 。Debian又一次充当了开路先锋的角色。它首创了APT（Advanced Packaging Tool）。这一工具后来被Conectiva 移植到红帽子系统中用于对RPM包的管理。在其他...阅读全文
Contents1. 准备2. 使用 firewalld 进行中转3. 使用 UFW 进行中转4. 使用 iptables 进行中转4.1. CentOS 下保存规则4.2. Debian & Ubuntu 下 保存规则：5. 使用 socat 进行中转6. 目标机的设置7. 一些大陆 NAT VPS 商8. References本文最后更新于 2020 年 6 月 3 日本文以 CentOS 8 和 Debian 10 & Ubuntu 20.04 为例，介绍如何在 NAT VPS 上设置流量中转。开始前，请先根据实际使用的操作系统，参照以下文章对服务器进行各种必要的配置：CentOS 服务器的初始配置Debian & Ubuntu 服务器的初始化配置本文以 sammy 用户为例，进行中...阅读全文
近日，百度两年前的一桩诉讼案终于有了答案。中国裁判文书网显示，百度运维员工“安某”从 2018 年1 月底到 5 月底，以技术手段在公司服务器上部署“挖矿”程序，非法控制 150 余台服务器以获取比特币、门罗币等虚拟货币，共获利人民币 10 万余元。 事发后，“安某”不仅被没收了所有获利金额，罚款 11000 元，还背上了三年牢饭，有点惨。 4 个月，占用 155 台服务器，获利 10 万余元。 2017 年“安某”正式入职百度，彼时，比特币的价格飙升到了近 2 万美元，按照当时的汇率，一枚比特币人民币价格将近 13 万。虽然后续的币价有所降低，但挖到一枚，还可以挣几万块，这样的诱惑或许没有几个人会选择无视。 2018 年初，“安某”开始打起了挖矿的主意。 挖矿，是指利用服务器CPU的运算...阅读全文
本教程将讨论如何在Debian（或Ubuntu）配置一个可工作的邮件服务器。我们知道在邮件服务器使用的主要协议有SMTP、POP和IMAP。在本教程中，SMTP协议使用postfix，POP/IMAP协议使用dovecot。两者都是开源的、稳定的和高度可定制的。本教程中不会介绍邮件服务器的安全性，这超出了本文的范围。 1.先决条件 每个域必须有一个DNS服务器。建议不要使用Live域用于测试目的。在本教程中，将在实验室环境中使用测试域example.tst。在这个假设域名的DNS服务器应该在至少以下记录。 example.tst的forward zone配置： IN MX 10 mail.example.tst. mail.example.tst. IN A 192.168.10.1...阅读全文
在用 Golang 开发过程中，我们一定能在代码里很多函数或方法都会传递 context, 也会经常遇到这样的报错 context deadline exceeded。你有想过或去探究过 context 到底是什么吗，为什么会遇到上述的报错。在这里我们就分析一下 context 是什么及用途。 首选 Golang 中的 context 值得是 context.Context 接口,Golang 在 1.7 版本中引入标准库的接口。context 主要用来在 goroutine 之间传递上下文信息，包括：取消信号、截止时间、key-value 等。 Context 定义 Context 接口定义如下 1 2 3 4 5 6 7 8 9 10 type Context interface...阅读全文
表示打开。 kernel panic是指计算机遇到了致命的错误，并且他不知道该怎么处理时的一种动作——可以类比windows的蓝屏。 我们当然不希望每次计算机在oom时就直接蓝屏。推荐设置为0vm.overcommit_kbytes:用于限制进程能够申请的最大内存，0表示不设置，如果设置其他数值，比如400，则进程能够申请到的最大内存为 swap+400kBytesvm.overcommit_ratio:定义了进程可以使用的最大内存（百分比模式），默认为50。表示配置50之后，进程不允许申请超过 swap + 50% * 物理内存总量 以上的内存vm.oom_kill_allocating_task (Linux 2.6.24+支持)这在内存不足的情况下启用或禁用杀死OOM触发任务。0表示禁...阅读全文
前不久组内又有一次我比较期待的分享：“Linux 的虚拟内存”。是某天晚上加班时，我们讨论虚拟内存的概念时，leader 发现几位同事对虚拟内存认识不清后，特意给这位同学挑选的主题。 我之前了解一些操作系统的概念，主要是毕业后对自己大学四年的荒废比较懊恼，觉得自己有些对不起计算机专业出身，于是在工作之余抽出时间看了哈工大在网易云课堂的操作系统公开课，自己也读了一本讲操作系统比较浅的书 《Linux内核设计与实现》，而且去年自己用 C 写简单的服务器时，也追根究底了解了更多的系统底层知识。多亏了这些知识，让我对应用层的知识更有掌控感，也在上次排查问题时（从应用到内核查接口超时）助了我一臂之力。 前几天另一位同事来问另一个虚拟内存相关的问题，我才发现对于虚拟内存，我的理解还不够深刻，一些概念还...阅读全文
解在 Docker + Wasm 背景下的 Wasm container 有什么好处以及如何运行一个服务 WordPress 的 php.wasm 镜像。动手示例让我们开始吧！ 在动手示例中，我们将使用编译为 Wasm 的 PHP 解释器。 我们会：构建一个 Wasm 容器。比较 Wasm 和原生二进制文件。比较传统容器和 Wasm 容器。展示 Wasm 的可移植性前期准备如果想在本地重现这些示例，你需要使用以下部分或全部内容来准备你的环境：WASI SDK - 从构建 C 代码构建 WebAssembly 应用程序PHP - 为了比较而运行本机 PHP 二进制文件WasmEdge Runtime - 运行 WebAssembly 应用程序Docker Desktop + Wasm (本文写...阅读全文
1. Kafka介绍 1.1.1. Kafka是什么 kafka使用scala开发，支持多语言客户端（c++、java、python、go等） Kafka最先由LinkedIn公司开发，之后成为Apache的顶级项目。 Kafka是一个分布式的、分区化、可复制提交的日志服务 LinkedIn使用Kafka实现了公司不同应用程序之间的松耦和，那么作为一个可扩展、高可靠的消息系统 支持高Throughput的应用 scale out：无需停机即可扩展机器 持久化：通过将数据持久化到硬盘以及replication防止数据丢失 支持online和offline的场景 复制代码 1.1.2. Kafka的特点 Kafka是分布式的，其所有的构件borker(服务端集群)、producer(消息生产...阅读全文
Surý 是 Debian PHP 软件源的官方维护者之一，所以说稳定性和安全性基本上不是问题。软件源安装的 PHP 默认以 Unix Socket 的状态运行在 /run/php/php7.2-fpm.sock，比使用 TCP 以 localhost:9000 的方式性能更好。 由于 PHP7.2 是新出的版本势必有不少的兼容性问题，我们建议等待开发者通知兼容PHP-7.2后，再进行升级，一些 PECL 扩展可能也不会及时适配该最新版。建议在你的网站业务低峰时段更新，并提前做好备份，以及回退的准备。Debian.cn 使用的是 WordPress 4.9 ，已支持 PHP7.2。 添加软件源 添加 GPG wget -O /etc/apt/trusted.gpg.d/php.gpg https...阅读全文
、Linux Mint 这样基于 APT 的操作系统）提供的离线状态下 APT 包管理器。使用 apt-offline，我们可以在离线状态下完整地更新、升级我们的 Debian 系统。这个程序是用 Python 开发的兼具 CLI 和图形界面的跨平台工具。 准备工作 一个已经联网的操作系统（Windows 或者 Linux）。本文中为了便于理解，我们称之为在线系统。 一个离线操作系统（Debian 及其衍生版本）。我们称之为离线系统。 有足够空间容纳所有更新包的 USB 驱动器或者外接硬盘。 安装配置 apt-offline Apt-Offline 可以在 Debian 及其衍生版本的默认仓库中获得。如果你的在线系统是运行的 Debian、Ubuntu、Linux Mint，及其它基于 DEB 的操作...阅读全文
=0x306a9, pf=0x10, revision=0x1c [ 0.952773] microcode: Microcode Update Driver: v2.2. 如何在 Linux 上使用包管理器去安装微码固件更新 对于运行在 x86/amd64 架构的 CPU 上的 Linux 系统，Linux 自带了工具去更改或者部署微码固件。在 Linux 上安装 AMD 或者 Intel 的微码固件的过程如下： 打开终端应用程序 Debian/Ubuntu Linux 用户推输入：sudo apt install intel-microcode CentOS/RHEL Linux 用户输入：sudo yum install microcode_ctl 对于流行的 Linux 发行版，这个包的名字一般如...阅读全文
ListBucket 操作，它将返回有关存储段中项目的信息。任何您没有显式允许的操作都将被拒绝。 资源：您允许对哪些资源执行操作。例如，您将允许用户对哪些特定 Amazon S3 存储段执行ListBucket 操作？用户不能访问任何您没有显式授予许可的任何资源。 效果：当用户请求访问权限时将产生什么效果（允许或拒绝）。因为默认设置为拒绝用户访问资源，因此您通常需要指定您将允许用户访问资源。 AWS IAM 最佳实践 隐藏您的 AWS 账户根用户 访问密钥创建单独的 IAM 用户使用组向 IAM 用户分配权限授予最低权限利用 AWS 托管策略开始使用权限使用客户托管策略而不是内联策略使用访问权限级别查看 IAM 权限为您的用户配置强密码策略为特权用户启用 MFA针对在 Amazon EC2 实例上运行的应用程...阅读全文
m5.4xlarge的标准RI以进行匹配？ 这种场景下您的两个 RI 能够匹配到 m5.4xlarge 实例费用的75%，并且您只需再购买一个 m5.xlarge 的标准RI，这样就可以完全匹配，您无需重新购买m5.4xlarge的RI。 合并拆分 场景：具有 license 的操作系统，比如 Windows、RHEL；可用区RI 既然大小灵活性匹配这么方便那么我们为什么要进行合并拆分呢，这里要提醒的是，大小灵活性匹配只适用于开源的免费的OS如Linux/Unix平台的RI，如果我们是需要license的OS 如windows的RI则不适用，另外，如果我们购买可用区范围RI，那么我们也将失去大小灵活性匹配优势，这时候RI合并拆分就派上用场了，废话不多说，直接上例子: 场景三：假设您在新加坡区域购买了两个...阅读全文
Harbor 1.9 发布了，此版本新功能众多，包括 tag 保留和配额、可与 CI/CD 工具集成的 Webhook 通知、数据复制、Syslog 集成以及 CVE 例外策略等安全功能。 Webhook 如果您是项目管理员，可以通过 Webhook 的通知机制，将 Harbor 的项目与您技术栈的其余部分连接在一起。简言之，如果您配置了 Webhook，Harbor 会就把该项目中发生的某些事件（包括推送、拉取、删除镜像和 Helm Charts、镜像扫描及 CVEanqu 漏洞发现）向 Webhook 端点发出通知。通过这些事件，您可以将 Harbor 与其他系统集成在一起，以简化持续集成和开发过程。理想情况下，获得 Webhook 的端点应具有一个操作侦听器，用于解释 JSON 格式...阅读全文
，来激发下属的上进心和荣誉感的方法。团队领导树立那些多方面或某一方面表现突出、有重要贡献的先进模范人物为榜样，引导和号召其他人向他们学习，并努力去仿效和超越他们，从而使下属的工作积极性和创造性可以充分地发挥出来。8、数据激励法数据激励法是指领导者在详细登记、统计下属的各种工作情况数据的基础上，通过大会讲评、公开张榜和填写评比表等形式予以公布，使下属对自己和团队全局的情况有所掌握，从而明确以后的努力方向，进一步鼓舞信心和斗志。...阅读全文
许匿名用户有创建目录的权利 dirmessage_enable=YES 是否显示目录说明文件,默认是YES但需要收工创建.message文件 xferlog_enable=YES 是否记录ftp传输过程 xferlog_file=/var/log/vsftpd.log 设置日志文件的路径 connect_from_port_20=YES 是否确信端口传输来自20(ftp-data) idle_session_timeout=600 设置默认的断开不活跃session的时间 data_connection_timeout=120 设置数据传输超时时间 max_clients=Number 如果以standalone模式起动,那么只有$Number个用户可以连接,其他的用户将得到错误信息,默认是...阅读全文
统管理员、网络开发人员，现在也是 TecMint 的内容创作者，他喜欢和电脑一起工作，坚信共享知识。...阅读全文
Prometheus 客户端公开了在暴露服务指标时能够运用的四种指标类型。查看 Prometheus 的文档 以获得关于各种指标类型的深入信息。 Counter（计数器 一种累加的 metric，典型的应用如：请求的个数，结束的任务数，出现的错误数等。随着客户端不断请求，数值越来越大。例如api_http_requests_total{method="POST", handler="/messages"} Gauge（计量器） 一种常规的 metric，典型的应用如：温度，运行的 goroutines 的个数。返回的数值会上下波动。 例如 go_goroutines{instance="172.17.0.2", job="Prometheus"} Histogram（分布图） 可以理解为柱状图，典型的应用如...阅读全文
测试已发布，并且与containerd集成的 Alpha版的现已可用，它支持基本的Pod生命周期和镜像管理。在该Kubernetes已发表的博客帖子中，可以了解到CRI的更多信息。 商业版的Google Cloud Platform（GCP）Container Engine（GKE）提供了最新的Kubernetes 1.7发布版，并已进一步提供了开源的Kubernetes发布版与Google各平台间的集成，包括：使用Google Cloud Load Balancing（GCLB）的HTTP重加密，使客户可以在从GCLB到他们的服务后端上使用HTTPS；解决了[对所有私有IP的GA支持]问题(https://cloud.google.com/container-engine/docs/ip...阅读全文
– 安装 tabby-trzsz 插件即可。electerm – 升级到 1.19.0 以上的版本即可。trzsz-go – 只要是支持本地 shell 的终端就可以用。trzsz.js – 让运行在浏览器中的 webshell 和用 electron 开发的终端支持 trzsz。 如果你的终端也支持 trzsz，请告诉我，我很乐意将它加到此列表中。trzsz 使用指南trz 上传文件trz 命令可以不带任何参数，将上传文件到当前目录。也可以带一个目录参数，指定上传到哪个目录。trz /tmp/ tsz 下载文件tsz 可以带一个或多个文件名（可使用相对路径或绝对路径，也可使用通配符），将下载指定的文件。tsz file1 file2 file3 -q 静默模式trz -q 或 tsz -q...阅读全文
定一个参数，传入的就是@dobi下面修饰的函数，也就是 qinfeng() 3.dobi() 函数执行，调用 qinfeng()，qinfeng() 打印“dobi” 什么是闭包？ 首先还得从基本概念说起，什么是闭包呢？来看下维基上的解释: 在计算机科学中，闭包（Closure）是词法闭包（Lexical Closure）的简称，是引用了自由变量的函数。这个被引用的自由变量将和这个函数一同存在，即使已经离开了创造它的环境也不例外。所以，有另一种说法认为闭包是由函数和与其相关的引用环境组合而成的实体。闭包在运行时可以有多个实例，不同的引用环境和相同的函数组合可以产生不同的实例。 .... 上面提到了两个关键的地方： 自由变量 和 函数, 这两个关键稍后再说。还是得在赘述下“闭包”的意思，望文知...阅读全文
最近有时间，都在看Go，感觉Go语言真的不错，具体自行百度。今天简单说一下算法。 什么是算法一系列的计算步骤，用来将输入数据转化成输出结果算法的意义用于解决特定的问题解决同一个问题的不同算法的效率常常相差非常大，这种差距的影响往往比硬件和软件方面的差距还要大。 算法在我们编程开发中，还是不可或缺的。下面简单来列举一下go语言常见的十大算法。 BubbleSort(冒泡排序) func Sort(list []int, left, right int) { if right == 0 { return } for index,num := range list { if index < right && num > list[index + 1] { utils.SwapGo(list...阅读全文
，Aptitude也很有用。实用的功能特性包括why命令和why-not命令，前者显示依赖某软件包的其他软件包，后者显示什么软件包与某个指定软件包冲突。此外，Resolver菜单列出了可能解决破损软件包的方法，从破坏性最小的那种方法开始。 6. apt-cache apt-cache搜索已安装软件包数据库，寻找信息。它能显示关于单个软件包、依赖项和冲突等方面的信息，以及其他众多信息。 一个特别有用的命令是apt-cache search，它可搜索数据库中的文本字符串。使用这个命令，你就能找到软件包的具体名称，那样可以安装它，还可以找到想要安装的相关软件包。在Debian中，它必不可少，所以默认情况下已安装。 5. dpkg-reconfigure dpkg-reconfigure可改变安装软件包的方法。比如...阅读全文
。我满足于坚持使用默认设置，不过我很欣赏这一点：Debian提供了一种选择，然后放心让用户做出正确的选择。 4.不一样的说明文档 Debian的说明文档散布于无数个网站，并不经常被讨论。然而，这些年来，我发现，如果我将“Debian”添加到我的互联网搜索，选择近些年来的结果，几乎总是会找到一个网页给出详细的逐步说明，帮助解决我要解决的那个问题。 3.迅速修复错误 我没听说过另外哪个发行版像Debian这么迅速地应对安全或者技术问题。无论Debian维护人员是单枪匹马还是团队合作，他们的响应时间表明了勤勤恳恳的工作态度，值得用户依赖。如果说Debian有时似乎比其他发行版更频繁地更新，那不是由于它有更多的错误，而是由于被其开发人员疏忽的错误比较少。 2.控制安装环节 Debian很早以前就取得了...阅读全文
kubernetes，简称K8s，是知名的开源容器编排与调度平台，它的目标是让容器化部署、资源分配简单且高效。K8s是绝对主流且流行的容器管理平台，据说在合肥运维同学不会k8s是找不到工作的。本文我们将列举常用的kubernetes命令，后续会完善内容并提升易读性。 想起十几年前，我曾在Linux伊甸园的论坛，整理过一份rpm常用命令的列表，不知有多少朋友看过？ 查看所有namespace的pods运行情况 kubectl get pods --all-namespaces 查看具体pods，记得后边跟namespace名字哦 kubectl get pods kubernetes-dashboard-76479d66bb-nj8wr --namespace=kube-system 查看...阅读全文
。因为收购是域名投资市场正常的交易行为，在这里，重点要说说域名仲裁的那点事。 关天域名仲裁的事儿，最近发生的也不少，有点名气的如淘宝仲裁"HAITAO"双拼，以失败告终。那么，仲裁的根源是什么?什么样的行为又会构成仲裁呢? 域名仲裁的依据，一般认为是根据《保护工业产权巴黎公约》第六条之2和《知识产权协议》第16条第3项都规定，禁止复制、仿造或翻译他人的驰名商标用于任何商品或服务。网络作为现实的延伸，国际公约中对驰名商标的保护，同样也延伸到网络世界中，而域名作为网络上一种唯一的、排它性的标志，自然是首当其冲。但是，由于域名注册的自由，开放，先得原则，与商标的保护，又存在着一定的冲突和约束，因此，ICANN就针对域名争端制定了《域名争端统一解决政策》。 在这两种原则相冲突的情况下，仲裁机构如何对与...阅读全文
{key:{$gt: value}} db.ruochen.find({'likes': {$gt:100}}).pretty() where likes > 100 大于等于 {key:{$gte: value}} db.ruochen.find({'likes': {$gte:200}}).pretty() where likes >= 200 不等于 {key:{$ne: value}} db.ruochen.find({'likes': {$ne:200}}).pretty() where likes != 200 AND条件 find() 方法可以传入多个键(key)，每个键(key)以逗号隔开，即常规 SQL 的 AND 条件 格式： db.ruochen.find({key1...阅读全文
本教程使用的是 Kubernetes 1.14版，这是本文发布时的官方支持版本。 有关最新版本的最新信息，请参阅官方Kubernetes文档中的当前发行说明 。 Kubeadm自动安装和配置Kubernetes组件，例如API服务器，Controller Manager和Kube DNS。 但是，它不会创建用户或处理操作系统级依赖关系及其配置的安装。 对于这些初步任务，可以使用Ansible或SaltStack等配置管理工具。使用这些工具可以更加简单地创建其他集群或重新创建现有集群，并且不易出错。 在本指南中，您将使用Ansible和Kubeadm从头开始设置Kubernetes集群，然后将容器化的Nginx应用程序部署到它。 目标 您的群集将包含以下物理资源： 一个主节点 主节点...阅读全文
Java注释被用来为java代码提供元数据(meta data)。作为元数据，注释不会直接影响代码的执行结果，不过事实上有些注释就是为了影响代码的执行结果而定义的。 Java注释是从Java 5开始添加的。本文对于Java注释的讨论是基于java 6的，据我所知，到目前为止Java 7中关于注释的部分并没有发生改变，所以本文对java 7编程人员上来说应该也是可用的。 目录： · Java 注释的作用 · 注释的基础知识 · 注释的位置 · Java中预置的注释 · 创建你自己的注释 Java 注释的作用 预编译指令(Compiler instructions) 编译时指令(Build-time instructions) 运行时指令(Runtime instructions) Java有...阅读全文
.tar.gz 注意：Monit是一个开源工具，但M/Monit是收费的。 安装 yum install monit 当然也可以下载源码安装。 当前使用版本： # monit -V This is Monit version 5.17.1 Built with ssl, with pam and with large files Copyright (C) 2001-2016 Tildeslash Ltd. All Rights Reserved. 常用命令 monit -t # 配置文件检测 monit # 启动monit daemon monit -c /var/monit/monitrc # 启动monit daemon时指定配置文件 monit reload # 当更新了配置文件需要重载...阅读全文
服务器成功处理了请求，且没有返回任何内容。但是与204响应不同，返回此状态码的响应要求请求者重置文档视图。该响应主要是被用于接受用户输入后，立即重置表单，以便用户能够轻松地开始另一次输入。 与204响应一样，该响应也被禁止包含任何消息体，且以消息头后的第一个空行结束。 206 服务器已经成功处理了部分 GET 请求。类似于 FlashGet 或者迅雷这类的 HTTP 下载工具都是使用此类响应实现断点续传或者将一个大文档分解为多个下载段同时下载。 该请求必须包含 Range 头信息来指示客户端希望得到的内容范围，并且可能包含 If-Range 来作为请求条件。 响应必须包含如下的头部域： Content-Range 用以指示本次响应中返回的内容的范围；如果是 Content-Type 为...阅读全文
