InfraPub 为您找到相关结果 653

Linux Mint 19.2 Tina Beta 版发布 更好的内核管理功能

现在能够区分复的应用程序(例如,flatpak、snap)新的滚动条设ISO 中包含新的“引导修复”工具默认情况下启用“最近的文档”Blueberry 小程序可让用户更快地断开/连接配对设备Xed 支持切换注释和注释块新壁纸Mint GTK 主题调整 此外,Nemo 文件管理器现在支持 文件和文件夹固定 。这在大型目录中特别方便,因为它可以免去不必要的搜索。 一系列 Samba 支持改进也在 Cinnamon 4.2 中提供,包括在设 Samba 时自动添加“适当的 UFW 防火墙规则”。...阅读全文

博文 2019-07-17 16:39:26 debian.cn

微服务网关 APISIX 发布新版本 0.9

流量,也可以处理服务间的东西向流量。它是基于 Nginx 和 etcd 来实现,和传统 API 网关相比,Apache APISIX 具备动态路由和插件热加载,特别适合微服务体系下的 API 管理。 这次发布的0.9版本,带来了很多新特性: 支持使用 Tengine 来运行 APISIX增加了对开发人员更友好的高级调试模式配合 redis,实现集群内限流限速功能新增 URI 定向插件使用全新的 jsonschema,性能提升一个数量级启用 HTTP2 并支持设 ssl_protocols 加入 Apache APISIX 如果你希望使用修改任意配都无需启的 web 服务器,如果你希望使用代码简洁、云原生友好的微服务网关,那么 Apache APISIX 就是你不二的选择。 你可以加入...阅读全文

博文 2019-11-27 20:17:00 debian.cn

如何使用 ipset 将单个国家的所有IP加入黑名单

/ipblocks/data/countries/cn.zone #下载国家IP段,这里以cn为例 sudo ipset -N cnip hash:net for i in $(cat ./cn.zone ); do sudo ipset -A cnip $i; done #将IP段添加到cnip规则中 #### 创建 iptables 规则 `sudo iptables -A OUTPUT -p tcp -m state --state NEW -m set --match-set cnip dst -j REJECT` 将以上规则配为系统启后,依然生效。 ipset save cnip -f /etc/iptables/ipset.conf #保存 iptables-save > /etc...阅读全文

博文 2021-02-06 16:43:47 joseph

Debian Linux下安装配置 Pure

mkdb sudo pure-pw show user01 执行完成之后,在/etc/pure-ftpd 之下新生成(第一次使用)或修改了以下文件: pureftpd.passwd pureftpd.pdb 3. 在/etc/pure-ftpd/auth 内,增加一个软连接,描述 pureftpd.pdb 所在的位 sudo ln -s /etc/pure-ftpd/conf/PureDB/etc/pure-ftpd/auth/60puredb 说明:/etc/pure-ftpd/auth/60puredb这个文件随取一个名字,和目录里不名 看一下PureDB是什么内容: $ sudo cat /etc/pure-ftpd/conf/PureDB /etc/pure-ftpd...阅读全文

博文 2021-01-28 17:50:24 ftpd

分布式 NewSQL 数据库 TiDB

#2342TiFlash添加上报 DeltaTree 引擎读写负载相关 metrics 信息支持 fromUnixTime 和 dateFormat 函数下推默认禁用粗粒度索引过滤器TiDB Ansible新增 TiFlash 监控 #1253 #1257优化 TiFlash 配参数 #1262 #1265 #1271优化 TiDB 启动脚本 #1268 Bug 修复 TiDB修复 merge join 在某些场景下 panic 的问题 #15920修复在计算选择率时复考虑某些表达式的问题 #16052修复极端情况下 load 统计信息可能出现的 panic 的问题 #15710修复 SQL query 中存在等价表达式在某些情况下无法识别导致报错的问题 #16015修复从一个数据库中查询另一个数据库的...阅读全文

博文 2020-04-18 22:05:02 3.1.0 发布

配置 Debian Stretch 的安装源

采用最小化方式安装的 Debian,在没有接入网络的情况下,默认是没有配 apt 安装源,也没有安装远程管理用的 SSH 服务的,这个时候就无法使用 apt-get install 在线安装软件的,为使用带来不便。以下为大家提供几个 Debian Stretch 的 apt-get 源配,详细有不好爱好者在使用 Stretch 时会遇到这个问题。 配apt-get源 在开始配新的 apt 源之前,可以先备份原有的安装文件,命令如下: cp /etc/apt/sources.list /etc/apt/sources.list.backup 更新 apt 源配文件 使用以下命令,写整个配文件即可: cat > /etc/apt/sources.list <阅读全文

博文 2021-01-28 17:50:34 debian.cn

基于Inception & Yearning做SQL审核的实践

SQL审核是保证数据库 DDL 和 DML 安全使用、SQL变更可追溯、降低线上数据事故概率的要手段。去哪儿网开源的 Inception 工具有较大的使用基础,提供了相对完善的 API 接口,结合一些外层的操作界面,可以实现SQL审核、执行、备份和恢复功能,为DBA操作利器。本文详细介绍如何配 Inception 和 Yearning 的整合。 Inception Inception是一个自动化运维工具,在Mysql前做一个审核和操作的屏障。跟Inception的交互是程序级别的,即通过Python或其他程序编程实现对Inception的命令调用,并解析结果。 Inception的文档地址:http://mysql-inception.github.io/inception...阅读全文

博文 2018-08-13 17:39:45 debian.cn

Debian Linux下LNMP环境配置

-address = 127.0.0.1”这句话在作祟。把地址绑定到了127.0.0.1上,因此远程无法访问到数据库,这里我们把它注释掉就可以了,或者你的服务器是指定ip的话就配成你服务器的ip地址就可以了。 当然也有可能是你的mysql没有开启远程访问账户的权限,如果是这个原因,只需在mysql的user表里添加一条记录即可: grant all PRIVILEGES on thedb.* to user1@'%'identified by 'complex-password'; FLUSH PRIVILEGES; 然后启一下mysql的服务: service mysql restart 3.安装PHP 使用apt工具安装: apt-get install php5-fpm php5-gd php5...阅读全文

博文 2021-01-28 17:50:15 debian.cn

Debian上安装配置Docker容器管理平台Rancher

Rancher是一个开源项目为Docker容器环境提供了较完善的管理平台。Rancher 允许我们在大规模生产环境中使用 Docker。 Rancher 提供模块化基础架构服务,如多主机网络、全局和本地负载平衡、监控、恢复和卷快照等。本文我们将介绍如何在Debian 9 Stretch 上安装配 Rancher。 安装要求 运行Debian 9的服务器。 具有sudo权限的非root用户。 开始 在开始之前,建议将您的APT存储库更新为最新版本。 您可以使用以下命令执行此操作。 sudo apt-get update -y sudo apt-get upgrade -y 接下来,可以新启动系统以应用所有更改。然后使用以下命令安装所需的软件包: sudo apt-get install...阅读全文

博文 2018-04-10 22:27:37 debian.cn

Linux Mint 19.2 “Tina”稳定版发布

| 64-bit Linux Mint 更新内容: 新版本除了对附带的软件进行升级,还带来了许多改进和新特性,让你的桌面使用起来更加舒适。除此之外,还提供了 UI 方面的改进,例如现在支持对滚动条的配进行设,并且在应用程序菜单中对具有相同名称的程序显示添加的描述,以便用户可以在 GNOME 程序的 X-Apps 和 Deb 软件包的 Flatpaks 中进行区分。 Linux Mint 19 针对 Xfce, MATE 和 Cinnamon 这三个桌面环境版本都提供了一些独有的新特性,但大多数新特性对于所有的版本都是通用的,下面来看看有哪些变化。 改进了升级管理器中的内核管理软件管理器可以获取“丢失”的 GPG 密钥软件管理器可以扫描/删除复的源优化了 Muffin 窗口管理器,使用起来感觉...阅读全文

Icinga Web2 v2.7.0 发布 轻量级和可扩展的 web 接口

Icinga Web 2 是 Icinga 项目开发的下一代开源监控 Web 接口、框架和命令行接口,支持 Icinga 2、Icinga Core 和与 IDO 数据库兼容的任何其他监控后端。 Icinga’s Amazingness Spreads Further 增加日语支持增加乌克兰语支持不再配中翻译 pane 和 dashlet name Modules – 其他功能 无论您是否想要连接到配表单的处理中,都可以执行自己的 Ajax 请求,或者使用花哨的图形增强我们的多选择视图。 允许连接到配窗体的处理中允许完全自定义单击和提交处理将 Detailview 扩展集成到多选择视图中 UI——日常例程和事件管理、增强 添加色盲主题改善表格的外观使 ctrl-click 打开新选项...阅读全文

博文 2019-08-06 12:18:01 debian.cn

Kong发布新项目Kuma 通用的服务网格

Kong 发布了新的开源项目 Kuma,一个通用的现代服务网格控制平面。Kuma 基于 Envoy 构建,Envoy 是一个为云原生应用设计的强大的代理软件。Envoy 是业内最领先的边车代理;而随着监控、安全和可靠性对大规模微服务应用变得更加要,服务网格也在成为云原生生态系统的要组成部分。 “看到技术社区快速地接纳 Envoy 让我非常高兴;同时我也对 Kong 的 ‘Kuma’ 项目充满期待。” Envoy 的创始人 Matt Klein 表示,“Kuma 扩展了 Envoy 的使用场景,使得企业在服务网格中创建云原生应用更加快速,更加便捷。” Kuma 解决了第一代服务网格技术中的缺陷,使得无缝管理网络中包括四层和七层流量、微服务和 API 在内的任意服务成为可能。Kuma 高效...阅读全文

Ubuntu 18.04 LTS 整合Livepatch:安装Linux内核后无需重启

即将到来的Ubuntu 18.04 LTS(Bionic Beaver)操作系统中将引入新功能,方便用户使用Canonical的Livepatch服务。该服务最早出现在Ubuntu 16.04 LTS(Xenial Xerus)中,能在不启Ubuntu设备的情况下部署Linux内核更新。 在默认的Ubuntu 18.04更新安装过程中,Software & Updates工具的Update标签页中已经整合了Livepatch服务。不过如果用户想要使用这项服务,需要点击“Sign In”按钮创建Ubuntu SSO(Single Sign-On)账号并进行登陆。 Canonical的Will Cooke在本周的周报中写道:“我们仍在通过配Livepatch和分享系统信息等决定来添加全新的...阅读全文

博文 2018-04-16 13:12:26 debian.cn

Istio 1.2.0发布 包含重大改进

Istio 1.2.0 已发布,距上一个要版本 1.1 发布过去刚好三个月。更新的内容主要有以下这些。 General 添加了 traffic.sidecar.istio.io/includeInboundPorts 注解以消除服务所有者在部署 yaml 文件中声明 containerPort 的需要。这将成为未来版本的默认设。为 Kubernetes 集群添加了对 IPv6 的实验性支持 Traffic Management 在多集群环境中改进基于 基于位的路由改进 ALLOW_ANY 模式 下的出站流量策略。现有端口上未知的 HTTP/HTTPS 主机流量将按 原样转发 。Envoy 访问日志将记录未知流量。添加了对上游服务设 HTTP 空闲超时的支持改进了对 NONE 模式...阅读全文

博文 2019-06-24 10:13:28 debian.cn

Consul 1.6 GA 发布

式(如基于 HTTP 路径的路由和流量转移)提高了可靠性。 点此了解更多 。Mesh 网关 。Mesh 网关是网络边缘的 Envoy 代理,让独立网络环境中的服务能够轻松地相互通信。它们由 Consul 使用类似机制作为 Sidecar Proxy 的配。点此了解更多 。意图 & CA 复制。 这些功能实现了在 Consul 逻辑数据中心之间进行连接服务,并且是 Mesh 网关的要构建部分。请注意,此功能以前属于 Consul 企业版的功能。 另请注意,此版本中已完全删除了在 1.3.0 中被弃用的托管代理功能(managed proxies)。 详细更新内容请查看 Consul 1.6.0 Beta 版的发布公告 或 更新日志 。...阅读全文

Debian 8 使用 Apache 部署 Ruby on Rails

/sbin:/usr/bin:/sbin:/bin:/usr/games:/var/lib/gems/VERSION/bin" 6.在您的网站的公共文件夹中启动一个新的rails项目,以确保一切正常配。 替换为你的应用程序名称: sudo rails new /var/www/html/example.com/public_html/application 配Apache以使用Passenger 1.打开配文件,调整DocumentRoot /etc/apache2/sites-available/example.com.conf: DocumentRoot /var/www/html/example.com/application/public 2.启Apache sudo...阅读全文

博文 2021-01-28 17:50:33 debian.cn

Debian 9.3上安装和配置 Observium 监控平台

Observium是一个免费的开源网络管理和监控工具,可用于监控所有的网络设备。 它是用PHP编写的,使用SNMP从连接的设备收集数据并使用Web界面监视它们。 Observium支持大量的网络硬件和操作系统,包括Linux,Windows,FreeBSD,思科,戴尔,NetApp等等。 Observium提供了一个功能强大,简单易用的界面来监视网络的健康和状态。 在本教程中,我们将解释如何在Debian 9服务器上安装和配Observium。配需求: 一个新的Debian 9服务器安装在您的系统上。 在您的服务器上设一个根密码。 入门 首先运行以下命令,将系统更新到最新的稳定版本: apt-get update -y apt-get upgrade -y 系统更新后,新启动系统以...阅读全文

博文 2017-12-30 11:35:21 debian.cn

Tmux 快速教程:快捷键和配置

示当前的时间 ctrl + z 挂起当前会话 窗口操作 c 创建新窗口 & 关闭当前窗口 [0-9] 数字键切换到指定窗口 p 切换至上一窗口 n 切换至下一窗口 l 前后窗口间互相切换 w 通过窗口列表切换窗口 , 命名当前窗口,便于识别 . 修改当前窗口编号,相当于新排序 f 在所有窗口中查找关键词,便于窗口多了切换 面板操作 " 将当前面板上下分屏(我自己改成了 |) % 将当前面板左右分屏(我自己改成了 -) x 关闭当前分屏 ! 将当前面板于新窗口,即新建一个窗口,其中仅包含当前面板 ctrl+方向键 以1个单元格为单位移动边缘以调整当前面板大小 alt+方向键 以5个单元格为单位移动边缘以调整当前面板大小 q 显示面板编号 o 选择当前窗口中下一个面板 方向键 移动光标选择...阅读全文

博文 2017-11-07 15:17:49 debian.cn

改善 Debian Linux 软件包管理的七款工具

说,你可以用它来设定软件包安装时向你提出哪种类型的问题、问题的优先级,或者尽管软件包破损仍强行安装。 dpkg-reconfigure可用来配基于Debian系统的几乎方方面面。由于出现了配安装系统的其他工具,它的多用途性在丧失,不过dpkg- reconfigure仍可用于配诸如此类的特性:时区、视频驱动程序、打印机和扫描仪。Ubuntu弃用了dpkg- reconfigure,但是它在其他基于Debian的发行版中仍很有用。 4.netselect-apt 如今,互联网连接的速度已经非常快。然而,一些软件包代码库的速度仍比其他代码库要快;在使用高峰期间,流行的软件包代码库会降低速度。有时候,根本就缺少高速连接。 对于注速度的那些人来说,netselect-apt为你的位列出...阅读全文

博文 2021-01-28 17:50:21 debian.cn

ISTIO 1.1 正式版今日发布

Istio 1.1 已于今天发布了正式版,官方表示自推出 1.0 正式版后,用8个月的时间对整个产品进行了一些大改进,其中包括来自华为,Google,IBM,VMware,RedHat,思科,SAP,Salesforce,Pivotal,SUSE,Datadog 和 LightStep 等厂商提供的修复和功能。 新特性主要有: 缺省关闭 Mixer 策略检查 从 Istio 的早期版本开始,关于如何关闭 Mixer 策略检查的讨论就没有停止过,现在社区已经达成共识,绝大多数场景中,对性能的需求,其要性是大于对预检功能的需求的,因此 1.1 版本中,缺省安装会关闭 Mixer 的这一功能。 缺省开放 Egress 通信 新增...阅读全文

博文 2019-03-20 12:55:59 debian.cn

Kubernetes 1.14 发布,31 项功能增强

。Kubernetes 管理员的一个问题是在 Linux 主机上分配进程 ID(PID)。以往没有什么可以阻止容器内的进程创建 PID。如果 PID 的系统资源耗尽,即使其它资源不受约束,也可能导致主机不稳定。管理员现在可以为每个 pod 的 PID 数设默认值,并在 pod 中为每个节点保留多个可分配的 PID。 Pod 优先级和抢占支持 现在可以为 pod 分配优先级,以便 Kubernetes 控制器可以在集群资源不足时做出更好的决策。可以删除不太要的 pod,为更要的 pod 创建空间。 Discovery API 从 RBAC 基础架构中删除 默认情况下,有一组 API 允许未经身份验证的访问。在 v1.14 中,已从该​​集中删除了 Discovery API,以提高隐私和安全性...阅读全文

Docker 17.06 社区版发布

信息: $ echo "This is a config" | docker config create test_config - $ docker service create --name=my-srv —config=test_config … $ docker exec -it 37d7cfdff6d5 cat test_config This is a config 证书轮换的优化 Swarm mode中内的公钥基础设施(PKI)系统使得可以安全地部署一个容器调度系统。Swarmz中的节点使用双边TLS来认证、授权和加密他们之间,以及和Swarm其他节点的通讯。因为这些都依赖于证书,所以经常轮换很要。自从Swarm mode伴随Docker 1.12发布以来,已经能以一小...阅读全文

博文 2017-06-30 23:08:57 debian.cn

如何让 Mac OS X 快速完成升级

每次将 Mac OS X 升级到新版本时,你只能干等着,看进度条慢慢变化,是不是觉得很无奈。最近有用户在 Reddit 中发帖,和其他用户共享了只需一个终端指令就能够让 macOS 升级变得更快。 这名用户表示,自己通过 App Store 升级 macOS 前后通常需要半个小时。macOS 已经内了一个软件升级实用工具,它能够让系统升级变得更快。而且还支持用户一边升级一边使用设备。 这名用户表示自己通过这个办法升级 macOS 12.6 最新版本时只需要 10 分钟,升级过程中因为需要启设备,有大约 2 分钟的时间无法使用设备。这名用户在帖子建议使用一下两条命令行即可执行更新: softwareupdate -ia 这个命令会执行安装更新的任务。升级过程时会收到提示,用户需要启设备...阅读全文

博文 2017-07-21 17:41:38 debian.cn

Chrome浏览器中新增反恶意软件广告功能

的新功能。 第二个安全功能是拦截tab-under(“页签下”)行为的一种新机制。Tab-under是一种比较新的概念,它说明的是网页在新页签下打开链接后将旧页签定向至新URL。 不止是恶意广告商、普通广告商也在使用tab-under,主要原因是它们绕过Chrome的内弹出消息拦截器,从而让广告商打开推送恶意产品、服务或站点的多个页签。 这个功能将会在Chrome65中发布,该版本定于在2018年3月初发布。谷歌通过上述两个安全功能拦截恶意(内嵌框架或tab-under)定向,并在页面地面展示工具栏,详细说明被拦截行为的详情。 拦截定向用户的误导性UI元素 谷歌新增的第三个安全功能是“滥用体验报告”,是以网站黑名单的形式出现的。这些网站使用误导性的UI元素,在未经用户同意的情况下定...阅读全文

博文 2017-11-18 09:00:06 debian.cn

RabbitMQ 高可用实现镜像队列

磁盘文件,按场景4处理,如果拷贝过来的是B节点的磁盘文件,按场景3处理。最后将新的slave节点加入C即可新恢复镜像队列。 场景6:A先停,B后停,且A和B均无法恢复,且无法得到A和B的磁盘文件 无解。 启动顺序中有一个30s 的概念,这个是 RMQ 的时间间隔,用于检测master、slave是否可用,因此30s 非常关键。 对于生产环境RMQ集群的启操作,需要分析具体的操作顺序,不可无序的启,会有可能带来无法弥补的伤害(数据丢失、节点无法启动)。 简单总结下:镜像队列是用于节点之间同步消息的机制,避免某个节点宕机而导致的服务不可用或消息丢失,且针对排他性队列设是无效的。另外很要的一点,镜像队列机制不是负载均衡。...阅读全文

博文 2018-12-30 19:21:59 debian.cn

Kafka 3.0新特性全面曝光,真香!

核心要参数Controller服务器不管是kafka2还是kafka3当中,controller控制器都是必不可少的,通过controller控制器来维护kafka集群的正常运行,例如ISR列表的变更,broker的上线或者下线,topic的创建,分区的指定等等各种操作都需要依赖于Controller,在kafka2当中,controller的选举需要通过zk来实现,我们没法控制哪些机器选举成为Controller,而在kafka3当中,我们可以通过配文件来自己指定哪些机器成为Controller,这样做的好处就是我们可以指定一些配比较高的机器作为Controller节点,从而保证controller节点的稳健性。被选中的controller节点参与元数据集群的选举,每个...阅读全文

博文 2022-04-28 16:02:11 mp.weixin.qq.com

从 Debian 安装 Proxmox VE,并配置网络和双硬盘

即断网吗? 放心,网卡配需要启才能生效,所以你只需要确保启前正确配了网卡。 新建一个 vmbr0. Create - Linux Bridge 桥接网卡 将 IP 地址配到桥接网卡上,桥接网卡指向 物理网卡 如果有 IPv6 地址也可以加上。 IPv6 也不是完全没卵用,我们可以用 cf 中转,搞点网站什么的还是可以,就不用再配一套内网了。 Cloudflare support IPv6 addresses to your origin server, and will accept both IPv4 and IPv6 from clients. via: https://serverfault.com/questions/874387/ipv6-only-server...阅读全文

博文 2021-03-01 20:20:31 驱蚊器喵的插座

N 次跳票后,Fedora 27 正式版终于发布了

Fedora 项目宣布 Fedora 27 Workstation 和 Fedora 27 Atomic 版本正式发布。Fedora 27 整合了来自 Fedora 社区和各种上游软件项目的数千项改进。 你可以从 getfedora.org 下载 Fedora 27 Workstation 和 Fedora 27 Atomic Host。 已经运行 Fedora 的用户,可以直接升级到 Fedora 27 。Fedora 27 Beta Modular Server 也可点此下载。 Fedora Workstation Fedora 27 Workstation 采用的是 GNOME 3.26。在新版本中,“显示”和“网络”配面板都已更新,且随着“设”面板外观的改进。系统搜索会立即显示...阅读全文

博文 2017-11-16 08:35:44 debian.cn

BlackArch Linux 2020.01.01版发布:新增120多款工具

2020.01.01版本还修复了许多用户报告的烦人的“无法通过菜单打开工具...”错误,修复了所有软件包(runtime exec)问题,并修复了存在于此前版本上的错误。 当然在新的ISO镜像中,所有内的BlackArch工具和安装包都已经获得更新,包括Awesome、FluXbox和Openbox等支持的窗口管理器菜单以及配文件等等。BlackArch Linux 2020.01.01现在可以从官方网站下载,提供Live、NetInstall ISO镜像和OVA镜像。现有用户不需要新下载ISO镜像只需要执行更新就可以了。访问官方网站。...阅读全文

博文 2019-12-30 09:49:58 debian.cn

2017 热门开源自动化测试框架优缺点对比

是最好的选择。 但是,对于功能测试或非 Java 应用,应考虑其他解决方案。 3. Spock Spock 是用于 Java 和 Groovy 应用的测试和规范框架,基于 JUnit 。 优点: 测试可读性强,支持简单的英文句子,便于阅读。 提供周边上下文,从而能轻松了解如何解决故障。 内 mocking 和 stubbing 功能。 支持数据驱动测试(DDT)。 缺点: 需要具备基本的 Groovy 语言知识。 如果你的应用是基于 JVM 的,并且目标是使用 DSL 进行 BDD 自动化测试,则此框架正适合! 4. NUnit NUnit 是支持所有 .Net 语言的单元测试框架。最初也是基于 Junit 的启发,完全采用 C# 编写,目前已被完全新设计以使用更多 .NET 语言功能...阅读全文

博文 2017-11-15 08:52:47 debian.cn

Rust 1.37.0 稳定版发布

) => { const _: [(); $size] = [(); ::std::mem::size_of::<$ty>()]; // ^ Note the underscore here. } } static_assert_size!(Option>, 8); // 1. static_assert_size!(usize, 8); // 2. 注意第二个 static_assert_size!(..):由于使用了未命名的常量,可以在不命名冲突的情况下定义新项。以前,需要编写 static_assert_size!(MY_DUMMY_IDENTIFIER, usize, 8);。在 Rust 1.37.0,可以更容易地为静态分析目的创建人机工程学和可用的声明性和过程宏。 配文件引导的优化(Profile...阅读全文

博文 2019-08-17 21:17:23 debian.cn

Debian下安装配置 Hadoop 3.1.3 集群

在这篇文章里,我将在 VMWare 里面虚拟四台 Debian 虚拟机,一个做master,三个slave。这四台主机的 hostname 分别是 master、slave1、slave2、slave3。下面的 JDK 和 Hadoop 安装配操作都是使用普通用户 hadoop 来执行,并非 root。 集群环境准备 1. 静态网络的配 编辑/etc/network/interfaces文件,注释自动获取IP,并添加下面内容 # static IP address auto ens33 iface ens33 inet static address 192.168.20.101 netmask 255.255.255.0 gateway 192.168.20.2 dns...阅读全文

博文 2019-11-27 23:04:39 debian.cn

HAProxy用法详解 最详细中文文档

http-server-close : 在使用长连接时,为了避免客户端超时没有关闭长连接,此功能可以使服务器端关闭长连接 redispatch: 在使用基于cookie定向时,一旦后端某一server宕机时,会将会话新定向至某一上游服务器,必须使用 的选项 * 实现访问控制: http-request: 7层过滤 tcp-request content: tcp层过滤,四层过滤 2.4 代理 代理相关的配可以如下配段中。 – defaults – frontend – backend – listen “defaults”段用于为所有其它配段提供默认参数,这配默认配参数可由下一个“defaults”所新设定。 “frontend...阅读全文

博文 2014-05-10 17:14:46 debian.cn

Hadoop 核心 - HDFS 分布式文件系统详解

(NameSpace) HDFS 支持传统的层次型文件组织结构。用户或者应用程序可以创建目录,然后将文件保存在这些目录里。文件系统名字空间的层次结构和大多数现有的文件系统类似:用户可以创建、删除、移动或命名文件。 Namenode 负责维护文件系统的名字空间,任何对文件系统名字空间或属性的修改都将被 Namenode 记录下来。 HDFS 会给客户端提供一个统一的抽象目录树,客户端通过路径来访问文件,形如:hdfs://namenode:port/dir-a/dir-b/dir-c/file.data。 4. NameNode 元数据管理 我们把目录结构及文件分块位信息叫做元数据。NameNode 负责维护整个 HDFS 文件系统的目录树结构,以及每一个文件所对应的 block 块信息(block 的...阅读全文

如何解决 XFS 文件系统 duplicate UUID can't mount

如果你在 dmesg 日志中发现了该错误,对应的 xfs 分区不能被挂载和使用, ``` "XFS Filesystem has duplicate UUID", ``` 临时解决办法是,在 mount 命令中使用 nouuid 挂载选项, ``` # mount -o ro,nouuid /dev/nvme0n1p1 /mnt ``` 临时解决办法在你机器启后将失效,持久的办法应该是使用 xfs_admin 命令行工具生成新的 UUID,然后将新的UUID配到 /etc/fstab 中, ``` # xfs_admin -U generate /dev/nvme0n1p1 Clearing log and setting UUID...阅读全文

Cockpit 195.2 发布,浏览器中管理 Linux

Cockpit 195.2 发布了。Cockpit 是一个交互式服务器管理界面,它易于使用且很轻便,通过浏览器中的会话直接与操作系统进行交互。这意味着你可以通过鼠标,在Web界面上管理自己的服务器,比如启动容器,检查存储,配网络或者查看日志等。 Cockpit 的 Web 同时也提供了一个内嵌的终端,可以直接操作服务器, 此版本更新内容: firewall:仅在添加自定义服务时新加载防火墙 (rhbz#1725094)networking:清除主/从字段后激活连接 (rhbz#1729378)...阅读全文

博文 2019-09-01 19:53:32 debian.cn

高性能日志采集工具 logpipe 简单介绍

性的,这很关键。 logpipe 概念朴实、使用方便、配简练,没有如 sink 等一大堆新名词。 logpipe 由若干个 input、事件总线和若干个 output 组成。启动 logpipe 管理进程 (monitor),派生一个工作进程 (worker),监控工作进程崩溃则启工作进程。工作进程装载配加载若干个 input 插件和若干个 output 插件,进入事件循环,任一 input 插件产生消息后输出给所有 output 插件。 logpipe 自带了几个插件,分别是: logpipe-input-file 用 inotify 异步实时监控日志目录,一旦有文件新建或文件增长事件发生(注意:不是周期性轮询文件修改时间和大小),立即捕获文件名和读取文件追加数据。该插件拥有文件大小...阅读全文

Debian 上安装搭建 Shadowsocks 服务

在使用了一段时间后,决定由 CentOS 转移到 Debian 上,以便在低配的服务器上网站能更加的稳定,Shadowsocks 服务也有之前的 python 版本转移到了 shadowsocks-libev 版本,原因是 libev 的版本是用 C 语言写的,会更加的节省内存,更要的是该 libev 一直在不断的维护着,更新也很频繁。 搭建环境 本人还是在 Vultr.com 的 VPS 上安装了 Debian 8.0 x86 minimal 系统,在 Debian 8(Jessie) 编译 libev 版本需要开启 debian-backports 来安装 dh-systemd 和 init-system-helpers. 首先要在 debian 的源列表中添加 backports...阅读全文

博文 2021-01-28 17:50:14 debian.cn

Debian下安装搜狗拼音输入法

Linux上的中文输入法,基本上都比较原始,仿佛还停留在上个世纪。唯有搜狗还行。 简介 2013年12月,搜狗与Ubuntu Kylin团队开始合作开发“搜狗输入法Linux版”。经过五个月的合作,于2014年4月17日,正式发布了1.0版本。2015年10月16日更新至2.0版本。 搜狗输入法Linux版基于开源小企鹅输入法框架、开源Qimpanel面板以及搜狗输入法引擎开发。目前,我最看的功能有: 智能输入,动态调频,动态组词 可自由导入的细胞词库 模糊音输入,智能纠错 方便的中英文切换 长词联想 逗号句号翻页 皮肤替换 添加源安装 由于Debian官方是不支持搜狗输入法的,因此纯命令行操作,要先添加源。 如果没有apt-add-repository,先用sudo apt-get...阅读全文

博文 2021-01-28 17:50:16 debian.cn

如何在 Debian 下配置邮件服务器

务器的域名也需要配,这可以从确保该邮件服务器发送的所有邮件都有@ example.tst作为发件人域。 postfix的配文件存储在/etc/postfix目录。下面的配文件是非常要的。他们中的一些可能不存在,因此需要手动创建。 transport:主要用于定义邮件如何被路由到特定的目标域。绕过DNS查询可以是一个很好的例子。在这种情况下,人们可以发送到域XYZ.com的电子邮件直接通过IP地址XYYX不考虑任何DNS查询的结果。 access:可用于安全目的,如阻止发件人/收件人和他们的域名。 aliases:用于定义用户别名。例如,发送到userA的邮件可以由userB和userC接收。 main.cf:是postfix的配文件。 SMTP:准备配文件 差不多可以准备配文件...阅读全文

博文 2021-01-28 17:50:22 debian.cn

译:Kubernetes 最佳实践

如,一组开发人员可能只能访问名为 dev 的命名空间,并且无法访问 production 命名空间。 将不同团队限制在不同命名空间的能力对于避免复工作或资源冲突可能很有价值。还可以针对命名空间配 LimitRange 对象,以定义部署在命名空间中的容器的标准大小。ResourceQuotas 还可用于限制命名空间内所有容器的总资源消耗。可以对命名空间使用网络策略来限制 pod 之间的流量。使用就绪和存活探针Readiness(就绪)和 Liveness(存活)探针本质上都是健康检查的类型。这些是在 K8s 中使用的另一个非常要的概念。就绪探针确保仅当 pod 准备好为请求提供服务时,才会将对 pod 的请求定向到它。如果它还没有准备好,那么请求将被定向到其他地方。为每个容器定义就绪探针...阅读全文

博文 2022-09-13 19:32:21 atbug.com

Systemd 及 Service 文件含义解析

/httpd.service.d/),然后放入 *.conf文件,其中可以添加或参数。这里设的参数优先级高于原来的单元文件。 例如,如果想添加一个额外的依赖,创建这么一个文件即可: /etc/systemd/system/.d/customdependency.conf ``` [Unit] Requires=<新依赖> After=<新依赖> ``` 然后运行以下命令使更改生效: ``` # systemctl daemon-reload # systemctl restart <单元> ``` 此外,把旧的单元文件从 /usr/lib/systemd/system/ 复制到/etc/systemd/system/,然后进行修改,也可以达到同样效果。 `systemctl enable <单元>` 在...阅读全文

博文 2021-02-17 10:02:50 joseph

一位资深Java架构师的晋级心得

Java 架构师是什么?是一个既需要掌控整体又需要洞悉局部瓶颈并依据具体的业务场景给出解决方案的团队领导型人物。一个架构师得需要足够的想像力,能把各种目标需求进行不同维度的扩展,为目标客户提供更为全面的需求清单。 所谓架构师,思考的是全局的东西,是如何组织你的系统,以达到业务要求,性能要求,具备可扩展性(scalability),可拓展性(extendability),前后兼容性等。可能涉及到的东西包括了从硬件到软件的方方面面。 架构师在软件开发的整个过程中起着很要的作用。 架构师的主要任务不是从事具体的软件程序的编写,而是从事更高层次的开发构架工作。他必须对开发技术非常了解,并且需要有良好的组织管理能力。可以这样说,一个架构师工作的好坏决定了整个软件开发项目的成败。 在成为Java架构...阅读全文

博文 2019-01-13 22:49:22 debian.cn

使用 MongoDB 之前应该知道的 14 件事

本文作者从事数据库相关工作接近四十年,最近开始使用 MongoDB。在开始使用 MongoDB 之前,作者希望有些事情自己已经知道。根据一般经验,对于数据库是什么以及它们能干什么,人们会有先入为主的认识。为了给他人提供方便,本文列出了一些常见的错误。 本文要点 即使 MongoDB 没有强制要求,设计一个模式还是至关要。 类似地,在设计模式及访问模式时设计好索引。 避免大对象,尤其是大数组。 谨慎对待 MongoDB 的设,尤其是关乎安全和稳定性时。 MongoDB 没有查询优化器,因此,对于如何安排查询操作的顺序,你必须格外小心。 创建一个无需身份验证的 MongoDB 服务器 很遗憾,MongoDB 在安装时默认不启用身份验证。在只从本地访问的工作站上,这没什么不好。但是,由于...阅读全文

细数k8s支持的4种类型的container - 侃豺小哥

截止目前k8s1.18,k8s已经支持标准容器,sidecar容器,init 容器,ephemeral 容器 4种类型的containers。本文我们详细介绍一下这4种容器的特性已经使用场景。 Ephemeral 容器 临时容器与其他容器的不同之处在于,它们缺少对资源或执行的保证,并且永远不会自动启,因此不适用于构建应用程序。临时容器使用与常规容器相同的 ContainerSpec 段进行描述,但许多字段是不相容且不允许的。 临时容器没有端口配,因此像 ports,livenessProbe,readinessProbe 这样的字段是不允许的。 Pod 资源分配是不可变的,因此 resources 配是不允许的。 有关允许字段的完整列表,请参见临时容器参考文档。 临时容器是使用...阅读全文

博文 2021-08-20 11:45:32 博客园

JavaFX 11 发布,与 JDK 拆分后的首个正式大版

JDK 11。 此次更新主要内容如下: 要更新: JavaFX 模块指定:因为 JDK 不再包含 JavaFX,那么必须明确包含应用程序使用的 JavaFX 模块,详情见:https://openjfx.io/openjfx-docs/。 添加 API 以自定义 Spinner 控件的步骤复计时。在 JavaFX 11 中修改值步骤之前,必须在 Spinner 控件箭头按钮上按下鼠标一段默认持续时间,JavaFX 11 中已添加两个新属性“initialDelay”和“repeatDelay”来配此操作。 javafx.* 模块现在由应用程序类加载器加载,默认情况下不再具有权限。想要在启用安全管理器的情况下运行的应用程序需要使用“-Djava.security.policy”指定自定义策略...阅读全文

博文 2018-09-20 13:09:25 debian.cn

Debian 环境下安装配置 Gitlab

: 打开配文件 vim /etc/gitlab/gitlab.rb 找到第7行的external_url将值进行修改后保存 3 ## GitLab URL 4 ##! URL on which GitLab will be reachable. 5 ##! For more details on configuring external_url see: 6 ##! https://docs.gitlab.com/omnibus/settings/configuration.html#configuring-the-external-url-for-gitlab 7 external_url 'http://192.168.186.136' 新启动gitlab,完成域名修改。 gitlab...阅读全文

博文 2017-12-22 19:42:42 debian.cn

下一代时间同步服务 Chrony 详解

务器 要将 Chrony 作为一个 NTP 服务器,方法很简单。 首先,你需要修改 /etc/chrony.conf 文件,并添加以下配即可。 # 对于安全要求比较高的,这里可以限制谁能访问本机提供的 NTP 服务。allow 192.168.0.0/16 # 设 chronyd 监听在哪个网络接口bindcmdaddress 0.0.0.0 # 这个地方很要,如果服务器本身也不能同步时间,那么就用本地时间替代,层级为 10local stratum 10 其次,启 Chronyd 服务,以加载新的配。 $ systemctl restart chronyd Chronyd 服务启动成功后,会监听以下两个端口。 端口 123/udp 为标准的 NTP 监听端口,如果要对外提供...阅读全文

博文 2021-01-04 08:41:14 debian.cn

分布式任务调度平台 XXL

版本,如:CodeMirror、Echarts、Jquery 等; 13、项目依赖升级 groovy 至较新稳定版本; pom 清理; 14、子任务失败试逻辑优化,子任务失败时将会按照其预设的失败试次数主动进行试 XXL-JOB 特性 1、简单:支持通过 Web 页面对任务进行 CRUD 操作,操作简单,一分钟上手; 2、动态:支持动态修改任务状态、启动 /停止任务,以及终止运行中任务,即时生效; 3、调度中心 HA(中心式):调度采用中心式设计,“ 调度中心” 基于集群 Quartz 实现并支持集群部署,可保证调度中心 HA ; 4、执行器 HA(分布式):任务分布式执行,任务” 执行器” 支持集群部署,可保证任务执行 HA ; 5、注册中心: 执行器会周...阅读全文

博文 2018-11-05 21:47:15 JOB 2.0.0 发布

Gitlab CI 配置文件 .gitlab

: rspec: script: test cache: untracked: true 缓存binaries下没有被git跟踪的文件: rspec: script: test cache: untracked: true paths: - binaries/ job中优先级高于全局的。下面这个rspecjob中将只会缓存binaries/下的文件: cache: paths: - my/files rspec: script: test cache: key: rspec paths: - binaries/ 注意,缓存是在jobs之前进行共享的。如果你不同的jobs缓存不同的文件路径,必须设不同的cache:key,否则缓存内容将被写。 缓存只是尽力而为之,所以别期望缓存会一直存在。查看更多详细...阅读全文

博文 2018-12-12 21:01:19 ci.yaml 详解(上)