InfraPub 为您找到相关结果 381

Debian 9 使用kubeadm创建 k8s 集群(下)

索运行Nginx的端口。 Kubernetes将自动分配一个大于30000的随机端口,同时确保该端口尚未受到其他服务的约束。 要一切是否正常,请通过本地计算机上的浏览器访问http:// worker_1_ip : nginx_port或http://worker_2_ip : nginx_port 。 您将看到Nginx熟悉的欢迎页面。 如果要删除Nginx应用程序,请先从主节点删除nginx服务: kubectl delete service nginx 运行以下命令以确保已删除该服务: kubectl get services 您将看到以下输出: OutputNAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGE kubernetes...阅读全文

博文 2019-05-13 22:57:41 debian.cn

Chrome浏览器中新增反恶意软件广告功能

谷歌宣布在Chrome浏览器中新增三个安全功能,阻止网站在未经用户或网站所有人同意的情况下悄悄将用户重定向至新的网址。 虽然所有的这三个功能都广受欢迎,不过其中有一个功能有可能让一些恶意广告在行进中消逝,而且可能瓦解恶意软件在未来几个月的进展。 Chrome将拦截内嵌框架重定向 这三个安全功能中最重要的一个功能将出现在于2018年1月末官方发布的Chrome64中。 从v64版本开始,Chrome将会拦截由页面内嵌框架内部加载的代码所触发的URL重定向尝。多数网站所有人在创建自己的站点时并不会使用内嵌框架,而内嵌框架通常会出现在通过广告加载的页面上。 恶意广告将使用加载到这些内嵌框架中的JavaScript代码将用户重定向至恶意网站。通过拦截内嵌框架重定向用户,谷歌会从明年开始拦截恶意广...阅读全文

博文 2017-11-18 09:00:06 debian.cn

Node.js Vs. PHP:你应该选择哪一个

Node.js 早诞生将近20年,所以在文档,API 和代码库等在线资源方面更为丰富。所以很有可能其他人也尝了你想要用代码完成的事情并从中获得了帮助。另一方面,Node.js 虽然已经得到了开发者和组织的广泛关注,但是它支持开发者开发的资源缺相当少。 8.学习曲线: 编写 Node.js 代码对于新手甚至是专业的 JavaScript 开发人员来说都不是件容易的事情,因为他们需要在入门之前理解一些复杂的概念,比如 web worker 和回调函数。相反,PHP是一门非常友好的编程语言对于开发 Web 应用程序的新手来说。 Node.js 和 PHP 战斗的结果是相辅相成的,因为这两种技术都有各自的优点和缺点。这大多是相似的情况在比较或选择用于 Web,桌面和移动开发的其他技术时。Node.js 有前途...阅读全文

博文 2017-12-23 23:15:39 debian.cn

Linux 27周年:这27件有趣的事实你可能不知道

斯曾在2000年为 Linus Torvalds 提供一份工作,条件是他停止在 Linux 上的开发。Linus 拒绝了。 13、Linux 有多成功?它的长期竞争对手微软,在90年代初曾图“熄灭”该项目,到现在却在利用 Linux 进行服务器业务,甚至在为内核开发做贡献! 14、说到贡献,谷歌、英特尔、华为、三星、红帽、Canonical 和 Facebook 是近年来 Linux 内核开发的主要贡献者。 15、Linus 出生于芬兰,一个双语国家,并认为瑞典语是他的“母语”。他说,由于发音不同,他常常觉得用英语说话“不舒服”,但却更喜欢阅读英文书籍。 16、Linux 可能是现在最大的自由软件项目(参见第一条),不过在1991年首次发布时,它仅有约 10 万行代码。 17、在重新调整其...阅读全文

3个 Linux 命令让你看起来很忙:摸鱼的技巧

如果你看过谍战片、动作片或犯罪电影,你就会在脑海中勾勒出黑客坐在电脑屏幕前的样子:一行行快速移动的代码,大量的矩阵中的十六进制数字代码像雨水一样飞过。也许有一张世界地图,上面有一些发光点和一些快速更新的图表,也许还会有三维几何图形。如果可能的话,这一切还可以显示在多个显示器上面。 当然,我们这些技术人员很快意识到这完全是胡说八道。虽然我们中的许多人都有双显示器(或更多),但闪烁的数据通常与专注于工作这一目的背道而驰。编写代码、管理项目和管理系统与股票交易不同。我们遇到的大多数情况都需要我们对图解决的问题进行大量思考,与利益相关者进行良好的沟通,进行一些研究以及组织信息,然后还有占工作量很少的快速打字。 但这并不意味着我们不想和电影中的黑客一样。有时,我们只是想让自己看起来“有效率”。 旁...阅读全文

博文 2019-09-28 15:48:43 debian.cn

Go 1.16 即将发布,这些变更你需要知道

bytes, 0 allocs init errors @0.22 ms, 0.004 ms clock, 0 bytes, 0 allocs init strconv @0.24 ms, 0.002 ms clock, 32 bytes, 2 allocs init sync @0.28 ms, 0.003 ms clock, 16 bytes, 1 allocs init unicode @0.44 ms, 0.11 ms clock, 23328 bytes, 24 allocs ... 主要作用是 init 函数跟踪的支持,以用于 init 调和启动时间的概要分析,算是一个 GODEBUG 的补充功能点。 简化结构体标签 在 Go 语言的结构体中,我们常常会因为各种库的诉求,需要对结构体的...阅读全文

博文 2021-02-17 08:52:12 CSDN博客

你和 Linux 高手只差了一个 LFS

,LFS 绝对配得上称为一本好书,或者说一本好教材。市面上,很难再找到一本如此具体又如此精炼的教材了。 首先,它并不是只是讲讲简单概念,它很具体,具体到就是一个例子,一个告诉你怎么亲手构建出属于自己的 Linux 系统的例子。 其次,它很精炼,它的精炼表现在两个方面:系统构建出来不臃肿;文字描述很精炼。 最后还有一点,这一点至关重要。尽管文字的描述非常精炼,甚至是精炼到枯燥,但是作为一本教材,作者无时无刻不再想尽办法,让你学到东西。无论是编译指令下方各个参数的介绍,还是软件包安装小节下方软件包内容的介绍,作者真的是想尽办法的图把知识传递给读者。 LFS 没有缺点吗? 那自然是有的,可以原封不动的照抄上面的优点。辩证的看待这些优点,你就会发现这些优点是有代价的。 首先,由于这个例子过于生动形象,所...阅读全文

博文 2017-07-17 17:45:59 debian.cn

本田 40GB 数据险遭泄漏 因云端数据库未设密

拍摄的截图(Justin Paine 在博客中展示了一些处理过的图片)。我们将根据相关法律法规采取适当行动,并将继续采取积极主动的安全措施,以防止今后发生类似事件。” ElasticSearch 安全事故频发 虽然 ElasticSearch 通常在公司内部运行,但近年因为其未加密而发生的数据泄露事件不在少数: 2017 年,白帽汇曾对全球使用 ElasticSearch 引擎发生的勒索事件进行监,最终发现因被攻击而删除的数据至少 500 亿条,被删除数据规模至少 450TB。系统显示,互联网上公开可访问的 ElasticSearch 服务器超过 68000 余台,受害总数达 9750 台。其中,美国 4380 台,中国第二为 944 台,其余来自法国、爱尔兰和新加坡等地。此次事件后,1...阅读全文

Kubernetes v1.21 新特性预览

驱动程序可以获取 Pod 的 service account token。GracefulNodeShutdown 进入 Beta,Kubelet 将会检 Node 的状态并在 Node 关闭前终止其上运行的 Pod(使用前需要配置 ShutdownGracePeriod 和 ShutdownGracePeriodCriticalPods)。Network Policy 支持设置端口范围(port 和 endPort),大量端口时不再需要每个端口单独列出。参考资料[1]在 v1.21 正式弃用: https://github.com/kubernetes/kubernetes/pull/97171[2]Gatekeeper: https://github.com/open-policy...阅读全文

博文 2021-03-30 20:24:36 mp.weixin.qq.com

如何校验 Debian 软件包的 MD5

apache2-utils.md5sums apg.md5sums apparmor.md5sums app-install-data.md5sums app-install-data-partner.md5sums ... 记住:使用-g选项与--generate=missing一样,你可以着为apache2软件包生成md5和,只要运行下面这个命令: $ sudo debsums --generate=missing apache2 由于我系统上的apache2软件包已经有md5和,它会显示下列输出,这与运行$ sudo debsums apache2的结果一样。 想了解更多有意思的选项和使用方面的信息,请参阅debsums参考手册页。 $ man debsums 在本文中,我们介绍了如何对照MD5...阅读全文

博文 2021-01-28 17:50:18 debian.cn

Tmux 快速教程:快捷键和配置

对应面板 { 向前置换当前面板 } 向后置换当前面板 alt+o 逆时针旋转当前窗口的面板 ctrl+o 顺时针旋转当前窗口的面板 z 最大化当前所在面板 page up 向上滚动屏幕,q 退出 page down 向下滚动屏幕,q 退出 因为 iTerm2 的支持,很多切换的操作可以直接用鼠标进行,非常方便。具体大家可以自己尝一下。 配置 我们可以先进行一些简单的配置,修改 ~/.tmux.conf 即可,让整个使用更方便。 #-- base --# set -g default-terminal "screen-256color" set -g display-time 3000 set -g history-limit 10000 set -g base-index 1 set -g...阅读全文

博文 2017-11-07 15:17:49 debian.cn

2016年Linux领域的十条大新闻,你关注了吗?

应用相结合,但也有人认为微软是在以怀柔政策弱化开源社区并将借此引导Linux走向毁灭。 4. 慕尼黑市计划放弃Linux 2004年,德国慕尼黑市开始大规模利用LiMux这款定制化Linux发行版取代Windows,同时利用OpenOffice.org及后来的LibreOffice替换微软Office。然而令人惊讶的是,尽管该市曾于2013年宣布Linux与开源技术转移已经取得成功,但慕尼黑如今正图重新回归微软怀抱。不过值得庆幸的是,LiMux未来将与Windows并存且继续得到更新。 5. 俄罗斯大力推广 Linux 与慕尼黑市相反,俄罗斯正积极拥抱Linux与开源项目。俄罗斯议会国家杜马起草了一份法案,要求在政府采购活动中优先考虑开源软件。这一决定在很大程度上是为了提升安全水平。俄罗斯...阅读全文

博文 2021-01-28 17:50:18 debian.cn

influxdb内存消耗分析及性能优化【探索篇】

/data/iot_cloud/_series/07/0005 62.732 778.06 ... #省略 ... /data/influxdb/data/iot_cloud/_series/01/0002 16.352 7014.15 /data/influxdb/data/iot_cloud/_series/00/0002 16.36 7030.51可以看出程序运行时,会加载iot_cloud库文件:tsm数据文件(主要为当前shard的文件,共约18G)series文件(所有series文件,共约7G)加载的内存大小与SHR内存基本吻合。基于当前的分片策略retention policy周期为7天,每天一分片,所以可以从分片角度减少shard占用的内存。笔者尝调整分片策略:#当前...阅读全文

博文 2021-10-27 16:06:30 知乎

Kafka 3.0新特性全面曝光,真香!

导语 | kafka3.0的版本已经推行去zk的kafka架构了,如果去掉了zk,那么在kafka新的版本当中使用什么技术来代替了zk的位置呢,接下来我们一起来一探究竟,了解kafka的内置共识机制和raft算法。一、Kafka简介Kafka是一款开源的消息引擎系统。一个典型的Kafka体系架构包括若干Producer、若干Broker、若干Consumer,以及一个ZooKeeper集群,如上图所示。其中ZooKeeper是Kafka用来负责集群元数据的管理、控制器的选举等操作的。Producer将消息发送到Broker,Broker负责将收到的消息存储到磁盘中,而Consumer负责从Broker订阅并消费消息。(一)Kafka核心组件producer:消息生产者,就是向broker...阅读全文

博文 2022-04-28 16:02:11 mp.weixin.qq.com

Java Annotations详解

"} ) public class MyClass { } @Retention 你可以指定你自定义的注释在运行时可用,通过反射检。要实现这样的效果,你需要用@Retention修饰你自定义的注释,如下: import java.lang.annotation.Retention; import java.lang.annotation.RetentionPolicy; @Retention(RetentionPolicy.RUNTIME) @interface MyAnnotation { String value() default ""; } 这里的@Retention(RetentionPolicy.RUNTIME)会告诉编译器和JVM当前这个注释是可以在运行时通过反射机制访问的...阅读全文

博文 2013-03-02 08:04:55 CSDN博客

Golang 中的 channel 通道详解

制将在编译期检。func f1(out chan<- int) {} func f2(out chan<- int, in <-chan int){} 在调用f1或f2的时候,传入的chan类型参数会自动隐式转换为chan<- int 和<-chan int类型,这种转换只是单向的,没有单向channel类型转换为chan类型。因为关闭操作只用于断言不再向channel发送新的数据,所以只有在发送者所在的goroutine才会调用close函数,因此对一个只接收的channel调用close将是一个编译错误。带缓存的channel带缓存的Channel内部持有一个元素队列。队列的最大容量是在调用make函数创建channel时通过第二个参数指定的。通过内置函数cap() 可以获得...阅读全文

Jono Bacon: GPL 没落了吗?

目的自然选择,Debian、Ubuntu、Fedora 和 Linux 内核以及很多都是例子。 近年来,尽管我们已经看到了不再那么挑剔的一代开发者的出现,但是如果我说的过激一些,他们缺少对于自由的关注。对于他们来说开源软件是构建软件的务实、实用的一部分,而无关伦理。我想,这就是为什么我们发现 MIT 和 Apache 协议的流行的原因。 未来 ? 这对于 GPL 意味着什么? 我的猜想是 GPL 依然将是一个主要选项,但是开发者将将之视为纯粹的自由软件协议。我想对于软件的纯粹性有高要求的项目会优先选择 GPL 协议。但是对于商业软件,为了保持我们之前讨论过的那种平衡,他们不会那么做。我猜, MIT 以及 Apache 依然会继续流行下去。 不管怎样,好消息是开源/自由软件行业确实在增长。无...阅读全文

博文 2017-08-04 08:03:43 debian.cn

WebAssembly:无需容器的 Docker (上)

布与 WasmEdge 合作支持 WebAssembly。本文将解释什么是 WebAssembly(Wasm),为什么它与 Docker 生态相关,并提供一些实践示例供大家尝。 我们假设你已经熟悉 Docker 工具。 我们将使用我们在 PHP 的 WebAssembly 端口上做的工作来演示如何构建 PHP 解释器,将其打包为 OCI 镜像的一部分,并使用 Docker 运行它。请注意,本文专注动手经验,而不是讨论技术细节。WebAssembly 是什么?为什么选它?本节是对 WebAssembly 的基本介绍。 已经熟悉 Wasm 的小伙伴,可以快速重温一下,明天的文章将介绍更多实践。什么是 WebAssembly?WebAssembly 是一种定义二进制指令格式的开放标准,它支持从不...阅读全文

博文 2023-01-03 06:35:56 spider

Docker 17.06 社区版发布

with Docker中尝新特性 在论坛或者在Slack的Docker社区频道中提问 参加6月28日的 CE 17.06在线聚会 原文链接:ANNOUNCING DOCKER 17.06 COMMUNITY EDITION (CE)(翻译:钟最龙) 指标 日志驱动插件 Service日志 Service中节点本地的网络支持 配置对象 证书轮换的优化 Swarm Mode事件 专用的数据路线 GUI中新增了重置Docker数据而不需要丢失所有的设置 为主机添加一个实验性的DNS 用来认证注册表访问的登录证书 目录...阅读全文

博文 2017-06-30 23:08:57 debian.cn

Go 语言的大版本更新:Go 2.0 安排上了

建议。 实现:根据来自社区的反馈意见,提案开始实现。 针对所实现的提案的反馈:在开发周期中,Go 开发团队和社区用新功能并且收集进一步的反馈意见。 启动决策:在三个月的开发周期结束时,根据在发布周期中收集的经验和反馈意见,Go 开发团队会考虑变更的预期收益或产生的额外成本,从而最终决定是否发布每个变更。一旦发布,这些被发布的提案就成为语言和库的一部分。未被发布的提案可能会重新起草,但也有可能会被永久拒绝。 可以看到,通过两轮的反馈过程,可对提案进行有效的筛选,从而防止“功能蔓延(feature creep)”,有助于保持 Go 语言的简洁。 提案选择标准 一项提案至少要满足以下这些条件: 解决大部分使用者觉得重要的问题 不会对其他使用者造成太大的影响 提供一个清晰且易于理解的解决方案 条件...阅读全文

RabbitMQ 高可用实现镜像队列

磁盘文件,按场景4处理,如果拷贝过来的是B节点的磁盘文件,按场景3处理。最后将新的slave节点加入C即可重新恢复镜像队列。 场景6:A先停,B后停,且A和B均无法恢复,且无法得到A和B的磁盘文件 无解。 启动顺序中有一个30s 的概念,这个是 RMQ 的时间间隔,用于检master、slave是否可用,因此30s 非常关键。 对于生产环境RMQ集群的重启操作,需要分析具体的操作顺序,不可无序的重启,会有可能带来无法弥补的伤害(数据丢失、节点无法启动)。 简单总结下:镜像队列是用于节点之间同步消息的机制,避免某个节点宕机而导致的服务不可用或消息丢失,且针对排他性队列设置是无效的。另外很重要的一点,镜像队列机制不是负载均衡。...阅读全文

博文 2018-12-30 19:21:59 debian.cn

在 Kubernetes 上扩展 TensorFlow 模型

由于人工智能 / 机器学习日益集成到应用和业务流程中,因此生产级机器学习模型需要更多可扩展的基础设施和计算能力,以用于训练和部署。 现代机器学习算法在大量数据上进行训练,并且需要数十亿次迭代才能使成本函数最小化。这类模型的垂直扩展会遇到操作系统级别的瓶颈,包括可提供的 CPU、GPU 和存储的数量,而且对于这种类型的模型,已经证明效率并不高。更为高效的并行处理算法,例如异步训练和 allreduce 式训练,需要一个分布式集群系统,由不同的 worker (工作器)以协调的方式同时学习。 可扩展性对于在生产环境中服务深度学习模型也非常重要。将单个 API 请求处理到模型预端点可能会触发复杂的处理逻辑,这将花费大量时间。由于更多用户访问模型的端点,为了有效地处理客户端请求,需要更多服务实例...阅读全文

Golang 操作 Kafka 样例

务器都是一个代理(Broker). 消费者可以订阅一个或多个话题,并从Broker拉数据,从而消费这些已发布的消息。 5.Partition(分区):Topic物理上的分组,一个topic可以分为多个partition,每个partition是一个有序的队列。partition中的每条消息都会被分配一个有序的id(offset) Message:消息,是通信的基本单位,每个producer可以向一个topic(主题)发布一些消息。 复制代码 1.1.5. 消息 消息由一个固定大小的报头和可变长度但不透明的字节阵列负载。报头包含格式版本和CRC32效验和以检损坏或截断 1.1.6. 消息格式 1. 4 byte CRC32 of the message 2. 1 byte "magic...阅读全文

博文 2023-01-10 13:46:09 掘金

使用 MongoDB 之前应该知道的 14 件事

给了你更多的控制,但这种便利是有成本的。 像 Studio 3T 这样的工具使构建准确的 MongoDB 聚合查询变得更容易。它的聚合编辑器特性使你可以一次对一个阶段应用管道操作符,你可以在每个阶段验证输入和输出,更便于调。 使用快速写 永远不要把 MongoDB 设为低稳定性的高速写。看上去,“file-and-forget”模式使得写入速度变快了,因为命令在实际写入任何东西前就返回了。如果系统在数据写入磁盘之前崩溃了,就会丢失,存在出现不一致状态的风险。所幸,64 位的 MongoDB 启用了“日志(Journaling)”。 MMAPv1 和 WiredTiger 存储引擎都使用日志预防上述情况,不过,在日志关闭的情况下,WiredTiger 也可以在还原过程中恢复到最后一致的 检查...阅读全文

Debian 向左:或将迎来根本性改革 - OSCHINA

。 Debian的投票方式几乎是独一无二的。Debian 开发者不是简单地提供一个选项列表,而是自己创造所有这些选项,通常会有大量的选项,而且经常会引入许多相关讨论。 这个方案的初衷是希望能创造出尽可能反映整个 project 意愿的结果,因此Debian 的投票方案允许一张选票中包含许多差异不大的选项。 但是,这也是一个再拖沓不过的方案。比如,在2019 年关于一场 systemd 辩论中,当时采用的是一般决议流程。投票一直没能开始,当时的 DPL Sam Hartman 就要求尽快对决议进行投票。 这让一些参与者感到很不满意。有人图拒绝这个提前投票,但没有成功,于是对七个选项的投票就正常完成了。一些开发者认为这个过程又一次被滥用了,也对整个项目造成了损害。 “这种面临决定时的怯步,是不健康的...阅读全文

博文 2021-12-06 13:55:01 中文开源技术交流社区

译:零信任对 Kubernetes 意味着什么

确保它在每一点都得到执行。这听起来像是常识。但与技术中的许多新想法一样,理解零信任的最佳方法是了解它的反应。零信任摒弃了边界安全的观点。在边界安全模型中,在敏感组件周围实施“装甲”。例如,数据中心周围可能有一个防火墙,其任务是阻止问题流量和参与者进入。这种模型,有时被称为城堡策略,具有直观的意义:城堡的墙壁是为了将坏人拒之门外。如果你在城堡里,那么根据定义,你就是一个好人。零信任模型表明,边界安全已经不足。根据零信任原则,即使在安全边界内,仍必须将用户、系统和网络流量视为不受信任。国防部的参考架构很好地总结了这一点:“在安全边界之外或之内运行的任何参与者、系统、网络或服务都是不可信的。相反,我们必须验证任何图建立访问权限的事物。从边界验证一次到对每个用户、设备、应用程序和交易的持续验证,这...阅读全文

WebAssembly:无需容器的 Docker (下)

this message!

Contents of '/'

apps bin boot dev docroot etc home init lib lib32 lib64 libx32 lost+found media mnt nix opt path proc root run sbin snap srv sys tmp usr var wsl.localhost php-aot-wasm 运行 index.js如果我们在 WasmEdge 使用 php-aot-wasm 我们看到一个 wasi/wasm32 平台没有环境变量,因为没有明确暴露给 Wasm 应用程序Wasm 应用程序未获得对 / 的明确访问权限,因此尝列出其内容失败并出现错误自...阅读全文

博文 2023-01-03 06:39:46 spider

案例:Redis命令不当 引起数据库雪崩 造成数百万损失

服务化项目服务不可用几十分钟,造成订单数减少几十万笔,损失百万资金。 原因分析 当时是没有定位到具体的原因的,但是下面的原因也是一部分可能引起宕机的情况。 某服务化项目的业务增速非常快,在高峰期,数据库QPS突破35000,系统处于高负荷状态。 在高峰期如果同时执行几个全表扫描的SQL,会造成数据库压力急剧上升,应用超时增多,前端应用超时,用户重,流量飙升,形成了雪崩效应。 主要原因在与一些老项目的SQL查询性能较差,并且使用的主库,对数据库影响较大。数据库QPS太高,但是缓存方案因为人手原因一直没有落地,慢SQL的问题处理优先级应该提升。 改进方案 针对每个应用建一个数据库账号,严格按照规范使用 缓存优化方案即时落地,慢SQL问题优先处理,集中处理目前已经发现的慢SQL(查询时间超过1S...阅读全文

博文 2018-10-27 10:18:18 debian.cn

中国开源人访谈系列之:清风博主

提问者为Linuxstory.org的华华,回答者即为清风博主老师。之前常逛Linux社区的同学,对这个ID应该很熟悉。 A.您与Linux的那些事 1.清风老师能简单的介绍下您自己吗? 答:中学地理老师,Linux爱好者,Gentoo用户,70后 来张几年前上课摆拍的工作照吧 2.您是因为什么喜欢上折腾Linux的呢?遇到最大的困难是什么呢? 答:说来话长。初识Linux是在参加工作近10年之后,之前都没听说过Linux。真正知道Linux,是因为自学了点asp,后来在搜索如何搭建更好的网站环境时,才知道了还有这么一个神奇的系统。2008年,有了笔记本电脑后,才尝安装,发现这个系统太适合拿来折腾了!从入门级的Ubuntu到Gentoo,桌面环境从gnome2、unity、gnome3...阅读全文

博文 2021-01-28 17:50:13 debian.cn

Hadoop 核心 - HDFS 分布式文件系统详解

式: hdfs dfs -copyFromLocal ... 作用: 从本地文件系统中拷贝文件到hdfs路径去 appendToFile 格式: hdfs dfs -appendToFile ... 作用: 追加一个或者多个文件到hdfs指定文件中.也可以从命令行读取输入. hdfs dfs -appendToFile a.xml b.xml /big.xml moveToLocal 在 hadoop 2.6.4 版本还未未实现此方法 格式:hadoop dfs -moveToLocal [-crc] 作用:将本地文件剪切到 HDFS get 格式 hdfs dfs -get...阅读全文

Redis 命令、特性介绍与性能调优

Redis使用的最大内存: maxmemory 100mb 在内存占用达到了maxmemory后,再向Redis写入数据时,Redis会: 根据配置的数据淘汰策略尝淘汰数据,释放空间 如果没有数据可以淘汰,或者没有配置数据淘汰策略,那么Redis会对所有写请求返回错误,但读请求仍然可以正常执行 在为Redis设置maxmemory时,需要注意: 如果采用了Redis的主从同步,主节点向从节点同步数据时,会占用掉一部分内存空间,如果maxmemory过于接近主机的可用内存,导致数据同步时内存不足。所以设置的maxmemory不要过于接近主机可用的内存,留出一部分预留用作主从同步。 数据淘汰机制 Redis提供了5种数据淘汰策略: volatile-lru:使用LRU算法进行数据淘汰(淘汰上次使用时间...阅读全文

博文 2018-10-27 10:37:55 debian.cn