Hadoop 核心 - HDFS 分布式文件系统详解
。 storageType:存储类型。 layoutVersion是一个负整数。通常只有HDFS增加新特性时才会更新这个版本号。 datanode多目录配置 datanode也可以配置成多个目录,每个目录存储的数据不一样。即:数据不是副本。具体配置如下: - 只需要在value中使用逗号分隔出多个存储目录即可 cd /opt/hadoop-2.6.0-cdh5.14.0/etc/hadoop
。 storageType:存储类型。 layoutVersion是一个负整数。通常只有HDFS增加新特性时才会更新这个版本号。 datanode多目录配置 datanode也可以配置成多个目录,每个目录存储的数据不一样。即:数据不是副本。具体配置如下: - 只需要在value中使用逗号分隔出多个存储目录即可 cd /opt/hadoop-2.6.0-cdh5.14.0/etc/hadoop
distribution的revision level递增,比如从3.0变为3.0r1,2.2r4变为2.2r5 APT::Default-release 在不同的环境下,我们对debian系统的要求也会不同,比如在生产环境下,我们希望系统是相当稳定的,这时stable就是最好的选择;而对于一个喜欢尝试新功能、新软件的用户,testing或unstable可能更合适些。要达到这样的要求,我们可以在/etc/apt/sources.list文件中只指定一种distribution源,比如想使用stable distribution,就在sources.list里只加入stable源,这样系统上安装的package的版本都会是进入了stable的版本。但有些时候我们也需要一个混合的系统,比如希望在保持整个系统是...阅读全文
前言 Kubernetes 中大量用到了证书, 比如 ca证书、以及 kubelet、apiserver、proxy、etcd等组件,还有 kubeconfig 文件。 如果证书过期,轻则无法登录 Kubernetes 集群,重则整个集群异常。 为了解决证书过期的问题,一般有以下几种方式: 大幅延长证书有效期,短则 10年,长则 100 年; 证书快过期是自动轮换,如 Rancher 的 K3s,RKE2 就采用这种方式; 增加证书过期的监控,便于提早发现证书过期问题并人工介入 本次主要介绍关于 Kubernetes 集群证书过期的监控,这里提供 3 种监控方案: 使用 Blackbox Exporter 通过 Probe 监控 Kubernetes apiserver 证书过期时间; 使...阅读全文
说,你可以用它来设定软件包安装时向你提出哪种类型的问题、重置问题的优先级,或者尽管软件包破损仍强行安装。 dpkg-reconfigure可用来配置基于Debian系统的几乎方方面面。由于出现了配置安装系统的其他工具,它的多用途性在丧失,不过dpkg- reconfigure仍可用于配置诸如此类的特性:时区、视频驱动程序、打印机和扫描仪。Ubuntu弃用了dpkg- reconfigure,但是它在其他基于Debian的发行版中仍很有用。 4.netselect-apt 如今,互联网连接的速度已经非常快。然而,一些软件包代码库的速度仍比其他代码库要快;在使用高峰期间,流行的软件包代码库会降低速度。有时候,根本就缺少高速连接。 对于注重速度的那些人来说,netselect-apt为你的位置列出...阅读全文
到 1,那么 Pod 也不得不重启, kubectl scale deployment {deployment} --replicas=0 -n {namespace}kubectl scale deployment {deployment} --replicas=1 -n {namespace} 第二种方式:使用 yaml 文件重启Pod 当我们有 Pod 的 yaml 文件是,可以直接使用 replace 命令,来强制替换 Pod 的API对象,从而实现重启的效果: kubectl replace --force -f youpod.yaml 如果你手头没有 yaml 文件,直接使用的 Pod 对象,我们可以稍微调整一下上面的命令,如下: kubectl get pod {podname...阅读全文
,时间复杂度O(1) GET:获取某个key对应的value,时间复杂度O(1) GETSET:为一个key设置value,并返回该key的原value,时间复杂度O(1) MSET:为多个key设置value,时间复杂度O(N) MSETNX:同MSET,如果指定的key中有任意一个已存在,则不进行任何操作,时间复杂度O(N) MGET:获取多个key对应的value,时间复杂度O(N) 上文提到过,Redis的基本数据类型只有String,但Redis可以把String作为整型或浮点型数字来使用,主要体现在INCR、DECR类的命令上: INCR:将key对应的value值自增1,并返回自增后的值。只对可以转换为整型的String数据起作用。时间复杂度O(1) INCRBY:将key对应的...阅读全文
./configure make && make install 安装Yearning 2.1 用pip3安装依赖包(txt文件在src目录中) pip3 install -r requirements.txt 2.2 创建数据库实例yearning 2.3 将该数据库实例的连接信息写入develop.conf。升级请注意:1.0.0发布后,该文件增加了两个属性:ldap_type=1和smtp_port=,如果是cp原有的配置文件覆盖新下载的,要加上这两个配置 2.4 初始化数据库 python3 manage.py makemigrations && python3 manage.py migrate 2.5 添加初始化用户 echo "from core.models import Account...阅读全文
拟机有着更好的灵活性,可以供您选择您的操作系统,并在您认为合适的情况下进行升级。相比之下,运行已配置应用程序容器在主机的操作系统升级方面是隔离的。 Linux 容器 vs 虚拟机 – 用例场景 我最喜欢使用容器的原因之一就是使用 Linux 库版本。例如,假设您需要 Python 的特定版本来开发应用程序。然后,当你在运行应用程序的盒子上更新时,突然发现 Python 版本发生了变化,导致应用程序无法正常工作。 使用容器的另一个好处是你可以把一个应用程序放到一个容器中,然后在任何支持你正在运行的容器类型的操作系统上运行它。当你想要一个运行在不同 Linux 发行版应用程序时。通过使用容器,可以在各种不同的发行版上运行类似的应用程序环境。容器提供了可移植性。 容器对于快速的跨发行版部署是更可行...阅读全文
Kotlin 使用 React.js 创建现代 Web 应用。 使用 create-react-kotlin-app,可让开发者无需费心于项目设置和配置构建这些工作,能专注于快速开始客户端应用开发,同时体会到静态类型语言的优势以及由 JavaScript 生态系统带来的强大配套资源。详情点此了解。 未来的发展方向 Kotlin 语言的未来发展方向主要是在 Kotlin 支持的平台之间实现更好、更广泛的代码重用。官方表示计划通过使用同一 API 以扩展全部平台上的可用库资源集合,其中涵盖 I/O、网络、序列化以及日期处理等。 编译器方面,1.3 版本仍集中关注内部层面的变更,而不是外部可见的语言特性。内部的改变能提高性能、改进类型推断、为所有目标平台生成更高效的代码,以及带来更好的 IDE 插件响应能力...阅读全文
Workspaces) 越来越多的科技公司开始采用单体仓库模式(mono-repository — 方便跨项目共享代码,同时避免依赖同步问题)来进行代码控制,这种模式也正逐渐被开源社区和一些小型公司所采纳。 因此,Yarn 增加了一个新特性 ——工作区。工作区可以自动从多个 package.json 中收集所有的依赖项,并一次性将它们安装完毕。项目根目录下会生成一个独立的 yarn.lock 来锁定这些文件。此外,如果多个工作区之间存在依赖,Yarn 会为它们创建链接,这样所有的项目就可以始终共享最新的代码。 自动合并 yarn.lock 文件 (Auto-merging of lockfiles) 多个开发者在开发同一个项目时,可能会需要更新包依赖,从而导致 yarn.lock 文件出现冲突。如果只有一两个...阅读全文
Nginx 在 1.13.10 中,新增了对gRPC的原生支持,Nginx 1.14.0 主线版已经发布。本文将介绍,如何配置 Nginx 中的 gRPC 服务。gRPC 服务做为一个 TCP 服务,配置方式与 HTTP/HTPTS 类似。 安装 Nginx Nginx版本要求:1.13.10+。gRPC必须使用 HTTP/2 传输数据,支持明文和TLS加密数据,支持流数据的交互。这是为了充分利用 HTTP/2 连接的多路复用和流式特性。所以在安装部署nginx时需要安装http/2。使用源码安装,编译时需要加入http_ssl和http_v2模块: $ auto/configure --with-http_ssl_module --with-http_v2_module 以明文的方式发布...阅读全文
。 - 大容量:支持扩展的内存寻址功能。 - 支持即插即用:在电脑开机时可以直接插入标准的双列内存插槽,并立刻与同一总线上的DDR内存交互操作。 NVDIMM-P的主要特征: - 与现有DDR通道完全兼容,包括物理接口、电气性能、协议、时钟。 - 保证为下一代CPU插槽增加的针脚尽可能少。 - 协议支持数据读取时的不确定延迟。 - 确保数据在非易失内存中的事务性操作。 - 从NAND到DRAM多种延迟模式的支持(在模块级别)。 - 内存本身具备高可靠性、链路错误保护功能。 事实上,NVDIMM是一个系列标准,除了这里说的NVDIMM-P,还有NVDIMM-F、NVDIMM-N、NVDIMM-H。 NVDIMM-F本质上就是DDR接口的SSD固态盘,只使用NAND闪存,优点是延迟低(纳秒级别)、带宽高...阅读全文
Go 1.9 beta版已发布, 正式版预期在8月初发布,让我们先来看看你Go 1.9带来了那些新特性。 type alias 类型别名原本在1.8中加入的,但是临时发现有些问题,为了能全面的设计 type alias 被移到了 Go 1.9中了。 这个特性主要用在类型从一个package移动到另外一个package中的时候,导致的项目中对引入的路径不一致导致的问题, 比如原先 context是在golang.org/x/net/context包下,在Go 1.7中菜正式移到标准库context。 相关的issue: go#16339 go#18130 提案: type alias 并发map 在Go 1.6之前, 内置的map类型是部分goroutine安全的,并发的读没有问题,并发的写...阅读全文
主要有三个步骤; * 猪油要先焯水,去浮沫后再煮2-3分钟 * 重新下锅熬油时,多加清水( 1/3 的肉量)。开始出油时,加姜片、小葱段去腥增香。 * 熬好的油用砂锅存放,锅底先放黄豆、红花椒、一勺盐。熬好的猪油,自然冷却后放冰箱保鲜层保存。 这样熬出来的猪油,不腥不苦,雪白细腻,炒菜和面都非常的香。...阅读全文
6月19日-6月20日,LC3大会将在北京举办。这是 Linux 基金会首次在中国开展大型活动,届时,国内外开源方面的领先企业、人物及开发者将齐聚一堂,共同探讨开源的商业与技术。在活动举办前夕,开源中国邀请到 Linux 基金会执行董事 —— Jim Zemlin 做客【开源访谈】,与大家畅谈 Linux、开源趋势及LC3 活动。 (一)全球开源可持续增长,加强合作将带来更多价值 “LC3 大会是 Linux 第一次在中国举办的活动,而实际上,我们去年已经开始在中国建立了一个我们自己的机构。” Jim 表示,此前 Linux 已经和华为、中国移动、中国开源促进联盟等中国的开源企业、社区开展了合作。 同时,Jim 表示未来希望能够不断地扩展 Linux在中国的活动及布局。他们在中国更多关注于...阅读全文
印机,数字机顶盒,数字电视,DSL,电缆调制解调器和个人数字助手等多种产品。到1990年代后期,MIPS已成为嵌入式系统领域的强者。根据MIPS科技公司的统计,1997年以MIPS架构为基础的CPU出货量为4800万,占RISC CPU总市场份额的49%。MIPS 架构如此成功,于是,在1998年SGI把MIPS科技公司拆分成为一个子公司(SGI 在1992年直接收购了MIPS)。DEC(Digital Equipment Corporation)也是受这股RISC风潮影响下的企业之一,DEC看到了许多RISC架构(例如MIPS和SPARC)的兴起,他们认为竞争激烈,最终将拯救在VAX上的败退。于是,在1982年到1985年间,DEC将RISC划分为几个部分来分开研究,1985年,DEC负责...阅读全文
有开源协作机制转移到Moby项目当中。” 有些人认为这可能代表着Docker已经被改名为Moby。但事实上,对于Docker CE或者EE版本的用户而言,此次变更不会造成任何影响。Moby仅适用于此前利用Docker代码开发特定容器软件的企业及个人。 为了根据GitHub上的表情符号对此次变更引起的混乱进行量化,截至本文发稿之时,Hykes发表的帖子共获得73个赞、461个踩与377个困惑表情。另外还有18个开心表情、69个欢呼表情与16个心形表情。 在这条pull请求的样讨论当中,Hykes承认相关沟通工作本可以处理得更好。他进行了详尽的说明以平息人们对于Hacker News之上公布的更名决定的强烈不满。他解释称,“看起来pull请求中的解释还不够明确,对此我深表抱歉。”...阅读全文
本文我们将介绍如何对离线的系统进行升级或者更新,本方法对基于 Debian 的系统均有效。这一次我们会更新、升级整个操作系统。这个方法在你的主机没有网络连接,或者网络速度很慢时,十分有用。 离线更新基于 Debian 的操作系统 我们假设你在单位或者主机服务商处,有一台正在运行,并配置有高速互联网链接的系统,Windows 或者 Linux均可,而在家有一个没有网络连接或网络很慢的 Debian 操作系统。现在你想要快速更新家里的Debian系统,怎么办?是否需要购买一个更加高速的网络?当然不需要!你可以通过本文介绍的离线更新方法来升级你的操作系统。这正是 apt-offline工具可以做的。 正如其名,apt-offline 是一个为 Debian 及其衍生发行版(诸如 Ubuntu...阅读全文
个。 镜像的层就像 Git 的提交(commit)一样。Docker 的层用于保存镜像的上一版本和当前版本之间的差异。就像 Git 的提交一样,如果你与其他存储库或镜像共享它们,就会很方便。 实际上,当你向注册表请求镜像时,只是下载你尚未拥有的层。这是一种非常高效地共享镜像的方式。但额外的层并不是没有代价的。层仍然会占用空间,你拥有的层越多,最终的镜像就越大。Git 存储库在这方面也是类似的,存储库的大小随着层数的增加而增加,因为 Git 必须保存提交之间的所有变更。 过去,将多个 RUN 语句组合在一行命令中或许是一种很好的做法,就像上面的第一个例子那样,但在现在看来,这样做并不妥。 1. 通过 Docker 多阶段构建将多个层压缩为一个 当 Git 存储库变大时,你可以选择将历史提交记录...阅读全文
。 1. Geary电子邮件客户软件 Geary是一款开源桌面电子邮件客户软件,拥有一系列广泛的功能、一个方便的安装向导程序,并与Unity桌面整合起来。如果相比其他邮件客户软件(比如Outlook)你更熟悉Gmail,那么会觉得Geary用起来比默认的Ubuntu电子邮件应用软件Thunderbird更容易。 其他替代方案:WMail(Electron)、Evolution和Claws Mail。 2. 谷歌Chrome浏览器 Mozilla火狐Web浏览器已经安装在你的Ubuntu系统上;就大多数任务而言,它的表现不俗。但是如果你更多时候是个谷歌用户,或者在Windows上用过Chrome,就会很高兴可以在Ubuntu上继续使用它。 除了内置和最新的Linux版Flash播放器外,你还可以用...阅读全文
来分享一下他打造 Debian 的那段历程。 Murdock 第一次接触到 GNU/Linux 是在 1993 年,当时他还是个 20 岁的学生,在普渡大学学习会计学。「那个年代,PC 才刚刚发展到勉强能运行 Unix 操作系统。我当时用的就是 Unix,那时候我觉得 Linux 是能让我更方便地使用 Unix 的一种方式。」用 Murdock 的话来说,当时的软件「完成度还相对粗糙」,但完善、改良软件对他来说也是一种兴趣爱好。 「Linux 最棒的地方之一就是它是第一批你不仅能看到它在干嘛,你还能亲自尝试着对它本身做尝试、做改动的操作系统。」 Murdock 开始研究的时候,GNU/Linux 的发行版还很少。Murdok 当时选择的是 SLS,Softlanding Linux...阅读全文
表驱动节点调度(便于支持QoS)而不是 hardcode pipeline Graph 工作流程 现在来说一下整体上 graph 框架的工作流程。如上图所述的一样,一个 graph 是由不同的节点 (node) 所组成的。与传统的标量模型相比,两个框架其实都包含一样的逻辑。最大的不同是 graph 框架中 node 节点在运行时与其他 node节点的交互方式,或者具体地来说,是报文在node节点中的传递方式。 一个 node 中的 报文 传送到不同的 node,home run 情况 (优化案例) 以及正常 enqueue情况;动态增加 node 的 objects 队列 大小 Node 的 Object 队列大小 默认情况下,每个 node 都有一个...阅读全文
的最终设计目标是10Tbpsi。 另外,西部数据日前宣布了MAMR“微波辅助磁记录”(microwave-assisted magnetic recording)硬盘,与HAMR的区别在于利用微波取代HAMR里的激光来作为辅助媒介,2019年出货,号称密度高达4Tb。 希捷再次强调了时间节点,2018年试产并展示16TB HAMR硬盘、2019年大规模量产20TB以上的机械硬盘,2023年把容量提升到40TB以上,2030年推出100TB。...阅读全文
TensorFlow 官方博客宣布开源新的运行时 TFRT,该运行时提供了统一的、可扩展的基础结构层,并在各类硬件上均具有高性能。 TFRT 产品经理 Eric Johnson 表示,TFRT 将取代现有的 TensorFlow 运行时。原有的 TensorFlow 运行时最初是为图形执行和训练模型的工作负载而构建的。与之相比,新的运行时将急切的执行需求放在第一位,同时特别强调架构的可扩展性和模块化。 它能够很好地满足开发复杂模型时寻求更快迭代时间的开发者需求、在训练和服务生产模型时改进性能的需求,以及希望以模块化方式将边缘和数据中心设备集成到 TensorFlow 中的硬件制造商需求。 简单来讲,TFRT 可以减少开发、验证和部署企业级模型所需的时间。 TFRT 利用了 eager 和图...阅读全文
访问:2021阿里云上云采购季:采购补贴、充值返券、爆款抢先购云通信分会场:爆款产品低至7.2折,短信低至0.034元/条 ARM 首席执行官 Simon Segars 表示:“当我们展望由人工智能定义的未来时,我们必须奠定一个领先的计算基础,为应对未来的独特挑战做好准备。armv9 就是答案,它将会成为下个 3000 亿台 ARM 芯片的最前沿,其驱动力是建立在通用计算的经济性、设计自由度和可获得性基础上的普遍的专业化、安全和强大的处理需求”。armv9 架构有两个核心侧重点:人工智能和安全。ARM 表示到 21 世纪中叶,将会有超过 80 亿台语音辅助设备,90% 的应用将包含 AI 元素。ARM 与富士通合作创建了可扩展矢量扩展(SVE),现在,SVE2 是 armv9 的一部分,用...阅读全文
美元),则要便宜,可能这就是 Intel 要切入的试产定位。 据悉,二代可扩展至强每颗处理器支持 6 通道内存,最多 12 条插槽,而傲腾内存条容量目前提供 128GB、256GB、512GB,插上六条那就是 3TB,而在一套八路系统里,傲腾+DDR4 内存混合使用,总容量最高可以达到惊人的 36TB。 性能方面,傲腾 DC 内存无论是延迟还是带宽速度都会比 DDR4 差一些,可胜在便宜,且关机或重启时不会丢失数据 (非易失性),系统恢复后可立即重新载入,大大减少下线时间,将服务器重启时间从分钟级别缩短到秒级别。...阅读全文
Linux基金会发布了其中一个开源项目ACRN的详细信息,这是一个专为物联网和嵌入式设备设计的管理程序。该项目得益于英特尔代码和工程的贡献,其目标是创建一个灵活小巧的虚拟机管理系统。通过基于Linux的服务操作系统,ACRN可以同时运行多个客户操作系统,使其成为许多场景的理想选。 Linux基金会表示,管理程序和设备模型是以“安全关键型工作负载”为基础构建的,并且设想ACRN将一些IoT工作负载整合到一个平台上。虽然该项目是作为强大而灵活的解决方案提供的,但嵌入式开发人员社区被邀请提供代码以进一步扩展和改进ACRN。 通过项目ACRN,嵌入式开发人员可以立即使用新的管理程序选项。 ACRN针对资源受限设备进行了优化,并将重点放在隔离安全关键型工作负载并给予他们优先考虑,使项目适用于许多物联...阅读全文
新年伊始,VNote发布小更新v1.11.1。顾名思义,这次更新将会很“小”,主要是修复已知问题。当然,这次更新也有值得大家浪费带宽下载的地方: 1. 更好的中文支持 这一次基本所有界面都已经支持中文了,强迫症表示幸福感来的有点突然。 2. 更好的复制粘贴 如果大家之前使用VNote来编辑,然后在阅读模式将HTML文本复制到其他应用(如OneNote或者邮件客户端)的话,那么这次绝对要更新了。现在VNote支持在阅读模式复制,基本格式无损地粘贴到其他富文本编辑器中,甚至支持文本图片混合复制哦!另外,还提供了无背景复制功能,让你的粘贴更酸爽! 3. 更好的主题 改进了主题,特别是针对暗色主题,让大家用得更舒服! 4. 外部程序支持快捷键 自定义外部程序现在支持快捷键了,从此可以一键打开喜欢的...阅读全文
的9.2%的被动股份。这一披露促使这家社交媒体巨头的首席执行官帕拉格-阿格拉瓦(Parag Agrawal)向马斯克提供了一个Twitter董事会席位。然而,马斯克拒绝成为Twitter董事会的一员,因为该提议有一个条件,即阻止特斯拉CEO将其在Twitter的股份增加到15%以上,可以预见的是,这引起了人们的猜测,即马斯克正在对整个公司发起恶意收购。 就在这些戏剧性事件发生几天后,马斯克正式公布了他以每股54.2美元的价格将Twitter私有化的提议,相当于超过430亿美元的价格。马斯克还写了一封致Twitter董事会的公开信,指出。 "我投资Twitter是因为我相信它有可能成为全球自由言论的平台,我相信言论自由是一个正常的民主社会所必需的。然而,自从投资以来,我现在意识到...阅读全文
在 2017 年的 Debian 项目领导人(DPL)选举中,现任 DPL Mehdi Dogguy 不敌挑战者 Chris Lamb。在选举中,Lamb 提出了四个具体措施 去改变 Debian 的形象 ,包括组织更多的线下会议,帮助增加出席者的人数和多元化,改进新用户和新开发者的“上岗”计划,拿出一些资金来提供硬件和资助项目。 成为 DPL 并不表示他具有某种仁慈独裁者的角色,实际上 DPL 更多是 Debian 社区的一个对外代表。Dogguy 已经发表声明对他的当选表示祝贺。 转自 http://www.solidot.org/story?sid=5207-lamb-debian...阅读全文
,实现目标。激励作用=目标意义×实现可能性从这一公式中可以明确地看出,目标意义和实现的可能性越大,激励作用也越大,反之亦然。目标的设置必须具有可行性,这不仅可以使目标发挥最大的激励作用,还有利于具体目标与长远目标的实现,以及个人目标与团队目标的有机结合。2、集体荣誉激励法集体荣誉激励法是指团队各级领导者在实际工作中,通过多表扬、奖励集体来激发下属的集体意识,使每个团队成员产生一种强烈的荣誉感、责任感和归属感,从而形成一种自觉维护集体荣誉的向心力的办法。3、情感激励法每个人都需要关怀与体贴。一句亲切的问候,一番安慰的话语,都会成为激励人们行为的动力。通常来说,团队成员工作热情的高低,同领导与员工感情的亲疏成正比。团队领导可以和员工经常沟通,内容可以是家庭、生活、婚姻、生产、娱乐、工作等,相互交流...阅读全文
,在进行分支切换之前,一定要先保存修改。2. 切换分支要保证分支版本库状态干净在进行分支切换操作之前,我们需要保证代码分支版本库的状态是干净的,即没有未提交的修改。否则,分支操作可能会导致一些未提交的修改全部丢失。3. 切换分支要保证源分支和目标分支都在同一版本库中SVN是针对版本库来进行代码管理的,所以在进行分支切换时,源分支和目标分支都必须在同一个版本库中。否则,你就需要进行多库协同编程,难度会增加很多。4. 将切换分支操作单独进行为避免出现一些问题,一般我们建议将分支切换操作独立出来,不要和其他代码操作混在一起。这样做可以使我们的代码更加清晰,也可以有效地避免出现一些不必要的操作。5. 多人协作时切换分支需要谨慎当多人协作时,任何一个人都可能进行分支切换的操作,这时每个人都应该非常谨慎...阅读全文
在Reddit上有人表示把42TB的普通存储(没有组RAID或者其他)全部采用Btrfs技术,通过把ext4文件系统迁移到Btrfs至少节省了5TB的存储空间。尽管已经开发了相当长时间,但是鲜有发行版把Btrfs当作默认的文件系统,目前SUSE企业版把Btrfs作为系统默认的文件系统。Linux.com日前采访了Btrfs的主要贡献者Chris Mason,通过他的讲述透露了社交巨头Facebook使用Linux内核与Btrfs文件系统的大量细节。 Chris Mason是开源文件系统项目Btrfs的主要贡献者,Mason最初在Oracle从事Btrfs的开发,后来他加入社交巨人Facebook的Linux内核技术小组继续从事Btrfs文件系统的研发工作。当Facebook需要升级新内核的...阅读全文
近日,一位安全研究员在博客上表示发现了本田公司的云端数据库未设密码,这可能导致 1.34 亿份文档,约 40GB 数据被泄漏,其中包括机器主机名、MAC 地址、内部 IP 及操作系统版本等。在收到该研究员的提醒后,本田方面已对漏洞进行修复。 本田 1.34 亿份文档,40GB 数据险遭泄漏 根据安全研究员 Justin Paine 的说法,自 2019 年 7 月 1 日起,他就发现了本田对外暴露的 ElasticSearch 数据库未设置任何密码,内部包含大约 1.34 亿份文档,这些文档可以转换为大约 40GB 数据,而这些数据的日期最早可以追溯至 2019 年 3 月左右。 最初,Justin Paine 以为这些数据来自本田的一家经销商,但他很快否定了这一想法,因为这些文档包含了本...阅读全文
的最细粒度的身份验证和授权。虽然服务网格可以提供帮助,但 Kubernetes 安全性仍然是一个复杂而微妙的话题,需要从多个层次进行了解。零信任是一种位于现代安全实践前沿的强大的安全模型。这也是一个容易引起轰动和炒作的术语,因此很难消除噪音。那么,究竟什么是零信任,对于 Kubernetes,它究竟意味着什么?在本文中,我们将从工程的角度探讨什么是零信任,并构建一个基本框架来理解它对 Kubernetes 运维和安全团队等的影响。介绍如果你正在构建现代云软件,无论是采用 Kubernetes 还是其他软件,可能都听说过“零信任”一词。零信任的安全模式变得如此重要,以至于美国联邦政府已经注意到:白宫最近发布了一份联邦零信任战略的备忘录,要求所有美国联邦机构在年底前满足特定的零信任安全标准...阅读全文
,Debian 11 Bullseye 的第一个里程碑“过渡和构建基础冻结”将会发生在 2021 年 1 月 12 日;第二个里程碑“软冻结”于 2 月 12 日,新增的第三个里程碑“硬冻结”在 3 月 12 日,而第四个里程碑“完全冻结”日期还未定。...阅读全文
二分法查找是一种基础的、简单而高效的算法,又称为折半查找。顾名思义,就是将待查表一分为二,从而减少了查找次数,提高了效率。但缺点就是待查表必须为顺序表,并且待查表在查找时不宜做增删操作。 其最优时间复杂度为O(1),最坏时间复杂度为O(logn)。代码样例: ``` # coding:utf-8 方法一:递归法 def binarySearch_01(listx, item): """Be of recursion""" length = len(listx) if length > 0: #定义中间值下标: split = length // 2 if listx[split] == item...阅读全文
Tesla P100上商用了HBM 2技术,不过消费级市场上使用HBM 2技术还是AMD去年的RX Vega显卡,但是因为HBM 2显存的成本太过昂贵,RX Vega上实际上使用了两组4GB HBM 2,等效位宽比第一代减少一半,尽管频率大幅提升,所以实际带宽反而低了一些。 见识过HBM的玩家对该技术肯定印象深刻,那么未来它又该如何发展呢?HPE(惠普企业级)公司的Nicolas Dube日前分享了他的一些观点,在他看来DDR内存要走到尽头了(DDR is Over),特别是一些需求高带宽的场合中。 根据他分享的一些数据,HBM 2内存将在2018年大量应用,HBM 3将在2020年左右应用,改进版的HBM 3+技术在2022年应用,2024年则会有HBM 4内存,带宽及容量也会逐级增长,比如现在的...阅读全文
Netty+Nacos+Disruptor自研企业级API网关 download:https://www.51xuebc.com/thread-566-1-1.html React18+TS+NestJS+GraphQL全栈开发示例 全栈开发是指一位开发人员可以熟练掌握前端、后端和数据库等多个领域的技术,能够完整地开发一个应用程序。在本文中,我们将介绍如何使用React18+TS+NestJS+GraphQL这个技术组合来进行全栈开发。 技术选型 在开始开发之前,我们需要选择合适的技术栈。以下是我们所采用的技术: React 18:React18是React框架最新版本,它具有更好的性能、更好的可访问性、更好的代码拆分等特点,可以提高开发效率和应用性能...阅读全文
服务化项目服务不可用几十分钟,造成订单数减少几十万笔,损失百万资金。 原因分析 当时是没有定位到具体的原因的,但是下面的原因也是一部分可能引起宕机的情况。 某服务化项目的业务增速非常快,在高峰期,数据库QPS突破35000,系统处于高负荷状态。 在高峰期如果同时执行几个全表扫描的SQL,会造成数据库压力急剧上升,应用超时增多,前端应用超时,用户重试,流量飙升,形成了雪崩效应。 主要原因在与一些老项目的SQL查询性能较差,并且使用的主库,对数据库影响较大。数据库QPS太高,但是缓存方案因为人手原因一直没有落地,慢SQL的问题处理优先级应该提升。 改进方案 针对每个应用建一个数据库账号,严格按照规范使用 缓存优化方案即时落地,慢SQL问题优先处理,集中处理目前已经发现的慢SQL(查询时间超过1S...阅读全文
开源项目的增多,以及商业社会对于 GPL 协议的担心导致的,我们细细掰扯。 GPL 协议与商业社会 我知道我要说的可能会激怒一些 GPL 粉,所以在你们开始喷之前,我想说明的是:我支持 GPL,我也是 GPL 粉丝。 我写过的所有软件都使用的是 GPL 协议,我也是一直是积极出资支持 自由软件基金会 以及 软件自由保护组织 以及他们的工作的,我支持使用 GPL 协议。我在这说的无关 GPL 的合法性或者 GPL 的巨大价值 —— 毫无疑问这是一个好协议 —— 我在这要说的是业内对于这个协议的看法。 大概四年之前,我参加了一个叫做开源智库(Open Source Think Tank)的峰会。这个峰会是一个私人小型峰会,每年都会把各大开源企业的管理人员请到加利福尼亚的酒庄。这个峰会聚焦于建立关...阅读全文
(SARAO),加州大学圣克鲁兹分校开放源码软件研究中心(CROSS)等。 Linux基金会执行董事Jim Zemlin说:"Ceph在帮助企业有效管理高增长和扩展数据存储需求方面有非常丰富的经验,在Linux基金会下,Ceph基金会将能够利用更多资源来帮助完善Ceph生态系统建设。" Ceph联合创始人&Red Hat Ceph首席架构师 Sage Weil说:"Ceph基金会的成立证明了一个多元化的开源社区的力量所在,各方共同联合起来致力于解决数据存储和数据服务的爆炸性增长。" Ceph被世界各地的云提供商和企业使用,包括金融机构(Bloomberg,Fidelity),云服务提供商(Rackspace,Linode),学术和政府机构(Massachusetts Open Cloud),电信基础设...阅读全文
一句话概况:stackstorm是一个事件驱动的自动化引擎。StackStorm 是一坨功能强大的开源自动化平台,可将通过使用插件封装API的方式,将所有应用程序,服务和工作流程连接起来。这里的所有包括了目前我们常用Gitlab、Zabbix、ELK、AWS 等服务。 Stackstorm 具有很好的可扩展性,灵活性,完美支持 ChatOps 和全操作的API实现。通过Stackstorm 可以将您现有的基础架构和应用程序环境联系在一起,以便您可以更轻松地自动化操作该环境。它特别专注于针对事件采取行动。 便利的故障排除 - 触发由Nagios,Sensu,New Relic和其他监控系统捕获的系统故障,在物理节点、OpenStack或Amazon实例和应用程序组件上运行一系列诊断检查,并将...阅读全文
HTML5 属于万维网联盟 (W3C), 这个组织为整个网络界提供了标准,如此形成的协议可在全世界通行。在 2016 年 11 月, W3C 对长期行使的 HTML 5 标准进行了更新,它是2年内的第一次小更新。许多最开始提出的 HTML 5.1 功能特性都因为设计上的缺陷和缺乏浏览器厂商的支持而去掉了。 尽管有一些元素和功能提升被带进了 HTML 5.1 里面, 但它仍然是一个小的更新。其中的一些新的元素包含了组合标签, 现在这样的元素包括有
Monit是一个跨平台的用来监控Unix/linux系统(比如Linux、BSD、OSX、Solaris)的工具。Monit特别易于安装,而且非常轻量级(只有500KB大小),并且不依赖任何第三方程序、插件或者库。 Monit可以监控服务器进程状态、HTTP/TCP状态码、服务器资源变化、文件系统变动等等,根据这些变化,可以设定邮件报警、重启进程或服务。易于安装、轻量级的实现以及强大的功能,让Monit成为一个理想的后备监控工具。 官网:https://mmonit.com/monit文档:https://mmonit.com/monit/documentation/monit.html最新版本:https://mmonit.com/monit/dist/monit-5.20.0...阅读全文
入运营阶段。这个项目2017年11月份完成了厂房封顶,并完成了设备采购,从开工到封顶不到9个月时间,今年3月底开始运营。 根据之前的消息,江苏淮安的这个项目总投资130亿元,一期投资43亿元,建成后将年产10万片12英寸PCM相变存储芯片。相变存储芯片被成为21世纪的存储芯片标准,与传统存储芯片(比如内存)相比,它是一种非易失性存储芯片,但是速度达到了传统存储芯片的1000倍,同时可靠性是后者的1000倍——当然这些指标都是理论上的。 目前量产的PCM存储芯片并没有这么强,Intel的3D XPoint闪存据说就是一种PCM存储芯片,只不过一直没有被证实,而它宣传的特点就是性能是闪存的1000倍,可靠性也是闪存的1000倍,同时容量密度是闪存的10倍。...阅读全文
在AMD发布的7nm锐龙3000处理器及Navi架构RX 5700显卡中,PCIe 4.0都是重要的技术升级,而且是消费级首发支持,这对AMD来说很重要,因为以往引领新平台技术升级的主要是Intel,这次不一样了,AMD要夺回“技术发展的C位。 对于PCIe 4.0技术的好处,AMD日前开始强调该技术的三大优势: 速度更快,x16 双向带宽达到了 32GB/s,是 PCIe 3.0 的两倍。向下兼容,PCIe 4.0 能兼容 PCIe 3.0 设备。更多连接,PCIe 4.0 带宽高,1条顶2条,可以连接更多设备而不需要担心性能下降。 面对AMD在PCIe 4.0上的宣传,Intel这边也坐不住了,日前在一场活动中开始怼PCIe 4.0,Intel表示绝大多数用户从PCIe 4.0技术都不...阅读全文
利益而创建。AlmaLinux OS 基金会主席 benny Vasquez 表示,“我们成立 AlmaLinux 操作系统基金会的具体目标是创建一个 CentOS 继任者,让那些与操作系统的未来息息相关的人也有发言权。如果没有我们成员的支持,我们的成功是不可能的,能在使用 Linux 的主要行业中得到如此强烈的响应令人振奋。热烈欢迎 Sine Nomine、AMD、BlackHOST 和 KnownHost。如果你的组织关心最好的下游 RHEL 克隆的未来,请与我们联系!你的声音在这里很重要,我们很高兴向全世界证明这一点。这就是开源成长和繁荣的方式。”AMD 加入 AlmaLinux OS Foundation,以维持对 AMD 产品的支持。AMD 数据中心生态系统和解决方案公司副总裁...阅读全文
TLC的这个活生生的案例在前面,解决起来会更容易一些。 3、成本 虽然QLC只是在TLC的电子单元内增加了一个比特位,但其所要求的技术含量却非常高。因为不仅要在原有的基础上增加一个比特单位,还需要双倍的精度才能保有足够高的稳定性以及性能。不过,一旦解决了所有技术上的难题,随着SSD容量的大幅增加,其所需要的单位成本也会相应降低。 4、容量 东芝的QLC的技术已经可以实现每闪存颗粒768Gb(96GB)的容量,相比之TLC颗粒的 512Gb有了更大提升。如果采用16颗粒封装,那么可以实现单颗芯片封装达到1.5TB的容量,容量达到目前单颗最大。如果一块SSD采用八颗这样的新品,总容量可以达到惊人的12TB。 虽说目前QLC 闪存不过刚正式出现在人们的视线中,其在速度、寿命、稳定性等方面可能会比TLC...阅读全文
等数据库都能做到开箱即用。 点击此处了解使用 Django 及其 ORM 进行数据处理的基础知识。 强大的内置模板系统 基于继承系统,Django 的模板允许开发人员通过非常少量的前端代码构建整个动态网站。这得益于使用其他上下文特定元素替换模板的某些元素的选项。 想象一下,你知道你网站的每个页面都会有一个页眉和一个页脚。 现在,您首先需要在网站的基本模板中编写代码。 然后,您可以从应用程序的其他部分动态地更改这两个内容之间的组件。 简单可读的网址 很难正确阅读在PHP os ASP中开发的URL? 使用 Django,您可以创建简单易读的 URL,这对人和搜索引擎都有好处。 您也可以使用其他框架创建可读 URL,但没有一个与 Django 一样容易进行 URL 构造。 快速容易的创建RSS和...阅读全文