的保证。 NeuVector开源容器镜像可以安装在任何Kubernetes集群上。SUSE Rancher用户也可以通过Rancher应用商店轻松安装。将来，SUSE将实现两者更深层级的集成，以确保NeuVector为Rancher客户提供无与伦比的价值。秉承开放战略，NeuVector将始终致力于成为所有云原生采纳者的优秀解决方案，支持包括红帽OpenShift、VMWare Tanzu、Google GKE、Amazon EKS、Microsoft Azure AKS等在内的众多企业级容器管理平台。 文档下载： **[SUSE-Kubernetes-安全防护终极指南](https://wpfile.debian.cn/uploads/security/SUSE...阅读全文
1. HDFS概述 Hadoop 分布式系统框架中，首要的基础功能就是文件系统，在 Hadoop 中使用 FileSystem 这个抽象类来表示我们的文件系统，这个抽象类下面有很多子实现类，究竟使用哪一种，需要看我们具体的实现类，在我们实际工作中，用到的最多的就是HDFS(分布式文件系统)以及LocalFileSystem(本地文件系统)了。 在现代的企业环境中，单机容量往往无法存储大量数据，需要跨机器存储。统一管理分布在集群上的文件系统称为分布式文件系统。 HDFS（Hadoop Distributed File System）是 Hadoop 项目的一个子项目。是 Hadoop 的核心组件之一， Hadoop 非常适于存储大型数据 (比如 TB 和 PB)，其就是使用 HDFS 作为存...阅读全文
Spring Cloud：Eureka注册中心，Ribbon集成REST实现负载均衡，OpenFeign声明式服务调用，Hystrix实现服务限流熔断降级和数据监控，Zuul实现微服网关，Config分布式统一配置中心，分布式链路跟踪，集成Spring Cloud实现统一整合方案虚拟化容器Docker：Docker环境搭建和使用，搭建Docker私有仓库，Docker分布式集群部署，Kubernetes简介 4. 分布式 Java并发编程和网络编程：Java线程状态，线程池，线程通信，线程安全，Netty高性能原理分布式开发框架：分布式系统口调用技术：RPC，Apache分布式系统Zookeeper原理与应用，阿里Dubbo设计思想与应用分布式中间件：分布式服务器治理，分布式消息通信，分布式数据缓存...阅读全文
由于人工智能 / 机器学习日益集成到应用和业务流程中，因此生产级机器学习模型需要更多可扩展的基础设施和计算能力，以用于训练和部署。 现代机器学习算法在大量数据上进行训练，并且需要数十亿次迭代才能使成本函数最小化。这类模型的垂直扩展会遇到操作系统级别的瓶颈，包括可提供的 CPU、GPU 和存储的数量，而且对于这种类型的模型，已经证明效率并不高。更为高效的并行处理算法，例如异步训练和 allreduce 式训练，需要一个分布式集群系统，由不同的 worker （工作器）以协调的方式同时学习。 可扩展性对于在生产环境中服务深度学习模型也非常重要。将单个 API 请求处理到模型预测端点可能会触发复杂的处理逻辑，这将花费大量时间。由于更多用户访问模型的端点，为了有效地处理客户端请求，需要更多服务实例...阅读全文
包装连接来执行身份验证，这是 TLS 的一种变体，其使用加密信息在连接的两端进行验证。授权策略可以用 Kubernetes 术语表示，例如，通过自定义资源定义 (CRD)，明确策略并并与应用程序解耦。最重要的是，策略在跨技术栈的单个 pod 级别统一执行。每个 pod 都有自己的身份验证和授权，这意味着网络永远不受信任。所有这些共同实现了我们的大部分零信任目标（至少对于 Kubernetes 集群而言！）。我们使用工作负载身份而不是网络身份；在最细粒度级别（pod）上执行，以及在技术栈中以一致且统一的方式应用身份验证和授权的，而无需更改应用程序。在基本框架内，不同的服务网格实现提供了不同的权衡。例如， Linkerd是一个开源、Cloud Native Computing...阅读全文
。Kubernetes 管理员的一个问题是在 Linux 主机上分配进程 ID（PID）。以往没有什么可以阻止容器内的进程创建 PID。如果 PID 的系统资源耗尽，即使其它资源不受约束，也可能导致主机不稳定。管理员现在可以为每个 pod 的 PID 数设置默认值，并在 pod 中为每个节点保留多个可分配的 PID。 Pod 优先级和抢占支持 现在可以为 pod 分配优先级，以便 Kubernetes 控制器可以在集群资源不足时做出更好的决策。可以删除不太重要的 pod，为更重要的 pod 创建空间。 Discovery API 从 RBAC 基础架构中删除 默认情况下，有一组 API 允许未经身份验证的访问。在 v1.14 中，已从该集中删除了 Discovery API，以提高隐私和安全性...阅读全文
Proxmox VE 6.2 现已发布，该版本基于新发布的 Debian 10.4，同时引入了 Linux 5.4 LTS 内核、QEMU 5.0、LXC 4.0 和其他更新的软件组件，包括 OpenZFS 0.8.3。Proxmox VE（Proxmox Virtual Environment）是一个非常棒的集成 OPENVZ 支持 KVM 应用的环境。 Proxmox VE 6.2 的一些亮点内容如下 基于 Web 的管理界面的高级选项： 除了已经存在的基于 HTTP 的验证模式之外，Proxmox VE 还通过基于 DNS 的质询机制为 Let’s Encrypt TLS 证书实现了域的内置验证。完全支持多达八个 corosync 网络链接。使用的链接越多，集群可用性就越高。在存储内...阅读全文
Cloudpods是一个开源的多云混合云管理平台。Cloudpods首先是一个私有云云平台，具备将计算节点使用开源QEMU/KVM虚拟化技术虚拟出虚拟机，实现私有云的功能。其次，Cloudpods能够纳管其他的云平台，包括主流私有云和公有云，实现云管的功能。 Cloudpods的目标是帮助用户基于本地基础设置以及已有云基础设置，构建一个统一融合的云上之云，达到降低复杂度，提高管理效率的效果。Cloudpods从3.0开始全面拥抱Kubernetes，基于Kubernetes部署运行云平台的服务组件，采用Kubernetes Operator，基于Kubernetes集群自动化部署服务，实现了云平台的服务的容器化分布式部署。本文总结了Cloudpods在过去3年云平台底层容器化改造的经...阅读全文
制 ：这是 PostgreSQL 在物理复制之外提供的另一种可选方案，提供了更大的灵活性，而且配置简单。 改进并行查询 ：在查询很多时应该会有 2 到 4 倍的速度提升。 更强大的密码哈希算法 ：使用了 SCRAM -SHA–256。 关于 PostgreSQL 10，还有更多的特性正在开发之中，就像 2ndQuadrant 创始人兼首席执行官 Simon Riggs 在最近的一次演讲中所 介绍 的那样。包括 PostgreSQL 10 官方路线图在内，正在进行中的特性开发工作还有诸如以下这些： 自治事务 多主集群，使用 分片 提高扩展性和可用性 查询 JIT 编译 可插拔的存储引擎（columnar、内存内存储等） 页级数据压缩等 改进临时表性能 不过，哪些特性将成为 PostgreSQL...阅读全文
Pod 初始化配置，还能起到配置统一的效果。 2、环境、软件准备 本次演示环境，我是在本机 MAC OS 上操作，以下是安装的软件及版本： Docker: 18.06.3-ceOracle VirtualBox: 6.0.8 r130520 (Qt5.6.3)Linux: 7.6.1810Minikube: v0.30.0Kubernetes: 1.12.1 注意：这里 Kubernetes 集群搭建使用 Minikube 来完成，Minikube 启动的单节点 k8s Node 实例是需要运行在本机的 VM 虚拟机里面，所以需要提前安装好 VM，这里我选择 Oracle VirtualBox。k8s 运行底层使用 Docker 容器，所以本机需要安装好 Docker 环境，这里忽略...阅读全文
时一次的频次来安排证书轮换。有了Docker CE 17.06，添加了立即强制证书轮换的一次性操作： docker swarm ca --rotate Swarm Mode事件 docker events可以用来从Docker中获取实时的信息。在编写自动化和监控应用时很有用。但是直到Dcoker CE 17.06，都不支持swarm mode的事件。现在docker events将会返回服务、节点、网络和和secret的信息。 专用的数据路线 docker init中添加了新的--datapath-addr标签，可以把swarm mode的管理任务和应用传递的数据隔离开来。这能把集群从IO贪婪的应用中拯救出来。如你用这种方式初始化集群： docker swarm init...阅读全文
中文原文：https://www.yangcs.net/posts/what-happens-when-k8s/ （杨传盛的博客） 英文原文：https://github.com/jamiehannaford/what-happens-when-k8s 想象一下，如果我想将 nginx 部署到 Kubernetes 集群，我可能会在终端中输入类似这样的命令： $ kubectl run --image=nginx --replicas=3 然后回车。几秒钟后，你就会看到三个 nginx pod 分布在所有的工作节点上。这一切就像变魔术一样，但你并不知道这一切的背后究竟发生了什么事情。 Kubernetes 的神奇之处在于：它可以通过用户友好的 API 来处理跨基础架构的...阅读全文
高可用性。使Prometheus高可用的一种方式是运行多个实例去scraping相同的作业。这些实例在抓取指标时会因微小的时间间隔差异而在数据中产生细微差异。此外，如果其中一个实例宕机了几个小时，那么当查询转发到该实例时，将会出现数据空白。如果我们使用grafana这样的工具将指标展示为图形，我们可能会得到不同的样本值或有数据缺失的图形。可以将Cortex配置为从多个HA Prometheus实例读取数据。它从一个主实例main接受指标，并从其他实例放弃该度量。一旦这个副本掉线，Cortex会无缝切换到另一副本并将其标记为主副本main。为此，Cortex着眼于两个标签，一个共同的标签与一个集群（或一组Prometheus）相关联，另一个识别副本。全局指标视图可以将Prometheus实例配...阅读全文
Network Proxy 在 1.16 版本中进入 AlphaCloud Controller Manager Migration 增强继续淘汰 extensions/v1beta1、apps/v1beta1 和 apps/v1beta2 API，这些扩展会在 1.16 版本中被弃用 已知的问题： etcd 和 KMS plugin 的健康检查没有在新的 livez 的 和 readyz 端点中公开。这将在 v1.16.1 中得到修正。 运行iptables 1.8.0 或更新版本的系统应以兼容模式启动它。请注意，这将影响所有版本的 Kubernetes，而不仅仅是 v1.16.0。 升级前须知： 集群生命周期 amd64 的容器镜像 tar 文件现在将包含 RepoTags...阅读全文
。Ingress 作为 Kubernetes 的初代入口网关，资源模型过于简单，以致无法适应当今的可编程网络。Gateway API 作为 Kubernetes 入口网关的最新成果，它通过角色划分将关注点分离，并提供跨 namespace 支持使其更适应多云环境，已获得大多数 API 网关的支持；入口网关（南北向）与服务网格（东西向，集群内路由）存在部分功能重叠，Gateway API 为两者的融合提供了新的参考模型。三是 eBPF 开始兴起。越来越多的开源项目使用 eBPF 技术，比如 Cilium 将 eBPF 引入容器原生网络，Merbridge 使用 eBPF 加速 Istio 中的透明流量劫持，Pixie 使用 eBPF 来构建可观察性堆栈，SkyWalking 使用 eBPF 来诊断服务网格的...阅读全文
JSON 的支持，添加了基于路径查询参数从 JSON 字段中抽取数据的 JSON_EXTRACT() 函数，以及用于将数据分别组合到 JSON 数组和对象中的 JSON_ARRAYAGG() 和 JSON_OBJECTAGG() 聚合函数。 9. 可靠性：InnoDB 现在支持表 DDL 的原子性，也就是 InnoDB 表上的 DDL 也可以实现事务完整性，要么失败回滚，要么成功提交，不至于出现 DDL 时部分成功的问题，此外还支持 crash-safe 特性，元数据存储在单个事务数据字典中。 10. 高可用性(High Availability)：InnoDB 集群为您的数据库提供集成的原生 HA 解决方案。 11. 安全性：对 OpenSSL 的改进、新的默认身份验证、SQL 角色、密码强度...阅读全文
？如果你是 Oracle JDK 8 的用户，原 License 尚可免费使用，但之后若希望得到持续安全更新则需要为此付费。如今，在 Oracle 主导下的 Java 大环境已经发生变化。作为最大的 Java 的用户之一，阿里巴巴几乎拥有世界最大规模的 Java 应用集群，肯定需要为此采取一些行动。 基于此，阿里巴巴决定开源 OpenJDK 长期支持版本 Alibaba Dragonwell，一是因为其自身拥有大量 Java 客户和业务需求，阿里巴巴希望他们可以继续免费享受到 JDK 的所有功能；二是考虑到不少开发者可能会做出新的选择，阿里巴巴决定开源该项目，为开发者提供一个新的参考。 在过去三个月时间内，阿里巴巴方面对该项目进行了持续维护和更新。据了解，本次 GA 版本的主要目的是让...阅读全文
UK8S是UCloud推出的Kubernetes容器云产品，完全兼容原生API，为用户提供一站式云上Kubernetes服务。我们团队自研了CNI（Container Network Interface）网络插件，深度集成VPC，使UK8S容器应用拥有与云主机间等同的网络性能（目前最高可达10Gb/s, 100万pps），并打通容器和物理云/托管云的网络。过程中，我们解决了开源kubelet创建多余Sandbox容器导致Pod IP莫名消失的问题，确保CNI插件正常运行，并准备将修复后的kubelet源码提交给社区。 深度集成VPC的网络方案 按照我们的设想，开发者可以在UK8S上部署、管理、扩展容器化应用，无需关心Kubernetes集群自身的搭建及维护等运维类工作。UK8S完全兼容原生...阅读全文
热线、在线聊天支持。作为全球云服务的龙头企业，亚马逊云计算拥有最广泛的全球云计算基础设施，全球节点丰富，为网站的快速稳定访问提供基础设施保障。配合亚马逊全球CDN节点，能满足不同国家独立站访问速度需求。1.什么是云服务器？云计算服务器(也称云服务器或云主机)是云计算服务系统中的主机产品，有效解决了传统物理主机中管理难度大、业务扩展性弱的缺陷。在实际应用中，云主机具有三个方面的灵活性:主机服务配置和业务规模可根据用户需求配置，可灵活调整。用户申请的主机服务可以快速供应和部署(实时在线开通)，实现集群内灵活可扩展的收费模式，用户无需支付押金，有多种支付模式供用户选择。2.云服务器适合什么样的用户？关注主机服务性价比的用户；需要快速实现分布式部署的用户；需要灵活扩展业务的用户；对系统高可用性和快速...阅读全文
市场的最简单途径。 容器调度程序 容器调度程序的主要任务是在最合适的主机上启动容器，并将它们连接起来。它必须具备自动故障转移能力，并且在数据太多，单个实例无法处理 / 计算时扩展容器。 三种最受欢迎的容器调度程序分别是 Docker Swarm、Apache Mesos 和 Kubernetes。 Docker Swarm DockerSwarm 是 Docker 开发的容器调度程序。由 Docker 开发的这个集群解决方案提供了很多优势，比如说它使用了标准的 Docker API。Swarm 的架构由两大元素组成： Docker Swarm 架构，©Alexandre Beslic（DockerInc.） Apache Mesos 和 Mesosphere Marathon Mesos 的...阅读全文
本文从 Redis 的基本特性入手，通过讲述Redis的数据结构和主要命令，对 Redis 的基本功能进行直观介绍。之后概览Redis提供的高级能力，并在部署、维护、性能调优等多个方面进行进一步的介绍。本文适合使用Redis的普通开发人员，以及对Redis进行选型、架构设计和性能调优的架构设计人员。 目录 概述 Redis的数据结构和相关常用命令 数据持久化 内存管理与数据淘汰机制 Pipelining 事务与Scripting Redis性能调优 主从复制与集群分片 Redis Java客户端的选择 概述 Redis是一个开源的，基于内存的结构化数据存储媒介，可以作为数据库、缓存服务或消息服务使用。 Redis支持多种数据结构，包括字符串、哈希表、链表、集合、有序集合、位图...阅读全文
/? sc_channel=seo&sc_campaign=acquisition_CN&sc_medium=backlink&sc_content=developer 一般我们在AWS上建立了一个集群服务器，则很有可能我们要对这种这一群集的全部服务器虚拟机统一的实际操作，例如安裝一个程序包，运行某一服务项目，布署某一文档这些。倘若大家假如仅有一台网络服务器，那全部流程非常简单，立即根据ssh登陆到网络服务器，并手动式实行一系列的指令就可以。但要是使用的另一半是成千上万的网站服务器的情况下，大家就必须一个能完成群集实际操作(collectiveoperation)的专用工具了。现阶段这种的专用工具许多，包含Ansible，Chef，Fabric，Puppet，Saltstack，文中主要详细介绍Ansible和...阅读全文
/free/? sc_channel=seo&sc_campaign=acquisition_CN&sc_medium=backlink&sc_content=developer 一般我们在AWS上建立了一个集群服务器，则很有可能我们要对这种这一群集的全部服务器虚拟机统一的实际操作，例如安裝一个程序包，运行某一服务项目，布署某一文档这些。倘若大家假如仅有一台网络服务器，那全部流程非常简单，立即根据ssh登陆到网络服务器，并手动式实行一系列的指令就可以。但要是使用的另一半是成千上万的网站服务器的情况下，大家就必须一个能完成群集实际操作(collectiveoperation)的专用工具了。现阶段这种的专用工具许多，包含Ansible，Chef，Fabric，Puppet，Saltstack，文中...阅读全文
Kubernetes代码库的前提下开发自己的解决方案。 由于1.9版本中提供的功能尚处于alpha测试阶段，因此用户必须额外加以启用，且我们不建议您将其应用于实际生产。但该版本的出现，意味着Kubernetes存储生态系统正朝着更加可扩展且基于标准的方向迈进。 其它功能 定制化资源定义（简称CRD）验证版目前已经开始beta测试，其默认启用，可帮助CRD作者们针对无效对象得出清晰且即时的反馈。 SIG Node硬件加速器目前进入alpha测试阶段，可利用GPU资源实现机器学习以及其它高性能工作负载。 CoreDNS alpha版本允许用户利用标准工具安装CoreDNS。 IPVS mode for kube-proxy进入beta版本，可为大型集群提供更出色的可扩展性与性能表现。 社区中的每个特别兴趣小组（简...阅读全文
来实现，直接在代码里写前缀的做法要严格避免，这样可维护性实在太差了。 如：系统名:业务名:业务数据:其他 但是注意，key的名称不要过长，尽量清晰明了，容易理解，需要自己衡量 10.线上禁止使用monitor命令 禁止生产环境使用monitor命令，monitor命令在高并发条件下，会存在内存暴增和影响Redis性能的隐患 11.禁止大 string 核心集群禁用1mb的string大key(虽然redis支持512MB大小的string)，如果1mb的key每秒重复写入10次，就会导致写入网络IO达10MB; 12.redis容量 单实例的内存大小不建议过大，建议在10~20GB以内。 redis实例包含的键个数建议控制在1kw内，单实例键个数过大，可能导致过期键的回收不及时。 13 可靠...阅读全文
Intro Dapr 官方团队已于最近（2021.1.17）正式发布Dapr v1.0，Dapr已正式生产可用，可以部署到自托管环境或 Kubernetes 集群。对于绝大多数开发者来说，想必对Dapr只是有所耳闻，而具体是什么（What），可以解决什么样的问题（Why&How），有怎样的应用场景（Where），并不知悉。本文就尝试简要梳理下Dapr，并尝试回答以上问题。 What's Dapr Distributed Application Runtime. An event-driven, portable runtime for building microservices on cloud and edge. 分布式应用运行时。一个事件驱动、可移植的运行时用于在云上和边缘计算上构建...阅读全文
--num-records 1000000 --record-size 1024 --throughput -1 --producer-props bootstrap.servers=192.168.65.60:9092 acks=1 网络上很多资料都说分区数越多吞吐量越高 ， 但从压测结果来看，分区数到达某个值吞吐量反而开始下降，实际上很多事情都会有一个临界值，当超过这个临界值之后，很多原本符合既定逻辑的走向又会变得不同。一般情况分区数跟集群机器数量相当就差不多了。 当然吞吐量的数值和走势还会和磁盘、文件系统、 I/O调度策略等因素相关。 注意：如果分区数设置过大，比如设置10000，可能会设置不成功，后台会报错"java.io.IOException : Too many open files...阅读全文
no LVM-Thin images,rootdir raw no yes yes 可以看到，LVM-Thin 支持快照和克隆，但是不能共享了，没事，我不需要共享给别的节点，我没用集群。 但是添加 LVM 和 添加 LVM-Thin 的步骤都记录下。 如果是添加 LVM如果是要添加 LVM，只需要到 Datacenter - Storage点击 Add：LVM 123Base storage: Existing volumn groupsVolumn group: hddID: 随便取名 这样添加后，容量是 hdd 的容量， 2.73T , 但是会显示已经占用了 100G。 Usage 3.59% (100.20 GiB of 2.73 TiB) 如果是添加 LVM-Thin添加 LVM...阅读全文
就能够达到比较好的性能上的提升。 3. 支持 LoopBack 模式 在以往本地执行实际是在 Python 的进程中去运行客户端程序，提交 Java 进程启动一个迷你集群去执行 Java 部分代码。Java 部分代码也会和生产环境部分的一样，去启动一个新的 Python 进程去执行对应的 Python UDF，从图下可以看出新的进程其实在本地调试中是没有必要存在的。 所以支持 lookback 模式后可以让 Java 的 opt 直接把 UDF 运行在之前 Python client 所运行的相同的进程内，通过这种方式： 首先是避免了启动额外进程所带来的开销； 最重要的是在本地调试中，我们可以在同一个进程内能够更好利用一些工具进行 debug，这个是对开发者体验上的一个提升。 六、总结 本文...阅读全文
读取。用户态进程读取这些数据后，进一步关联 Kubernetes 元数据后推送到存储端。这是整体处理过程。eBPF 的超能力体现在能订阅各种内核事件，如文件读写、网络流量等，运行在 Kubernetes 中的容器或者 Pod 里的一切行为都是通过内核系统调用来实现的，内核知道机器上所有进程中发生的所有事情，所以内核几乎是可观测性的最佳观测点，这也是我们为什么选择 eBPF 的原因。另一个在内核上做监测的好处是应用不需要变更，也不需要重新编译内核，做到了真正意义上的无侵入。当集群里有几十上百个应用的时候，无侵入的解决方案会帮上大忙。但作为新技术，人们对 eBPF 也存在些许担忧，比如安全性与探针性能。为了充分保证内核运行时的安全性，eBPF 代码进行了诸多限制，如最大堆栈空间当前为 512、最...阅读全文
