云原生技术的不断发展，2018年，CNCF扩展了云原生技术的定义，以下是云原生技术的新定义：“云原生技术有利于各组织在公有云、私有云和混合云等新型动态环境中，构建和运行可弹性扩展的应用。云原生的代表技术包括容器、服务网格、微服务、不可变基础设施和声明式API。这些技术能够构建容错性好、易于管理和便于观察的松耦合系统。结合可靠的自动化手段，云原生技术使工程师们能够轻松地对系统作出频繁和可预测的重大变更。”其中，像容器，微服务等概念早已深入人心，而很多开发人员都对此次提及的“不可变基础设施”这个概念有不少疑惑，下文将对这个概念进行解析。其实不可变基础设施这个概念由来已久，并在不同的场合被很多技术专家已不同的形式提出并讨论过, 例如：“Trash Your Servers and Burn...阅读全文
关。 18. 针对单点故障——实施冗余。 19. 为了容错性和持久性——实施数据复制。 20. 对于用户到用户的快速通信 — 使用 Websockets。 21. 分布式系统中的故障检测——实现心跳。 22. 数据完整性——使用校验和算法。 23. 高效的服务器扩展——一致性哈希。 24. 去中心化数据传输——考虑 Gossip 协议。 25. 基于位置的功能 — 使用四叉树、Geohash 等。 26. 避免特定的技术名称 — 使用通用术语。 27. 高可用性和一致性的权衡——最终一致性。 28. 对于IP解析和域名查询——DNS。 29. 处理网络请求中的大数据——实施分页。 30. 缓存删除策略 — 首选...阅读全文
内存限制，则该进程将终止，因此在所有情况下都可能不适合设置此值。如果容器超过 CPU 限制，则进程会受到限制。使用 Deployment、DaemonSet、ReplicaSet 或者 StatefulSet 跨节点部署 Pod永远不应该直接使用 Pod 运行。相反，为了提高容错性，Pod 应该始终作为 Deployment、DaemonSet、ReplicaSet 或 StatefulSet 的一部分。然后可以在部署中使用反亲和性规则跨节点部署 pod，以避免所有 pod 调度到同一个节点上运行，如果该节点发生故障可能会导致服务停止。使用多节点如果想提升容错性，在单个节点上运行 K8s 并不是一个好主意。集群中应该使用多个节点，以便可以在它们之间分散工作负载。使用基于角色的访问控制...阅读全文
有更好的吞吐量，内置的分区，冗余及容错性，这让Kafka成为了一个很好的大规模消息处理应用的解决方案。消息系统 一般吞吐量相对较低，但是需要更小的端到端延时，并尝尝依赖于Kafka提供的强大的持久性保障。在这个领域，Kafka足以媲美传统消息系统，如ActiveMR或RabbitMQ 站点的用户活动追踪: 为了更好地理解用户行为，改善用户体验，将用户查看了哪个页面、点击了哪些内容等信息发送到每个数据中心的Kafka集群上，并通过Hadoop进行分析、生成日常报告。 流处理：保存收集流数据，以提供之后对接的Storm或其他流式计算框架进行处理。很多用户会将那些从原始topic来的数据进行 阶段性处理，汇总，扩充或者以其他的方式转换到新的topic下再继续后面的处理。例如一个文章推荐的处理流程...阅读全文
，[一致性]、[可用性]（Availability）、[分区容错性]（Partition tolerance），这三个要素最多只能同时实现两点，不可能三者兼顾(nosql)。分布式系统为了提高系统的可靠性，一般都会选择使用多副本的方式来进行实现，例如hdfs当中数据的多副本，kafka集群当中分区的多副本等，但是一旦有了多副本的话，那么久面临副本之间一致性的问题，而一致性算法就是 用于解决分布式环境下多副本的数据一致性的问题。业界最著名的一致性算法就是大名鼎鼎的Paxos，但是Paxos比较晦涩难懂，不太容易理解，所以还有一种叫做Raft的算法，更加简单容易理解的实现了一致性算法。（一）Raft协议的工作原理Raft协议当中的角色分布Raft协议将分布式系统当中的角色分为Leader（领导者...阅读全文
