数据库。 6. 拥有复杂的数据（视频、图像、文件）——选择 Blob/对象存储。 7. 复杂的计算——使用消息队列和缓存。 8. 海量数据搜索——考虑搜索索引、尝试搜索引擎。 9. 扩展 SQL 数据库 — 实施数据库分片。 10. 高可用性、性能和吞吐量 — 使用负载均衡器。 11. 全球数据交付——考虑使用 CDN。 12. 图形数据（具有节点、边和关系的数据）——利用图形数据库。 13. 扩展各种组件——实现水平扩展。 14. 高性能数据库查询——使用数据库索引。 15. 批量作业处理——考虑批处理和消息队列。 16. 服务器负载管理和防止 DOS 攻击 - 使用速率限制器。 17. 微服务架构——使用 API 网...阅读全文
通道（就是两条PCI-E），而 M.2（Socket 3）的固态则可以走 PCI-E 3.0×4 通道。 需要说的是每条 PCI-E 3.0 的带宽是 8Gbps，而 SATA 3.0 的带宽则只有 6Gbps。 最后要说的就是经常被商家拿来当作卖点的 NVMe 了。其实 NVMe 跟 AHCI 都是一种规范，就像是在路上走如果没有交通规则的限制，那么肯定是一团拥挤肯定都走不动了，而 NVMe 和 AHCI 就像是这种交通规则。 AHIC 是针对 SATA 这种弯路的交通规则。然后开发者发现，这种针对弯路的规范，数据只能一个一个通过的规则用在宽敞的 PCIE 通道上面实在太浪费了，于是针对 PCIE 通道又开发出了 NVME 规范，可以让很多数据同时通过。 总结：M.2 跟 SATA 其实可...阅读全文
经过 3 年的开发，17 个 alpha 版本，2 个 beta 版本，超过 7500 个提交，以及来自 350 位不同开发者的贡献，OpenSSL 3.0 终于正式发布了。OpenSSL 1.1.1 以来的主要变化主要版本开发者可以从这里下载 OpenSSL 3.0，并升级你的应用程序使之兼容。OpenSSL 3.0 是一个大版本升级，并不完全向后兼容以前的版本。大多数使用 OpenSSL 1.1.1 的应用程序仍然可以正常工作，只是需要重新编译（可能会有关于使用废弃的 API 的编译警告）。还有一些不能完全兼容的应用可能需要进行修改才能正确编译和使用。如果应用程序需要利用 OpenSSL 3.0 中的一些新功能（例如 FIPS 模块），也需要对应用进行更改。许可证变更在以前的版本中...阅读全文
Scrapy 是一个为了爬取网站数据，提取结构性数据而编写的应用框架。 可以应用在包括数据挖掘、信息处理或存储历史数据等一系列的程序中。本文着重介绍 Scrapy 架构及其组件之间的交互。 Scrapy 组件介绍 Scrapy Engine 引擎负责控制数据流在系统中所有组件中流动，并在相应动作发生时触发事件。 详细内容查看下面的数据流(Data Flow)部分。 调度器(Scheduler) 调度器从引擎接受request并将他们入队，以便之后引擎请求他们时提供给引擎。 下载器(Downloader) 下载器负责获取页面数据并提供给引擎，而后提供给spider。 Spiders Spider 是 Scrapy用户编写用于分析response并提取item(即获取到的item)或额外跟进的...阅读全文
在这篇文章里，我将在 VMWare 里面虚拟四台 Debian 虚拟机，一个做master，三个slave。这四台主机的 hostname 分别是 master、slave1、slave2、slave3。下面的 JDK 和 Hadoop 安装配置操作都是使用普通用户 hadoop 来执行，并非 root。 集群环境准备 1. 静态网络的配置 编辑/etc/network/interfaces文件，注释自动获取IP，并添加下面内容 # static IP address auto ens33 iface ens33 inet static address 192.168.20.101 netmask 255.255.255.0 gateway 192.168.20.2 dns...阅读全文
Django 此前的治理模式不太合理，对于持续发展壮大的 Django 社区产生阻碍。官网博客介绍，最开始 Django 项目发起人（Adrian Holovaty 和 Jacob Kaplan-Moss）可以授权其他人 commit 的权限。到了 2014 年，committer 的核心团队人数已经不少，在两位创始人辞去领导职务后， 保留了一个核心 committer 团队的基本结构，该团队可以根据自己的选择向 Django 添加代码。同时创建了一个新的小组：由核心 committer 选举产生的由 5 名 committer 组成的“技术委员会”，并作为最终的决策者。 但是实际上，现在几乎所有添加到 Django 的代码都由 Django Software Foundation（DSF...阅读全文
( ) 和 [ ] 可供选择。然而缺少修饰的方括号会在数组和 slice 的类型声明中造成歧义，在解析索引表达式时也会引起小程度的歧义。因此在设计之初他们决定使用小括号，因为小括号似乎更符合 Go 语言的风格，而且看起来问题最少。 为了使小括号正常工作，并且为了向后兼容，他们表示不得不在类型参数列表中引入type关键字。最后，他们在参数列表、复合字面量和嵌入类型中发现了额外的解析歧义，而这些歧义需要嵌套更多的小括号来解决。不过即便如此，他们还是决定继续使用小括号，因为当时还有更重要的设计问题需要解决。 现在他们决定重新考虑这个最初的决定。如果仅使用方括号声明类型参数，那么声明数组的方式如下所示： type A [N]E 不过这就无法与泛型的声明进行区分： type A[N] E 但如果能接受额外的...阅读全文
记Mock源码阅读与分析Thinking in Python我的代码进CPython标准库啦Python零碎小知识工作一年的总结Python和单元测试MongoDB 的一些坑...阅读全文
/src:m2crypto) | 修正与OpenSSL 1.1.1i及更新版本的兼容性 | | [mini-buildd](https://packages.debian.org/src:mini-buildd) | builder.py：sbuild调用：显式设置'--no-arch-all' | | [net-snmp](https://packages.debian.org/src:net-snmp) | snmpd: 为EXTEND-MIB添加cacheTime和execType标志 | | [node-ini](https://packages.debian.org/src:node-ini) | 不允许使用无效的危险字符串作为部分名称[CVE-2020-7788] | | [node-y18n...阅读全文
述。 Go 1 和 Go 2 之间的主要区别在于主导权的不同。谁将影响设计，又该如何做出决策？我们都知道，Go 1 的诞生是小团队努力的结果，受外部影响不大；而到了 Go 2，尤其是经过将近 10 年的发展后，Go 语言的生态已经十分庞大，因此它也更多地受到社区的驱动和影响。经历了这些，Go 开发团队也了解到了更多一开始不知道的与语言特性和库相关的知识 —— 这些都来自于 Go 社区的反馈。 2015年，Go 开发团队引入了提案流程，以收集特定类型的反馈：针对语言和库变更方面的提案。由 Go 开发团队高级成员组成的委员会定期审查、分类和决定社区提交的提案。这个流程十分有效，但作为该过程的一部分，他们忽略了所有不向后兼容的提案，只是将其标记至 Go 2。到了2017年，Go 开发团队也停止进行...阅读全文
经渐渐回归业务本身，让更多的开发者看到了一丝曙光。It's enough? 来看下Bilgin Ibryam在Multi-Runtime Microservices Architecture文章中提及的分布式应用的四大需求： 从上图可以看出，除了网络（Networking）外，生命周期（Lifecycle）、状态（State）、捆绑（Binding）也是分布式应用要解决的问题之一。网络问题可以借由Service Mesh 比如Istio予以解决。那其他三个该如何解决呢？又要应用自行开发集成吗？显然不符合应用回归业务本身的诉求。这时，Dapr登场了，Dapr提出的分布式应用运行时就是实现了以上四个需求并将其下沉作为分布式应用的运行环境。 简而言之：Dapr将分布式能力进行封装下沉作为运行时以简...阅读全文
： systemctl restart php7.2-fpm 更多日常的操作： systemctl restart php7.2-fpm #重启 systemctl start php7.2-fpm #启动 systemctl stop php7.2-fpm #关闭 systemctl status php7.2-fpm #检查状态 安装更多组件 上面的一条命令安装 PHP 只是安装了部分 PHP 拓展，更多的软件可见： root@debian.cn-service:~# apt-cache search php7.2 php-radius - radius client library for PHP php-http - PECL HTTP module for PHP Extended HTTP...阅读全文
应、Hao 123 等等。具体的计算方式详见：https://www.tiobe.com/tiobe-index/programming-languages-definition/。请注意这个排行榜只是反映某个编程语言的热门程度，并不能说明一门编程语言好不好，或者一门语言所编写的代码数量多少。 这个排行榜可以用来考察你的编程技能是否与时俱进，也可以在开发新系统时作为一个语言选择依据。 详细榜单信息可参考 TIOBE 官网：https://www.tiobe.com/tiobe-index 《2022-2023 中国开发者大调查》重磅启动，欢迎扫描下方二维码，参与问卷调研，更有 iPad 等精美大礼等你拿！...阅读全文
基本概念 Prometheus 所有采集的监控数据均以指标（metric）的形式保存在内置的时间序列数据库当中（TSDB）：属于同一指标名称，同一标签集合的、有时间戳标记的数据流。除了存储的时间序列，Prometheus 还可以根据查询请求产生临时的、衍生的时间序列作为返回结果。 样本在时间序列中的每一个点称为一个样本（sample），样本由以下三部分组成： 指标（metric）：指标名称和描述当前样本特征的 labelsets； 时间戳（timestamp）：一个精确到毫秒的时间戳； 样本值（value）： 一个 folat64 的浮点型数据表示当前样本的值。
如果你是在一个大型组织，你运行了 NFS 或者 Samba 服务给不同的用户，你将会需要灵活的挑选并设置很多复杂的配置和权限去满足你的组织不同的需求。Linux（以及其他Unix等POSIX兼容的操作系统）有一个被称为访问控制列表(ACL)的权限控制方法，它是一种权限分配之外的普遍范式。例如，默认情况下你需要维护3个权限组：owner、group和other。 使用ACL后，你可以设置权限给其他用户或组，而不单只是简单的"other"。可以允许指定的用户A、B、C拥有写权限而不再是让他们整个组拥有写权限。 ACL支持多种Linux文件系统，包括ext2, ext3, ext4, XFS, Btrfs等。如果你不确定你的文件系统是否支持ACL，请参考文档。 首先我们需要安装工具来管理ACL...阅读全文
志（Audit log），现在定制化和可扩展性更强，支持事件过滤和 webhook。它们同时为系统审计提供了更丰富的数据。 状态化工作负载： StatefulSet Update 是1.7中一个新的 beta 状态的特性，能允许有状态应用如 Kafka，Zookeeper 和 etcd 的更新自动化。它使用了各种升级策略，包括滚动更新。 对于无顺序要求的应用，通过 Pod 管理策略（Pod Management Policy），StatefulSet 现在支持更快的伸缩和启动。这可以大大提升性能。 本地存储（ alpha状态 ）是有状态应用一个最常被请求添加的特性。用户现在可以通过标准的PVC/PV接口和StatefulSet中的StorageClass来访问本地存储卷。 DaemonSet...阅读全文
kubernetes，简称K8s，是知名的开源容器编排与调度平台，它的目标是让容器化部署、资源分配简单且高效。K8s是绝对主流且流行的容器管理平台，据说在合肥运维同学不会k8s是找不到工作的。本文我们将列举常用的kubernetes命令，后续会完善内容并提升易读性。 想起十几年前，我曾在Linux伊甸园的论坛，整理过一份rpm常用命令的列表，不知有多少朋友看过？ 查看所有namespace的pods运行情况 kubectl get pods --all-namespaces 查看具体pods，记得后边跟namespace名字哦 kubectl get pods kubernetes-dashboard-76479d66bb-nj8wr --namespace=kube-system 查看...阅读全文
状态。这一步遇到困难，可以参考这个 Youtube 视频。6 APP读取的时候会跳出检测，这时候不要动，等待读取完毕。同样需要一些耐心，多试试，不难。7 给身份证拍个照。点击【下一个】开始给身份证正面拍照。点击【下一个】开始人脸识别，这一步开始人脸验证。注意，不要裸露上身。8 这些信息填完之后，点击【提供我的详细信息】，开始填写自身国家、职业、公司等详细信息。在这之前，首先是检查你之前填写的姓名和邮箱等信息。9 选择工作类型，选择【受雇】或者【自雇】。填写税务信息。纳税人识别号为自己身份证号。10 这里选择 【不，我未曾/没有担任重要的公职,也不是一名已/被委托担任公共职务的公共职者 的家庭成员或关系亲近的人】然后，勾选电子邮件和短信，☑️ 勾选 【本人确认懂英文，并同意以英文形式...阅读全文
的永久存储和查询能力。 Compactor则是对Bucket里的历史数据进行采样或者清理，有具体需求后再自行研究即可。 上述组件均是可选的，没有历史数据永存需求的可以直接忽略。 方案2：thanos receive + thanos querier thanos提供的另一种方案是计算与存储分离，利用thanos receive组件部署一个分布式存储集群，然后令prometheus通过remote write机制直接写入到thanos receive集群完成分布式存储，这样prometheus本身就无状态了。 再利用thanos querier反向代理到thanos receive集群，最终对外提供统一的promql查询入口，这个阶段就没有prometheus什么事了。 这套方案的工作原理如下...阅读全文
