询时必须提供相同的值。在下面的例子中，这个headers是使用nginx反向代理设置的。架构图Cortex架构（源）Nginx/gateway–一个位于cortex前面的反向代理，将收到的所有请求转发给相应的服务。分发服务器Distributor–处理传入的指标，将其拆分为多个批次，然后将其传递给Ingesters。如果复制因子replication factor设置为> 1，则数据将发送到多个实例。接收器Ingester–此服务负责将数据写入已配置的存储后端。Ingester是半状态的，因为它们保留了最后12个小时的样本。这些样本将被批处理并压缩，然后再写入块存储。查询前端Query Frontend–一个可选组件，用于对查询请求进行排队，并在失败时重试它们。结果也被缓存以提高性能查询器...阅读全文
主要详细介绍Ansible和SaltStack。 AnsibleAnsibleisSimpleITAutomation Ansible的配备简易，不用在远程控制instances上事先尤其的手机软件，只必须能根据ssh登陆和Python就可以了。其原理都不繁杂，Ansible最先根据ssh将Ansible的可执行程序拷贝到总体目标isntances上并实行，随后根据ssh连接在远程控制服务器上启用Ansible可执行程序。Ansible应用YAML做为配备模版英语的语法。 小编在考博士期内以前参加过一个十分相近Ansible的群集管理系统软件新项目GXPClusterShell。GXP比Ansible大概早了五年。根据GXP不但能够达到相近Ansible的群集管理方法，与此同时也涵盖了...阅读全文
SaltStack。 AnsibleAnsibleisSimpleITAutomation Ansible的配备简易，不用在远程控制instances上事先尤其的手机软件，只必须能根据ssh登陆和Python就可以了。其原理都不繁杂，Ansible最先根据ssh将Ansible的可执行程序拷贝到总体目标isntances上并实行，随后根据ssh连接在远程控制服务器上启用Ansible可执行程序。Ansible应用YAML做为配备模版英语的语法。 小编在考博士期内以前参加过一个十分相近Ansible的群集管理系统软件新项目GXPClusterShell。GXP比Ansible大概早了五年。根据GXP不但能够达到相近Ansible的群集管理方法，与此同时也涵盖了一个根据make的Map-Reduce解决构架和一...阅读全文
分析错误）对控制器和服务，node同样有效 kubectl describe pods xxxxpodsname --namespace=xxxnamespace 其他控制器类似吧，就是kubectl get 控制器 控制器具体名称 查看pod日志 kubectl logs $POD_NAME 查看pod变量 kubectl exec my-nginx-5j8ok -- printenv | grep SERVICE kubectl get cs #### 集群健康情况 kubectl cluster-info #### 集群核心组件运行情况 kubectl get namespaces #### 表空间名 kubectl version #### 版本 kubectl api...阅读全文
。Warner强调说，安全性必须是代码不可分割的一部分，不能简单地在生产过程中才添加至系统。Warner看到了由于对机器学习的关注，对目前的安全领域产生了巨大影响，这种趋势最终会导致构建的系统会受一个自动的保护机制所保护。 云服务基础设施方面将会有工具和服务的增长，这些工具和服务将减少开发人员对基础设施的关注，开发人员能够更自由地专注于构建他们的产品和项目。这一过程将会与Warner所谓的“工作流战争（workflow war）”相关联： 随着大型科技公司开始收购那些专注于提升开发人员体验、解决基础设施问题以及构建更好的工作流工具的小型企业，企业的并购活动将会升温。 开源软件将在2018年继续发展，并将成为许多开发封闭源代码系统公司的重要竞争对手。据Warner所说，这一趋势在过去的10年中一直都很强劲...阅读全文
block_usb.conf (也可能叫其他名字) ， $ sudo vim /etc/modprobe.d/block_usb.conf 然后将下行内容添加进去： install usb-storage /bin/true 最后保存文件并退出。 方法 2：删除 USB 驱动 这种方法要求我们将 USB 存储的驱动程序（usb_storage.ko）删掉或者移走，从而达到无法再访问 USB 存储设备的目的。 执行下面命令可以将驱动从它默认的位置移走： $ sudo mv /lib/modules/$(uname -r)/kernel/drivers/usb/storage/usb-storage.ko /home/user 现在在默认的位置上无法再找到驱动程序了，因此当 USB 存储器连接到系统上时也就无法加载到驱动...阅读全文
多独特的安全功能。它还使用可读的配置语法，可以在不需要 HTTP 或 CGI 专业知识的情况下使用。 Hiawatha 的优势在于其体积小巧，安全性高，易于安装。它非常适合寻求轻量级替代 Apache 的用户，他们将安全可用性，速度和性能优先于高级功能。 Cherokee Cherokee 是我们这些服务器中第三个取自美洲原住民部落的名字。这个由 Akamai Technologies 工程总监 Alvaro Lopez Ortega 于 2001 年创建，他想将模块化和轻量化设计的速度和功能结合起来。 Cherokee 已经成为一个可扩展，高性能，用户友好的 Web 服务器，具有较低的内存占用空间和负载平衡设施。其中包括一个称为 cherokee-admin 的基于 Web 的管理界面...阅读全文
近日，Facebook 开源了一套解决重要计算集群管理问题的 Linux 内核组件和相关工具，这些项目覆盖了资源控制、资源利用、工作负载隔离、负载均衡、测量和监控等方面：BPF、Btrfs、Netconsd、Cgroup2、PSI、Oomd。 Facebook 表示这些项目现在已大规模用于其所有基础设施生产环境中，并用于其它许多企业组织的环境中。 BPF：https://facebookmicrosites.github.io/bpf/ BPF 是 Linux 内核中一种高度灵活、高效率的代码执行引擎，可以让字节码在各个 hook 点运行，以使用自定义代码。虽然 BPF 已广泛用于数据包过滤，但是 BPF 的指令集具有很强的通用性和灵活性，足以支持和允许除网络之外的众多使用场合，比如跟踪和...阅读全文
谷歌于 1 月下旬曾向 USPTO（美国专利及商标局）递交了名为 “Pigweed” 的新商标申请。根据申请内容来看，Pigweed 商标涵盖“计算机操作软件”。当时，人们猜测这是一款新的操作系统商标，但并未有任何相关信息提供。 昨日，谷歌毫无征兆地公布并开源了 Pigweed。与之前的猜想不同，这是一个嵌入式库（或模块）的集合。使用 Pigweed 模块可以在 32 位微控制器（ 即嵌入单电路芯片中的小型计算机 ）上实现更快、更可靠的开发。 Pigweed 提供的模块可满足嵌入式开发人员的广泛需求。从整个生命周期来看，Pigweed 从设置，到开发，再到代码提交，都能够有效提高嵌入式开发的效率。谷歌以上述开发过程为轴，围绕这几个方面分别介绍了 Pigweed 的一些模块。 嵌入式空间...阅读全文
加密项目，预计8月1日起，商家将无法获得订单收获信息中用户的手机号、姓名、收货地址等信息，这些信息将以加密字符串的形式输出，导出数据也逐步会变成密文。 海豚智库创始人李成东告诉记者，客户信息加密后，商户和快递公司均将无法获取到客户相关信息。这意味着，“双十一”或者“618”前，商户疯狂对客户短信轰炸的局面不会再出现了。 一位TMT领域的专家表示，打击信息泄露、保护用户信息安全是当下互联网平台治理的重点方向。电商平台与其坐等政策干预，还不如主动求变，提前做好准备。...阅读全文
Refer to https://www.linkedin.com/pulse/system-design-rules-navneet-kumar-p6n7f/ 系统设计很复杂，它需要设计者有深厚的计算机知识和专业知识，没有一种通用的设计可以适应所有业务场景。尽管如此，还是有一些比较通用的规则可以供你设计系统时参考，也能帮助你在面试中摆脱困境。 1. 对于数据密集型系统 — 考虑使用缓存。 2. 对于写入量大的系统 — 使用消息队列进行异步处理 3. 对于低延迟要求 — 考虑使用缓存和 CDN。 4. 需要𝐀原子性、𝐂一致性、𝐈隔离性、𝐃耐用性兼容数据库 — 选择 RDBMS/SQL 数据库。 5. 对于非结构化数据——可以选择NoSQL...阅读全文
发模式，以及促进其广泛的开发人员生态系统。此外，通过专利承诺、GPL 合作承诺、OIN 和 LOT 网络等工作，IBM 和 Red Hat 将继续致力于持续的开源自由。 除了 IBM Cloud 之外，IBM 和 Red Hat 还将继续构建和增强红帽合作伙伴关系，包括主要云提供商，如 AWS、微软 Azure、谷歌云与阿里巴巴等。与此同时，红帽将从 IBM 的混合云和企业 IT 规模中受益，帮助他们将开源技术组合扩展到全球业务。 “收购 Red Hat 是一个改变游戏规则的方式。它改变了有关云市场的一切”，IBM 公司董事长、总裁兼首席执行官 Ginni Rometty 表示：“IBM 将成为全球排名第一的混合云提供商，为企业提供唯一的开放云解决方案，为企业提供全面的云价值。” “如今，大...阅读全文
、紫光展锐等公司也加入了RISC-V联盟，其中华米科技今年9月份还宣布了基于RISC-V指令集的首款智能穿戴芯片黄山1号。 不过RISC-V前景虽好，但是现在还在起步阶段，包括RISC-V基金会本身的运作也需要向Linux基金会这样的成熟社区学习，所以这次合作对RISC-V阵营意义重大，Linux软件生态在RISC-V处理器的开发、优化、支持等方面都会推动RISC-V建立更强大的生态系统。...阅读全文
到 1，那么 Pod 也不得不重启， kubectl scale deployment {deployment} --replicas=0 -n {namespace}kubectl scale deployment {deployment} --replicas=1 -n {namespace} 第二种方式：使用 yaml 文件重启Pod 当我们有 Pod 的 yaml 文件是，可以直接使用 replace 命令，来强制替换 Pod 的API对象，从而实现重启的效果： kubectl replace --force -f youpod.yaml 如果你手头没有 yaml 文件，直接使用的 Pod 对象，我们可以稍微调整一下上面的命令，如下： kubectl get pod {podname...阅读全文
Sysdig 是 Sysdig Cloud 开发的主要基于Lua语言的一个开源系统分析工具。Sysdig 能从运行的系统中，获取系统状态和行为，做过滤分析，功能上超同类开源工具。Sysdig 可以看做是 strace + tcpdump + lsof + htop + iftop 以及其他系统分析工具的合集 。 此外 Sysdig 还能对容器（如docker、coreOS、LXC）进行监控。 Sysdig 也支持windows平台和mac平台。下面我们以 Linux系统为例，举例说明 Sysdig 的用法，你也可以参考官方原文。 网络 查看占用网络带宽最多的进程：sysdig -c topprocs_net显示主机192.168.0.1的网络传输数据 as binary：sysdig...阅读全文
-proxy/cloaking-rules.txt 这个文件，在后面添加你的DNS，例如：# my customized dns www.one-domain.com x.x.x.x *.your-domain.com x.x.x.x其实我想要方案是匹配域名，然后把这些域名的DNS指向另一个DNS，这样会方便些，不过似乎 dnscrypt-proxy 还不支持。还有一个方案就是把 fallback_resolver 改成公司所提供的DNS。更多文章socketserver 源码阅读与分析functools 源码阅读与分析contextlib代码阅读Collections 源码阅读与分析Redis通信协议阅读2016年就要结束了，2017年就要开始啦！unittest 源代码阅读APUEv3 - 重读笔...阅读全文
或显示关于命令的信息。它带参数运行命令，会阻止 shell 函数查询或者别名，或者显示有关给定命令的信息。 方法 5 - 使用 unalias 命令的说明 要从当前会话的已定义别名列表中移除别名，请使用 unalias 命令： unalias mount 要从当前 bash 会话中删除所有别名定义： unalias -a 如果要永久删除定义的别名，则必须删除别名的定义语句，确保你更新你的 ~/.bashrc 或 $HOME/.bash_aliases ： vi ~/.bashrc #或者执行 vi $HOME/.bash_aliases 想了解更多信息，参考这里的在线手册，或者输入下面的命令查看： man bash help command help unalias help alias...阅读全文
(container_spec_cpu_quota{image!=""}/100000) by (pod_name, namespace)) 将上面两个公式的结果相除，就得到了容器的CPU使用率： sum(rate(container_cpu_usage_seconds_total{image!=""}[1m])) by (pod_name, namespace) / (sum(container_spec_cpu_quota{image!=""}/100000) by (pod_name, namespace)) * 100 Pod内存使用率计算 Pod 内存使用率的计算就简单多了，直接用内存实际使用量除以内存限制使用量即可： sum(container_memory_rss{image!=""}) by(pod_name...阅读全文
，Client会按照这些SRV的权重分配请求。下一次向服务发起的请求可能发送到了不同的地址。在通过SRV记录的权重来分配请求的时候，使用的是本地缓存的DNS记录，所以不能实时地感知到服务的地址列表变化。除非将 TTL 设置的非常短暂，但这样将会频繁地查询DNS服务器。 Client查询服务地址的过程 rfc-2782中已经做了很好地介绍，这里就不表述了。 配置举例 下面是DNS中 master file，可以看到有 example.com 域名提供了一个名为_foobar._tcp 的服务，这个服务有两个 SRV 记录，分别指向了 sys-box.example.com:1099 和 server.example.com:1099 $ORIGIN example.com. @ SOA...阅读全文
Linux 主线影响了 PaX/Grsecurity 的正常开发，这也是 PaX/Grsecurity 关闭公开访问 test patch 的主要原因之一，最近由 Qualys 曝光的 Stack clash 是一个古老的漏洞利用平面的工程化，这威胁到了几乎所有类 UNIX 系统（包括 GNU/Linux）的安全，当 Linux 内核 x86 的 maintainer 之一 Andy Lutomirski 问及 PaX/Grsecurity 是如何修复时 Linus 直接回复了 Grsecurity 是垃圾，有趣的是当 PaX/Grsecurity 的作者之一 Spender 曝光了一些内核最近的 silent fix 以后 Linus 居然 “邀请”PaX team/Spender 直接贡献代码...阅读全文
缓存功能，保证存储在客户端内存的数据，在收到来自服务器的失效通知时才失效。 另外，当客户端和服务器的连接中断时，客户端无法接收到数据失效通知，这可能会导致服务出现问题。针对这种情况，一般的做法是重新建立客户端和服务器之间的连接，并更新客户端当前的缓存。antirez 表示可以一直保持连接是最好的情况，但为了降低风险，Redis 服务器在与客户端断开连接时，会将失效通知发送给其他客户端。 这项名为”Client side caching” 的功能尚未正式确定名字，最后可能会被成为”Tracking”。Redis 作者还表示在 Redis 6 候选版发布之前，这些功能都会进行调整，希望社区能积极反馈意见。 由于 Client side caching 功能需要使用 RESP3 协议来支持实现...阅读全文
在集群化环境里，日志采集是重要基础设施。本文结合最新的 1.0.9 版，对 logpipe 做一个简单的介绍。开源主流解决方案是基于 flume-ng，但在实际使用中发现 flume-ng 存在诸多问题。 比如 flume-ng 的 spoolDir 采集器只能对文件名转档后的大小不能变化的最终日志文件进行采集，不能满足采集时效性要求，如果要采集正在被不断追加的日志文件，只能用 exec 采集器搭配 tail -F 命令，但 tail -F 命令又不能通配目标目录中将来新增的未知文件名。其它解决方案如 logstash 由于是 JAVA 开发，内存占用和性能都不能达到最优。 作为一个日志采集的本地代理，内存占用应该小而受控，性能应该高效，耗费 CPU 低对应用影响尽可能小，要能异步实时追踪...阅读全文
一个待处理事件的列表，使用非阻塞 I/O 方式调用“事件处理器”来处理该请求。其处理方式称为“多路 IO 复用方法”，常见的包括以下三种：select 模型、poll 模型、epoll 模型。 针对上面的技术我特意整理了一下，有很多技术不是靠几句话能讲清楚，所以干脆找朋友录制了一些视频，很多问题其实答案很简单，但是背后的思考和逻辑不简单，要做到知其然还要知其所以然。如果想学习Java工程化、高性能及分布式、深入浅出。微服务、Spring，MyBatis，Netty源码分析的朋友可以加我的Java进阶群：433540541，群里有阿里大牛直播讲解技术，以及Java大型互联网技术的视频免费分享给大家。 四. Nginx 设计架构 Nginx 服务器使用 master/worker 多进程模式。多...阅读全文
起运维人员挖矿导致百度损失 2.7 万的事件，同样是运维人员在“涉险”，为什么是运维人员呢？ “运维”人员在企业的价值，他们自己的调侃是：当企业没有发生技术故障的时候，大家感觉不到运维人员的存在。当企业发生故障的时候，大家感觉到运维人员确实没有存在的必要。 但调侃归调侃，这反映了技术运维人员在企业中面临的尴尬处境，但实际上，运维人员对于一家企业运营维护的保障，确实是很重要的。他们的职责包括服务器的部署、配置、维护；互联网平台的部署、升级、迁移、数据备份恢复；监控服务器，平台的运行，系统优化等，可以说，他们掌握了企业的后门，一旦运维部门发生危险，公司有可能陷入瘫痪状态，因此，一直以来，运维人员也拥有很多访问权限，而这却变成了运维人员不惜“涉险”的一个原因之一。 于是，如何对运维人员进行权限管理...阅读全文
-receive.monitoring.svc.cluster.local。 注意让querier忽略掉receive实例返回数据中的replica标签，这样多个receive返回的相同label数据才能判定为重复并被去重。 让grafana指向querier的http 9090端口即可，下图是thanos querier界面，它发现了3个receive store节点，同时对外提供和prometheus原生一模一样的查询界面和API： 最后配置prometheus的remote-write将数据写入到receive集群，这个是prometheus原生配置： YAML 1234567891011 global: scrape_interval: 30s scrape_timeout: 10s evaluation_interval: 30s...阅读全文
下面的逻辑来覆盖默认设置： 主配置文件最先被读取， 优先级也最低。 所有 *.conf.d/ 中的配置文件 都会覆盖主配置文件中的设置。 所有 *.conf.d/ 中的配置文件(无论位于哪个目录中)， 统一按照文件名的字典顺序处理。 当多个配置文件都设置了同一个选项的时候： (1)如果该选项仅接受一个单一值，那么仅以文件名最靠后(字典顺序)的那一个为准； (2)如果该选项可接受一个值列表，那么将会按照文件名的字典顺序将所有值列表拼接起来。 为了便于排序， 建议给所有 *.conf.d/ 中的配置文件 都加上两位十进制数字的文件名前缀。 如果系统管理员想要屏蔽 /usr/lib/ 目录中的某个配置文件， 那么最佳做法是在 /etc/ 目录中 创建一个指向 /dev/null 的同名符号链接...阅读全文
经筹集了大量资金，它们将面临获得这些投资回报的压力。”Wrabetz提到。她认为这种整合在DevOps工具市场上是非常需要的。 进一步容器化 2016年，我们见证了大规模容器化，但是Morpheus数据公司技术运营总监兼系统架构师Greg Willis认为，由于工具变得更加稳定，且容器生态在编排工具的作用下更加巩固，我们将会见到进一步容器化。他说，“正如虚拟化技术让企业适应从物理机向虚拟机的转变，我们将会看见企业更多的将工作负载运行在诸如AWS ECS、Kubernetes、DCOS、Docker数据中心等平台上。” 统一开发、安全和运维 如果说2016年是运维安全的崛起，尤其是Docker对安全的更新，那么2017年我们将见到开发、安全和运维的统一。CA Technologies公司...阅读全文
m5.2xlarge 类型的 Windows 的标准RI，由于计算需求改变，我们需要 m5.4xlarge 的实例以满足业务需求，那么我们可以将两个 m5.2xlarge 的 RI 合并成一个 m5.4xlarge。 同样我们也可以将 m5.4xlarge 进行同实例类型的大小拆分。 场景四：回到上面的场景二，您在新加坡区域有个 m5.4xlarge 的 Windows 实例在运行 ,且当前我有一个 m5.2xlarge 的标准 RI，一个 m5.xlarge 的标准RI，那么这种情况下能不能再购买一个 m5.xlarge 的标准Windows RI 进行合并操作呢？这种情况下则无法通过购买 m5.xlarge 标准 RI 合并为 m5.4xlarge 标准RI。 这里就要提到标准RI拆分合并的限制：标准预留...阅读全文
伦堡的 SUSE 办公室。 而在2012年2月1日，Linux基金会官方发文正式宣称GKH加入。 https://www.linuxfoundation.org/press-release/2012/02/leading-kernel-maintainer-greg-kroah-hartman-joins-the-linux-foundation/ Linux基金会的执行董事Jim Zemlin对GKH更是赞不绝口，“Greg是这个世界上最具天赋的软件开发者之一，他将会对Linux的发展提供无与伦比的贡献。”，并表明GKH的工作将会聚焦于Linux内核方面。 会员类别与年费 Linux基金会的会员分为企业会员和个人会员，而企业会员又分为白金会员、黄金会员和白银会员三种。 会员类别企业/个人会...阅读全文
年7月 更是登顶全球交易所交易量排名榜首，成为全球产品布局最广泛的管理平台之一。与此同时，[CoinEx](http://cet.im) 已经是一个提供币币交易、杠杆交易、永续合约等多元化衍生品交易服务，支持中/英/日/韩/俄等多国语言，为全球超过一百个国家和地区提供安全、稳定、可信赖的数字资产交易服务。 在当前的大环境下，CET飙涨一路绿灯，CET及其背后的全球数字货币交易平台CoinEx走进了更多人的视线中；同样受到关注的，还有 CoinEx 即将推出的全新支持智能合约的智能链 [CoinEx Smart Chain（CSC）](https://www.coinex.org/)。市场利好条件虽说是推动 CET 币价的因素之一，但更加关键的还是CoinEx这股厚积薄发的力量。 下面就详细为...阅读全文
/etc/systemd/system/ 目录中的单元文件的优先级总是高于 /usr/lib/systemd/system/ 目录中的同名单元文件。注意，当/usr/lib/ 中的单元文件因软件包升级变更时，/etc/ 中自定义的单元文件不会同步更新。此外，你还得执行 systemctl reenable
热线、在线聊天支持。作为全球云服务的龙头企业，亚马逊云计算拥有最广泛的全球云计算基础设施，全球节点丰富，为网站的快速稳定访问提供基础设施保障。配合亚马逊全球CDN节点，能满足不同国家独立站访问速度需求。1.什么是云服务器？云计算服务器(也称云服务器或云主机)是云计算服务系统中的主机产品，有效解决了传统物理主机中管理难度大、业务扩展性弱的缺陷。在实际应用中，云主机具有三个方面的灵活性:主机服务配置和业务规模可根据用户需求配置，可灵活调整。用户申请的主机服务可以快速供应和部署(实时在线开通)，实现集群内灵活可扩展的收费模式，用户无需支付押金，有多种支付模式供用户选择。2.云服务器适合什么样的用户？关注主机服务性价比的用户；需要快速实现分布式部署的用户；需要灵活扩展业务的用户；对系统高可用性和快速...阅读全文
于断言的语法。 缺点： 多数情况下，它需要一个测试运行器（如 Karma ）。 难以异步测试。 如果你正在寻找一个统一的（客户端 - 服务器）单元测试解决方案，Jasmin 可能会非常适合。 7. Mocha Mocha 是一个 JavaScript 单元测试框架，它在 NodeJs 上运行测试，主要与 ReactJS 配对使用。 优点： 内置测试运行器。 支持异步测试。 使用灵活，可使用任何符合需求的断言库（Chai、expect.js、Must.js 等）作为 Node 标准“断言” 功能的替代品。 缺点： 相对较新 (起始于 2012 年)，意味着有许多的未知性和可变性，在某些方面或缺乏用户基础和支持。 仅提供基本的测试结构，因此需要额外的设置和配置（对于一些可能是有利的）。 如果你正...阅读全文
/proc/sys/net/core/rmem_max 131071 131071：tcp 或 udp 接收缓冲区最大可设置值的一半。 也就是说调用 setsockopt(s, SOL_SOCKET, SO_RCVBUF, &rcv_size, &optlen); 时rcv_size 如果超过 131071，那么 getsockopt(s, SOL_SOCKET, SO_RCVBUF, &rcv_size, &optlen); 去到的值就等于 131071 * 2 = 262142 [root@ www.linuxidc.com]# cat /proc/sys/net/core/wmem_max 131071 131071：tcp 或 udp 发送缓冲区最大可设置值得一半。 跟上面同一个道理 3...阅读全文
可扩展套件，与你的基础环境交互，执行流程如下： 从各个服务系统通过push或pull的方式把event传给sensors， sensors会产生一个trigger到规则配置中查询该trigger对应的动作或者工作流将来自工作流的Action发送到消息队列（内置rabbitmq）中Actions到达外部的系统后就执行相应的动作日志和审计历史被推送到数据库进行存储（Mongodb）处理后的结果被发送回规则引擎进行进一步处理 Stackstorm的更新非常活跃，最新的发布信息从官方网站上可以看到。目前最新的版本是 2.10.1。 Stackstorm工作原理 目录...阅读全文
。 cargo vendor 已经在生产中使用过很多种情况：Rust 编译器 rustc 使用它在发行版 tarball 中传递它的所有依赖项，而具有 Monorepos 的项目使用它在源代码管理中提交依赖项的代码。 对宏使用未命名的 const 现在可以创建未命名的 const。相比给常量一个显式的名称，只需将其命名为 _ 。例如，在 rustc 编译器中： /// Type size assertion where the first parameter /// is a type and the second is the expected size. [macro_export] macro_rules! static_assert_size { ($ty:ty, $size:expr...阅读全文
（translation layer）转换为 WSL 2 中的虚拟化内核，因此重新实现利用 Linux ABI 的数十种非标准方式是非常痛苦的事情。为微软拥有的 Linux 上的SQL Server 提供一个 NT 相关的兼容层是一回事，为其他数百万开发者的应用提供保证是另一回事。 3.微软投入巨大 近年来，微软在 Windows 上倾注的人力物力已经无法计算。微软在 Windows 10 的可用性、新功能、性能改进等多方面进行了优化投资，并取得了回报。在这些改进的基础上，通过和 OEM 厂商的合作，以及推出 Surface 品牌，已经帮助振兴了 PC 市场。 微软一直在努力使 Windows 成为一个优秀的开发平台，其项目包括 Windows Terminal、PowerToys、Windows...阅读全文
了答案。 从单机到分布式，是追求更快和更高的性能，但也带来了更多的不确定性。比如，不确定计算机何时异常，不确定磁盘何时损坏，不确定网络通信的延迟，也不确定消息是否被正常消费。这些不确定性构成了分布式应用的挑战，简而言之： 异构的机器与网络：稳定性问题普遍的节点故障：可靠性问题不可靠的网络：一致性问题 面对这些挑战，业界提出了诸多的分布式理论、协议，如CAP定理，BASE理论，一致性协议2PC/3PC/ZAB，来保证系统的正常运行。虽然问题貌似是有了解决方案，但是应用的复杂度升高了。应用除了需要实现业务需求，还要兼顾非业务需求，集成诸如服务发现、负载均衡、失效转移、动态扩容、数据分片、调用链路监控等分布式系统的核心功能，对应用有很强的侵入性，这就是以Spring Cloud为代表的微服务框架的...阅读全文
消息发送端： 发送消息如果配置了重试机制，比如网络抖动时间过长导致发送端发送超时，实际broker可能已经接收到消息，但发送方会重新发送消息 消息消费端： 如果消费这边配置的是自动提交，刚拉取了一批数据处理了一部分，但还没来得及提交，服务挂了，下次重启又会拉取相同的一批数据重复处理 一般消费端都是要做消费幂等处理的，比如每条消息使用redis的setnx分布式锁，把消息放redis里，这样两次消息一样的话，第二次的消息是放不进去的。 2.1.3 消息乱序 如果发送端配置了重试机制，kafka不会等之前那条消息完全发送成功才去发送下一条消息，这样可能会出现，发送了1，2，3条消息，第一条超时了，后面两条发送成功，再重试发送第1条消息，这时消息在broker端的顺序就是2，3，1了 所以，是否一...阅读全文
服务化项目服务不可用几十分钟，造成订单数减少几十万笔，损失百万资金。 原因分析 当时是没有定位到具体的原因的，但是下面的原因也是一部分可能引起宕机的情况。 某服务化项目的业务增速非常快，在高峰期，数据库QPS突破35000，系统处于高负荷状态。 在高峰期如果同时执行几个全表扫描的SQL，会造成数据库压力急剧上升，应用超时增多，前端应用超时，用户重试，流量飙升，形成了雪崩效应。 主要原因在与一些老项目的SQL查询性能较差，并且使用的主库，对数据库影响较大。数据库QPS太高，但是缓存方案因为人手原因一直没有落地，慢SQL的问题处理优先级应该提升。 改进方案 针对每个应用建一个数据库账号，严格按照规范使用 缓存优化方案即时落地，慢SQL问题优先处理，集中处理目前已经发现的慢SQL（查询时间超过1S...阅读全文
Williams 却坚持认为取代 live-build 很有必要。Learmonth 给 live-build-ng 换了一个争议性也许小一些的名字： live-wrapper 。他说他的目标是为 Debian Live 项目加入新的工具（并且「把 Debian Live 项目引入 Debian 里面」），但是完成这件事还需要很大的努力。 我向已经被 ITP 问题所困扰的每个人道歉。我们已经告知大家 live-wrapper 还不足以完全替代 live-build 且开发工作仍在进行以收集反馈。尽管有了这部分的工作，我们收到的反馈缺并不是我们所需要的。 这种对于取代 live-build 的强烈反对或许已经被预知到了。自由软件社区的沟通和交流很关键，所以，计划去替换一个项目的核心很容易引起争议——更何况是...阅读全文
Spinnaker 是 Netflix 在2015年开源的一款持续交付平台，它继承了 Netflix 上一代集群和部署管理工具 Asgard：Web-based Cloud Management and Deployment的优点，同时根据公司业务以及技术的的发展抛弃了一些过时的设计：提高了持续交付系统的可复用性，提供了稳定可靠的API，提供了对基础设施和程序全局性的视图，配置、管理、运维都更简单，而且还完全兼容 Asgard，总之对于 Netflix 来说 Spinnaker 是更牛逼的持续交付平台。 在深入了解 Spinnaker 之前，先扯一扯 Netflix 的技术文化：这是一家全面拥抱云的公司，据报道数据中心完全部署在 AWS 上，是 AWS 的超级大客户。在上云后他们发现故障仍...阅读全文
=nobody TCP4:目标地址:目标端口号 >> /var/log/socat.log 2>&1 &nohup /usr/bin/socat -d -T 60 UDP4-LISTEN:本机端口号,reuseaddr,fork,su=nobody UDP4:目标地址:目标端口号 >> /var/log/socat.log 2>&1 &上面两条命令可在 root 用户下执行。 目标机的设置此处示例的目标机为 Debian & Ubuntu 系统，安装并启用了 UFW：如需同时允许 TCP 和 UDP 入站：1sudo ufw allow from 中转机地址 to any port 端口号如需只允许 TCP 入站：1sudo ufw allow proto tcp from 中转机地址 to any...阅读全文
文件是必须要做的，但关闭通道不是必须的。关闭后的通道有以下特点：对一个关闭的通道再发送值就会导致panic。对一个关闭的通道进行接收会一直获取值直到通道为空。对一个关闭的并且没有值的通道执行接收操作会得到对应类型的零值。关闭一个已经关闭的通道会导致panic。channel的种类不带缓存的channel一个基于无缓存Channels的发送操作将导致发送者goroutine阻塞，直到另一个goroutine在相同的Channels上执行接收操作，当发送的值通过Channels成功传输之后，两个goroutine可以继续执行后面的语句。反之，如果接收操作先发生，那么接收者goroutine也将阻塞，直到有另一个goroutine在相同的Channels上执行发送操作。基于无缓存Channels的...阅读全文
件公司Tableau卖给了Salesforce公司。AWS业务有点像自助餐，给开发者和终端用户提供了几百种在线服务自由选择，另外每年还不断推陈出新。从财务角度看，这一业务还是个“黑箱”。亚马逊没有披露云计算业务的具体营收来源，也没有给出各个子版块的利润率情况。AWS诞生初期，就是作为一个基础计算服务的外包供应商，包括计算资源和数据存储等。可以判断，该业务大部分收入和利润仍然来自这些业务。科技业人士克里·奎因（Corey Quinn）曾经在私营的Duckbill集团担任首席云经济学家，帮助客户公司降低他们在亚马逊云计算的开支。奎因预测，AWS一半以上的收入来自于EC2计算服务。这一服务相当于让企业用户在亚马逊数据中心租赁到了实体服务器虚拟的“一部分”。奎因表示，计算服务再加上“弹性块存储...阅读全文
