数周前，开源软件爱好者 Eric S Raymond 提出的观点引发热议，他认为微软应该在 Linux 内核基础上重构 Windows。他认为目前个人电脑业务持续下滑，Windows 早已不再是微软的支柱业务，通过重构能够实现利润最大化。不过，曾参与 Windows Subsystem for Linux 的 Ubuntu 移植开发的 Hayden Barnes 对此持反对观点，认为微软不会基于 Linux 重构 Windows。 Hayden Barnes 是游走在微软和 Linux 社区之间的知名开发者，曾帮助 Windows Subsystem for Linux（WSL）上推进 Ubuntu 开发工作。因此他能够和很多 Linux 开发人员、开源项目人员、社区成员和微软员工进行交流...阅读全文
riched20 这个过程要下载两个文件W2KSP4_EN.EXE与InstMsiW.exe，很难下载，中断了失败不要紧，可以不断执行winetricks riched20，直到网络能够连上解决的话下载成功就OK。 安装好riched20库后，可以按上面小节“安装应用”的方法，安装微信与QQ。笔者成功用wine安装微信PC版2.9.5与QQ PC版9.3.7。并且用fcitx输入法可以输入文字。 其中找不到wine的QQ如何打开的话，它路径是~/.wine/drive_c/Program Files (x86)/Tencent/QQ/Bin/QQ.exe，右击选择wine打开即可。 补充：同样方法也安装TIM（如果有冲突说另一程序运行，可以重启电脑再安装）成功。路径为~/.wine/drive_c...阅读全文
务（Backend-as-a-Service，BaaS），或移动后端即服务（MobileBackend-as-a-service，MBaaS）。 现在，无服务器架构是指大量依赖第三方服务 (也叫做后端即服务，即“BaaS”) 或暂存容器中运行的自定义代码 (函数即服务，即“FaaS”) 的应用程序，函数是无服务器架构中抽象语言运行时的最小单位，在这种架构中，我们并不看重运行一个函数需要多少 CPU 或 RAM 或任何其他资源，而是更看重运行函数所需的时间，我们也只为这些函数的运行时间付费。无服务器架构中函数可以多种方式触发，如定期运行函数的定时器、HTTP 请求或某些相关服务中的某个事件。 Serverless 案例 以带有服务功能逻辑的传统面向客户端的三层应用为例（一个典型的电子商务应用网...阅读全文
欢销售），很多人认为销售技能不可习得。 做销售的另一个秘诀是：重要的事情要亲力亲为。在刚开始创业时，我非常乐意出差办事，这在很多人看来是不必要的，但是事事亲力亲为却给我带来了三次职业生涯的转折点，如果当时没有选择这样做，我可能会走上另一条道路。 5 要有冒险精神 大多数人往往都高估了风险低估了回报。冒险对我们来说也很重要，因为人不可能永远不犯错，我们需要不断试错，学习并快速适应。 在职业生涯早期，人们往往更愿意冒险，因为那时你没有什么可失去的东西，但却可能得到很多。一旦一个人履行了自己的基本责任义务，就可以开始大胆冒险了。我们可以先下小的赌注，如果赌输了会输掉1倍，但如果成功了，则可以赚到100倍。之后我们再沿着这个方向下更大的赌注。 但是要注意不能一直待在舒适圈。在YC，我们从谷歌和脸书长...阅读全文
){ pollfds[0].revents = 0; ret = recv(connfd,buff,sizeof(buff)-1,0); printf("receive %d bytes from client: %s \n",ret,buff); } } 由于源码中，我做了比较详细的注释，同时将和select模型不一样的地方都列了出来，这里就不再详细解释了。总体说来，poll模型比select模型要好用一些，去掉了一些限制，但是仍然避免不了如下的问题： 用户态和内核态仍需要频繁切换，因为revents的赋值是在内核态进行的，然后再推送到用户态，和select类似，整体开销较大。 仍需要遍历数组，时间复杂度为O（N）。 epoll模型 如果说select模型和poll模型是早期的产物，在性能上有诸多不尽人意之...阅读全文
易双方处理的数据类型非常复杂且在不断演进更迭，交易双方仅根据GDPR的定义或监管机构的指引，很难判断特定类型数据是否属于GDPR管辖的“个人数据”，导致实践中对于“个人数据”这一概念的解释弹性空间极大。例如：通讯网络和设备中（例如核心网存储设备）存储或传输的IMSI、IMEI、ISDN等识别号码，虽也可与其它信息结合间接地识别到特定个人，但识别的过程复杂，需利用一定技术手段，并投入较多时间和成本。 这些成本及投入何时是“合理的”，何时是“不合理的”？对于广大交易双方而言很难判定，导致数据的控制者（譬如电信运营商）经常与数据处理者（如通讯设备和运维供应商）之间时常就上述IMSI、IMEI号等数据是否受GDPR管辖这一问题无法达成一致，进而无法在前述DPA《数据处理协议》、SCC《数据跨境转移协...阅读全文
"> 注意输出格式中的 %M() 一行，这里意味着在打印日志的时候，需要打印当前日志所在执行的方法，这样看来，这个操作严重影响到了性能。 9.3 日志配置规则去除方法名 修改一下日志 append 格式,去掉方法输出，处理速率一下子就达到了7万多。 采用上文中的方法继续使用 async-profiler 生成火焰图，并用浏览器打开。这时候,日志 append 操作所占用的横轴长度显著下降，并且此时速度已经达到了关闭日志append 时的速度，说明修改日志输出格式后能够带来...阅读全文
送下一条消息。这种情况下，如果follower没有成功备份数据，而此时leader又挂掉，则消息会丢失。 （3）acks=-1或all： 这意味着leader需要等待所有备份(min.insync.replicas配置的备份个数)都成功写入日志，这种策略会保证只要有一个备份存活就不会丢失数据。这是最强的数据保证。一般除非是金融级别，或跟钱打交道的场景才会使用这种配置。当然如果min.insync.replicas配置的是1则也可能丢消息，跟acks=1情况类似。 消息消费端： 如果消费这边配置的是自动提交，万一消费的数据还没处理完，就自动提交offset了，但是此时你consumer直接宕机了，未处理完的数据丢失了，下次也消费不到了。所以消费端也要设置为手动提交； 2.1.2 消息重复消费...阅读全文
的初始连接和 stream 的 flow control window size。 Flow control 不可能被禁止掉。当 HTTP/2 连接建立起来之后，client 和 server 会交换 SETTINGS frames，用来设置 flow control window size。 Flow control 是 hop-by-hop，并不是 end-to-end 的，也就是我们可以用一个中间人来进行 flow control。 这里需要注意，HTTP/2 默认的 window size 是 64 KB，实际这个值太小了，在 TiKV 里面我们直接设置成 1 GB。 HPACK 在一个 HTTP 请求里面，我们通常在 header 上面携带很多该请求的元信息，用来描述要传输的资源以...阅读全文
HTML5 属于万维网联盟 (W3C), 这个组织为整个网络界提供了标准，如此形成的协议可在全世界通行。在 2016 年 11 月， W3C 对长期行使的 HTML 5 标准进行了更新，它是2年内的第一次小更新。许多最开始提出的 HTML 5.1 功能特性都因为设计上的缺陷和缺乏浏览器厂商的支持而去掉了。 尽管有一些元素和功能提升被带进了 HTML 5.1 里面, 但它仍然是一个小的更新。其中的一些新的元素包含了组合标签, 现在这样的元素包括有
，可能是先从RSS数据源中抓取文章的内 容，然后将其丢入一个叫做“文章”的topic中；后续操作可能是需要对这个内容进行清理，比如回复正常数据或者删除重复数据，最后再将内容匹配的结果返 还给用户。这就在一个独立的topic之外，产生了一系列的实时数据处理的流程。 日志聚合:使用Kafka代替日志聚合（log aggregation）。日志聚合一般来说是从服务器上收集日志文件，然后放到一个集中的位置（文件服务器或HDFS）进行处理。然而Kafka忽略掉 文件的细节，将其更清晰地抽象成一个个日志或事件的消息流。这就让Kafka处理过程延迟更低，更容易支持多数据源和分布式数据处理。比起以日志为中心的 系统比如Scribe或者Flume来说，Kafka提供同样高效的性能和因为复制导致的更高的耐用性保证...阅读全文
高可用性。使Prometheus高可用的一种方式是运行多个实例去scraping相同的作业。这些实例在抓取指标时会因微小的时间间隔差异而在数据中产生细微差异。此外，如果其中一个实例宕机了几个小时，那么当查询转发到该实例时，将会出现数据空白。如果我们使用grafana这样的工具将指标展示为图形，我们可能会得到不同的样本值或有数据缺失的图形。可以将Cortex配置为从多个HA Prometheus实例读取数据。它从一个主实例main接受指标，并从其他实例放弃该度量。一旦这个副本掉线，Cortex会无缝切换到另一副本并将其标记为主副本main。为此，Cortex着眼于两个标签，一个共同的标签与一个集群（或一组Prometheus）相关联，另一个识别副本。全局指标视图可以将Prometheus实例配...阅读全文
Cygwin，而且一开始很难理解其报告。Samhain日志默认情况下位于/ var / log ，默认情况下用于XML编写（使用./configure –enable–xml-log 命令对其进行配置）。Samhain包括日志文件旋转和锁定功能。它有助于记录SQL数据库，控制台，电子邮件，系统日志，Prelude IDS等。5.安全洋葱Security Onion是由Doug Burks设计和维护的基于Linux的免费开源入侵检测系统。该项目由三个组件组成：完整的数据包捕获功能，将基于主机的事件与基于网络的事件相关联的入侵检测系统，以及许多其他工具集，包括Snort，Bro，Sguil，Suricata和许多其他实用程序。安全洋葱不只是入侵检测系统。归根结底，如果您想在几分钟之内轻松地建立网络安全监控...阅读全文
导语 | kafka3.0的版本已经试推行去zk的kafka架构了，如果去掉了zk，那么在kafka新的版本当中使用什么技术来代替了zk的位置呢，接下来我们一起来一探究竟，了解kafka的内置共识机制和raft算法。一、Kafka简介Kafka是一款开源的消息引擎系统。一个典型的Kafka体系架构包括若干Producer、若干Broker、若干Consumer，以及一个ZooKeeper集群，如上图所示。其中ZooKeeper是Kafka用来负责集群元数据的管理、控制器的选举等操作的。Producer将消息发送到Broker，Broker负责将收到的消息存储到磁盘中，而Consumer负责从Broker订阅并消费消息。（一）Kafka核心组件producer：消息生产者，就是向broker...阅读全文
output... none on /mytmp type tmpfs (rw,relatime) 这里去掉了一些常见的输出。 从结果中就能看出，多了一个新的tmpfs挂载点。赞！继续在当前shell下执行mount来对比下。 注意到了为何tmpfs挂载点为何没有显示出来了么？这是因为我们创建的挂载点是在我们自己的mount namespace下，不是在父namespace下。 前面我说过mount namespace和filesystem jail是不同的，继续执行我们的./mount和 ls命令，就能给出证明了。 UTS Namespace UTS namespace（UNIX Timesharing System包含了运行内核的名称、版本、底层体系结构类型等信息）用于系统标识。包含了...阅读全文
该数据的主体而仅仅是同步过来的备份，那么可以关闭Redis的数据持久化机制。 但通常来说，仍然建议至少开启RDB方式的数据持久化，因为： RDB方式的持久化几乎不损耗Redis本身的性能，在进行RDB持久化时，Redis主进程唯一需要做的事情就是fork出一个子进程，所有持久化工作都由子进程完成 Redis无论因为什么原因crash掉之后，重启时能够自动恢复到上一次RDB快照中记录的数据。这省去了手工从其他数据源（如DB）同步数据的过程，而且要比其他任何的数据恢复方式都要快 现在硬盘那么大，真的不缺那一点地方 RDB 采用RDB持久方式，Redis会定期保存数据快照至一个rbd文件中，并在启动时自动加载rdb文件，恢复之前保存的数据。可以在配置文件中配置Redis进行快照保存的时机...阅读全文
Serverless 这个概念可以对应 FaaS，也可以代表一种架构，也可以代表一种服务的形态，例如 Aurora Serverless 就是把一个数据库的服务变成 Serverless 的。 容器和 Serverless 的区别在于，Serverless 是无容器的，除了不关注服务器，也看不到容器。两者是面向不同场景的，并不是互相替代的关系。FaaS 的特点，接收一个请求拉起一个函数执行，函数是无状态的，它的执行地点也不固定，这意味着延时相对于常驻进程要高，对一些延时敏感的地方它是不合适的，但是有些场景是非常合适的。我举个例子，在 IoT 场景中，有几十万的设备，为了节省电源，它们大部分时候处于睡眠状态，如果用传统的架构去为这几十万设备服务的话，肯定要考虑并发连接的时候，应该有多少计算资源去服务，这很浪费成...阅读全文
本文大部分内容翻译总结自《Software Engineering at Google》 第10章节 Documentation。 另外，该书电子版近日已经可以免费下载了 https://abseil.io/resources/swe_at_google.2.pdf，有兴趣的同学可以下载翻阅下。 首先声明，本问所说的文档不仅限于纯文本文档，还包含代码注释(注释也是一种特殊形式的文档)。 ## 文档的重要性 ## 高质量的文档对于一个组织或团队来说有非常多的益处，比如让代码和API更容易理解、错误更少；让团队成员更专注于目标；也可以让一些手工操作更容易；另外如果有新成员加入的话有文档也会让他们更快融入…… 写文档有比较严重的收益滞后性，不像测试，你跑一个测试case，它能立即告诉你是对还是错...阅读全文
过去而蹉跎；不要羡慕别人现在的生活；不要羡慕陈冠希，长得帅，女朋友交的多。你明明没有别人找的帅，不努力，你就是天天守着电脑看看片。说不定那天你去创个业，成功了，然后的然后，你想想然后的然后。。。 所以，不为过去蹉跎，活在当下，把握当下。 找到你的追求，然后就去追求 首先，我这里没有使用信念。信念，可能太重了。尤其对于中国人而言，信仰普遍都是缺失的，很难一直相信、坚信一件事。 第二，很多人，不知道自己想要什么，想去追求什么。所以一直不知道，该怎么去改变，该怎么去追求。 我是为了追求钱？ 其实我不追求钱，当然我不是圣人，我家里不富裕，就是从农村出来的，我结婚的时候没有自己的房子（谢谢妻子），我还有很多东西没有买。我需要钱，但是不是为了钱而工作，工作这么多年，没有询问过加薪，没有为了加薪而跳槽（当...阅读全文
，可以从任何地方访问它们 使用托管数据库（如 MySQL、PostgreSQL、Oracle 或 SQLServer）存储信息 使用内容交付网络（CDN）在世界范围内快速交付静态和动态文件 向你的众多客户发送大量电子邮件 Microsoft Azure Microsoft Azure 是由微软创建的一种云计算服务，可通过微软管理的数据中心构建、测试、部署和管理应用程序和服务。 Microsoft Azure（以前称为 Windows Azure）是微软的公共云计算平台。它提供了多种云服务，包括计算、分析、存储和网络等用途。用户可以在这些服务中挑选自己所需的选项，以在公有云中开发和扩展新的应用程序，或运行现有应用程序。 Google Cloud Platform 由谷歌提供的 Google...阅读全文
gRPC是一个高性能、开源、通用的RPC框架，面向移动和HTTP/2设计，是由谷歌发布的首款基于Protocol Buffers的RPC框架。 gRPC基于HTTP/2标准设计，带来诸如双向流、流控、头部压缩、单TCP连接上的多复用请求等特性。这些特性使得其在移动设备上表现更好，更省电且节省空间占用。gRPC 1.0版本是2015年面世以后的第一次版本发布，开发者可以把该版本用于生产。API现在也是很稳定的。 Bugsnag（注：一家云端bug监控服务商）每天处理数以亿计的错误信息，为了处理这些数据，考虑优先构建一个可扩展，性能强大的后端系统，并从中学到很多有挑战性的技术。最近，我们推出了新版本的仪表板，这个项目要求扩展系统，来处理服务呼叫的显著增加，这些呼叫是跟踪用户发布和会话所需的...阅读全文
启动后向namenode注册，通过后，周期性（1小时）的向namenode上报所有的块信息。(dfs.blockreport.intervalMsec)。 心跳是每3秒一次，心跳返回结果带有namenode给该datanode的命令如复制块数据到另一台机器，或删除某个数据块。如果超过10分钟没有收到某个datanode的心跳，则认为该节点不可用。 集群运行中可以安全加入和退出一些机器。 数据完整性 当DataNode读取block的时候，它会计算checksum。 如果计算后的checksum，与block创建时值不一样，说明block已经损坏。 client读取其他DataNode上的block。 datanode在其文件创建后周期验证checksum。 掉线时限参数设置 datanode...阅读全文
][j]； 如果数额等于面额，直接等于1；如果数额大于面额，先判断当用掉一张面额时，使用当前面额的剩余数额处是否有值，和不使用当前面额的剩余数额处是否有值，即当dp[i-1][j]!=0&&dp[i][j-num[i]]!=0即这两处都有值，就看那一个更小，如果不都有，仅仅选择一个有值的就好了，具体见代码： public static int SmallMoney(int num[],int target) { int m = num.length; int dp[][] = new int[m][target+1]; dp[0][0] = 0; for(int i=1;i<=target;i++){ if(i%num[0] == 0){ dp[0][i] = i/num[0];//填入的是张数...阅读全文
开源的 Pinpoint，近几年 Uber 公司开源的 Jaeger，以及我们国内吴晟开源的 SkyWalking。 有人说，这些其实都归功于 Google 在 2010 年基于其内部大规模分布式链路追踪系统 Dapper 实践而发表的论文，它的设计理念是一切分布式调用链追踪系统的始祖，但其实早在二十年前（2002年），当年世界上最大的电商平台 eBay 就已拥有了调用链追踪系统 CAL(Centralized Application Logging)。2011 年，原eBay的中国研发中心的资深架构师吴其敏跳槽至大众点评，并且深入吸收消化了 CAL 的设计思想，主导研发并开源了CAT(Centralized Application Tracking）。 CAT 作为国人主导的开源系统，其本...阅读全文
域本质上是不利的。用户只有在出现问题时才会查看系统，并且通常没有一个好的调查起点。我们正在努力更好地表示系统的状态，以及为什么以及如何做出决定，以便在出现问题时改善内省。 - END - 往期回顾 ◆Redis和Mysql如何保持数据一致性 ◆软件架构可能不是你想象的那个样子 ◆容器与Pod到底有什么区别和联系？ ◆如何从0到1进行电商平台订单系统的搭建？ ◆SRE本质就是一个懂运维的资深开发 ◆Spring Cloud应用的优雅下线与灰度发布 ◆一文帮你彻底掌握Nginx ◆Redis 7.0 新功能新特性总览 ◆漫画 | Kubernetes 如果是个水族馆 ◆7 种提升 Spring Boot 吞吐量神技！ ◆大型 SaaS 平台产品架构设计 ◆代码规范&设计模式落地之路 技术交流，请...阅读全文
