模型的差别则在于一系列的函数处理一批数据包。这种方法的主要目的是解决当 pipeline 变复杂时所遇到 i-cache miss 较高的问题。 标量处理模型 vs 向量处理模型 标量处理模型在性能上不如向量处理模型的另一个原因，就是在不同处理函数（业务逻辑）之间，报文传递到下一个处理函数的方式上有所不同。前者只是简单地用 pointer assignment 的方法来传递，若处理基于不同批次的情况下，由于低效的 pointer assignment，会导致处理一批报文时性能低下。 而对于向量包处理模型而言，向量包处理模型反而可以减少上述标量处理模型因批处理而导致性能不理想的情况。这是因为在向量模型中，报文在业务逻辑之间的传输除了可以通过最原始的 pointer assignment 之外...阅读全文
作为社区 RoadMap 的重要组成部分，是大数据实时化必然的趋势。但是另一方面，传统离线的计算需求其实并不会被实时任务完全取代，而是会长期存在。 在实时和离线的需求同时存在的状态下，以往的流批独立技术方案存在着一些痛点，比如： 需要维护两套系统，相应的就需要两组开发人员，人力的投入成本很高； 另外，两套数据链路处理相似内容带来维护的风险性和冗余； 最重要的一点是，如果流批使用的不是同一套数据处理系统，引擎本身差异可能会存在数据口径不一致的问题，从而导致业务数据存在一定的误差。这种误差对于大数据分析会有比较大的影响。 在这样的背景下，Flink 社区认定了实时离线一体化的技术路线是比较重要的技术趋势和方向。 Flink 在过去的几个版本中，在流批一体方面做了很多的工作。可以认为 Flink...阅读全文
如果你经常让你的系统经历休眠周期，那么从即将开始的 Linux 5.10 周期开始，性能应该会好很多。在即将到来的Linux 5.10合并窗口中，有一个变化允许对休眠/恢复的I/O请求进行批处理，以加快休眠和恢复进程。 到目前为止，Linux 内核依靠为每一页数据提交单独的 I/O 请求，但现在 Linux 5.10+ 的时候，它设置为使用 batch 与 blk_plug。 开发者Xiaoyi Chen的内核补丁解决了这一问题：合并I/O请求让系统休眠和恢复的速度提升了一个数量级以上。在使用的32GB内存中，16GB内存的一个休眠和恢复周期在改变前需要21分钟左右，在存储IOPS有限的系统上，改变后仅需要1分钟。" Xiaoyi Chen在亚马逊EC2旗下主导了这项工作，这项改变是在系统...阅读全文
数据库。 6. 拥有复杂的数据（视频、图像、文件）——选择 Blob/对象存储。 7. 复杂的计算——使用消息队列和缓存。 8. 海量数据搜索——考虑搜索索引、尝试搜索引擎。 9. 扩展 SQL 数据库 — 实施数据库分片。 10. 高可用性、性能和吞吐量 — 使用负载均衡器。 11. 全球数据交付——考虑使用 CDN。 12. 图形数据（具有节点、边和关系的数据）——利用图形数据库。 13. 扩展各种组件——实现水平扩展。 14. 高性能数据库查询——使用数据库索引。 15. 批量作业处理——考虑批处理和消息队列。 16. 服务器负载管理和防止 DOS 攻击 - 使用速率限制器。 17. 微服务架构——使用 API 网...阅读全文
在被英特尔碾压多年之后，AMD 终于“平地一声惊雷”般地推出了可之平起平坐的首批 Ryzen 系列高端处理器。尽管不少人对 Ryzen 的超线程（SMT）、互联、Windows 调度、以及较小的动态频率等方面的表现存有疑虑，但 AMD 证实 Ryzen 已经达到了预期。在发布两周之后，AMD 表示 Ryzen 在大多数情况下的表现良好，且无需 Windows 等方面进行太大的调整以充分发挥其性能。 显然，AMD 留意到了有些人在对比测试 Ryzen 在 Windows 7 / 10 系统中的表现。该公司表示其已意识到这件事，所以会与开发者携手给软件带来“针对性的优化”，以更好地发挥新处理器的潜力。 此外，在许多情况下，可以通过微小改动来提升 Ryzen 在特定应用程序中的性能。调查发现，只...阅读全文
曾在微软工作了17年的老员工、担任多个项目经理的Tim Sneath近日离职加盟了Google，在谈论自己新工作的同时，也回顾了在微软的经历，以及对微软的一些看法，相当尖锐。 首先，Sneath强调说微软是一家非常伟大的公司，有着不可思议的广泛兴趣，到处都是天才。然而，微软这些年也走错了太多路，一切都是从Windows Vista这个失败的操作系统开始…… 他指出，Vista广受批评之后，微软急于从中脱身，但面临标准化Web、iPhone智能手机的崛起，微软没能快速调整步伐。 与此同时，微软本身发展过快，结果处处树敌，又不愿意牺牲已有的业务模式去创新，才导致一个又一个悲剧。 Sneath还列举了Silverlight、Internet Explorer、Windows Phone等几个失败...阅读全文
10 月 31 日消息，Intel 宣布，已经为广泛部署傲腾数据中心用、非易失性内存条（Optane DC persistent memory）做好了准备。 目前，Beta 项目已经启动，参与的 OEM（原始设备制造商，如华为、联想等）和 CSP 伙伴（云服务伙伴，如谷歌、阿里巴巴、亚马逊、微软等）可以更早地向客户接入由傲腾非易失性内存条驱动的系统， 从而为 2019 年上半年批量上线奠定基础。 傲腾非易失性内存基于 3D Xpoint 技术，和目前的傲腾 SSD 共享存储芯片，从而弥补了传统 DDR4 内存不具备的数据永固和大容量特性， 单条最大 512GB，可配合 Xeon Scalable 处理器使用。 特别的，Intel 此次为傲腾 DC 非易市内存提供应用模式和内存模式，前者可理...阅读全文
作为"开放源码定义"的管理者，Open Source Initiative（OSI）20多年来一直将许可证指定为"Open Source"。这些许可证是开源软件生态系统的基础，确保每个人都能使用、改进和共享软件。当一个许可证被批准时，是因为 OSI 相信该许可证促进了合作和共享，使参与生态系统的每个人都受益。 在过去的 20 年里，世界已经发生了翻天覆地的变化，软件现在以新的方式甚至是难以想象的方式被使用。OSI 已经看到，以前被人们所熟悉的开源许可证并不总是能适合这些新的情况。因此，OSI 作为许可证管理员站了出来，为更广泛的用途提交了几个新的许可证。OSI 面临的挑战是评估这些新的许可证概念是否会继续推动共享和协作，是否值得被称为"开源"许可证。最终 OSI 批准了一些用于特殊领域的新...阅读全文
审 代码评审者指南本来是一个完整的文档，但作者将其分为了 6 部分，读者可根据需要阅读。 代码评审标准代码评审希望达到什么在代码评审中导航 CL代码评审的速度如何写审查的评论处理代码评审的回退 2.CL 作者指南——CL 作者批准代码的评审指南 CL 制定者指南包括一些进行代码评审的开发人员的最佳经验，这些经验能够帮助你更快、更高质量地完成评审。 写一个好的 CL 描述构建一些小的 CL如何处理代码评审者的评论 在谷歌看来，代码审核的目的是确保谷歌代码库的整体代码健康程度。谷歌将以下规则作为代码评审的标准： 一般来说，一旦 CL 能提升整体代码的健康程度，那么即使 CL 不完善，评审者同样也应该倾向于批准该列表。这是所有代码评审指南中的高级原则。它也会有一些限制，例如，如果 CL 添加了一些...阅读全文
[4h], 3600)时间获取 Unix 时间，以秒为单位： time()获取最后一次成功运行的批处理作业的年龄： time() - my_batch_job_last_success_timestamp_seconds查找一小时内没有成功的批处理作业： time() - my_batch_job_last_success_timestamp_seconds > 3600缺失数据处理当输入向量为空时，创建一个一个输出序列： absent(my_metric_name)当输入的范围向量5分钟内都是空的时候，创建一个空的输出序列： absent_over_time(my_metric_name[5m])标签操作用 - 分隔符连接两个标签的值： label_join(my_metric_name...阅读全文
在AMD发布的7nm锐龙3000处理器及Navi架构RX 5700显卡中，PCIe 4.0都是重要的技术升级，而且是消费级首发支持，这对AMD来说很重要，因为以往引领新平台技术升级的主要是Intel，这次不一样了，AMD要夺回“技术发展的C位。 对于PCIe 4.0技术的好处，AMD日前开始强调该技术的三大优势： 速度更快，x16 双向带宽达到了 32GB/s，是 PCIe 3.0 的两倍。向下兼容，PCIe 4.0 能兼容 PCIe 3.0 设备。更多连接，PCIe 4.0 带宽高，1条顶2条，可以连接更多设备而不需要担心性能下降。 面对AMD在PCIe 4.0上的宣传，Intel这边也坐不住了，日前在一场活动中开始怼PCIe 4.0，Intel表示绝大多数用户从PCIe 4.0技术都不...阅读全文
消息发送端： 发送消息如果配置了重试机制，比如网络抖动时间过长导致发送端发送超时，实际broker可能已经接收到消息，但发送方会重新发送消息 消息消费端： 如果消费这边配置的是自动提交，刚拉取了一批数据处理了一部分，但还没来得及提交，服务挂了，下次重启又会拉取相同的一批数据重复处理 一般消费端都是要做消费幂等处理的，比如每条消息使用redis的setnx分布式锁，把消息放redis里，这样两次消息一样的话，第二次的消息是放不进去的。 2.1.3 消息乱序 如果发送端配置了重试机制，kafka不会等之前那条消息完全发送成功才去发送下一条消息，这样可能会出现，发送了1，2，3条消息，第一条超时了，后面两条发送成功，再重试发送第1条消息，这时消息在broker端的顺序就是2，3，1了 所以，是否一...阅读全文
扩展到完整的64位体系架构。于是，Alpha架构应运而生。Alpha于1992年末推出，是专为高端台式机，工作站和服务器设计的微处理器架构，这也使得他们成为首批实现64位体系架构的企业之一。Alpha对于产业的贡献或许不是有多少产品采用了这种架构，而是他在理论上为产业的发展提供了一种新思路。有人认为，Alpha，MIPS两种RISC架构都比较早的考虑了64位、和引入了很多超前的微架构设计概念，以至于影响了以后英特尔在微架构（uops）、超线程方面的发展，这些在英特尔处理器微架构设计隐约能看到Alpha架构的一些影子。除此之外，艾康电脑公司于1983年开始的开发项目——ARM也是值得一提的架构。1980年代晚期，苹果电脑开始与艾康电脑合作开发新版的ARM核心。由于这项目非常重要，艾康电脑甚至于...阅读全文
Stratis 2.1 引入 Fedora 33。Fedora 工程和指导委员会(FESCo)现在已经批准此项提案。因此，预计今年秋季发布的 Fedora 33 有机会用上 Stratis 2.1。 Stratis 2.1 最重要的新增功能是支持 per-pool 加密，这也是促使 Fedora 33 采用它的原因之一。除此之外，Stratis 2.1 还提供了新的管理和监控界面，以及其他功能的增强。 这份变更提案概述了 Fedora 33 引入 Stratis 2.1 的计划。另外，FESCo 还在上周批准了 .NET Core for AArch64 的打包，类似于现有的 x86_64 打包。具体细节点此查看。...阅读全文
境传输提供保障： 若缺少上述“充分性认定”，控制者或者处理者当且仅当其提供了适当的保障时，可以将个人数据传输给第三国及国际组织。 这种“适当的保障”可以通过以下几种方式提供： （a）在公共机构或团体之间有法律约束力和执行力的文件； （b）由欧盟委员会通过的标准数据保护条款（即《欧盟数据跨境转移协议模板（SCC）》所设定的条款，内容一般不可变更）； （c）由监管机构通过、并由欧盟委员会批准的数据传输方和接收方之间签订的特定标准数据保护协议（即“Ad-hoc data protection clauses”，与上述“SCC标准模板”相互区分。但截至2018年尚未有欧盟成员国的数据保护监管机构批准这类协议）； （d）代表不同种类的控制者和处理者的协会和其它机构可以制定行为准则（Code of...阅读全文
界面中不会发生其它更新。随后，文档处理也将开始，包括最新的屏幕截图。 3 月 26 日：冻结文档字符串 完成所有特性和用户界面更新之后，文档中将停止创建和修改字符串。如果在稍后阶段需要更改字符串，则在获得团队批准的情况下才可以添加。 4 月 2 日：测试版冻结 开发人员在 Ubuntu 正式发布之前体验 Ubuntu 测试版本并提出 bug 或错误修复建议。 4 月 9 日：内核冻结 内核冻结是内核更新的最后期限。 4 月 16 日：最终冻结 最终冻结是最终版本的倒数第二个阶段，团队确认所有修复。 4 月 23 日：最终稳定版本 正式推出最终稳定版本。 不过像我们此前报导过的里程碑每日构建 Current 版本的开始出现则不列在此时间表中。 相关链接 Ubuntu 的下载地址：点击下载...阅读全文
首选从 members 命令的输出中，创建一个 failed 的文件列表，文件内容为 Node 节点名称，每行一个，保存为 /tmp/failed， 然后执行这个命令就可以批量清理了， ``` for i in `cat /tmp/failed`; do echo $i ++++++++++++++; \ curl --request PUT -H 'Content-Type: application/json' 'http://127.0.0.1:8500/v1/agent/force-leave/'$i; \ done ``` /tmp/failed 文本内容，取自 `bin/consul members | awk '{print $1...阅读全文
管理、流量分割和版本管理。然而，这个选项并没有提供自动扩展功能。 - **Seldon Core** 是一款第三方工具，可用于 Kubeflow 抽象和资源。它支持多种机器学习框架，包括 TensorFlow，并允许将训练好的 TensorFlow 模型转换为 REST/gRPC 微服务，运行在 Kubernetes 中。Seldon Core 默认支持模型自动扩展。 - **BentoML** 是 Kubeflow 使用的另一个第三方工具，它提供高级的模型服务功能，包括自动扩展，以及支持微批处理的高性能 API 模型服务器。 在下一节中，我将展示如何使用 KFServing 对训练好的 TensorFlow 模型进行自动扩展，KFServing 是默认的 Kubeflow 安装中的一个模块...阅读全文
千个asset的incarnation时很有用。我们使用Spanner索引来快速过滤数据。过滤语言不是那么精准的：它的目标是减少需要处理的数据量。更为复杂的索引在客户端执行。 — 6 — 安全的持续部署：Annealing 我们创建Annealing来驱动持续部署。一旦在Prodspec里声明intent，就是想要生产环境匹配这个intent。更新intent通常涉及手动工作和审批，但是在这之后，自动化应该能够代替人工干预。Annealing就起的这个作用。 持续实施的目标是让生产环境安全快速地匹配intent。Annealing逐渐变更应用——比如，通过管理金丝雀部署或者受控的滚动升级。这个工具支持应用多个安全策略：因为Annealing可以看到应用的所有变更，它可以决定哪些变化是安全的...阅读全文
，而我们也开始考虑利用基于kubectl exec构建的工具为开发人员提供支持。此次新增的kubectl debug命令（目前为alpha版）允许开发人员在集群当中轻松调试自己的Pod，进而获得巨大的便利性增益。这项命令将创建一个即席容器，容器运行在待检查Pod旁边，同时附带有控制台以执行交互式故障排查。 SIG-CLI 调试程序的能力变得越来越必要，基于 kubectl exec，增加了 kubectl alpha debug 命令（目前为 alpha 阶段），使开发人员可以轻松地在集群中调试其 Pod。此命令允许创建一个临时容器，该容器在要检查的 Pod 旁边运行，并且还附加到控制台以进行交互式故障排除。 Windows CSI 支持 带来了用于 Windows 的 CSI 代理，目前处于...阅读全文
release的code name(名为code name的distribution)。每天一些叫做britney的scripts都会被运行，从sid中选出满足一定条件的packges更新到testing中。当release manager感觉合适的时候，testing被frozen，这意味这控制packages从unstable到testing的策略变紧了，too buggy的pacakges被移除，除bug fixes外其他改动不允许进入testing。根据进度一段时间过后，testing更进一步被frozen。处理testing的细节被Release Team在debian-devel-announce上发布。当Release Team对当前问题的解决情况达到满意的程度后，testing就被...阅读全文
9月4日，C++20 的国际标准草案(DIS, Draft International Standard)投票结束，最终获全票批准通过。 这意味着 C++20 已获得了最终的技术批准，并完成了 ISO 的投票，预计在完成最后一轮 ISO 的编辑工作后，C++20 将在2020年底正式发布。 与上个版本 C++17 相比，C++20 是一次重大的更新，引入了许多新特性： 模块 (Modules)协程 (Coroutines)范围 (Ranges)概念与约束 (Constraints and concepts)指定初始化 (designated initializers)操作符 <=> != ==constexpr支持：new/ delete、dynamic_cast、try/ catch、虚...阅读全文
2016 年 11 月 5 日，Debian 发布经理 Emilio Pozuelo Monfort 和 Niels Thykier 高兴地宣布 Debian GNU/Linux 9 "Stretch" 操作系统进入冻结开发阶段。 在一个开发周期中，GNU/Linux 有多个里程碑，如 Alpha、Beta、RC、Beta Freeze、Feature Freeze，等等， Debian GNU/Linux 9 "Stretch" 即 Debian OS 的下一个重大发布，此版本已经是功能完善的版本。 "这意味着不再有新的库或包的大变化。不过之后几天还会有小的改变，我们尽量使其工作更流畅，所以请耐心等待最后的调整。"通知中写道。 按 Debian 开发周期，下一步是 2017 年 1 月...阅读全文
DDR4 内存目前还是绝对主流，不断被深入挖潜，频率已经突破 5GHz，不过下一代 DDR5 也已经蠢蠢欲动了。Cadence 公司今天就宣布了 DDR5 的全新进展，无论工艺还是频率都相当领先。 目前，JEDEC 标准组织正在研究 DDR5 内存规范，已经有了初步版本，Cadence 此番拿出的就是面向新规范的第一个 DDR5 IP物理层接口芯片。 该测试芯片采用台积电7nm工艺制造，数据率可达4400MT/s，也就是频率高达4400MHz，相比目前商用最快的DDR4-3200快了多达37.5％。 为了支持Cadence DDR5 PHY物理层的验证和协作，美光也向其提供了DDR5内存初步版本的工程原型。 在此之前，Rambus也曾经提到过7nm工艺下的DDR5 IP，并预计DDR5内存...阅读全文
Gitlab 12.2 已经发布，此版本将帮助团队优化他们的管道，改进协作，并管理项目之间的相互依赖。更新内容如下： 更快、更灵活的管道 CI 管道的目标是自动化手工构建和测试任务，加速软件交付，同时减少错误。然而，对于某些用例，GitLab CI/CD 管道并没有那样高效。GitLab 12.2 现在支持 Directed Acyclic Graphs (DAG) 作为创建和管理详细作业依赖关系的方法，而不是依赖于顺序阶段。使您的 CI 管道变得更快和更有效率。 设计管理 软件开发是一项团队协作工作，在 12.2 版本中，提供了新的能力，包括在 GitLab 上的设计管理。设计管理将使设计内容的共享、版本和协作变得容易，从而帮助团队更有效地使用单一来源。 跨项目合并请求依赖 复杂系统通常...阅读全文
Facebook 的首位发布工程师，目前是 Facebook 发布工程的工程总监。 Facebook 的发布周期是“ quasi-continuous ” （准连续）——这只是一种委婉的说法，表明并非每次提交都会部署到生产环境，实际上它采用的是对几十到几百个提交进行批处理，每隔几个小时就进行推送。这种分层发布的方式使任何变更的回滚很容易。 这个新系统从 2016 年 4 月开始，经过一年的时间慢慢地完善。早先的模式是从主干分支的提交中选择特定的变更放到发布分支上。发布分支每天将这些变更推送到生产环境。这种“ cherry-picking ”的特点是，每天选择变更的数量为 500 ~ 1000。剩下的变更就推入到每周发布分支中。随着时间的推移，提交的数量和参与其中的工程师都有所增加，发布工程师的手工劳动变得...阅读全文
制化的网络；二是目前的 TCP/IP 协议和框架对 ManyNets（包括 IoT 网络、卫星网络等） 互连有限制且具有复杂性。 当下，全息通信满足了人们对交互式的通信体验的需求，从而也需要更高的带宽、更低的延迟、更灵活的网络处理，而满足这些传感应用需求，需要更细度的网络服务能力。 由于现有 IP 不相兼容的寻址机制，IoT 网络、蜂窝网络、工业网络等网络之间的互连受到了限制。而后引进的多种映射机制不仅给系统带来了额外的复杂性，也带来了潜在的隐私和弹性问题。 由此，需要一个更好的解决方案来处理所有类型或虚拟对象的交付和通信，New IP 应运而生。 文章指出，New IP 主要有三个关键特征： 可变 IP 地址长度，无缝支持跨网络通信；用于标识物理和虚拟对象的 IP 地址的语义定义；用户定义...阅读全文
负责任的选项。 在每个操作系统使用周期内，谷歌还面临软件包重大版本升级的挑战，因为这可能需要对软件配置进行重大改变。为了让这个过程自动化，谷歌工程师编写了一个无人值守的升级工具来处理很多常见的问题。这种“自动化升级”意味着大多数谷歌员工无需通过重新安装机器，并重新创建所有配置来手动升级。不过为了实现这一点，谷歌需要对升级过程进行全面测试，并检查所有已更改的主要软件包是否继续运行（在 Ubuntu 中，主要版本之间的升级可能多达数千个软件包）。有时，在发生软件包弃用且工程师必须决定如何推进的情况下，很难提供自动化。 据称，谷歌完成所有 Goobuntu 的升级通常要花费一年的时间，整个过程对于团队来说是一个巨大的压力。而且很多时候他们遇到的一些 bug 已经在上游被修复了，但这些改进却从未被合...阅读全文
今日，我们发现 Java EE 在 其 GitHub 上的账号 发布了 Java EE 8 最终规范，并 提供了 PDF 格式的文件下载 。 按照此前公布的计划，Java EE 8 最终规范会在今年夏天结束前发布。现在看来，他们并没有食言。 在 JCP 主页上 ，我们可以看到，在 8 月 21 日，JCP 执行委员会以 24 票赞成票 通过 了 JSR #366 的最终批准投票。其中，英特尔公司放弃了投票。 Java EE 8 规范从 2014 年 8 月开始接受 JSR 评审，到现在推出最终规范，整整经历了 3 年多的时间。 去年， 我们曾报道过 ，负责 Java EE 和 WebLogic Server 的甲骨文副总裁 Anil Gaur 表示预计在 2017 年年底发布的 Java...阅读全文
资源，从而获取虚拟货币的一种程序，需要较高的硬件配置及用电量。 而单凭一个矿工的力量是挖不到比特币的。于是“安某”便想到可以利用自己的职务之便利用百度的服务器来开启自己的发家致富之路，只是他可能没想到的是事情会败露的这么快。 那么，他具体是怎么做的呢？ 首先，他用自己的工作账户上传了一个压缩文件 miner.tar.gz ，其中包含一个名为 java_4u3 的脚本， 而这个脚本可以自动执行解压缩、创建目录、删除目录、自动连接代理进行网络交换，达到控制服务器的目的。 然后，编译了一个挖矿程序，并将上述程序部署非法控制了百度的 155 台服务器上，利用公司为其配备的苹果电脑上的 iterm 软件控制所有服务器的中控机，通过中控机上传挖矿脚本，并通过 iterm 软件发出批量下载指令，让 200...阅读全文
代表cpu使用的时间。例如： 九、Async-profiler的使用 和 火焰图分析 背景： 目前有一个kafka消费者工程,此工程会消费kafka中的消息，并通过fastjson解析该消息为java实体，然后存入到阻塞队列 BlockingQueue中。另外有若干个线程会从queue中批量拿消息，然后以批量形式写入到 elasticsearch 中。目前在使用中发现存在性能瓶颈，需要定位是该工程对消息转化处理较慢，还是写es操作比较慢。 9.1采集cpu profile数据 我们将代码回退到第一次测试的情况,并启动程序，并找到当前进程号(627891)，然后通过如下命令进行采集，并转换为火焰图格式 svg。 ./profiler.sh -d 15 -i 50ms -o svg -e cpu...阅读全文
() free function that returns a sized size.std::span usability enhancements.Precalculated hash values in lookup. 而以下的特性已在本次会议或之前的会议上获得了 C++20 批准，但尚未添加到 C++20 中，因为目前仍在完成规范。它们有望在 2019 年 7 月的科隆会议上被加入，不过由于时间限制，可能无法完成所有工作。 Expansion statements.The C++20 synchronization library.std::format.constexpr std::vector.Allow constexpr allocation, but disallow...阅读全文
动收集指标和跟踪信息可以快速回答常见问题，例如“我的服务对请求响应缓慢吗？”以及“请求失败的频率如何？”。 熔断 - 这种模式可以通过自动检测问题和快速失败来防止级联服务故障。也可以由长时间缓慢的请求来触发，以提供响应降级的服务而不是不断地超时。 缓存和批处理 - 通过使用缓存或批处理请求来加速请求。 大多数框架不会提供所有功能，但至少它们应该是可扩展的，以便在需要时添加。 什么是gRPC和协议缓冲区？ 没有一个框架是万能的。我们探索的一些选项包括Facebook的Thrift，Apache Hadoop的Avro，Twitter的Finagle，甚至使用JSON模式。 我们的需求更接近于远程程序调用（RPC），给予所需要的细粒度控制。使用RPC的另一个吸引力是使用接口描述语言或IDL...阅读全文
言，框架建立在不断增长的世界级攻击性内容库的框架基础上。另外，此次更新还包括了可用性改进和大规模开发的支持，数据库和自动化 API 的改进等。 在 4.x 现有的 Postgresql 数据库后端之上，Metasploit 5.0 增加了将数据库本身作为 RESTful 服务运行的功能，使用该服务可以与多个 Metasploit 控制台甚至外部工具进行交互。5.0 版本的这个变更还将取消数据库服务的一些批量操作，从而通过并行处理数据库和常规 msfconsole 操作来提高性能。 新的发布周期 过去的一年，Metasploit 的开发包括两个分支：一个是 4.x 的稳定分支，支持 Metasploit Pro 和像 Kali Linux、ParrotSec Linux、和 Rapid7 自己...阅读全文
HBM 2内存，核心容量可达8Gb，通过TSV技术可以实现每个CPU支持64GB HBM2内存，每路插槽的带宽可达2TB/s，而到了HBM 4时代，每个CPU支持的容量可达512GB，带宽超过8TB/s。作为对比的话，目前AMD的EPYC处理器支持8通道DDR4内存，虽然最高容量能达到2TB，但是带宽不过150GB/s左右，与HBM内存相比就差远了。 按照他的观点，在一些需要高带宽的场合中，HBM技术无疑远胜DDR内存，所以他说的DDR内存将死在这方面是成立的，比如HPC高性能计算机行业就非常需要HBM。不过话说回来，DDR将死这个判断并不适合桌面市场，HBM技术虽然各种好，但是现在来看成本问题一时半会都没法解决. 目前能生产HBM内存的厂商只有三星、SK Hynix，美光因为有HMC技术，对...阅读全文
本篇技术blog，由360信息安全部0kee Team、360网络安全研究院、360-CERT共同发布。Memcache UDP 反射放大攻击（以下简称 Memcache DRDoS）在最近的一周里吸引了安全社区的较多注意。以下介绍我们对该类型攻击观察到的情况。 在PoC 2017 会议上的原始报告 Memcache DRDoS，由360信息安全部0kee Team在2017-06 附近首先发现，并于 2017-11 在 PoC 2017 会议上做了公开报告。会议报告在 这里，其中详细介绍了攻击的原理和潜在危害。 在这份文档中，作者指出这种攻击的特点： memcache 放大倍数超高，至少可以超过50k； memcache 服务器（案例中的反射点）数量较多，2017-11时估算全球约有...阅读全文
；几个对应工具(比如dnf和urpmi)有一两个选项是dpkg和apt-get所没有的。然而，它们仍是一大批用来查看和处理软件包的实用工具的核心。没有对应工具提供那么多的选项来解决安装冲突。这么多年后，dpkg和apt-get仍然独具一格。 6.风险的选择 Debian的三个主要软件库是Stable(稳定)、Testing(测试)和Unstable(不稳定)。这些名称体现了每一个软件库中的软件包在测试这条道路上走得有多远，让用户可以根据自己的情况来兼顾最新软件包和稳定性程度。 如果你主要关注的是稳定性，那可以坚持使用Stable。相比之下，如果你想要最新的软件，可以使用Unstable，不过面临这种风险：有更多的软件错误，不相兼容。Testing通常介于这两个极端之间。 当然了，风险程度是相对...阅读全文
使用每个实例的唯一Ceph用户ID来支持新的Dashboard。 在创建集群期间，不再自动创建默认的’rbd’池。另外，当没有指定池时，rbd CLI使用的默认池的名称可以通过新的rbd default pool =
询时必须提供相同的值。在下面的例子中，这个headers是使用nginx反向代理设置的。架构图Cortex架构（源）Nginx/gateway–一个位于cortex前面的反向代理，将收到的所有请求转发给相应的服务。分发服务器Distributor–处理传入的指标，将其拆分为多个批次，然后将其传递给Ingesters。如果复制因子replication factor设置为> 1，则数据将发送到多个实例。接收器Ingester–此服务负责将数据写入已配置的存储后端。Ingester是半状态的，因为它们保留了最后12个小时的样本。这些样本将被批处理并压缩，然后再写入块存储。查询前端Query Frontend–一个可选组件，用于对查询请求进行排队，并在失败时重试它们。结果也被缓存以提高性能查询器...阅读全文
帮助。 法律领域： LawBERT: 这是一个为法律领域设计的BERT模型。它在法律文本理解、案例检索等方面表现出色，为律师和法官提供了便利。 教育领域： EduBERT: 这是一个为教育领域设计的BERT模型。它在学生作业批改、知识点推荐等方面具有潜力，可以为教师和学生提供个性化教育服务。 其他领域： SciBERT: 这是一个为科学文献设计的BERT模型。它在科学命名实体识别、关系抽取等方面表现出色，为科学研究提供了支持。 BlueBERT: 这是一个为生物医学和临床领域设计的BERT模型。它在医学文本理解和生成方面具有优势，可以用于医学问答、摘要生成等任务。 这些大模型在各自领域取得了显著成果，为相关行业的发展注入了新的活力。随着技术的不断进步，我们可以...阅读全文
施： 服务器必须要有防火墙，不能随意对外开放端口；Elasticsearch 集群的端口包括 TCP 和 HTTP，都不能暴露在公网；Elasticsearch 集群禁用批量删除索引功能；Elasticsearch 中保存的数据要做基本的脱敏处理；加强监控和告警，在安全事件发生的第一时间感知并启动紧急预案，将损失降到最低。 除此之外，很多 Elasticsearch 均可公网访问，杨振涛表示很有可能是团队忽视了数据安全，再加上服务器防火墙对于端口开放策略过于激进，导致 Elasticsearch 集群只要一部署即可公网访问。 “公网访问对于有些业务来说是必要的，例如网站搜索服务。” Elastic 架构师吴斌解释道，“我们经常说‘Simple/less is more, but no...阅读全文
没有 Pod，这时候就该 ReplicaSet Controller 登场了！ReplicaSet Controller 的工作是监视 ReplicaSets 及其相关资源（Pod）的生命周期。和大多数其他 Controller 一样，它通过触发某些事件的处理器来实现此目的。 当创建 ReplicaSet 时（由 Deployment Controller 创建），RS Controller 检查新 ReplicaSet 的状态，并检查当前状态与期望状态之间存在的偏差，然后通过调整 Pod 的副本数来达到期望的状态。 Pod 的创建也是批量进行的，从 SlowStartInitialBatchSize 开始，然后在每次成功的迭代中以一种 slow start 操作加倍。这样做的目的是在大量...阅读全文
能清楚地记住不同工作流程的所有细节。每当我遇到一个与我的工作方式截然不同的包时，我就会非常沮丧，我不得不重温日常工作的各个方面。 在注意到Go包团队（我最初的团队）工作流程的支离破碎后，我尝试采用这篇文章（https://go-team.pages.debian.net/workflow-changes.html）中介绍的工作流程更改提议来解决这个问题，但没能成功。虽然我愿意贡献时间和精力，但周围的工具缺乏有效的自动化，且变化速度缓慢，这抹杀了我的动力。 陈旧的基础设施：包的上传 如果想在Debian中创建包，你需要通过匿名FTP上传GPG签名的文件。还有几个定时（例如dinstall的运行时间为UTC 01:52、UTC 07:52、UTC 13:52和UTC 19:52）运行的批处理作业...阅读全文
9 月 8 日，字节跳动正式宣布开源 CloudWeGo。这是一套以 Go 语言为核心、专注于微服务通信与治理的中间件集合，具有高性能、可扩展、高可靠的特点。 据介绍，作为项目维护方，字节跳动基础架构团队已推进项目以 CloudWeGo 开源库为主进行迭代，未来团队将坚持内外维护一套代码，统一迭代演进，并逐步分享更多内部微服务最佳实践。 项目地址：https://github.com/cloudwego 项目官网：www.cloudwego.io CloudWeGo 第一批开源了四个项目，以 RPC 框架 Kitex 和网络库 Netpoll 为主。 Kitex Kitex 是一个 Golang 微服务 RPC 框架，具有高性能、强可扩展的特点。 字节跳动使用 Golang 作为主要业务开...阅读全文
，而且有一个新的资源已经依据请求的需要而建立，且其 URI 已经随Location 头信息返回。假如需要的资源无法及时建立的话，应当返回 ‘202 Accepted’。 202 服务器已接受请求，但尚未处理。正如它可能被拒绝一样，最终该请求可能会也可能不会被执行。在异步操作的场合下，没有比发送这个状态码更方便的做法了。 返回202状态码的响应的目的是允许服务器接受其他过程的请求（例如某个每天只执行一次的基于批处理的操作），而不必让客户端一直保持与服务器的连接直到批处理操作全部完成。在接受请求处理并返回202状态码的响应应当在返回的实体中包含一些指示处理当前状态的信息，以及指向处理状态监视器或状态预测的指针，以便用户能够估计操作是否已经完成。 203 服务器已成功处理了请求，但返回的实体头部元信...阅读全文
1.新的问题influxdb目前支持内存型索引inmem及文件型索引tsi1。之前追踪篇将influxd索引修改为tsi1之后，经过一段时间的运行，从监控观察到，由于调用方采用异步队列+批处理的方案将数据写入influxdb，会在某些时刻调用方内部出现数据堆积，指标如图:横坐标: 时间轴，从12-29 00:00 到 12-30 00:00纵坐标: 队列中数据堆积长度，坐标最大值250k，即最大25w个数据堆积从上图可以看到，当天监控出现数次堆积，上午7:00-10:00尤为严重。在堆积时，登录influxdb服务器，查看机器状态如下:top - 09:40:58 up 120 days, 19:18, 1 user, load average: 32.29, 32.32, 29.82...阅读全文
OCBC 简介OCBC 全称是新加坡华侨银行，是新加坡第二大银行。曾连续多年被评为“全球最安全银行”前三名，本文会介绍一下 OCBC 的开户条件、流程、手续费等。下面是开户流程。拿不准的可以加我 TG @algo6，可以免费咨询境外银行开户、港美股开户等问题。所需材料：有效期大于6个月的护照，不是需要办理后满6个月。有NFC功能的手机 （扫描护照内置芯片使用）有效期内的身份证（需要拍摄身份证正面）大陆地区的手机号码（接收验证码使用）半年内充值超过 1000 SGD 用于激活账户（顺便领取现金奖励）1. APP 下载安卓有条件的可以使用 Google Play 搜索 OCBC，下载 OCBC Digital - Mobile。iOS 直接商店搜索。没有谷歌 Play 的可以试试 华为商店，或...阅读全文
投票，也就是弹劾机制，可将任期内的当权者赶下台；它严格限定了在委员会里，只允许少于 50% 的成员是企业（5 人委员会里最多有 2 个）；并且关注到核心开发者的选举/淘汰、如何更新治理提案等问题。 而且，PEP 8016 中也提出了新的 PEP 流程，目前的 PEP 流程是提案人确定 PEP 的选题方向，提案人负责收集与整合来自整个社区的反馈。然后，相关领域的专家们汇总全部讨论，并开启为期 14 天的审查，之后进行社区投票。如果一个 PEP 很有争议，任何专家成员都可发起动议来拒绝通过它，这需要超过 2/3 的票数。PEP 8016 的 PEP 流程：理事会在必要时可直接地批准/否决 PEP，但最好是设置流程来避免这样做决策，例如，将决策权委派给团队或者 BDFL 代表。 7 种治理方案一览...阅读全文
站里每次讨论 2FA 的相关话题，总会有很多朋友说他自己在用 Authy 。它通过手机号注册，而且可以多终端同步。因为看到站里有多例微软验证器丢失验证信息的案例，我曾经也考虑使用 Authy 作为第二个篮子，但因为拖延症一直没有行动。没想到 Authy 出个这么个事故。 原因是有一个没有鉴权的 API 接口，攻击者通过这个接口批量验证手机号是否用于注册 Authy 。攻击者最终收集了 33M 个注册了 Authy 的手机号。  系统调用，WireGuard VPN 实现，流队列 PIE 包调度器，2038 年问题接近解决，pidfd_getfd()系统调用，ZoneFS 文件系统，BPF TCP 拥堵控制算法实现，移除 /dev/random blocking pool 等等。 具体可阅读...阅读全文
