它基于Synopsys广受好评的DesignWare IP PCIe 5.0方案，完整支持PCIe 6.0标准特性，包括64GT/s PAM-4信号调制、FLIT模式、L0p低功耗模式等等，可满足HPC高性能计算、AI、存储SoC等应用领域对于延迟、带宽、能效的各种需求。为了实现吞吐量的最大化、延迟的最小化，Synopsys PCIe 6.0控制器采用了“MultiStream”(多流)架构，性能可达单流架构的最高2倍，并且还有1024-bit宽度架构，可以在关闭1GHz时序的同时，达到64GT/s x16的高带宽，还优化了多数据源、多虚拟通道环境。此外，新方案使用了独特的自适应DSP算法，支持早期SoC开发，优化模拟和数字均衡，无论何种通道下都能获得最佳能效，并且基于专利诊断功能，可确保...阅读全文
debian官方提供了脚本ftpsync来搭建源镜像，而 apt-mirror 是一个更简单便捷的源镜像搭建工具。 安装 apt-mirror sudo apt-get install apt-mirror 配置文件/etc/apt/mirror.list只要修改很少的地方，大部分使用默认值即可。 这里使用中科大镜像 ftp.cn.debian.org 作为上游镜像，只镜像 debian jessie amd64 架构，不镜像源代码包。 ############# config ################## # # set base_path /var/spool/apt-mirror # # set mirror_path $base_path/mirror # set...阅读全文
Intel 最近为其 10 亿级用户的核芯显卡真是操醉了心，一方面进一步公布了 第 11 代核显的架构细节 ，另一方面升级驱动程序带来了全新的控制中心 。 而在对新驱动进行了一番挖掘之后，赫然发现 Intel 已经将第 11 代核显的诸多型号隐藏在了其中，显然硬件部分已经 OK，进入了驱动开发阶段。 Intel 目前的核显架构是第 9 代 (以及升级版 9.5 代)，从六代酷睿 Skylake 一直到九代酷睿 Coffee Lake Refresh 都是它，最多 24 个执行单元 (EU)，而接下来 Intel 将跳过第 10 代，直接奔向第 11 代，架构规格都会有翻天覆地的变化。 11 代核显将全面用于 Intel 10nm 处理器，包括 主流桌面的 Ice Lake、3D 封装超低功...阅读全文
代号为“Buster”的Debian 10已经于今天正式发布，感兴趣的用户可以前往官方网站下载安装镜像，Live镜像会稍后放出。Debian GNU / Linux 10“Buster”操作系统有许多新功能和增强功能，包括支持最新的LTS（长期支持）Linux内核系列，支持新设备，改进对现有硬件的支持，以及作为最新的软件包和最新的安全补丁。 Debian 10 支持的架构 在更新日志中，团队首先提到了 Debian 10 支持的架构。据介绍，Debian 10 “buster” 官方支持的架构如下： 32 位 PC（i386）和 64 位 PC（amd64）64 位 ARM（arm64）ARM EABI（armel）ARMv7（EABI 硬浮点 ABI，armhf）MIPS（mips（大端...阅读全文
奇虎 360 宣布正式开源 Wayne ，这是一个由 360 搜索云平台团队开发的通用的、基于 Web 的 Kubernetes 多集群一站式可视化管理平台。内置了丰富多样的功能，满足企业的通用需求，同时插件化的方式可以方便集成定制化功能。 目前 Wayne 已大规模服务于 360 搜索，承载了内部绝大部分业务，稳定管理了近千个业务，上万个容器，运行了两年多时间，经受住了生产的考验。 功能特性 可视化操作 ：提供直观、简便的方式操作 Kubernetes 集群，减小学习成本，快速上线业务。 多样的编辑模式 ：支持图形化编辑，也支持 Json、Yaml 两种高级定制化编辑模式。 微内核架构 ：采用可扩展的插件化方式开发，定制化选择特性功能，更方便的集成符合企业需求的新功能。 多集群管理 ：可...阅读全文
前言 在 DevOps 实践中，基础设施即代码如何落地是一个绕不开的话题。像 Chef，Puppet 等成熟的配置管理工具，都能够满足一定程度的需求，但有没有更友好的工具能够满足我们绝大多数的需求？笔者认为 Terraform 是一个很有潜力的工具，目前各大云平台也都支持的不错，尤其是使用起来简单明了。本文会简单的介绍一下 Terraform 相关的概念，然后通过一个小 demo 带大家一起进入 Terraform 的世界。说明：本文的演示环境为 ubuntu 16.04。 Terraform 是什么？ Terraform 是一种安全有效地构建、更改和版本控制基础设施的工具(基础架构自动化的编排工具)。它的目标是 "Write, Plan, and create...阅读全文
CTO 招聘需求 ** 职位介绍：** 1. 全面负责技术层面的整体运营，制定研发战略和计划，负责全面实施，并与业务发展需求. 系统现状等结合起来； 2. 全面支持平台日常安全运营. 系统维护. 升级，确保公司各项投融资业务能在网站上安全. 有序开展，保障系统和数据的安全. 稳定； 3. 负责平台的研发与核心技术管理工作，组织制定和实施重大技术决策和技术方案； 4. 研究决策网站技术发展路线，规划公司产品的技术构架，负责互联网产品技术框架的选型与搭建，程序开发及技术攻坚； 5. 网站的技术团队的梯队化建设及管理，包括技术团队的培养； 6. 主导公司技术架构. 数据库结构. 业务逻辑等编码工作； 7. 负责制定技术开发规范. 编码规范等技术团队...阅读全文
访问：2021阿里云上云采购季：采购补贴、充值返券、爆款抢先购云通信分会场：爆款产品低至7.2折，短信低至0.034元/条 相比之下，ARMv9的升级看点就多了，过去10年计算架构有了太多变化，ARM处理器也不止是移动/嵌入式专用了，已经扩展到了PC、HPC高性能计算、深度学习等等新市场。ARMv9在兼容ARMv8的基础上，提升了安全性、增强了矢量计算、机器学习及数字信号处理，同时继续提升处理器性能。首先来说说性能上的变化，以智能手机等移动平台使用的Cortex-X/A系列为例，X1/A78这一代的性能相比16nm A72提升2.5倍，下一代的Matterhorn架构及Makalu架构会保持30%以上的IPC性能提升。IPC提升与频率无关，如果再考虑到未来工艺带来的频率增加，那么CPU性能...阅读全文
优势的角度来看，尽管AMD、英特尔已经证明了多芯片架构具有一定的经济性，但实际上，与微缩晶体管相比，芯片万能胶并不是在所有时候都能带来最大的成本优势。清华大学交叉院博士研究生冯寅潇和清华大学交叉院助理教授马恺声发表了一篇有关Chiplet成本计算的论文，通过建立Chiplet精算师的成本模型对多芯片集成系统的成本效益进行精准评估。结果发现，现阶段的Chiplets方案只有在800平方毫米的大芯片上才真正有收益，且工艺制程越先进，收益效果越明显。对于5nm芯片系统，当产量达到2千万时，多芯片架构才开始带来回报。戴伟民也表示，不是所有芯片都适合用chiplet的方式，不要为了拆分而拆分，不少情况下单颗集成的系统芯片（SoC), 如基于FD-SOI工艺集成射频无线连接功能的物联网系统芯片，更有价值...阅读全文
DPDK 全称为 Data Plane Development Kit ，是近年来在高速网络通信行业中炙手可热的一种网络报文处理加速框架。DPDK 从十年前诞生直至发展到今天已经可以支持业界主流的高端网卡以及各类加速硬件设备，同时也支持主流的各个CPU 体系结构（可以运行于 X86, Arm, Power 等平台）。同时也可以运行于 Linux/FreeBsd/Windows 等主流操作系统之上。DPDK因为其优异的性能指标被广泛的应用于网关/负载均衡/SDN/虚拟交换的各个场景。 本文主要介绍 DPDK 中的 libgraph 设计思想以及实现，libgraph 的设计思想源自于开源项目 Vector Packet Processor(VPP)。VPP 中的向量包处理优化方案是...阅读全文
gRPC是一个高性能、开源、通用的RPC框架，面向移动和HTTP/2设计，是由谷歌发布的首款基于Protocol Buffers的RPC框架。 gRPC基于HTTP/2标准设计，带来诸如双向流、流控、头部压缩、单TCP连接上的多复用请求等特性。这些特性使得其在移动设备上表现更好，更省电且节省空间占用。gRPC 1.0版本是2015年面世以后的第一次版本发布，开发者可以把该版本用于生产。API现在也是很稳定的。 Bugsnag（注：一家云端bug监控服务商）每天处理数以亿计的错误信息，为了处理这些数据，考虑优先构建一个可扩展，性能强大的后端系统，并从中学到很多有挑战性的技术。最近，我们推出了新版本的仪表板，这个项目要求扩展系统，来处理服务呼叫的显著增加，这些呼叫是跟踪用户发布和会话所需的...阅读全文
来自以色列的安全机构CTS-Labs突然曝出猛料，声称AMD Zen架构处理器存在四组12个高位安全漏洞，涉及Ryzen、EPYC全线产品。AMD第一时间对此发表了一份官方声明。 “我们刚刚收到一家名为CTS-Labs的公司的报告，声称我们的特定处理器产品可能存在安全漏洞。我们正在积极进行调查和分析。这家公司AMD从未听闻，而且不同寻常的是，这家安全机构直接将自己的发现公布给了媒体，却没有给AMD合理的时间调查和解决问题。安全是AMD的首要职责，我们持续努力确保我们客户的安全，应对新的安全威胁。如有后续进展我们会第一时间公告。” 可以看出，由于事发突然，特别是这些漏洞发现并没有按照行业惯例提前通知并给予90天的静默期，AMD被打了个措手不及，目前还无法完全证实这些漏洞的真伪。 即便是真的存...阅读全文
领先的开源解决方案供应商红帽公司（NYSE：RHT）宣布发布 Ansible2.3，简单、功能强大。Ansible 成立于 2013 年，在 2015 年被红帽收购， 开源软件 Ansible 就是 Ansible 旗下的十分流行的一个模型驱动的配置管理器。 Ansible2.3 更新主要包括性能增强和高级网络功能，以及其他满足网络运营商需求的附加功能。Ansible 2.3 通过新功能和性能更新来加强网络基础架构的支持：增强网络功能、持久连接框架，允许一个 SSH 连接在多个可复制任务之间保持活动。 这减少了完成的总时间。更多内容请参阅 此博客 。 下载地址： Source code (zip) Source code (tar.gz)...阅读全文
华为提供了一个基于 CentOS 的企业级 Linux 发行版 EulerOS，华为也发布了一个名为 openEuler 的 EulerOS 社区版。 openEuler 的源代码也一同发布了，源代码可以在 Gitee 找到。它有两个独立的代码库，一个用于存储源代码；另一个作为软件包的源代码，存储有助于构建该操作系统的软件包。 openEuler 基础架构团队分享了他们使源代码可用的经验： 我们现在很兴奋。很难想象我们会管理成千上万的仓库。为了确保它们能被成功地编译，我们要感谢所有参与贡献的人。 openEuler 是基于 CentOS 的 Linux 发行版 与 EulerOS 一样，openEuler OS 也是基于 CentOS，但华为技术有限公司为企业应用进一步开发了该操作系统...阅读全文
。 在 2019 年，将会发生从 CI 管道到 DevOps 装配线的转变。DevOps 装配线专注于自动化和连接多个团队执行的活动，例如开发人员的 CI，运维人员的基础架构配置和配置管理，测试人员的测试自动化，SecOps 的安全补丁，发布负责人的语义版本控制和部署到多种环境，等等。 下图展示了单个应用程序或服务的典型装配线： 自动化将成为主要焦点 关于 DevOps，我们谈论了很多自动化方面的内容。如果可能的话，零接触（zero-touch）自动化就是未来的发展方向。这并不是说你一定要自动化一切，只是说如果有必要，你就应该能够做到。了解 DevOps 周期的六个“C”，并确保在这些阶段之间应用自动化，这才是关键，这将是 2019 年的主要目标。 测试人员要学习编码 DevOps 对知道如何编...阅读全文
有很多理由可以选择 Debian 作为您的操作系统——作为用户、作为开发者，甚至是在企业环境中。大多数用户称赞它的稳定性，以及软件包和发行版的平滑的升级过程。Debian 也被软件和硬件开发人员广泛使用，因为它能运行在众多架构和设备上，提供了一个公开的缺陷跟踪系统，以及面向开发人员的其他工具。如果您在专业环境中使用 Debian，您还可以享受到诸如 LTS 版本和云映像带来的额外好处。对我而言，使用 Debian 的原因是它完美的易用性和稳定性。这些年来，我使用了各种不同的发行版，但是 Debian 是唯一一个能够完美使用的发行版。NorhamsFinest 在 Reddit 上写道面向用户的 DebianDebian 是自由软件。Debian 是由自由和开放源代码的软件组成的，并将始终保...阅读全文
Proxmox 5.3 默认包含CephFS, 可以直接用Web界面进行配置和管理。相比之下，Proxmox 5.2 版本用 pveceph install 安装，用命令行初始化pveceph init --network网络。在Proxmox VE web管理界面，点几下鼠标就能完成文件系统的创建和配置，以前的版本需要在命令行下完成。 这次官方发布更新的点比较多，这里只挑几个重要的介绍，想详细了解的同学请参考发布记录。 磁盘管理GUI界面（ZFS, LVM, LVMthin, xfs, ext4） CephFS管理GUI界面（MDS） ZFS over iSCSI 插件支持 Linux-IO 目标（LIO Target） 支持模拟运行ARM架构虚拟机（试验特性，搞开发的同学可以体验下...阅读全文
本周日，谷歌在全球范围内遭遇了大规模中断，包括Gmail、YouTube和Google Drive在内基于谷歌云架构服务的诸多谷歌服务均受到影响。本次宕机北京时间6月3日凌晨2点58分开始，用户访问谷歌服务出现各种错误提醒，并且用户无法访问电子邮件、上传YouTube视频等。 根据谷歌官方状态页面显示，包括Gmail, Calendar, Drive, Docs, Sheets, Slides, Hangouts, Meet, Chat和Voice在内的谷歌服务均无法使用。那些依赖于谷歌云架构的第三方服务同时也受到影响，目前谷歌官方并没有完全恢复的预估时间，也没有公布关于本次宕机事件的根本原因。 苹果的iCloud服务也受到轻微影响，苹果报告称有不到1%的用户出现了响应时间低于正常值的情况...阅读全文
#### 关于本站 InfraPub 关注企业基础设施、服务架构、DevOPS工具链、研发效能等相关的话题，是一个专注于相关生态的学习和分享的站点，目标受众是 Linux 系统爱好者、云原生、基础架构、平台工具相关的从业人员。 [InfraPub](https://infras.cn/) 努力为读者提供准确、清晰、及时的资料。 本站内容主要可分为三部分： - 来自网络上的优秀资料，这部分以复制+粘贴为主，小部分文章在粘贴时会修正部分错误。 - 站点维护人员整理的原创文章。 - 软件、硬件、操作系统相关的新闻。 如果发现有侵权类的资料需要处理，请与我联系。我的常用邮箱为 joseph # Debian.cn 。 #### 友情链接 [InfraPub...阅读全文
统的实现，深度参与到社区的创新和实践。除标准组件外，此次openEuler社区还孵化了A-Tune和iSula两个开源子项目：A-Tune是智能性能优化系统软件，即通过机器学习引擎对业务应用建立精准模型,再根据业务负载智能匹配最佳操作系统配置参数组合，实现系统整体运行效率提升；iSula是一种云原生轻量级容器解决方案，可通过统一、灵活的架构满足ICT领域端、边、云场景的多种需求。 开发者可以通过访问如下链接，获得相关代码和文档，供参考学习、了解openEuler操作系统的架构和源代码， https://gitee.com/openeulerhttps://gitee.com/src-openeuler...阅读全文
AMD表示，公司最新发布的“米兰”服务器芯片比目前最好的数据中心芯片处理速度更快。据悉，AMD完成该芯片的设计，并委托台积电采用7nm芯片制造工艺来实现量产。很快，Intel也要反击，其将在未来几周推出最新的“冰湖”（Ice Lake）服务器芯片，这将是首款采用Intel 10nm制造工艺量产的服务器芯片（据说性能相当于7nm制造工艺的“米兰”芯片）。无论这两款芯片的速度如何，但AMD仍有望拥有一些优势，比如每个芯片上的计算内核数更多，这使得芯片可以同时处理更多的软件应用程序。AMD服务器业务部门高级副总裁兼总经理丹·麦克纳马拉（Dan McNamara）表示，如果公司继续将客户反馈整合到新一代芯片中，就能保住领先地位。第三代EPYC 7003系列采用和锐龙5000系列同款的Zen3架构...阅读全文
较于PHP、Python、Java来说，JavaScript是最有可能在物联网大行其道的解释性语言。 JavaScript在浏览器没有对手，nodejs在服务器端也在不停的攻城拔寨，积累了大量的资源，构建了一个完整的应用开发生态环境。 JavaScript语言本身特点适合互联网，事件驱动，异步使单线程处理网络事件得心应手。 JavaScript已经跨界到物联网，受到了行业巨头的关注，各种项目发展的如火如荼。 未来的物联网开发 如果JavaScript在物联网获得成功，那么物联网的开发将会发生巨大的变化。 底层驱动由C实现，应用开发者不需要关注硬件，大量的互联网、移动互联网应用开发者加入物联网开发。 传统的交叉编译、烧写、调试的开发方式使用范围将急剧缩小 所见即所得，上位机和下位机的架构由C...阅读全文
. **Infrastructure health**：集群基础架构状态评分，比较像我们的集群巡检，给出一些优化建议，例如： - Worker nodes 跨可用区部署。 - Master 多副本。 - 检测 CPU 被 throttling 的 Pod。 ### Cost Allocation  **上述图中数字序号标示处相关说明可参考下文对应说明介绍**： 1. **显示的指标**： - 累积成本：在选定时间窗口的实际/历史支出。 - 费率指标：每小时、每天或每月的成本，基于所选时间窗口中的样本，也用于预计成本。 2. **聚合**： Cost Allocation 可以查...阅读全文
一、当 Kubernetes 成为云原生事实标准，可观测性挑战随之而来当前，云原生技术以容器技术为基础，通过标准可扩展的调度、网络、存储、容器运行时接口来提供基础设施。同时，通过标准可扩展的声明式资源和控制器来提供运维能力，两层标准化推动了开发与运维关注点分离，各领域进一步提升规模化和专业化，达到成本、效率、稳定性的全面优化。在这样的大技术背景下，越来越多的公司引入了云原生技术来开发、运维业务应用。正因为云原生技术带来了越发纷繁复杂的可能性，业务应用出现了微服务众多、多语言开发、多通信协议的鲜明特征。同时，云原生技术本身将复杂度下移，给可观测性带来了更多挑战：1、混沌的微服务架构，多语言和多网络协议混杂业务架构因为分工问题，容易出现服务数量多，调用协议和关系非常复杂的现象，导致的常见问题...阅读全文
“开源”一词所代表的不仅仅是技术人员的情怀，它还传达了诸如研究知识共享和社区建设之类的观点。虽然开源一直都在产生积极的影响 —— 随着开源微处理器指令集架构 RISC-V 的日益普及，推动软件创新的开源运动现在正在微处理器领域引起轰动，但半导体 IP 提供商 Arm（为 95％ 的智能手机嵌入式处理器提供了支持） 并不是开源的狂热爱好者。 近日，外媒 Synced 与 Arm 嵌入式、物联网和汽车营销高级总监 Rhonda Dirvin 进行了一次对话，探讨开源硬件和开源软件之间的区别，以及由此对 Arm 进行决策带来的影响。 Dirvin 认为，当今的开源硬件格局并不像看起来那样简单明了：“我们开始看到有人说免费并非真正的免费。因为归根结底，他们必须考虑验收所需的内容以及实现指令或架构所...阅读全文
Debian 发行版宣布正式释出代号为 Stretch 的 Debian 9，该版本将提供五年的支持。Stretch 将专门献给于 2015 年 12 月 28 日去世的项目创始人 Ian Murdock。Stretch 的主要变化包括：默认 MySQL 变种改为 MariaDB；Firefox 和 Thunderbird 替代去品牌名的版本 Iceweasel 和 Icedove， 九成以上的源包用逐位对应的方式构建，未来版本的 Debian 还将提供验证包的工具和元数据；X 显示系统不再需要 root 权限运行；GnuPG 经典版本将被淘汰，引入的现代版本增加了椭圆曲线加密，改进默认设置，模块化架构，改进智能卡支持；改进 UEFI 支持等。 软件方面的变化包括：Apache...阅读全文
首届官方举办的 Kotlin 专题会议 KotlinConf 于昨天正式开幕，来自世界各地约 1200 名与会者齐聚旧金山，在这场盛大的 KotlinConf 大会主题演讲中，Kotlin 的首席语言设计师 Andrey Breslav 公布了一系列与 Kotlin 紧密相关的重大发展成果。 首届官方举办的 Kotlin 专题会议 KotlinConf 于昨天正式开幕，来自世界各地约 1200 名与会者齐聚旧金山，在这场盛大的 KotlinConf 大会主题演讲中，Kotlin 的首席语言设计师 Andrey Breslav 公布了一系列与 Kotlin 紧密相关的重大发展成果，我们不妨关注一下。 Kotlin 1.2 RC 首先宣布了 Kotlin 1.2 RC 版（即 1.2 首个候选...阅读全文
于断言的语法。 缺点： 多数情况下，它需要一个测试运行器（如 Karma ）。 难以异步测试。 如果你正在寻找一个统一的（客户端 - 服务器）单元测试解决方案，Jasmin 可能会非常适合。 7. Mocha Mocha 是一个 JavaScript 单元测试框架，它在 NodeJs 上运行测试，主要与 ReactJS 配对使用。 优点： 内置测试运行器。 支持异步测试。 使用灵活，可使用任何符合需求的断言库（Chai、expect.js、Must.js 等）作为 Node 标准“断言” 功能的替代品。 缺点： 相对较新 (起始于 2012 年)，意味着有许多的未知性和可变性，在某些方面或缺乏用户基础和支持。 仅提供基本的测试结构，因此需要额外的设置和配置（对于一些可能是有利的）。 如果你正...阅读全文
osquery 是 SQL 驱动的分析和监控操作系统的工具，是操作系统分析框架，支持 OS X 和 Linux 系统。osquery 能帮助监控和分析低水平的操作系统，提供更直观的性能监控。 4.1.0 版本内容如下： New Features / Under the Hood improvements 还原扩展 SDK 和构建支持改进文档在整个代码库中添加更多的测试允许使用标志配置更多 Linux Audit 设置添加 logger_tls_max_lines 标志添加对 AWS Session Token 支持 Build 在所有平台上将 OpenSSL 升级到 1.0.2t在 Windows 和 MacOS 上使用 SQLite 3.29.0在 Windows 和 MacOS 上使用...阅读全文
Go 语言官博发文展示了 Go 2 计划，征询社区和用户的意见。 先简单回顾 Go 语言发展历程： 2007 年 9 月 25 日，Rob Pike、Robert Griesemer 和 Ken Thompson 讨论构建一种新的编程语言，Rob 建议命名为 “Go” 。 随后，Russ Cox 和 Lance Taylor 加入 Go 语言设计团队。2009 年 11 月 10 日，Go 语言开源。 在开源社区的帮助下，Go 做了一系列改进，于 2011 年 10 月 5 日正式提出 Go 1 计划。2012 年 3 月 28 日 Go 1.0 正式发布。 Go 语言从酝酿到发布经历了五年，Go 1.x 开发也已持续了五年，目前更新到了 1.9 版本（正式版计划 8 月发布），也是时候讨...阅读全文
储系统. HDFS 使用多台计算机存储文件，并且提供统一的访问接口，像是访问一个普通文件系统一样使用分布式文件系统。 HDFS文件系统 2. HDFS架构 HDFS架构 HDFS是一个主/从（Mater/Slave）体系结构，由三部分组成： NameNode 和 DataNode 以及 SecondaryNamenode： NameNode 负责管理整个文件系统的元数据，以及每一个路径（文件）所对应的数据块信息。 DataNode 负责管理用户的文件数据块，每一个数据块都可以在多个 DataNode 上存储多个副本，默认为3个。 Secondary NameNode 用来监控 HDFS 状态的辅助后台程序，每隔一段时间获取 HDFS 元数据的快照。最主要作用是辅助 NameNode 管理元数...阅读全文
日志文件增长，某些应用会在目标目录下产生多个日志文件甚至现在不能确定将来的日志文件名，架构上要支持多输入多输出流式日志采集传输，为了达成以上需求，我研究了所需技术，评估实现难度并不高，就自研了 logpipe。 logpipe 是一个分布式、高可用的用于采集、传输、对接落地的日志工具，采用了插件风格的框架结构设计，支持多输入多输出按需配置组件用于流式日志收集架构，无第三方依赖。 logpipe 的一种用法是能异步实时监控集群里的所有日志目录，一旦有文件新增或追加写，立即采集并传输到大存储上以相同日志文件名合并落地，或者写入 HDFS。异步意味着不影响应用输出日志的性能，实时意味着一有日志立即采集，很多日志采集工具如 flume-ng、logstash 介绍文档通篇不提采集方式是否实时还是周期...阅读全文
谷歌开源了一套代码评审（Code Review）规范，它是谷歌一套通用的工程实战指南，几乎涵盖了所有编程语言与各种类型的项目，这个规范代表了谷歌长期发展以来最佳实战经验的集合，谷歌表示希望开源项目或其他组织能够从这套规范中受益。 代码评审，也称代码复查，如果一个团队正在使用任务分支工作流，那么在所有代码编写完成并通过自动化测试之后，在代码合并之前，就会启动代码评审。通常的目的是查找系统缺陷，保证软件总体质量和提高开发者自身水平，代码评审的所有工具和过程都是为了这个目的而构建的。代码评审对于敏捷团队来说的作用如下： 代码评审共享知识通过代码评审可以更好的进行工作评估代码评审能让你享受休假通过代码评审指导新工程师 既然代码评审要进行众多的检查，那么找一个优秀的评审者就非常重要了。一般对于变更列...阅读全文
Raspbian 20171129 已发布，Raspbian 是基于 Debian GNU/Linux 的免费操作系统，它面向 Raspberry Pi 硬件（armhf 处理器架构）而做了优化。Raspbian 带有 35000 多个软件包或预编译软件，它们按优美的格式打包从而便于在 Raspberry Pi 上安装。 更新内容： Added battery monitor plugin for taskbar – works on x86 images or first-generation Pi-Top Added cutdown mode to PCManFM file manager to reduce complexity Added ability to rename...阅读全文
QEMU 是一个纯软件实现的通用模拟器和虚拟机，它有三种模式，几乎可以模拟任何硬件设备：Full-system emulation 可在任何支持的硬件架构上运行任何操作系统，User-mode emulation 可用来运行另一个 Linux/BSD 程序，Virtualization 可以接近本机性能运行 KVM 和 Xen 虚拟机。 QEMU 5.0.0 已正式发布，官方的下载链接在此。本次更新的亮点主要包括： 支持通过 virtiofsd 将主机文件系统目录传递给访客支持对在 QEMU D-Bus 上运行的外部进程进行实时迁移支持针对 main/”built-in” guest RAM 使用 Memory Backend（虚拟内存的后端）block: 支持通过块设备作业压缩备份镜像...阅读全文
AMD即将推出第二代Ryzen 2000系列处理器，各方面全面提升，从最近泄露的规格和性能看十分值得期待。Ryzen二代基于12nm新工艺和Zen+新架构，频率平均提升400MHz，并支持更高级的动态加速技术，超频空间也更大，同时改进了缓存、内存性能。 权威评测软件SiSoftware不小心泄露了一份Ryzen 7 2700X、Ryzen 5 2600的评测报告，虽然很快被撤下还是有网友保留了下来。这份评测都是考察SiSoftware的理论性能项目，没有实际应用和游戏测试，但是Ryzen二代的架构提升已经十分明显。 首先来看一下这两款新品的主要规格和 SiSoftware 的评价： 内存频率： 2400MHz提高到2933MHz，可以大大改进内存性能，就是现在高频内存太贵了。 核心线程...阅读全文
，merge跟rebase 技术二面 项目相关 通过腾讯会议，腾讯的两个大佬一起面试。 项目实现爬虫的流程爬虫如何做的鉴权吗怎么实现的分布式爬虫电商系统图片多会造成带宽过高，如何解决micro服务发现mysql底层有哪几种实现方式channel底层实现java nio和 go 区别读写锁底层是怎么实现的go-micro 微服务架构怎么实现水平部署的，代码怎么实现micro怎么用怎么做服务发现的mysql索引为什么要用B+树？mysql语句性能评测？服务发现有哪些机制raft算法是那种一致性算法raft有什么特点当go服务部署到线上了，发现有内存泄露，该怎么处理还有一些非常底层的问题 总结 腾讯对于基础部分是相当重视的，总体回答的还算可以项目部分腾讯也是非常重视，从电话里面听出来有一个架构在面试我...阅读全文
PCIe无疑是最为流行的传输总线标准，这几年的更新换代也十分频繁：PCIe 3.0目前还是最普及的，PCIe 4.0正在快速崛起，PCIe 5.0即将和大家见面，PCIe 6.0也正在快速推进制定中。 PCI-SIG组织今天宣布，PCIe 6.0规范已经完成了0.5版本，并提供给组织成员，将在明年按期发布最终正式版。 PCIe每版规范的制定都要经历五个不同版本/阶段： 0.3版本：初步概念，提出新规范的关键特性和架构。0.5版本：初始草案规范，确定新架构的所有层面，并吸收0.3版本基础上组织成员的反馈意见，并加入成员需求的新特性加的新特性。0.7版本：完成版草案，新规范的方方面面都完全确定，电气规范也必须通过测试芯片完成验证。之后不会再加入新功能。0.9版本：最终版草案，组织成员可以据此设...阅读全文
以通过切换底层组件降低运行成本。据悉，亚马逊最早在2006年推出EC2服务，但当是只有一种计算实例产品，名为“m1.small”。上述古老的计算实例到今天依然对外销售，如今，亚马逊的计算实例产品就多达300多种。美国云计算行业人士布鲁克·麦基姆（Brooke McKim）介绍说，亚马逊推出的新的计算实例产品简直是让人应接不暇。企业客户购买的EC2计算实例，运行在AMD、英特尔、英伟达等各种处理器上，此外还有人工智能处理器，或是亚马逊自行设计的ARM架构服务器芯片。亚马逊负责EC2产品的副总裁大卫·布朗（David Brown）介绍说，在云计算全线产品中，只要是对客户合理的地方，亚马逊都会使用自家设计的ARM处理器，这可以降低总体运行成本。亚马逊在云计算领域的强劲对手微软，迄今为止尚未宣布自行...阅读全文
Debian 项目发表新闻稿，对一名活跃开发者遭俄罗斯当局逮捕表达了关切。Dmitry Bogatov 是一名数学教师和活跃 Debian 贡献者，他在 Debian Haskell 组工作，维护了多个软件包。 Debian 表示，他们正在等待更多有关此案的细节，希望程序正当，Bogatov 能得到公平对待。 出于安全方面的考虑，Debian 项目宣布移除 Bogatov 持有的密钥，Debian 项目将全力支持他及其家人。...阅读全文
ThinkPHP V5.1 —— 12 载初心不改，你值得信赖的 PHP 框架。期盼已久的 V5.1.0 版本今日正式发布，祝大家 2018 年新年快乐！ ThinkPHP 自诞生以来一路走来已经 12 载，初心不改，并将继续努力，感谢大家的一路支持和贡献！ 特性 5.1 版本主要特性包括： 引入容器和 Facade 支持 依赖注入完善和支持更多场景 重构的（对象化）路由 路由跨域请求支持 支持注解路由 配置和路由目录独立 取消系统常量 助手函数增强 类库别名机制 模型和数据库增强 验证类增强 模板引擎改进 支持 PSR-3 日志规范 安装 5.1 版本开始官方不提供下载包，请使用 composer 安装： composer create-project topthink/think tp...阅读全文
使用，帮助他们减少在集群管理和资源整合方面的工作和投入。例如，我们网络能力、存储能力和计算能力的整合，就是让用户享受到原生K8S的好处，同时避免了很多运维的负担。 公有云的 K8S 处在底层 IaaS 和上层应用之间，一方面向下整合IaaS能力，一方面向上托管客户的应用。在整合 IaaS 方面，不改变 K8S原生特性，因为 K8S 本身架构足够开放，例如在我们实现的网络插件，是基于我们 IaaS 的 VPC 网络，让 pod 可以和我们托管区和物理云区域打通，这是我们 IaaS 能力在 K8S 产品上的体现，算是我们的特色之一，但这是在 K8S 体系支持下的插件方式实现的，不影响我们提供原生 K8S；在应用层面，厂商也可以基于 K8S 提供一些周边的功能以帮助用户提高效率，但它和提供一个一致...阅读全文
TensorFlow 官方博客宣布开源新的运行时 TFRT，该运行时提供了统一的、可扩展的基础结构层，并在各类硬件上均具有高性能。 TFRT 产品经理 Eric Johnson 表示，TFRT 将取代现有的 TensorFlow 运行时。原有的 TensorFlow 运行时最初是为图形执行和训练模型的工作负载而构建的。与之相比，新的运行时将急切的执行需求放在第一位，同时特别强调架构的可扩展性和模块化。 它能够很好地满足开发复杂模型时寻求更快迭代时间的开发者需求、在训练和服务生产模型时改进性能的需求，以及希望以模块化方式将边缘和数据中心设备集成到 TensorFlow 中的硬件制造商需求。 简单来讲，TFRT 可以减少开发、验证和部署企业级模型所需的时间。 TFRT 利用了 eager 和图...阅读全文
系统解析JDK源码，领略大牛设计思想，JAVA面试必备 download：https://www.51xuebc.com/thread-555-1-1.html Vue3实战商城后台管理系统开发示例 Vue是一款流行的JavaScript框架，它可以帮助我们快速构建高效、可维护、易用的Web应用程序。在本文中，我们将介绍如何使用Vue3来开发一个商城后台管理系统。 技术栈选型 在开始开发之前，我们需要选择合适的技术栈。以下是我们所采用的技术： Vue.js 3：Vue.js 3是Vue框架最新版本，它具有更好的性能、更好的TypeScript支持、更好的响应式系统等特点，可以提高开发效率和应用性能。 Element Plus：Element Plus是一套基于Vue3的UI组件库，提供了丰...阅读全文
Scrapy 是一个为了爬取网站数据，提取结构性数据而编写的应用框架。 可以应用在包括数据挖掘、信息处理或存储历史数据等一系列的程序中。本文着重介绍 Scrapy 架构及其组件之间的交互。 Scrapy 组件介绍 Scrapy Engine 引擎负责控制数据流在系统中所有组件中流动，并在相应动作发生时触发事件。 详细内容查看下面的数据流(Data Flow)部分。 调度器(Scheduler) 调度器从引擎接受request并将他们入队，以便之后引擎请求他们时提供给引擎。 下载器(Downloader) 下载器负责获取页面数据并提供给引擎，而后提供给spider。 Spiders Spider 是 Scrapy用户编写用于分析response并提取item(即获取到的item)或额外跟进的...阅读全文
虽然AWS平台早已早已为使用者带来了十分详细和高品质的工具箱，但在具体运用中含的软件还没有尤其方便快捷或是能满足客户的必须，因而，紧紧围绕全部AWS平台，客户及其许多专业开发设计AWS专用工具的企业发布了很多和AWS规范专用工具互为补充的第三方开发环境。这种专用工具集中化在系统软件布署管理方法自动化技术，系统架构图自动生成可视化工具，及其服务器资源监管专用工具等AWS技术栈的最底层服务项目。 系统软件布署管理方法自动化技术专用工具. 中国开发者利好消息！AWS（亚马逊云计算）中国区新用户注册即可免费使用12个月云服务产品啦！每注册一个新用户均可享受新的12个月免费云服务器数据库等产品！快来加入我们吧！ 免费12个月链接： https://aws.amazon.com/cn...阅读全文
虽然AWS平台早已早已为使用者带来了十分详细和高品质的工具箱，但在具体运用中含的软件还没有尤其方便快捷或是能满足客户的必须，因而，紧紧围绕全部AWS平台，客户及其许多专业开发设计AWS专用工具的企业发布了很多和AWS规范专用工具互为补充的第三方开发环境。这种专用工具集中化在系统软件布署管理方法自动化技术，系统架构图自动生成可视化工具，及其服务器资源监管专用工具等AWS技术栈的最底层服务项目。 系统软件布署管理方法自动化技术专用工具. 中国开发者利好消息！AWS（亚马逊云计算）中国区新用户注册即可免费使用12个月云服务产品啦！每注册一个新用户均可享受新的12个月免费云服务器数据库等产品！快来加入我们吧！ 免费12个月链接： https://aws.amazon.com/cn/free...阅读全文
安全（比如沙箱）。 Btrfs：https://facebookmicrosites.github.io/btrfs/ Btrfs 是下一代文件系统，它以当下的数据中心为基础。它是一个写时复制（CoW）文件系统，专注于高级功能实现、容错、修复和轻松管理。Btrfs 旨在解决和管理大型存储子系统，并支持快照、联机碎片整理、池化和集成的多设备支持等功能。 Netconsd：https://facebookmicrosites.github.io/netconsd/ Netconsd 是一个基于 UDP 的 netconsole 守护程序，为 Linux netconsole 消息提供轻量级传输。它接收并处理来自 Linux 内核的日志数据，并将其作为结构化数据提供以给生产工程师以快速识别集群中问...阅读全文
提问者为Linuxstory.org的华华，回答者即为清风博主老师。之前常逛Linux社区的同学，对这个ID应该很熟悉。 A.您与Linux的那些事 1.清风老师能简单的介绍下您自己吗？ 答：中学地理老师，Linux爱好者，Gentoo用户，70后 来张几年前上课摆拍的工作照吧 2.您是因为什么喜欢上折腾Linux的呢？遇到最大的困难是什么呢？ 答：说来话长。初识Linux是在参加工作近10年之后，之前都没听说过Linux。真正知道Linux，是因为自学了点asp，后来在搜索如何搭建更好的网站环境时，才知道了还有这么一个神奇的系统。2008年，有了笔记本电脑后，才尝试安装，发现这个系统太适合拿来折腾了！从入门级的Ubuntu到Gentoo，桌面环境从gnome2、unity、gnome3...阅读全文
