开源图数据库 Dgraph 完成 300 万融资
次数，并自动重新平衡服务器之间的碎片，以平均分配服务器负载。此外，Dgraph 更有效地处理复制，从而使可扩展性成为可操作的功能。 据悉，Dgraph 的下一步计划是提供托管管理服务，并对其用户界面进行重大改进。此外，它还将在其语言列表中添加流行的图形语言 Open Cypher 和 Gremlin ，以方便用户切换到 Dgraph 。...阅读全文
InfraPub 为您找到相关结果 22 个
谷歌开源更快更高效的 TensorFlow 运行时 TFRT
TensorFlow 官方博客宣布开源新的运行时 TFRT，该运行时提供了统一的、可扩展的基础结构层，并在各类硬件上均具有高性能。 TFRT 产品经理 Eric Johnson 表示，TFRT 将取代现有的 TensorFlow 运行时。原有的 TensorFlow 运行时最初是为图形执行和训练模型的工作负载而构建的。与之相比，新的运行时将急切的执行需求放在第一位，同时特别强调架构的可扩展性和模块化。 它能够很好地满足开发复杂模型时寻求更快迭代时间的开发者需求、在训练和服务生产模型时改进性能的需求，以及希望以模块化方式将边缘和数据中心设备集成到 TensorFlow 中的硬件制造商需求。 简单来讲，TFRT 可以减少开发、验证和部署企业级模型所需的时间。 TFRT 利用了 eager 和图...阅读全文
Everspin宣布千兆级芯片ST
它还展示了公司垂直磁性隧道结(pMTJ)的可扩展性。 首批配备Everspin全新千兆MRAM芯片的产品之一将来自Smart Modular公司。该公司计划发布一款NVMe PCIe硬盘，它的重量和长度都将减半，其将用于元数据缓存和储存加速应用。Smart Modular表示，该产品单元在4K随机读写测试中能够达到1500K IOPS。 眼下，Everspin正在闪存峰会(Flash Memory Summit)展示他们的1Gb ST-MRAM。...阅读全文
VS Code 公布 2018 路线图：生态改进 快乐编码
。 Workbench：改善导航页面和通知界面、支持垂直面板布局、实现多选及常见的操作、状态栏管理等。 Editor：提高性能和可扩展性、支持语义着色、列选改进、原生 model layer 等。 Terminal：支持多终端分离和查看。 Source Control Integration：支持直接在编辑器中查看更改。 Node、 JavaScript 和 TypeScript Development 计划包括： Language Server Protocol：继续完善和改进语言服务器协议。 Debug Adaptor Protocol：继续完善和改进调试适配器协议，为 DAP 功能提供更多 UI 。 TypeScript (and JavaScript)：功能改进。 Debug：支持非 JS 场景的热部署...阅读全文
Kubernetes 1.14 发布，31 项功能增强
Kubernetes 1.14 发布了，些版本主要关注可扩展性并支持更多工作负载，带来了 30多项功能增强，其中包括从 beta 到稳定的 10 项功能。亮点包括以下几部分。 持久化本地存储 持久性本地存储的主要用例是数据库和分布式文件系统。这是一个重要里程碑，显然，本地存储的性能优于远程磁盘，无论该存储是由云提供商提供的本地 SSD 还是连接到裸机系统的磁盘。 Windows 节点的生产级支持 绝大多数企业都拥有包含 Windows 工作负载的异构环境，现在不必寻找其它协调器来管理这些 Windows 容器。Kubernetes v1.14 改进支持了 pod、服务类型、工作负载控制器和 metrics/quotas，使得与 Linux 功能相当。 PID 限制 目前处在测试阶段...阅读全文
Kubernetes 1.7：安全加固、有状态应用更新等
志（Audit log），现在定制化和可扩展性更强，支持事件过滤和 webhook。它们同时为系统审计提供了更丰富的数据。 状态化工作负载： StatefulSet Update 是1.7中一个新的 beta 状态的特性，能允许有状态应用如 Kafka，Zookeeper 和 etcd 的更新自动化。它使用了各种升级策略，包括滚动更新。 对于无顺序要求的应用，通过 Pod 管理策略（Pod Management Policy），StatefulSet 现在支持更快的伸缩和启动。这可以大大提升性能。 本地存储（ alpha状态 ）是有状态应用一个最常被请求添加的特性。用户现在可以通过标准的PVC/PV接口和StatefulSet中的StorageClass来访问本地存储卷。 DaemonSet...阅读全文
可用于企业的三个非主流 Web 服务器
，可支持服务器及其所有功能的直接配置。Cherokee 在 Linux，Mac OS X，BSD 和 Solaris 上本机运行，但不在 Windows 上运行。 Monkey HTTP 服务器 Monkey HTTP 是一个轻量级的服务器和开发堆栈，最初针对 Linux 进行了优化，但现在也与 Mac OS X 兼容。它专为嵌入式设备而设计，因此具有高度可扩展性，具有低内存和低 CPU 消耗。该项目于 2001 年开始，在 2008 年被改写为事件驱动系统时转向专业应用程序。 服务器通过混合机制运行，为每个线程提供数千个客户端的访问能力。它提供高性能的重负载服务器，易于安装，是嵌入式设备的理想选择。 除了这三种Web服务器，你还有其他开源项目推荐吗？...阅读全文
Google 关于 Go 2 的讨论
语化的标识符或添加二进制整型字面量”等轻微改变，因为“这些改变很容易实现”。 Cox谈到了重大变化，例如“对错误处理的额外支持，或引入不可变或只读值类型，添加某种形式的泛型或其他尚未被建议的重要主题。” 从Google的角度来看，Go 2的主要目标是“解决Go在可扩展性方面的重要不足”。Cox提到了生产期的扩展性（云环境中运行并发应用）和开发期的扩展性（大量的开发人员在一个较大的代码库上并行协作）。 大部分主题是介绍和解释用于修改Go的五个步骤： 有关此过程的更多详细信息，我们建议您阅读博客文章Toward Go 2。有兴趣为Go 2推荐新功能的用户请参考GitHub上的关于该语言的Wiki。 查看英文原文：Google Discusses Go 2 感谢张卫滨对本文的审校。...阅读全文
7大维度看国外企业为啥选择gRPC打造高性能微服务
gRPC是一个高性能、开源、通用的RPC框架，面向移动和HTTP/2设计，是由谷歌发布的首款基于Protocol Buffers的RPC框架。 gRPC基于HTTP/2标准设计，带来诸如双向流、流控、头部压缩、单TCP连接上的多复用请求等特性。这些特性使得其在移动设备上表现更好，更省电且节省空间占用。gRPC 1.0版本是2015年面世以后的第一次版本发布，开发者可以把该版本用于生产。API现在也是很稳定的。 Bugsnag（注：一家云端bug监控服务商）每天处理数以亿计的错误信息，为了处理这些数据，考虑优先构建一个可扩展，性能强大的后端系统，并从中学到很多有挑战性的技术。最近，我们推出了新版本的仪表板，这个项目要求扩展系统，来处理服务呼叫的显著增加，这些呼叫是跟踪用户发布和会话所需的...阅读全文
2017 热门开源自动化测试框架优缺点对比
1. Robot Framework Robot Framework（RF）是用于验收测试和验收测试驱动开发（ATDD）的自动化测试框架。 基于 Python 编写，但也可以在 Jython（Java）和 IronPython（.NET） 上运行，提供跨平台支持（Windows、Linux 或 MacOS ）。 优点： 通过使用关键字驱动测试（KDT）方法简化了自动化测试过程，方便测试人员创建易读的测试。 测试数据语法简单易用。 生态系统丰富。由各种通用测试库和工具组成，这些工具都是作为独立项目开发的。 具有高度可扩展性。 可通过 pabot 或 Selenium Grid 执行并行测试。 缺点： 自定义 HTML 报告较为麻烦。 如果是针对大范围的库和扩展的 KDT 自动化测试，建议使用...阅读全文
Kubernetes 1.7 发布，安全强化、StatefulSet 更新及可扩展特性
(canary)和分阶段（phased)推出部署（rollout）；本地持久卷（Local Persistent Volume）。当前以Alpha版发布，允许用户通过标准的PersistentVolumeClaims/PersistentVolume接口及StatefulSets中的StorageClasses访问本地存储卷；DaemonSets。该特性用于确保给定的Pod对每个节点准确地执行和运行一次，现已添加了rollback和history功能；新提供的StorageOS Volume插件，它可在本地的或附加的节点存储上提供在整个集群范围内高可用的持久卷。 在可扩展性方面，1.7中以Beta版的形式添加了API聚合层，允许用户在他们的集群中添加Kubernetes风格的预先构建的、用户定义的或是第...阅读全文
开源硬件是趋势，Arm 却走了一条与众不同的路
Cortex-M33 CPU 开始使用。这将使得 Arm 客户能够向基于 Cortex-M 的 IoT CPU 添加自定义指令，以针对特定市场量身定制芯片。 Dirvin 说到：“例如，有些数学算法是重复的。如果我们要使用一块硅存储片来维护它，那么拥有一条指令将会非常好。但这与 Arm 想要的不符。不过现在使用自定义指令后，我们的合作伙伴将能够针对该市场专门对芯片进行优化。” 为此，许多行业从业者和分析家将 Arm 的这些声明视为对 RISC-V 日益严峻挑战的回应。由于 RISC-V 具有相当吸引人的优势 —— 高度的自由性、轻量级和可扩展性，它已引起 NVIDIA 和 Qualcomm 等技术巨头的广泛关注。 Dirvin 则强调，即使没有 RISC-V 的兴起，Arm 也会推出其政策变更。“创新...阅读全文
一位资深Java架构师的晋级心得
Java 架构师是什么？是一个既需要掌控整体又需要洞悉局部瓶颈并依据具体的业务场景给出解决方案的团队领导型人物。一个架构师得需要足够的想像力,能把各种目标需求进行不同维度的扩展，为目标客户提供更为全面的需求清单。 所谓架构师，思考的是全局的东西，是如何组织你的系统，以达到业务要求，性能要求，具备可扩展性（scalability），可拓展性（extendability），前后兼容性等。可能涉及到的东西包括了从硬件到软件的方方面面。 架构师在软件开发的整个过程中起着很重要的作用。 架构师的主要任务不是从事具体的软件程序的编写，而是从事更高层次的开发构架工作。他必须对开发技术非常了解，并且需要有良好的组织管理能力。可以这样说，一个架构师工作的好坏决定了整个软件开发项目的成败。 在成为Java架构...阅读全文
Stackstorm 入门介绍
一句话概况：stackstorm是一个事件驱动的自动化引擎。StackStorm 是一坨功能强大的开源自动化平台，可将通过使用插件封装API的方式，将所有应用程序，服务和工作流程连接起来。这里的所有包括了目前我们常用Gitlab、Zabbix、ELK、AWS 等服务。 Stackstorm 具有很好的可扩展性，灵活性，完美支持 ChatOps 和全操作的API实现。通过Stackstorm 可以将您现有的基础架构和应用程序环境联系在一起，以便您可以更轻松地自动化操作该环境。它特别专注于针对事件采取行动。 便利的故障排除 - 触发由Nagios，Sensu，New Relic和其他监控系统捕获的系统故障，在物理节点、OpenStack或Amazon实例和应用程序组件上运行一系列诊断检查，并将...阅读全文
欧洲核子研究组织（CERN）是如何使用 Linux 和开源的 - 云+社区
解决方案的可扩展性时，我们也从中受益，也可以扩大规模。“解决现实问题2012 年左右，CERN 正在研究如何为大型强子对撞机扩展计算能力，但难点是人员而不是技术。CERN 雇用的员工人数是固定的。“我们必须找到一种方法来扩展计算能力，而不需要大量额外的人来管理。”Bell 说，“OpenStack 为我们提供了一个自动的 API 驱动和软件定义的基础架构。”OpenStack 还帮助 CERN 检查与服务交付相关的问题，然后使其自动化，而无需增加员工。“我们目前在日内瓦和布达佩斯的两个数据中心运行大约 280000 个处理器核心和 7000 台服务器。我们正在使用软件定义的基础架构使一切自动化，这使我们能够在保持员工数量不变的同时继续添加更多的服务器。“Bell 说。随着时间的推移，CERN...阅读全文
Kubernetes 1.9发布：Apps Workloads通用版本与生态系统扩展
Kubernetes代码库的前提下开发自己的解决方案。 由于1.9版本中提供的功能尚处于alpha测试阶段，因此用户必须额外加以启用，且我们不建议您将其应用于实际生产。但该版本的出现，意味着Kubernetes存储生态系统正朝着更加可扩展且基于标准的方向迈进。 其它功能 定制化资源定义（简称CRD）验证版目前已经开始beta测试，其默认启用，可帮助CRD作者们针对无效对象得出清晰且即时的反馈。 SIG Node硬件加速器目前进入alpha测试阶段，可利用GPU资源实现机器学习以及其它高性能工作负载。 CoreDNS alpha版本允许用户利用标准工具安装CoreDNS。 IPVS mode for kube-proxy进入beta版本，可为大型集群提供更出色的可扩展性与性能表现。 社区中的每个特别兴趣小组（简...阅读全文
在 Kubernetes 上扩展 TensorFlow 模型
由于人工智能 / 机器学习日益集成到应用和业务流程中，因此生产级机器学习模型需要更多可扩展的基础设施和计算能力，以用于训练和部署。 现代机器学习算法在大量数据上进行训练，并且需要数十亿次迭代才能使成本函数最小化。这类模型的垂直扩展会遇到操作系统级别的瓶颈，包括可提供的 CPU、GPU 和存储的数量，而且对于这种类型的模型，已经证明效率并不高。更为高效的并行处理算法，例如异步训练和 allreduce 式训练，需要一个分布式集群系统，由不同的 worker （工作器）以协调的方式同时学习。 可扩展性对于在生产环境中服务深度学习模型也非常重要。将单个 API 请求处理到模型预测端点可能会触发复杂的处理逻辑，这将花费大量时间。由于更多用户访问模型的端点，为了有效地处理客户端请求，需要更多服务实例...阅读全文
Ceph 12.2.0 正式版本发布， 代号 Luminous
。 ceph-mgr还包括一个Prometheus插件。 ceph-mgr现在有一个Zabbix插件。使用zabbix_sender，它可以将集群故障事件发送到Zabbix Server主机。 这样可以方便地监视Ceph群集的状态，并在发生故障时发送通知。 集群的总体可扩展性有所提高。我们已经成功测试了多达10,000个OSD的集群。 目前，每个OSD都具有与其相关联的设备类（例如，hdd或ssd），允许CRUSH规则将数据简单地映射到系统中的设备的子集。 通常不需要手动编写CRUSH规则或手动编辑CRUSH。可以优化CRUSH权重，以保持OSD之间数据的近乎完美的分布。 还有一个新的upmap异常处理机制，允许单个PG移动以实现完美的分发（这需要客户端）。 每个OSD目前可以根据后端设备是HDD还是...阅读全文
五款流行开源的 HIDS 系统简单介绍
让我们先探讨什么是基于主机的入侵检测系统。如前所述，入侵检测系统是一种硬件或软件应用程序，可在检测到恶意活动时检测并警告管理员。HIDS主要专注于监视和分析日志文件，以便 基于预定义的策略和一组规则来检测异常和未经授权的更改。换句话说，HIDS与您添加的预先建立的规则一样有效。对于大量存储的日志，提取有意义的信息对于检测异常至关重要。提取的信息应准确。因此，确保这些日志的安全性对于防御日志操纵至关重要。1. OSSECOSSEC是开源安全事件关联器的缩写。这个建立良好且信誉良好的解决方案是OSSEC基金会开发和维护的免费和开放源代码的基于主机的入侵检测系统，这要归功于众多的贡献者。它后来归趋势科技所有。这是一个不断发展的项目，每月下载约5000次，并且具有可扩展性和多平台方面的特点，因为它...阅读全文
Sam Altman的成功学｜OneFlow
人人适用。 1 选择“复利增长” 复利具有神奇的魔力，现在处处都在强调复利，这其中的奥秘就是指数曲线，因为指数曲线是创造财富的关键。 一家中型企业的价值如果按照每年50%的速度增长，那么它的规模可以在短时间内极速扩张。世界上少有企业具有真正的网络效应和高度的可扩展性，但是随着技术进步，这种情况会逐渐改变，这值得我们不断为之努力。 对个体的人生道路来说，我们也应该走成一条指数曲线，也就是说，我们要遵循不断向右增长的人生轨迹。在进行职业规划时，要选择具有复合效应的职业，而大多数职业的发展轨迹都是一条线性直线。 在线性职业领域，工作二十年的效率并不会比工作两年的效率高，像这样的职业不利于个人发展，我们需要的是一份能保持不断学习的职业。随着职业发展我们需要产出越来越多的成果。达成这一目标的途径多种多...阅读全文
kubectl 创建 Pod 背后到底发生了什么？—探寻 Kubectl 创建 Pod 的原理
者的工作方式类似，但有一点区别：与验证链和授权链不同，如果某个准入控制器检查不通过，则整个链会中断，整个请求将立即被拒绝并且返回一个错误给终端用户。 准入控制器设计的重点在于提高可扩展性，某个控制器都作为一个插件存储在 plugin/pkg/admission 目录中，并且与某一个接口相匹配，最后被编译到 kube-apiserver 二进制文件中。 大部分准入控制器都比较容易理解，接下来着重介绍 SecurityContextDeny、ResourceQuota 及 LimitRanger 这三个准入控制器。 SecurityContextDeny 该插件将禁止创建设置了 Security Context 的 Pod。ResourceQuota 不仅能限制某个 Namespace 中创建资...阅读全文
谷歌公开了内部管理Infra层的两个工具的Paper
schema。我们还需要检查check插件来避免周末的推送。 Annealing插件和Kubernetes控制器在有些方面很类似，它们都抽象了操作生产环境特殊方面的逻辑。但是，实现上这两有所不同： Kubernetes控制器监控资源的变化。Annealing插件除非被显式调用否则什么也不做。Annealing插件更细粒度。一个Kubernetes控制器可能会检查某个操作是否需要（asset插件diff），验证现在是否可以推送这个变更（check插件），以及执行变更（asset插件push）。 Enforcer独立处理每个asset。最初，我们在决策之前都会尝试评估所有asset，但是遇到了可扩展性的问题。 如图9所示，Enforcer按照如下步骤为每个asset运行着一个永久的循环： Pinning...阅读全文
最新评论
