由于人工智能 / 机器学习日益集成到应用和业务流程中，因此生产级机器学习模型需要更多可扩展的基础设施和计算能力，以用于训练和部署。 现代机器学习算法在大量数据上进行训练，并且需要数十亿次迭代才能使成本函数最小化。这类模型的垂直扩展会遇到操作系统级别的瓶颈，包括可提供的 CPU、GPU 和存储的数量，而且对于这种类型的模型，已经证明效率并不高。更为高效的并行处理算法，例如异步训练和 allreduce 式训练，需要一个分布式集群系统，由不同的 worker （工作器）以协调的方式同时学习。 可扩展性对于在生产环境中服务深度学习模型也非常重要。将单个 API 请求处理到模型预测端点可能会触发复杂的处理逻辑，这将花费大量时间。由于更多用户访问模型的端点，为了有效地处理客户端请求，需要更多服务实例...阅读全文
TensorFlow 是一个端到端开源机器学习平台。它拥有一个包含各种工具、库和社区资源的全面灵活生态系统，可以让研究人员推动机器学习领域的先进技术的发展，并让开发者轻松地构建和部署由机器学习提供支持的应用。 TensorFlow可以在系统范围内，Python虚拟环境中，作为Docker容器或与Anaconda一起安装。在本教程中，我们将讲解如何在Debian 10的Python虚拟环境中安装TensorFlow。 虚拟环境使你可以在一台计算机上拥有多个不同的隔离Python环境，并在每个项目的基础上安装模块的特定版本，而不必担心会影响其他项目。 以下内容提供了如何在Debian 10上的Python虚拟环境中安装 TensorFlow。 1、安装Python 3 venv 首先我们要验证...阅读全文
SK海力士日前宣布推出新一代企业级SSD硬盘，不过官方并没有公布SSD硬盘的名称，只知道是NVMe标准的，基于72层堆栈的3D TLC闪存，M.2版容量最大4TB，U.2容量可达8TB。 性能方面，SK海力士表示新一代企业级硬盘的连续速度可达3200MB/s，随机性能可达160K IOPS，与2018年FMS展会上推出的72层堆栈闪存硬盘相比，新一代企业级SSD的顺序读写性能提升30%，随机写入提升了70%，同时支持读取敏感型及混合型应用，包括数据中心、AI、ML机器学习及VDI虚拟桌面架构等。 值得一提的是，SK海力士的新一代企业级SSD具备极低的功耗，正常应用低于14W，这在企业级SSD中是很低的水平了。 此外，SK海力士还表示将在今年底推出容量更大的企业级SSD硬盘，闪存会从目前的...阅读全文
片的反应“令人愉快”，Norrod说。 这一代Naples仅面向单插槽以及双插槽市场。双插槽系统最多支持八个内存通道，适合数据库等对宽带有更高要求的内存应用程序。 Naples比同级别的英特尔芯片提供更多I/O和内存容量。这一特性将为机器学习带来方便，特别是在芯片与GPU等协处理器协同运行时。AMD希望将Zen芯片与即将推出的Vega GPU配对，打造专为机器学习而生的芯片组合。 芯片中连接两个插槽的高带宽架构独一无二，这使得它成为双插槽服务器的理想选择。 AMD已授权中国天津海光先进技术投资有限公司（简称THATIC)生产Zen芯片。 Naples芯片将同英特尔Skylake服务器芯片进行直接对决，目前谷歌云服务使用的便是Skylake。高性能应用是AMD的弱项，而英特尔一直在高性能计算领...阅读全文
访问：2021阿里云上云采购季：采购补贴、充值返券、爆款抢先购云通信分会场：爆款产品低至7.2折，短信低至0.034元/条 相比之下，ARMv9的升级看点就多了，过去10年计算架构有了太多变化，ARM处理器也不止是移动/嵌入式专用了，已经扩展到了PC、HPC高性能计算、深度学习等等新市场。ARMv9在兼容ARMv8的基础上，提升了安全性、增强了矢量计算、机器学习及数字信号处理，同时继续提升处理器性能。首先来说说性能上的变化，以智能手机等移动平台使用的Cortex-X/A系列为例，X1/A78这一代的性能相比16nm A72提升2.5倍，下一代的Matterhorn架构及Makalu架构会保持30%以上的IPC性能提升。IPC提升与频率无关，如果再考虑到未来工艺带来的频率增加，那么CPU性能...阅读全文
GitHub的高级技术副总裁Jason Warner在2018的技术趋势中挑出了数据、工作流集成（workflow integration）以及开源工具，他认为这些是一个公司在2018年能够取得成功的关键。 Warner写道，数据将成为2018年全球增长的最重要因素： 现如今，所有的公司都是数据公司，不论他们是否意识到这个情况。在2018年，只要团队知道如何使用数据，数据就会成为他们最大的资产。 数据的重要性日益增长，也标志着云服务平台从分布式云计算平台转型成为数据处理的云平台，其中还包括数据分析和机器学习。这将重点反映到三个关键领域： Warner说，许多重要的系统目前都很脆弱，尽管它们的规模越来越大。为了应对在2018年变得更加频繁的攻击，将会有更多的财力和开发资源分配到改进安全性上...阅读全文
SK海力士宣布，已经成功研发出新一代DRAM内存“HBM2E”，可视为HBM2的增强版，拥有业界最高的传输带宽，相比现在的HBM2提升了大约50％，同时容量也翻了一番。 SK海力士的HBM2E每个针脚传输速率为3.6Gbps，搭配1024-bit位宽的话可以提供超过460GB/s的超高带宽，无可比拟。 AMD Radeon VII显卡曾经率先实现1TB/s的显存带宽，但应用了4096-bit的位宽，如果换成HBM2E总带宽可以轻松超过1.8TB/s。 同时得益于TSV硅通孔技术，HBM2E内存可以最多垂直堆叠八颗16Gb芯片，单颗封装总容量因此可达16GB，是目前的两倍。 SK海力士表示，超高带宽的HBM2E可用于工业4.0、高端GPU显卡、超级计算机、机器学习、AI人工智能等各种尖端领域...阅读全文
于更好的机器学习和数字信号处理。在安全方面，armv9 会获得 Arm Confidential Compute Architecture (CCA)，在使用时屏蔽数据的访问，在硬件层面保护数据。此外，还会有一个叫做 Realms 的东西，应用程序可以在安全和非安全区域之外使用。ARM 并没有透露首款基于 armv9 的新芯片何时会发布，不过可以肯定的是还需要再等待一段时间。...阅读全文
统的实现，深度参与到社区的创新和实践。除标准组件外，此次openEuler社区还孵化了A-Tune和iSula两个开源子项目：A-Tune是智能性能优化系统软件，即通过机器学习引擎对业务应用建立精准模型,再根据业务负载智能匹配最佳操作系统配置参数组合，实现系统整体运行效率提升；iSula是一种云原生轻量级容器解决方案，可通过统一、灵活的架构满足ICT领域端、边、云场景的多种需求。 开发者可以通过访问如下链接，获得相关代码和文档，供参考学习、了解openEuler操作系统的架构和源代码， https://gitee.com/openeulerhttps://gitee.com/src-openeuler...阅读全文
项目使电信运营商可以轻松地在难以到达的区域部署移动网络，从而降低了建设和维护电信网络的成本。Facebook 的 “Data for Good” 计划用于共享地理数据，以解决一些世界范围内的人道主义问题，包括在 COVID-19 疫情期间发挥作用。创建并维护 PyTorch 开源生态系统，为在计算机视觉、自然语言处理和其他学科中利用人工智能和机器学习贡献了很大一份力量；React.js 也由 Facebook 创建，它为世界上一些最受欢迎的网站提供支持，并且由于其简单性和灵活性而成为前端 Web 开发标准。 Linux 基金会会员分为银级、金级和白金级三种不同等级，白金级即最高等级，每年需缴纳会费 50 万美元，同时拥有董事会席位。AT&T、谷歌、华为、IBM、英特尔、微软、Oracle、腾...阅读全文
理音视频材料，包括通过机器学习 物联网（例如 IoT 传感器维持长期连接并寻求最小功耗） WebRTC 工作组正对现有及新的用例进行迭代，重点理解全部需求及其优先级。W3C 近期开始的 WebTransport 和 Web Codecs 工作预计将低延迟流媒体的优势引入更广大的媒体和娱乐生态系统。 WebRTC 成为 W3C 为应用程序开发定义开放 Web 平台的众多标准之一，具有前所未有的潜力。其让开发人员能够构建丰富的交互体验，由巨大的数据存储提供动力，可用于任何设备以及环境。 WebRTC 标准文档：https://www.w3.org/TR/webrtc/...阅读全文
DevOps流程中去以确保合规。对于需要快速推进的DevOps世界来说，将安全放在首位是一种挑战。但是，如果没有这么做，2017年可能会出现由于DevOps推进导致的重要数据泄漏。 Harrison说，“我们可能会看见重大漏洞溯源后和DevOps的使用有关，这将会促成DevOps和安全团队成为亲密伙伴。” 更多自动化代码 上一年，公司开始引入自动化工具以减少为应用程序中寻找缺陷代码的冗长工作。2017年对于开发者会有更多的自动化工具。GitLab产品副总裁Job van der Voort认为，这不是一件坏事，因为自动化将会围绕着代码测试、数据聚合和格式化、报表和通知展开。 他提到，“由于当前的新硬件和技术（如GPU和并行计算），通过机器学习的自动化编码将比以往更加流行。” 感谢朱昊冰对本文的审校...阅读全文
Insights这次在Paul Cormier的主题演讲里小小的露了一下脸，不过场下的很多场合都有不同红帽项目的负责人提及该项目。Insights可以视为一个基础设施监控平台，它自动采集并分析服务运行数据，以提供问题预测（而不仅仅是报警）的能力。由于该产品中使用了机器学习技术，因此也有人形容Insights是红帽的AI服务（虽然官方说明中并未提及）。 Red Hat Insights产品发布于2016年，目前已经与红帽Linux发行版RHEL、OpenStack发行版RDO、虚拟化产品RHEV、OpenShift、安全监控与打补丁产品Satellite、跨云管理平台CloudForms、以及上述自动化平台Ansible进行了集成。 就笔者看来，也许未来每个红帽产品都会被要求实现下述三个方面的集成： 可用容...阅读全文
-masquerade-agent)（RFC-1918），使用户可以在私有IP范围内创建集群并访问资源；服务可通过内部负载均衡（Internal Load Balancers）暴露，这是以Beta版提供的，允许Kubernetes和非Kubernetes服务在私有网络上相互访问（虽然当前通过Cloud VPN访问内部负载均衡的功能依然处于Alpha版）；GKE现在支持在Alpha Clusters中运行NVIDIA K80 GPUs，该特性使得用户可以实验机器学习算法；自动修复，当前是Beta版。它通过对不健康节点进行主动监控，并在无需用户参与的情况下对节点做自动修复，保持了集群的健康运行；一些GCP优化的改进，用于简化集群从底层架构层上做自动扩展。 在Kubernetes博客及GitHub的...阅读全文
Kubernetes代码库的前提下开发自己的解决方案。 由于1.9版本中提供的功能尚处于alpha测试阶段，因此用户必须额外加以启用，且我们不建议您将其应用于实际生产。但该版本的出现，意味着Kubernetes存储生态系统正朝着更加可扩展且基于标准的方向迈进。 其它功能 定制化资源定义（简称CRD）验证版目前已经开始beta测试，其默认启用，可帮助CRD作者们针对无效对象得出清晰且即时的反馈。 SIG Node硬件加速器目前进入alpha测试阶段，可利用GPU资源实现机器学习以及其它高性能工作负载。 CoreDNS alpha版本允许用户利用标准工具安装CoreDNS。 IPVS mode for kube-proxy进入beta版本，可为大型集群提供更出色的可扩展性与性能表现。 社区中的每个特别兴趣小组（简...阅读全文
CSDN 翻译，如需转载，请注明来源出处。作者独立观点，不代表 CSDN 立场。 热 文 推 荐 ☞小米“祭出” AIoT 神器！| 技术头条 ☞杠上百度？今日头条也做起搜索来了 | 畅言 ☞Google 再被罚！ ☞95 后天才读数千页 Intel CPU 手册发现危及全球重大漏洞！ ☞硬核接亲！程序员被新娘要求现场写代码，结果万万没想到…… ☞理工男的网红生意, 6000万月活50万条日更的背后, 内容链还能这样操作？ ☞工作量不断增加的微软Azure，正缩小与亚马逊AWS的差距 ☞杨超越第一，Python第二！ ☞68款大规模机器学习数据集，涵盖CV、语音、NLP | 十年资源集 System.out.println("点个在看吧！");console.log("点个在看吧！");print...阅读全文
个简化的Web应用，由这些部分组成： 为了冗余而在两个集群上运行的二进制文件，实现前段逻辑负载均衡，有集群前和全局的配置全局的Spanner数据库 生产或者服务基础架构提供服务所需的基础模块来服务用户的请求，比如，Borg集群管理系统[2]，网络交换机的firmware等等。每个这些组件都是一个asset。 Shakespeare服务使用多个基础架构提供者：Borg来运行二进制文件，GSLB[1]管理负载均衡，以及Google共享的Spanner基础架构。 控制平面是服务用于管理生产服务基础结构的平面——比如，添加一台VM或者搭建负载均衡器。控制平面可以包括人工（“我会把新的二进制文件拷贝到服务器上”）到复杂的自动化系统（“我使用机器学习来控制变更”）。控制平面包括变更管理：控制平面里的逻辑...阅读全文
