InfraPub 为您找到相关结果 765

在 Kubernetes 上扩展 TensorFlow 模型

由于人工智能 / 机器学习日益集成到应用和业务流程中,因此生产级机器学习模型需要更多可扩展的基础设施和计算能力,以用于和部署。 现代机器学习算法在大量数据上进行,并且需要数十亿次迭代才能使成本函数最小化。这类模型的垂直扩展会遇到操作系统级别的瓶颈,包括可提供的 CPU、GPU 和存储的数量,而且对于这种类型的模型,已证明效率并不高。更为高效的并行处理算法,例如异步和 allreduce 式,需要一个分布式集群系统,由不同的 worker (工作器)以协调的方式同时学习。 可扩展性对于在生产环境中服务深度学习模型也非常重要。将单个 API 请求处理到模型预测端点可能会触发复杂的处理逻辑,这将花费大量时间。由于更多用户访问模型的端点,为了有效地处理客户端请求,需要更多服务实例...阅读全文

谷歌开源更快更高效的 TensorFlow 运行时 TFRT

形执行的通用抽象,为了获得更好的性能,其图执行器支持并发执行操作和异步 API 调用。在性能测试中,与 TensorFlow 当前的运行时相比,TFRT 将的 ResNet-50 模型(一种流行的图像识别算法)在图形卡上的推理时间缩短了 28%。 TFRT 仍处在早期开发阶段,它已与 TensorFlow 集成,最终将成为其默认运行时。关于 TFRT 的更多信息,可查看 TensorFlow 官方博客。...阅读全文

博文 2020-05-01 09:30:31 debian.cn

程序员如何才能成为独立开发者?

大概这几条路: 1)自己做开源项目,足够好,然后鼓励你的关注者给你donate,老外常年用paypal收打赏。厉害一点,直接有人给你包了。 2)用心写各种demo或者教程,好看易懂,勤维护,也有人给你打赏,写的多了还可以出书,类似阮一峰和廖雪峰。 3)多做前端,写几个自己开发的工具类app,笔记啊,图片识别的类似小工具,真的好用,可以加一些小广告,或者开启升级付费的功能。 4)开直播做培,口条要好,一定要把一些教程得特别熟,表演的好像阿里P8以上那种其实都可以自己手写一个新的jvm的大牛但是想普惠众生,而江湖隐退来开课办班,帮助大家提高技能和基本功,这种目前好多人在做。 5)程序员都在用的AWS有好消息!AWS(亚马逊云计算)中国区新用户注册即可免费使用12个月云服务产品啦!每注册一...阅读全文

OpenAI掌门人Sam Altman:AI的下一个发展阶段_OneFlow

和图像的互相转换,而是所有模态之间都可以方便地互相转化。 第三个方向是,模型可以持续学习。目前的模型如GPT都停滞在当初好的状态,并不会随着使用次数的增加而自我优化。我相信未来可以改变这一点。 如果上述三点都能实现的话,我们就可以解锁无数全新的应用场景,实现真正的科技革新,帮助人类实现科技的飞跃式前进。而且我相信,我们也有办法利用AI推动科研进步和新知识的产生。 我认为,现在普遍存在的一种错误观点是:“虽然语言模型的功能已比较完善,还可以应用到图像和视频领域,将应用智能的边际成本降得非常低,但归根结底,它只是模仿人类做的东西,不能为人类产生新知识,不能治疗癌症,也不能拓展人类已知的科学领域。”我相信,AI的发展会让持这种观点的人大吃一惊。 Reid Hoffman:AI将如何影响未来...阅读全文

博文 2023-02-04 15:55:11 CSDN博客

NSA 的 Python 手册

Python 开发者现在可以观摩下美国情报机构 NSA 是如何培 Python 程序员的。软件工程师 Chris Swenson 根据信息自由法案递交申请,要求访问 NSA 的 Python 培材料,结果收到了 400 页编辑的 NSA COMP 3321 Python 培课程打印资料。 Swenson 扫描了打印稿,用 OCR 进行识别,确保数字档案可搜索,将其托管在 Digital Oceans Spaces,之后又被上传到了互联网档案馆。Swenson 称他问 NSA 索要 Python 培材料纯粹是出于好奇。 Python 开发者 Kushal Das 观摩之后摘录些有趣的细节:NSA 有内部的 Python 包索引,其 GitLab 实例是...阅读全文

博文 2020-02-20 12:00:39 debian.cn

谷歌是如何培养经理人的

Google Partners Podcast主持人Alex Langshur主持了一个播客节目,主题是关于谷歌HR如何寻找和培养优秀理人。嘉宾是来自谷歌人力发展部门的Sarah Calderon,她在节目中介绍了谷歌是如何选择、培和培养他们的理人的。 Langshur引用了他的前上司的话,“一个优秀的理人让一份艰难的工作变得具有挑战性和价值…而一个糟糕的理人在一个好的岗位上表现平平,把一份艰难的工作搞得支离破碎”,以此强调选择正确理人是多么重要。在访谈程中,Sarah介绍了拥有7万名员工和数千名理人的谷歌公司是如何选择、管理和培养理人的。 Sarah概括了谷歌在培养理人方面的五个要点: 表现优秀的员工不一定就是好的理人,管理岗位所需要的技能是不一样的。只是在某个领域...阅读全文

博文 2017-12-24 07:31:00 debian.cn

Sam Altman的成功学|OneFlow

程中,最宝贵的验教之一就是,我们要学会在绝境中找到一线生机。我们历的越多就越会对此深信不疑。要知道勇气来自于多次失败后的坚持不懈。 4 做一个好“销售” 光有自信是不够的,我们还要具备说服他人的能力。 就某种程度来说,所有职业的本质都是销售。你必须向客户、潜在职员、媒体、投资者等宣传兜售你的计划。想要说服他们,首先你的计划要有广阔的发展前景,对于个人而言,你要具备良好的沟通能力、一定的个人魅力以及强大的执行能力。 具备良好的沟通能力十分重要,尤其是书面沟通。在这方面我的建议是:首先要保证思路清晰,然后就是尽量使用简洁明了的语言。 而要做好“销售”最好的方式就是真诚,要对自己推销的产品抱有自信。 销售其实无异于其他技能,我们可以通刻意习提高销售技能。但是出于某些原因(比如人们可能不喜...阅读全文

Windows Lite 对微软来说意味着什么?

微软发烧友 Brad Sams 近日在 Petri 上写道,微软正在开发一个名为 Windows Lite 的新版操作系统。顾名思义,Windows Lite 将是轻量级并快速的,因为它抛开了 Windows 长达数十年的臃肿积累。此举似乎暗示着微软转向云计算并重新进入移动领域的野心。但微软想取得成功,它必须从去的错误中吸取教。 Windows 的转型是有必要的。尽管微软已在其 Surface 系列产品上取得了成功,但即便是最新的 Windows 10 系统,仍然包含着几十年前的代码,部分原因是微软的许多企业客户仍然需要与旧软件兼容。因此,Windows 10 不仅臃肿,而且还不适合移动世界。比方说,微软试图将 Surface Go 作为 iPad 的竞争对手,但受操作系统的限制,它...阅读全文

WebRTC 成为 W3C 和 IETF 正式标准 - OSCHINA

新春现金红包与免费Linux基金会培&认证,等你来领!>>> 2021年1月26日,W3C(万维网联盟)和 IETF (互联网工程任务组)同时宣布 WebRTC(Web Real-Time Communications,Web 实时通信)现发布为正式标准,将音视频通信带到 Web 上任何地方。 WebRTC 由用于 Web 实时通信的 JavaScript API 和一组通信协议构成,支持网络上的任何已连接设备成为 Web 上潜在的通信端点。WebRTC 已成为线上通信及协作服务的基石。 目前全球都面临着 COVID-19 疫情,WebRTC 让数十亿人无论其设备或地域如何,在 COVID-19 疫情期间也能保持联络。WebRTC 的使用已超越了最初的核心设计,即在浏览器和其他生态(例...阅读全文

博文 2021-02-03 22:22:47 开源技术交流社区

Linux Kernel 4.19 正式版本发布 将是长期支持版

Greg Kroah-Hartman 在内核邮件列表上 宣布 释出 Linux 4.19。Linux 作者 Linus Torvalds 最近在 休假反省 ,Linux 的开发现在由稳定版内核维护者 Kroah-Hartman 接手。 Kroah-Hartman 表示,4.19 将会是一个长期支持版本,他也会维持几年。 Linux 4.19 的主要新特性包括: 基于异步 I/O 的轮接口 L1TF 漏洞补丁 块 I/O 延迟控制器 Common Applications Kept Enhanced (CAKE) 队列管理算法 Wi-Fi 6 (802.11ax) 初步支持 实验性文件系统 EROFS Intel Cache Pseudo-locking 基于时间的包传输 改进 RISC...阅读全文

博文 2018-10-24 13:37:11 debian.cn

2021勒索软件报告:平均支付赎金增长171% 黑客最高要价3000万美元

派拓网络全球威胁情报团队 Unit 42 在这份报告中指出:“机构平均支付赎金从 2019 年的 115123 美元增加到 2020 年的 312493 美元,同比增长 171%。此外,组织支付的最高赎金从 2019 年到 2020 年翻了一番,从500万美元增加到1000万美元”。报告中还表示,网络犯罪分子已变得越来越贪婪。从 2015-2019 年间,勒索软件的最高赎金要求是 1500 万美元。不在 2020 年,当世界还在从冠状病毒大流行的公共健康和金融影响中恢复来时,最高的勒索软件需求增长到 3000 万美元。值得注意的是,2020 年 Maze 勒索软件的平均赎金为 480 万美元,与 2020 年所有勒索软件的平均赎金 847,344 美元相比,有了显着增长。网络犯罪分子...阅读全文

Linux 基金会与 RISC

Linux是全球最重要的开源软件,RISC-V则是近年来兴起的一个开源CPU指令集,现在这两个阵营宣布达成合作——Linux基金会与RISC-V基金会将共同合作加速推广RISC-V ISA的开发及采用,Linux基金会还将为RISC-V生态系统提供大量资源,包括培计划、基础工具以及社区扩展、营销和法律专业知识。 Linux开源社区这么多年发展已很成熟了,而RISC-V在普通人眼里还很陌生,有些人可能还记得之前ARM公司还专门上线了一个网站,攻击RISC-V指令集的各种缺点,而ARM之所以如此兴师动众就是担心RISC-V指令集未来会跟自己抢饭碗,因为ARM赖以生存的就是ARM处理器/指令集授权费,但RISC-V是开源、免费的CPU指令集。 相比ARM指令集,RISC-V的历史很短...阅读全文

博文 2018-12-01 09:45:27 V 基金会合作推广开源芯片

JDK 11 版本时间表公布

) JSR-250:Java 平台的常用注解 已得到确认的是,JDK 不再需要支持这些模块,因为它们已在去的 12 年中得到很好的发展,并且可以在第三方站点(如 Maven Central)中随时获得。 CORBA 技术早在 1998 年就有了,但大多数现代应用程序已不使用该项技术,因此 JDK 中可用的 CORBA 模块也将被移除。Oracle 认为继续为 CORBA 提供支持得不偿失。 计划在 JDK 11 中移除的模块包括: java.xml.ws(JAX-WS,以及相关的 SAAJ 和 Web 服务元数据) java.xml.bind(JAXB) java.activation(JAF) java.xml.ws.annotation(通用注解) java.corba(CORBA...阅读全文

博文 2018-04-27 08:33:08 debian.cn

Facebook 是如何进行大规模代码部署的

Facebook 的首位发布工程师,目前是 Facebook 发布工程的工程总监。 Facebook 的发布周期是“ quasi-continuous ” (准连续)——这只是一种委婉的说法,表明并非每次提交都会部署到生产环境,实际上它采用的是对几十到几百个提交进行批处理,每隔几个小时就进行推送。这种分层发布的方式使任何变更的回滚很容易。 这个新系统从 2016 年 4 月开始,一年的时间慢慢地完善。早先的模式是从主干分支的提交中选择特定的变更放到发布分支上。发布分支每天将这些变更推送到生产环境。这种“ cherry-picking ”的特点是,每天选择变更的数量为 500 ~ 1000。剩下的变更就推入到每周发布分支中。随着时间的推移,提交的数量和参与其中的工程师都有所增加,发布工程师的手工劳动变得...阅读全文

博文 2017-10-31 14:05:20 debian.cn

GitHub 发布10月21日系统故障分析报告

都包含了其它数据中心中不存在的写入,因此无法安全地将主要数据库故障转移到美国东海岸数据中心。 GitHub 工程师发现问题后进行了一系列抢救措施,“最终没有用户数据丢失,但是,几秒钟的数据库写入的手动协调仍在进行中。” GitHub 对所有受影响的用户表示歉意,并表示“我们已吸取了教,并且采取了一系列急救措施,我们希望更好地确保不再发生类似情况。” 同时 GitHub 也表示接下来将解决由此导致的数据不一致问题。详细分析与事件时间线请查阅 GitHub 公告。...阅读全文

Golang 之禅: 如何写优质代码

减少耦合的操作,需要通提供类型需要的依赖项作为该类型上的字段,而不是使用包变量。 简单性很重要 简单性不是老的代名词。简单并不意味着粗糙,它意味着可读性和可维护性。如果可以选择,请遵循较简单的解决方案。 编写测试以确认包 API 的行为 软件包的 API 是与使用者的一份合约,不管先后,不管多少,一定要进行测试。测试是确定合约的保证。要确保测试使用者可以观察和依赖的行为。 如果你认为速度缓慢,先通基准测试进行验证 以性能之名会犯下许多危害可维护性的罪行。优化会破坏抽象、暴露内部和紧密耦合。如果要付出这样的代价,请确保有充分理由这样做。 节制是一种美德 适度使用 goroutine、通道、锁、接口与嵌套。...阅读全文

博文 2020-02-25 20:48:33 debian.cn

几种常用的方法论、思维方式

方法论,就是关于人们认识世界、改造世界方法的验性的理论,它是一种以解决问题为目标的体系或系统,通常涉及对问题阶段、任务、工具、方法技巧的论述。方法论会对一系列具体的方法进行分析研究、总结并最终提出较为一般性的原则。 这里汇总介绍几种方法论。 吉德林法则 美国通用汽车公司管理顾问查尔斯·吉德林提出:把难题清清楚楚地写出来,便已解决了一半。只有先认清问题,才能很好地解决问题。这种观点在管理学上被称为吉德林法则。 墨菲定律(Murphy's Law) 主要内容有四个方面:一、任何事都没有表面看起来那么简单;二、所有的事都会比你预计的时间长;三、会出错的事总会出错;四、如果你担心某种情况发生,那么它就更有可能发生。 彼德原理 每个人在层级组织里都会得到晋升,直到不能胜任为止。换句话说,一个人...阅读全文

一位资深Java架构师的晋级心得

Java 架构师是什么?是一个既需要掌控整体又需要洞悉局部瓶颈并依据具体的业务场景给出解决方案的团队领导型人物。一个架构师得需要足够的想像力,能把各种目标需求进行不同维度的扩展,为目标客户提供更为全面的需求清单。 所谓架构师,思考的是全局的东西,是如何组织你的系统,以达到业务要求,性能要求,具备可扩展性(scalability),可拓展性(extendability),前后兼容性等。可能涉及到的东西包括了从硬件到软件的方方面面。 架构师在软件开发的整个程中起着很重要的作用。 架构师的主要任务不是从事具体的软件程序的编写,而是从事更高层次的开发构架工作。他必须对开发技术非常了解,并且需要有良好的组织管理能力。可以这样说,一个架构师工作的好坏决定了整个软件开发项目的成败。 在成为Java架构...阅读全文

博文 2019-01-13 22:49:22 debian.cn

Netty+Nacos+Disruptor自研企业级API网关

Netty+Nacos+Disruptor自研企业级API网关 download:https://www.51xuebc.com/thread-566-1-1.html React18+TS+NestJS+GraphQL全栈开发示例 全栈开发是指一位开发人员可以熟掌握前端、后端和数据库等多个领域的技术,能够完整地开发一个应用程序。在本文中,我们将介绍如何使用React18+TS+NestJS+GraphQL这个技术组合来进行全栈开发。 技术选型 在开始开发之前,我们需要选择合适的技术栈。以下是我们所采用的技术: React 18:React18是React框架最新版本,它具有更好的性能、更好的可访问性、更好的代码拆分等特点,可以提高开发效率和应用性能...阅读全文

博文 2023-05-27 12:49:20 bianchengyuan123

高性能日志采集工具 logpipe 简单介绍

性的,这很关键。 logpipe 概念朴实、使用方便、配置简,没有如 sink 等一大堆新名词。 logpipe 由若干个 input、事件总线和若干个 output 组成。启动 logpipe 管理进程 (monitor),派生一个工作进程 (worker),监控工作进程崩溃则重启工作进程。工作进程装载配置加载若干个 input 插件和若干个 output 插件,进入事件循环,任一 input 插件产生消息后输出给所有 output 插件。 logpipe 自带了几个插件,分别是: logpipe-input-file 用 inotify 异步实时监控日志目录,一旦有文件新建或文件增长事件发生(注意:不是周期性轮询文件修改时间和大小),立即捕获文件名和读取文件追加数据。该插件拥有文件大小...阅读全文

技术部门的 SEO 规范

为客户提供SEO顾问服务的时候,常遇到一些作为外部顾问不方便全程参与的情况。比如有的公司要新建网站,或者现有网站推到重来,问我能否从一开始就参与,提供SEO建议。 网站规划设计阶段就考虑SEO当然是好事,但作为一个远在异国的顾问,参与到这种需要大量深度讨论、沟通、协调的程中,实在是不好操作,内部SEO人员更适合这种工作。 有的客户公司规模比较大,技术开发、内容、SEO等各部门是分开的,SEO部门的很多需求是要提交给技术、运营等部门实施的。反来,其它部门的需求也由技术部门实施,但可就不一定SEO部门同意了。这个程中就可能产生对SEO的不良影响。 也有的公司人员流动频繁,即使原先的开发人员都SEO培,也还是会有完全不了解SEO的新人加入团队。 这些情况都需要有一个技术部门必须...阅读全文

博文 2019-03-28 13:58:51 debian.cn

开源简史基础:Linux基金会

用也可以由Linux基金会提供。 Linux基金会项目 以前被称为“合作项目”的Linux基金会项目是独立资助的项目,很多大名鼎鼎的项目都是Linux基金会的项目,比如为了促进容器化发展而创建的OCI(Open Container Initiative)和CNCF(Cloud Native Computing Foundation)等。全世界超500家的公司以及数以千计的软件开发人员投入其中,这就是开源世界的力量,截止到2015年,Linux基金会项目的源码总行数为115,013,302行,项目估值高达50亿美元,而在2017年9月,这一估值上升至156亿美元。 当然除了这些,Linux基金会还可以进行培以及认证等多种活动,从而更好地推进了Linux的开源事业的发展。 参考文章...阅读全文

一位五年工作经验架构师的感悟

写给五年陈的自己 写周报,写的兴起,编写周报,还边用虎跑泉,泡铁观音喝。自己写周报的**惯还是要改一改,自己是个性情中人,写个周报也透露了太多情感在周报里。有很多人肯定觉得不好,也许以后我也会改,改的越来越干,掏心的话少说。 兴奋了,喝了茶,睡不着了。灵感闪动,本周是个值得纪念的日子,写个文章纪念下去。 回想这一路路走来,还是很感恩收获的一切,我渐渐从一名菜鸟,成长为一位架构师,记得毕业的时候我给自己定的目标是:五年要成为一方面的专家。虽然,实际的成长比这个慢了两年,但是我还是庆幸自己当初果断的裸辞,然后进入支付宝。 每个架构师都是独立无二的,每个架构师都应该有自己的情怀,这些情怀是你的世界观。 我是如何成长为一个架构师的,我姑且给自己定的 title 就是架构师,不要认为有架构师的...阅读全文

博文 2021-01-28 17:50:31 debian.cn

提问的智慧 – 全文

堆问题,专家们更喜欢有针对性的提问。 认真地思考,准备好你的问题。草率的提问只能得到草率的回答,甚至得不到回答。在提问时,你越是表现出在此前做思考与努力去解决自己的问题,你越有可能得到真正的帮助。 注意别提问错误的问题。如果提问基于错误的假设,某黑客多半会一边想「这真是一个愚蠢的问题」,一边按将错就错地敷衍你,并且希望这个结果能够给你一个教:如果提问的方式不对,你就得不到正确的答案。 永远不要假设你有资格得到解答。你没有这种资格,毕竟你没有为此服务付费。如果你能够提出有内容、有趣和激励思考的问题,你将通自己的努力「挣到」答案,因为这种提问能够向社区贡献验,而不仅仅是消极无止境地索取。 另一方面,展现你的能力,并且表明你乐意参与解决问题,这是个很好的开始。「有没有人能指个方向?」,「我...阅读全文

博文 2009-10-01 13:18:00 debian.cn

Debian 相比 Ubuntu 有哪些不同之处

序。Ubuntu的标准安装程序被设计成主要为了要求尽量少的用户输入,以便确保安装简单、速度尽可能快。要是你遇到任何问题,可以试试专家模式安装程序,这是Debian安装程序稍稍改头换面的版本。 Debian安装程序显然有其他优先事项。比如说,其图形化版本是GUI,这有别于主要在工具包中的基于文本的安装程序:除了让害怕使用命令行的那些用户感到安心外,没有任何优势可言。 相比之下,Debian之前的声誉是,只要按照在线操作说明,此外每个阶段接受默认设置,通常就可以安装Debian。然而,如果你决定亲自选择,可以在安装程的每一步选择每个设置,这大大增加了安装所需的时间。Debian安装程序并不是迎合没有验的用户,而是兼顾所有不同水平的用户。它不是很漂亮,但是不用编译自己的程序包,所以你不可能找到...阅读全文

博文 2017-12-22 23:41:07 debian.cn

Git 介绍与使用详解

前言 Git是目前非常流行的协同开发工具,很多开源网站都使用Git作为代码管理仓库(例如 开源中国,GitHub),不管是开发还是产品、设计师,Git都很适合,而且很多IDE默认集成了Git,熟的使用Git会起到事半功倍的效果,所以今天我为大家分享一下Git的介绍与使用。 1.Git是什么? Git是目前世界上最先进的分布式版本控制系统(没有之一)。 1.1什么是版本控制? 版本控制是一种记录一个或若干文件内容变化,以便将来查阅特定版本修订情况的系统。如果你是位网页设计师,可能会需要保存某一幅图片或页面布局文件的所有修订版本。 有了它你就可以将某个文件回溯到之前的状态,甚至将整个项目都回退到去某个时间点的状态,你也可以比较文件的变化细节,查出最后是谁修改了哪个地方,从而找出导致怪异问题...阅读全文

博文 2017-02-25 09:00:27 程序员

CCPA vs. GDPR:欧美这两部个人数据保护法有什么差异?

一方面通具体列举为企业提供了相对明确的判定指引,以试图一定程度上避免交易双方对“个人数据”范围达不成一致的情况,也可以针对诸如面部识别、声纹识别、虹膜识别等新技术领域出现的存在标识属性的个人信息进行更加明确的界定。 当然,CCPA这种列举式定义优劣参半,可能出现“挂一漏万”的情况,需不断根据随着技术发展而新产生的数据类型进行修订。 2. 管辖权原则:GDPR规定复杂覆盖面广,CCPA规定简聚焦重点 2.1.1 GDPR的管辖权原则——属地+属人+保护性管辖,逻辑复杂,范围广泛 按照传统的定义,GDPR的管辖原则为 “属地管辖”+“属人管辖”+“保护性管辖”的结合。 (1) 属地管辖:GDPR管辖任何发生在欧盟境内的数据处理行为; (2) 属人管辖:数据控制者和处理者的营场所...阅读全文

王垠:如何掌握所有的程序语言

很多编程初学者至今还在给我写信请教,问我该学习什么程序语言,怎么学习。由于我知道如何掌握“所有”的程序语言,总是感觉这种该学“一种”什么语言的问题比较低级,所以一直没来得及回复他们 可是逐渐的,我发现原来不只是小白们有这个问题,就连美国大公司的很多资深工程师,其实也没搞明白。 今天我有动力了,想来统一回答一下这个搁置已久的“初级问题”。类似的话题貌似曾,然而现在我想把它重新写一遍。因为在跟很多人交流之后,我对自己头脑中的(未转化为语言的)想法,有了更精准的表达。 如果你存在以下的种种困惑,那么这篇文章也许会对你有所帮助: 你是编程初学者,不知道该选择什么程序语言来入门。 你是资深的程序员或者团队领导,对新出现的种种语言感到困惑,不知道该“投资”哪种语言。 你的团队为使用哪种程序语言争...阅读全文

博文 2017-07-10 10:13:17 debian.cn

Kafka生产问题总结以及性能优化

都要用G1垃圾收集器,因为年轻代内存比较大,用G1可以设置GC最大停顿时间,不至于一次minor gc就花费太长时间,当然,因为像kafka,rocketmq,es这些中间件,写数据到磁盘会用到操作系统的page cache,所以JVM内存不宜分配大,需要给操作系统的缓存留出几个G。 2.1 线上问题及优化 2.1.1 消息丢失情况 消息发送端: (1)acks=0: 表示producer不需要等待任何broker确认收到消息的回复,就可以继续发送下一条消息。性能最高,但是最容易丢消息。大数据统计报表场景,对性能要求很高,对数据丢失不敏感的情况可以用这种。 (2)acks=1: 至少要等待leader已成功将数据写入本地log,但是不需要等待所有follower是否成功写入。就可以继续发...阅读全文

博文 2023-01-05 23:16:48 CSDN博客

谷歌公开了内部管理Infra层的两个工具的Paper

Annealing让我们可以可靠地自动化——或者至少流水线化——复杂的流程,比如重新放置服务。之前使用的自定义工作流更多地依赖人工而不是自动化来检测问题。相反,控制平面做如下事情: 完全建模服务:不再需要猜测依赖或者其他应该考虑的方面生成配置:不再需要编辑多个异构的配置文件推送变更,并且确保系统正在使用持续化执行。使用安全检查确保操作都是安全的并且顺序是正确的。 验教 转向基于intent的生产管理以来的这几年里,我们学到了很多关于什么有效和什么无效的知识。以下是其中的一些验教。 — 9 — 执行 具有某种形式的持续执行是基于intent的配置的基础。简单地对intent进行建模会导致信息的时和缺失。我们已在仅为管理turnup而创建的工作流中看到了此问题,这些工作流有在需要时中断的记录,并且需...阅读全文

博文 2023-01-08 11:23:20 CSDN博客

Cortex: 高可用和水平扩展Prometheus监控系统

就不足为奇了。但是,有一些关键差异可能会帮助您决定使用哪个。tbody>Thanos>Cortex演让我们通安装一个真实的示例并通多个Prometheus和Grafana对其进行配置以可视化数据来试用Cortex。git clone https://github.com/kanuahs/cortex-demo.git cd cortex-demo Prometheus and Cortex with Docker Compose为了简单设置,我们将使用docker-compose启动以下服务:三个Prometheus容器Consul三个Cortex容器Grafana为了简单起见,我们将使用多功能的cortex配置。这将cortex作为一个独立的应用程序运行。我们将运行它的三个实例来检查...阅读全文

博文 2021-10-09 17:00:22 知乎

Ubuntu 20.04 LTS 对树莓派进行认证 提供全面支持

Canonical 在其官方博客宣布,Ubuntu 20.04 LTS 已通对 Raspberry Pi 的认证。在 Ubuntu 20.04 LTS 公开发布的同一天,所有认证的 Raspberry Pi 上都已添加了对 Ubuntu Server 20.04 的全面支持,用户可以将 20.04 闪存到 Raspberry Pi 中。 去年 11 月,Canonical 曾表示要支持所有 Raspberry Pi 设备,并公开了对 Raspberry Pi 4 的支持计划。随着 Ubuntu 20.04 LTS 的发布,对 Raspberry Pi 的全面支持从认证开始。 认证意味着什么?认证后,Pi 将每三周收到测试的更新和安全补丁。官方解释,“当用户购买认证的主板...阅读全文

博文 2020-05-09 23:14:30 debian.cn

谷歌删除Chrome应用板块 2018年全面停用

日前,虽然 谷歌 宣布消灭Chrome浏览器的应用已去一段时间,也的确有一部分应用转换成了插件,但谷歌似乎一直没有采取相应的行动。但在近日,该公司却突然动手。 事实上,谷歌早在一年前就宣布,Windows、Mac和Linux版Chrome浏览器将无法使用应用,但这些应用仍将兼容Chrome OS。而现在,该公司已彻底从Chrome Web Store中删除了应用板块。 应用板块和游戏板块在Chrome浏览器中一同消失,但仍然可以在Chrome OS上找到。谷歌之前表示,之所以做出这一决定,是因为几乎没有人使用这些应用。 但Chrome插件显然会在可以预见的未来继续存在下去。谷歌已发邮件给开发者,向其告知了这一变化,该公司还将在2018年第一季度从Chrome浏览器中彻底删除应用功能...阅读全文

博文 2017-12-09 07:59:24 debian.cn

成为Debian社区维护人需要做好的准备

出很多时间和努力。 1. 尽可能多地使用 Debian 完成日常工作。也就是说,成为开发者前,先做一个用户。 2. 阅读 Debian New Maintainer’s Guide 学习 Debian 打包的基本知识(英文版,中文版)。 这些知识能帮助你让不太复杂的软件包工作起来,但是与满足 Debian 标准之间还有相当大的距离。这个程中可以独立地重新打包一个已在仓库中的包,完成后和别人现有的工作进行对比,找出自己的不足。这个包一般不需要很复 杂,初学时直接弄复杂的包很可能只会浪费很多精力。做包的程中遇到任何问题都可以找有验的人询问清楚,这对提高水平非常有益。 3. 寻找一个感兴趣的软件进行打包,WNPP (Work-needing and Prospective Packages...阅读全文

DDR5 内存来了:7nm 工艺、4400MHz 频率

DDR4 内存目前还是绝对主流,不断被深入挖潜,频率已突破 5GHz,不下一代 DDR5 也已蠢蠢欲动了。Cadence 公司今天就宣布了 DDR5 的全新进展,无论工艺还是频率都相当领先。 目前,JEDEC 标准组织正在研究 DDR5 内存规范,已有了初步版本,Cadence 此番拿出的就是面向新规范的第一个 DDR5 IP物理层接口芯片。 该测试芯片采用台积电7nm工艺制造,数据率可达4400MT/s,也就是频率高达4400MHz,相比目前商用最快的DDR4-3200快了多达37.5%。 为了支持Cadence DDR5 PHY物理层的验证和协作,美光也向其提供了DDR5内存初步版本的工程原型。 在此之前,Rambus也曾提到7nm工艺下的DDR5 IP,并预计DDR5内存...阅读全文

博文 2018-05-05 06:24:02 debian.cn

OpenSSL 3.0 正式发布,更改许可协议并弃用所有低级别 API

3 年的开发,17 个 alpha 版本,2 个 beta 版本,超 7500 个提交,以及来自 350 位不同开发者的贡献,OpenSSL 3.0 终于正式发布了。OpenSSL 1.1.1 以来的主要变化主要版本开发者可以从这里下载 OpenSSL 3.0,并升级你的应用程序使之兼容。OpenSSL 3.0 是一个大版本升级,并不完全向后兼容以前的版本。大多数使用 OpenSSL 1.1.1 的应用程序仍然可以正常工作,只是需要重新编译(可能会有关于使用废弃的 API 的编译警告)。还有一些不能完全兼容的应用可能需要进行修改才能正确编译和使用。如果应用程序需要利用 OpenSSL 3.0 中的一些新功能(例如 FIPS 模块),也需要对应用进行更改。许可证变更在以前的版本中...阅读全文

Debian已着手部署补丁:修复WPA2安全漏洞

昨天最令人感到惊讶和担忧的就是,服役超13年的WPA2加密协议已被攻破,意味着在你家或办公室 Wi-Fi 物理覆盖范围内的攻击者,都可以向破解并发动入侵,监听你的网络活动、拦截不安全或未加密的数据流。针对本次严重的安全漏洞,包含Debian Linux在内的诸多系统厂商已着手部署安全补丁,以便于提供更安全的上网环境。 该补丁已修复了Common Vulnerabilities and Exposures(CVE)的如下漏洞 CVE-2017-13077 CVE-2017-13078 CVE-2017-13079 CVE-2017-13080 CVE-2017-13081 CVE-2017-13082 CVE-2017-13086 CVE-2017-13087 CVE-2017...阅读全文

博文 2017-10-17 13:32:27 debian.cn

Debian GNU/Linux 8.8 发布,超 90 项安全更新

Debian 项目宣布其稳定发行版 Debian 8(代号 jessie)已发布第八次更新。该版本是 Jessie 系列最新的稳定版本,包含超90项安全更新,68个错误修复。 请注意,此更新不构成 Debian 8 的新版本,而是仅更新部分软件包。所以没有必要丢弃旧的 jessie CD 或 DVD,只需在安装后通 up-to-date Debian 镜像进行更新。 常从 security.debian.org 安装更新的用户不必更新许多软件包,并且大多数来自 security.debian.org 的更新都包含在本次更新中。 在线升级到此版本通常是通将 aptitude(或apt)软件包工具(请参阅 sources.list(5) 手册页)指向 Debian 的许多 FTP 或...阅读全文

博文 2021-01-28 17:50:29 debian.cn

Debian GNU/Linux系统现支持64位 RISC

如果你想在64位RISC-V设备上使用Debian GNU/Linux操作系统,你应该知道现在有一个用于Debian基础架构的RISC-V 64位(riscv64)体系结构的官方接口。 这一消息来自开发人员Manuel Fernandez Montecelo,他表示,几周的努力,他和他的团队成功实现了官方的64位RISC-V bootstrap,现在Debian项目的Debian-ports基础架构可以使用这些引导程序,为那些想要在RISC-V设备上下载包的人提供。 “在去的几周里,我们一直在为Debian RISC-V做一个(第二)引导,几周的努力,现在它已被引导并被导入到Debian基础架构中,特别是debian-ports“,Manuel Fernandez...阅读全文

谷歌开源了代码评审规范:好坏代码应这样来判断

谷歌开源了一套代码评审(Code Review)规范,它是谷歌一套通用的工程实战指南,几乎涵盖了所有编程语言与各种类型的项目,这个规范代表了谷歌长期发展以来最佳实战验的集合,谷歌表示希望开源项目或其他组织能够从这套规范中受益。 代码评审,也称代码复查,如果一个团队正在使用任务分支工作流,那么在所有代码编写完成并通自动化测试之后,在代码合并之前,就会启动代码评审。通常的目的是查找系统缺陷,保证软件总体质量和提高开发者自身水平,代码评审的所有工具和程都是为了这个目的而构建的。代码评审对于敏捷团队来说的作用如下: 代码评审共享知识通代码评审可以更好的进行工作评估代码评审能让你享受休假通代码评审指导新工程师 既然代码评审要进行众多的检查,那么找一个优秀的评审者就非常重要了。一般对于变更列...阅读全文

博文 2019-09-10 17:19:13 debian.cn

Debian 10(代号 Buster)或于 2019 年中期发布

Debian 发行团队发布了有关即将到来的 Debian 10 “Buster” 的最新信息。Debian 发行团队目前计划在 2019 年 1 月 12 日开始往冻结状态渡,2019 年 2 月 12 日处于软代码冻结状态 (Soft Freeze),并最终于 2019 年 3 月 12 日左右进行全面冻结。 据表示,官方发布 Debian 10.0 “Buster” 的时间将是明年年中左右。 此外,对于 Debian 11 “Bullseye”,他们希望能通持续集成、自动打包测试等方式引入更多的自动化 QA 测试,而根据去的发布时间,Debian 11.0 可能会在 2021 年发布, 而 Debian 12 的代号也已确定,被命名为“Bookworm”。显然,还要再好几年才...阅读全文

博文 2018-04-19 08:13:42 debian.cn

DebConf20 开发者大会敲定在以色列海法举行

Debian 项目团队于今天正式敲定明年 DebConf20 Debian GNU/Linux 开发者大会将会在以色列的海法(Haifa)举行。海法位于以色列北部,继耶路撒冷和特拉维夫之后的以色列第三大城市。DebConf20 同时也是该开发者大会成立 12周年,DebConf 团队和委员会了广泛的讨论,最终没有选择葡萄牙的里斯本。 Daniel Lange 表示:“在 DebConf 委员会和更广泛的 DebConf 团队广泛讨论之后,我们承认部分 Debian 成员因为政治原因不愿意前往以色列。五位 DebConf 成员长达2个小时的最终会议,以 3:2 的投票表决最终选择了以色列。不DebConf21 应该会在葡萄牙里斯本举办。” DebConf 是 Debian 项目每年...阅读全文

博文 2019-03-21 12:19:51 debian.cn

Debian 11冻结开始 Debian 12将减少对i386支持

Debian 11 “Bullseye”的版本本质冻结(build-essential freeze)现在已生效,发布团队不再受理渡请求。同时,Debian 12 的架构支持已进入早期讨论阶段,后续版本可能会减少对 i386 的支持。 Debian 11.0 “Bullseye” 将于 2 月 12 日对新软件包进行软冻结(soft freeze),3 月 12 日进入硬冻结(hard freeze),而完全冻结(full freeze)会根据开发情况再决定发布日期。 Debian 发布团队已确定 Debian 11 支持 AMD64, ARM64, ARMEL, ARMHF, i386, MIPS64EL, MIPSEL, PPC64EL 和 s390x 架构,当前开发周期内确认...阅读全文

博文 2021-01-14 10:19:16 debian.cn

你和 Linux 高手只差了一个 LFS

很多同学都已学习了 Linux ,可能已在自己的机器上安装 Linux,甚至都能搭建个简单的个人博客,也有可能编译部署邮件服务器之类的软件,可是感觉仍然对 Linux 有点摸不着,颇有隔靴挠痒的感受。 总是好奇 Linux 内核是怎么回事,究竟里面有点什么?总是好奇 Linux 是怎么启动起来的,那个什么 GRUB 怎么知道读取引导信息?总是好奇设备怎么就可以被当成文件操作,为什么可以从 /proc 读到进程的信息?总是好奇如何才能构建一个操作系统,从无到有的做成一个可引导的 Linux 启动盘? 不用羡慕那些说起这些就头头是道是 Linux 极客们,其实你和他们之间只是差一个 LFS 而已。 LFS 是什么? LFS(英文 Linux From Scratch 的缩写),中文释意...阅读全文

博文 2017-07-17 17:45:59 debian.cn

Intel 为啥要给 ARM 代工

制造工艺就和 Intel 的 14nm 制造工艺有不小的差距。而最新高通骁龙 835 采用的三星 10nm 制造工艺,也未必能胜 Intel 的 14nm 制造工艺。 不,虽然 intel 有全球顶尖的制造工艺,但除了一些小厂商,或者像被 Intel 收购的阿尔特拉这类 IC 设计公司之外,Intel 鲜有大规模为其他厂商代工。 GPU 行业领头羊英伟达公司的黄仁勋就曾表示:Intel 应该利用自己高级半导体工艺的优势为 NVIDIA、高通、苹果和德州仪器代工芯片,而不是自己瞎鼓捣移动芯片。然而,Intel 的代工业务规模很小,前 Intel 发言人 Jon Carvill 也曾表示:Intel 目前的重点是设计自己的产品,而非为竞争对手代工。 总之,虽然 Intel 空有最先进的半导...阅读全文

博文 2021-01-28 17:50:26 debian.cn

希捷预告120TB机械硬盘:全新介质、单碟容量达10TB

这些年,机械硬盘容量的提升速度十分缓慢,大有被SSD全面赶超的趋势,不每个季度,希捷、西部数据都会更新路线图,展望机械硬盘在技术、容量上的发展趋势,尤其是希捷。近日,希捷更是公布了详细的未来技术路线图,计划在2026年左右达到50TB左右,2030年则可以超120TB。机械硬盘最近几年普遍基于PMR(垂直存储技术),但即便各种优化加强,也已逼近极限,新的存储技术、机械结构迫在眉睫。比如希捷研发近20年的HAMR(热辅助磁记录),终于已开花落地,去年底交付了20TB HAMR硬盘,同时新的多传动器(Muti-Actuator)结构也已基本成熟,二者结合可让机械硬盘的容量跨上新台阶,2026年达到50TB就靠它们了。类似未来的半导体工艺制程,要想实现更进一步的突破,全新的存储介质...阅读全文

微软宣布年底关闭开源软件托管平台 CodePlex

据 Venturebeat 报道,微软今天宣布,将关闭开源软件托管平台 CodePlex。微软 2006 年推出这项服务,并决定在今年 12 月 15 日将其关闭。 微软公司副总裁布莱恩·哈里(Brian Harry)在博文中写道,人们将可以下载他们的数据档案,微软正与面向开源及私有软件项目的托管平台 GitHub 合作,给用户提供 “简化的进口体验”,代码和相关内容都将转移到 GitHub 上。简单来说,GitHub 赢了! 哈里写道:“去多年中,我们已看到许多惊人的选项起起落落。但是现在,GitHub 正成为开源共享和大多数开源项目托管事实上的中心。”去几年里,微软越来越向 GitHub 倾斜。它已于 2016 年将 CNTK 深度学习工具包从 CodePlex 转移到...阅读全文

博文 2021-01-28 17:50:25 debian.cn

Linux Lite 宣布使用基于 Linux Kernel 4.14 的内核

Linux Lite 项目维护成员 Jerry Bezencon 今天发布推文,这款基于 Ubuntu 的发行版本现在已基于最新的 Linux Kernel 4.14 分支内核。 如果你正在使用 Linux Lite 2.x/3.x 系列,那么可以通下面这段命令行来获取 4.14 内核,除了在安装完成之后需要重启之外用户不再需要任何其他操作。不要注意的是,这可能会破坏您已安装的任何专有驱动程序(如 NVIDIA 或 AMD Radeon 图形驱动程序) sudo apt-get update && sudo apt-get install -y linux-headers-linuxlite-4.14.0 linux-image-linuxlite-4.14.0 此外用户也可以通...阅读全文

C++ 20 准备发布 C++ 23 提上议程

根据 Reddit C++ 版块上的信息,C++ 20 已正式通委员会草案,这意味着 C++ 20 可以准备发布。“在近期 ISO C++ 委员会会议上,我们完成了 C++ 20 委员会草案,并投票决定将国际标准草案(DIS,Draft International Standard)发送出去,以进行最终批准和发布”。 帖子介绍:“在程序上,DIS 可能会被拒绝,但是由于我们的程序和程,这种情况极不可能发生。这意味着 C++ 20 已完成,并将在几个月后发布该标准。” C++ 20 是近十年来影响最大的一个版本,新的特性众多,包括: 模组(Modules)协程(Coroutines)标准库 Concepts 的概念范围(range)constexpr支持:new/ delete...阅读全文

博文 2020-02-16 10:46:16 debian.cn

Linux 5.12开始支持USB 4“安全等级5” 可禁用PCIe隧道功能

为即将到来的 Linux 5.12 合并窗口预定的 USB4 / Thunderbolt 变更已被排入 USB-next 树中。这是英特尔的开发人员为下一个内核合并窗口所做的Thunderbolt改变,作为其中的一部分,包括最新的USB4方面的改进。Linux 5.12的新安全选项之一是支持USB 4的安全级别5(SL5)。 通这个新的安全级别,PCIe隧道将被禁用。这个禁用PCI Express隧道的更高安全级别通常是支持USB 4硬件的BIOS配置选项。这个 "nopcie "选项在只使用DisplayPort的 "dponly "模式下也会被强制执行。 Linux内核现在已支持 Thunderbolt / USB 4 安全设置,特性包括要求用户批准授权新设备,自动隧道...阅读全文