O'Reilly 在出版了《Google运维解密（Site Reliability Engineering）》和《网站可靠性工作手册（The Site Reliability Workbook）》之后，出版了 Google 工程师的另一本有关网站可靠性的书《Building Secure and Reliable Systems》，这次强调的是安全。 针对设计、实现和维护系统的开发群体，Google 的工程师分享了设计从基础上安全的，可伸缩的可靠系统的方法。 前两本书都提供了 HTML 免费版本，而新书没有提供 HTML 版本，但提供了 PDF、EPUB 和 MOBI 版本。...阅读全文
Facebook 的首位发布工程师，目前是 Facebook 发布工程的工程总监。 Facebook 的发布周期是“ quasi-continuous ” （准连续）——这只是一种委婉的说法，表明并非每次提交都会部署到生产环境，实际上它采用的是对几十到几百个提交进行批处理，每隔几个小时就进行推送。这种分层发布的方式使任何变更的回滚很容易。 这个新系统从 2016 年 4 月开始，经过一年的时间慢慢地完善。早先的模式是从主干分支的提交中选择特定的变更放到发布分支上。发布分支每天将这些变更推送到生产环境。这种“ cherry-picking ”的特点是，每天选择变更的数量为 500 ~ 1000。剩下的变更就推入到每周发布分支中。随着时间的推移，提交的数量和参与其中的工程师都有所增加，发布工程师的手工劳动变得...阅读全文
互联网工程师近日通过了一个安全框架，它将使网络上的加密连接更快，更耐窥听。它被称为 Transport Layer Security version 1.3（TSLv 1.3），这并不是一次大版本更新，而是一次迭代改进，它可以让 Web 在任何有恶意操作或恶意程序存在时正常工作。 IETF 是由来自世界各地的工程师组成的团队，他们在此标准上进行合作 - 用了超过四年，起草了 28 份草案后，才通过 TLS 1.3。 TLS 1.3 主要支持四种握手模式 （1）基于（EC）DHE密钥交换的握手模式； （2）基于PSK的会话重启，由预共享密钥PSK进行快速简短的握手； （3）会话重启与（EC）DHE结合的握手，可以提供前向安全性； （4）基于PSK的0-RTT（round-trip time...阅读全文
本文作者 Tyler Treat 是一名软件工程师，他认为运维的未来从很多方面来说都跟质量保证（QA）的未来走向相似。未来，运维要使开发者能够通过工具、自动化和流程实现自助服务。传统的运维（ Ops）没有消失，只是在重组。 云服务的发展看起来让运维人员“丢”了工作，因为从传统意义上说，从本地（on-premise）转移到云平台意味着运维工作在相当大程度上外包给云提供商。这正应了那个流行词—— “无运维运动”（NoOps），许多人称之为 DevOps 的“继承者”，虽然这个词最近这些日子已经不是那么响亮了。这使得 Amazon 和开发团队创建的产品——包括基础设施自动化，部署自动化，配置管理，日志管理以及监控和检测——之间出现了隔膜，隔膜虽小，但却至关重要。 事实上，运维的未来从很多方面来说...阅读全文
正在直播2022开放原子全球开源峰会！>>>>> 谷歌内部使用了许多不同的操作系统平台，其中包括 Linux。15 多年前，谷歌选择基于 Ubuntu LTS 构建内部 Linux 发行版 Goobuntu，主要是看中了 Ubuntu 具备用户友好、易于使用的特性，以及提供了许多优秀功能。此外，LTS 会获得 Canonical 提供 2 年以上的安全更新。 根据官方介绍，Goobuntu 是谷歌长期以来一直使用的 Linux 发行版。不过 Ubuntu LTS 的两年更新周期意味着谷歌必须在操作系统 EOL 之前，对超过 10 万台设备中的每台机器进行升级。这是一项非常困难且耗时的工作，毕竟每两年让所有工程师从头开始配置他们的工作空间，这对生产力是严重的打击，并且从经济角度来看也是一个不...阅读全文
2016年6月份Canonical公司在社区公布的草案，明确自Ubuntu 16.10开始逐步放弃32位支持，并在Ubuntu 18.10中彻底移除对32位架构的支持。今年9月，团队宣布自Ubuntu 17.10开始桌面版本不再提供32位安装镜像；今天工程师Josh Powers再次宣布Ubuntu Server版本将从18.04 LTS不再提供32位（i386）每日ISO镜像。 继Ubuntu桌面版本之后，Ubuntu 服务器版本也将从18.04 LTS（Bionic Beaver）开始不再提供32位版本镜像。 Josh Powers在邮件列表中写道：“在Ubuntu-Server邮件列表中公布之后如果没有人提出异议或者问题，那么自18.04开始将移除Ubuntu Server i386...阅读全文
TimescaleDB 1.0 正式发布了，开发团队表示，自 9 月分宣布第一个候选版本以来，Timescale 的工程师团队合并了 50 多个 PR，以加强数据库，提高稳定性和易用性。 今天，TimescaleDB 1.0 宣布正式推出，官方表示该版本已可用于生产环境，是首个支持完整 SQL 和扩展的企业级时序数据库。TimescaleDB 是基于 PostgreSQL 数据库开发的一款时序数据库，以插件化的形式打包提供，随着 PostgreSQL 的版本升级而升级，不会因为另立分支带来麻烦。 TimescaleDB 架构 数据自动按时间和空间分片 (chunk) 更新亮点： 更广泛的可用性改进 后台作业自动化和调度的基础 增强了数据库强化和测试 构建开源监控堆栈：对 Grafana 和...阅读全文
Python 开发者现在可以观摩下美国情报机构 NSA 是如何培训 Python 程序员的。软件工程师 Chris Swenson 根据信息自由法案递交申请，要求访问 NSA 的 Python 培训材料，结果收到了 400 页经过编辑的 NSA COMP 3321 Python 培训课程打印资料。 Swenson 扫描了打印稿，用 OCR 进行识别，确保数字档案可搜索，将其托管在 Digital Oceans Spaces，之后又被上传到了互联网档案馆。Swenson 称他问 NSA 索要 Python 培训材料纯粹是出于好奇。 Python 开发者 Kushal Das 观摩之后摘录些有趣的细节：NSA 有内部的 Python 包索引，其 GitLab 实例是...阅读全文
Facebook 工程师 Nick Terrell 近日向 Linux 内核提交了使用 Zstd 压缩 Linux 内核镜像的补丁，这些补丁显示了使用 Zstd 对内核、ramdisk 和 initramfs 进行压缩操作具备巨大潜力。 Nick 发现，在 x86_64 硬件上，当初始 RAM 文件系统将压缩算法从 XZ 切换到 Zstd 时，解压时间从 12 秒下降到只需 3 秒，此次切换整体上还给系统的引导时间带来了两秒的改进。同样看到较大改进的场景包括从 LZMA 切换到 Zstd，Nick 在切换至 Zstd 的 Facebook 服务器上发现解压时间从 12 秒下降到了 8 秒。 相关基准测试结果可查看 https://lkml.org/lkml/2020/7/1/722 至于压...阅读全文
由 Red Hat 工程师牵头的团队，正在为 Linux/开源社区研究名为 NVFS 的文件系统。NVFS 的目标是成为像英特尔 Optane DCPMM 那样的高速文件系统。NVFS面向基于DAX的设备（直接访问），并将整个设备映射成一个线性地址空间，从而绕过 Linux 内核的块层（block layer）和缓冲区缓存。 在 NVFS 文件系统之前，开源社区有个用于持久性内存的 NOVA 文件系统，但该项目在去年意外结束了。在没有另一个面向高性能持久性内存设备的 Linux 文件系统的情况下，Red Hat 的 Mikulas Patocka 一直在领导 NVFS 的工作。 尽管 NVFS 是面向基于 DAX 的设备，但它采用了与 EXT4 类似的设计方法，并与 Linux 的 VFS...阅读全文
"Linux 内核 “社区” 对待安全的优先级并不高，虽然经历了 2000 年代的多次大规模漏洞利用事件但并没有让 Linus Torvalds 本人改变 "A bug is bug" 的哲学，由于 Linux 内核的安全问题逐渐影响到了 Android 和 IoT 设备，一次 华盛顿邮报的曝光促使了 KSPP（Linux 内核自防护项目）的成立。 KSPP 是由 Linux 基金会旗下的 CII（基础架构联盟）管理，其吸纳了来自诸多大厂商（Google, RedHat, Intel, ARM 等）的工程师进行联合工作，可惜的是两年的时间过去了，KSPP 大多时候只是在重复的抄袭 PaX/Grsecurity 的各种特性以获得各自雇主那里的 KPI 和 credit，各种混乱的代码合并到了...阅读全文
Intel不仅是全球最大的CPU公司，还是开源Linux社区最重要的贡献者，1.5万程序员比CPU工程师还要多。Intel还有自己的Clear Linux系统，被誉为性能最好的Linux，不过现在Intel要放弃Clear Linux桌面版了。 很多人并不了解Intel在Linux社区的重要性，也很少有人知道Intel的Clear Linux系统，这是他们开发的开源Linux系统，可选桌面Gnome或者KDE，还有良好的配套应用。 更重要的是，Intel对Clear Linux系统的性能优化非常好，所以后者一直被誉为最快的Linux，不仅在自家CPU上性能优秀，AMD的处理器也一样跑的很好。 Clear Linux系统主要面向开发者，提供多个版本，提供了出色的桌面安装程序、增强了其文档编制...阅读全文
讯以及 VMware 等都已经在白金会员之列。 作为白金级会员，Facebook 的开源负责人 Kathy Kam 成为董事会一员。Kam 拥有 20 年的工程师、产品管理，以及开发者关系领导经验，曾就职于谷歌和微软。...阅读全文
/ CentOS Stream也是官方对那些想要运行Linux的员工的立场，而他们之前的Ubuntu支持则逐渐消退，员工需要自力更生解决日常遇到的问题。不过，当然，Windows和macOS仍然是他们员工笔记本/台式机最常用的平台。除了标准的Fedora资源库和Facebook自己的内部资源库，FB在桌面上默认启用了RPM Fusion，也支持Flatpaks的使用。Facebook在桌面上对Fedora的使用也是工程师们一直在合作并推动最近Fedora本身变化的原因，比如默认Btrfs文件系统的使用，启用Btrfs Zstd透明文件系统压缩，默认启用systemd-OOMD，RPM copy-on-write等等。Facebook现在在桌面上追求CentOS Stream的原因包括：这是接下来稳定的滚动...阅读全文
年多，几乎从未休假，在其带领的2000多位工程师的尽心竭力的努力下，完成了中芯国际从28nm到7nm工艺的五个世代的技术开发。据梁孟松透露，目前中芯国际的“28nm、14nm、12nm及N+1等技术均已进入规模量产，7nm技术的开发也已经完成，明年四月就可以马上进入风险量产。5nm和3nm的最关键、也是最艰巨的8大项技术也已经有序展开， 只待EUV光刻机的到来，就可以进入全面开发阶段”。当然，7工艺以下的先进工艺现在还只是技术研发，没法量产，因为缺少关键的EUV光刻机设备。目前中芯国际已经完成了14nm工艺1.5万片晶圆/月的产能建设目标，接下来的重点是N+1、N+2代工艺，尽管官方一直没有透露具体多少，不过业界认为N+1工艺大概是8到10nm节点，N+2工艺则是7nm节点。N+1工艺已经风...阅读全文
论 Go 2 了。 开发团队表示，Go 语言如今的目标与 2007 年相同，就是希望使程序员更有效地管理两种规模：生产规模和开发规模，其中又主要针对的是与许多其他服务器交互的并发系统，和许多工程师协调的大型代码库。Go 2 的目标就是解决 Go 1 在规模化方面做的还不好的地方。 据 Russ 估算，目前全球的 Go 开发者至少有 50 万，这意味着有数百万个 Go 源文件和至少十亿行 Go 代码。那些程序员和源代码代表了 Go 的成功，但同时也是对 Go 2 的主要约束。只有在回报非常巨大时，才能让开发者改变原有的旧习惯，学习新用法。Go 2 必须修正 Go 1 的问题，带动所有的 Go 开发者， 也就必须带上所有现有的 Go 源代码，不能让生态系统分裂。 如果把 Go 2 要增加的特性分...阅读全文
库提供商，将那台Redis最近一周的命令全部调用出来，最后发现，在那个时间点运行了一条keys *...*命令。公司的一个工程师执行keys模糊的匹配命令是为了清理没用的键，但是没有考虑到keys *进行模糊匹配引发Redis锁，造成Redis锁住，CPU飙升，引起了所有调用链路的超时并且卡住，等Redis锁的那几秒结束，所有的请求流量全部请求到RDS数据库中，使数据库产生了雪崩，使数据库宕机。 改进方案 所有线上操作，全部要经过运维通过后方可执行，运维部门逐步快速收回各项权限 新增Redis实例，进行分离 如果有使用类似keys正则命令需求，使用scan命令代替 总结 该事件中出现的两次事故，完全是由于人为操作引起的，如果那位工程师，看过Redis的开发规范，会发现是建议禁用keys命令的...阅读全文
齐全的API都是设计良好的API，虽然这个感觉并不完全正确，但这两者确实是强相关的，所以在很多人眼里，文档的完善度也成为衡量一个产品专业度的指标。 - 避免被重复的问题打扰： 有些问题你只需要写在文档里，这样有人来问你的时候你就可以让他直接去看文档了，而不是又给他解释一遍。 ## 为什么大多数人都不喜欢写文档？## 关于文档的重要性，每个技术人或多或少都知道一些，但很多人还是没有写文档的习惯，为什么？ 除了上文中提到的文档的收益滞后性外，还有以下几点原因： - 很多工程师习惯将写代码和写作割裂开，不仅仅是在工作上，而且在思想上就认为它们是完全不相关的两项工作，这就导致好多人重代码不重文档。 - 也有很多工程师认为自己不善写作，索性就不写了。 这实际是个偷懒的借口，写文档不需要华丽的辞藻、生动...阅读全文
独立性和身份。 在交易结束后将成为 GitHub CEO 的 Nat Friedman 也重申，GitHub 致力于成为一个开放平台，任何人都可以上传和贡献代码。 Wanstrath 和 Friedman 就差明确表示，开发者担心微软搞乱 GitHub 风气的问题不会存在。 3、领导班子重组 微软 CFO Amy Hood 表示，该公司将在美国和欧盟监管机构的监管和批准下，尽量在年底前完成此次交易。届时，Wanstrath 将担任微软的技术院士，并向微软的 AI、云计算和首席开发工程师 Scott Guthrie 汇报工作。 Friedman 将接任 GitHub CEO ，同样向 Guthrie 汇报工作。 4、云平台集成 Nadella 时期的微软新口号是 “ intelligent...阅读全文
都包含了其它数据中心中不存在的写入，因此无法安全地将主要数据库故障转移到美国东海岸数据中心。 GitHub 工程师发现问题后进行了一系列抢救措施，“最终没有用户数据丢失，但是，几秒钟的数据库写入的手动协调仍在进行中。” GitHub 对所有受影响的用户表示歉意，并表示“我们已经吸取了教训，并且采取了一系列急救措施，我们希望更好地确保不再发生类似情况。” 同时 GitHub 也表示接下来将解决由此导致的数据不一致问题。详细分析与事件时间线请查阅 GitHub 公告。...阅读全文
Metasploit 项目是一个旨在提供安全漏洞信息的计算机安全项目，可以协助安全工程师进行渗透测试(penetration testing)及入侵检测系统签名开发。Metasploit 项目知名的功能还包括反取证与规避工具，其中的某些工具已经内置在 Metasploit Framework 里面。 Metasploit Framework —— 一套针对远程主机进行开发和执行 “exploit代码” 的工具，是 Metasploit 的最为知名的子项目。Metasploit Framework 全称为 The Metasploit Framework，简称 MSF。这是一个渗透测试的框架，不是一个直接的渗透测试攻击软件。Metasploit 作为全球最受欢迎的工具，不仅仅是因为它的方便性...阅读全文
云原生技术的不断发展，2018年，CNCF扩展了云原生技术的定义，以下是云原生技术的新定义：“云原生技术有利于各组织在公有云、私有云和混合云等新型动态环境中，构建和运行可弹性扩展的应用。云原生的代表技术包括容器、服务网格、微服务、不可变基础设施和声明式API。这些技术能够构建容错性好、易于管理和便于观察的松耦合系统。结合可靠的自动化手段，云原生技术使工程师们能够轻松地对系统作出频繁和可预测的重大变更。”其中，像容器，微服务等概念早已深入人心，而很多开发人员都对此次提及的“不可变基础设施”这个概念有不少疑惑，下文将对这个概念进行解析。其实不可变基础设施这个概念由来已久，并在不同的场合被很多技术专家已不同的形式提出并讨论过, 例如：“Trash Your Servers and Burn...阅读全文
源，这让他们毫不含糊地知道公司的战略领导者完全支持它。此外，如果有某些我们不希望工程师使用的许可证或有其他开源指南，我们的内部文档需要明确。” 开源计划有助于促进企业文化，使企业更高效，并且根据指南，强有力的战略文档可以“帮助你的团队了解开源计划背后的业务目标，确保更好的决策，并最大限度地降低风险。” 了解如何使用 设置开源策略 新指南中的提示和经过验证的实践，将管理和创建开源软件的目标与组织的业务目标保持一致。然后，查看所有 12 个 企业开源指南 ，了解有关使用开源获得成功的更多信息。...阅读全文
访问：天猫6·18 “开门红”超级红包活动主会场 | 手机版京东6·18“京享红包”25日12点开始领取 最大面额高达18618元 （图 via Orozco 2018）据悉，工程团队中有三位核心成员，且他们对 QUIC 的承诺深信不疑。其中包括 IETF QUIC 工作组只需 Mark Nottingham，协议主要贡献者兼 quicly 创作者 Kazuho Oku，以及核心文档集编辑、杰出工程师 Jana Iyengar 。最新消息是，互联网工程任务组（IETF）已经发布了 RFC 9000，且得到了 RFC 9001 / 9002 / 8999 支持，意味着 QUIC 已从草稿阶段转向了 1.0 正式版。与此同时，基于 QUIC 的 HTTP/3 也有望紧随其后很快发表。对于...阅读全文
安全（比如沙箱）。 Btrfs：https://facebookmicrosites.github.io/btrfs/ Btrfs 是下一代文件系统，它以当下的数据中心为基础。它是一个写时复制（CoW）文件系统，专注于高级功能实现、容错、修复和轻松管理。Btrfs 旨在解决和管理大型存储子系统，并支持快照、联机碎片整理、池化和集成的多设备支持等功能。 Netconsd：https://facebookmicrosites.github.io/netconsd/ Netconsd 是一个基于 UDP 的 netconsole 守护程序，为 Linux netconsole 消息提供轻量级传输。它接收并处理来自 Linux 内核的日志数据，并将其作为结构化数据提供以给生产工程师以快速识别集群中问...阅读全文
, OpenEdge ABL, PL/I, Pony, Processing, Programming Without Coding Technology, Q, Racket, Raku, Ring, S, Solidity, SPARK, Tcl, VBScript, VHDL, X++, Zig Top 10 编程语言 TIOBE 指数走势（2002-2023） 历史排名（1987-2023） 注：以下排名位次取决于 12 个月的平均值。 编程语言“名人榜”（2003-2022） 【说明】： TIOBE 编程语言社区排行榜是编程语言流行趋势的一个指标，每月更新，这份排行榜排名基于全球技术工程师、课程和第三方供应商的数量，其中包括了流行的搜索引擎以及技术社区，如 Google、百度、维基百科、CSDN、必...阅读全文
师之前，应当先成为Java工程师。熟练使用各种框架，并知道它们实现的原理。jvm虚拟机原理、调优，懂得jvm能让你写出性能更好的代码；池技术，什么对象池，连接池，线程池……Java反射技术，写框架必备的技术，但是有严重的性能问题，替代方案java字节码技术；nio，没什么好说的，值得注意的是"直接内存"的特点，使用场景；java多线程同步异步；java各种集合对象的实现原理，了解这些可以让你在解决问题时选择合适的数据结构，高效的解决问题 成为Java架构师，需要掌握哪些技能呢？ 1.框架源码分析 设计模式：Singleton单例模式，Factory工厂模式，Proxy代理模式，Template模板模式，Prototype原型模式等Spring5：Spring提醒结构，IOC注入原理，AOP设...阅读全文
。 依赖 RMI-IIOP、javax.activity 包或 CORBA API 的 CORBA 应用程序将无法通过编译或运行。 红帽首席软件工程师 Aleksey Shipilëv 最近发推文说，由于 JAXB 模块被 JEP-320 移除，因此 SPECjbb2015 基准测试在 Java 10+上出现了问题。建议加入 JAXB 依赖来解决该问题： javax.xml.bind jaxb-api 2.3.0 新的 Java SE 版本发布周期 随着 JDK 10 发布六个月之后，JDK 11 计划于 2018 年 9 月发布，新的 Java 发布 版本周期 已经全面铺开。开发人员可能已经习惯于多年一次的 Java 新版本发布，可能由于新版本节奏发生变化，感觉受到轻微的冲击。 Java 社区...阅读全文
的变更可能导致政府对互联网及其用户实行更集中、自上而下的控制，这将对安全和人权产生影响。 华为对此解释称，开发 New IP 只是为了满足快速发展的数字世界的技术要求，并没有将任何一种控制机制做入到设计中。同时，华为还指出，New IP 的研究和创新向全世界的科学家和工程师开放，他们可以参与进来，并为之贡献。 另外，关于安全方面的质疑，华为表示该架构将具有“关闭命令”功能，可以使中心点断开特定信号源的连接。 除了对 New IP 质疑，还存在从根本上否定 New IP 的观点。IETF（The Internet Engineering Task Force，互联网工程任务组）主席 Alissa Cooper 表示，互联网的发展是通过模块化和弱耦合的构建模块实现的，这是互联网的卓越之处。即使是...阅读全文
CentOS 的构建和分发做出贡献。CERN 帮助 CentOS 提供基础架构，他们还组织了 CentOS DoJo 活动（LCTT 译者注：CentOS Dojo 是为期一日的活动，汇聚来自 CentOS 社群的人分享系统管理、最佳实践及新兴科技。），工程师可以汇聚在此共同改进 CentOS 的封装。除了 OpenStack 和 CentOS 之外，CERN 还是其他开源项目的深度用户，包括用于配置管理的 Puppet、用于监控的 Grafana 和 InfluxDB，等等。“我们与全球约 170 个实验室合作。因此，每当我们发现一个开源项目的改进之处，其他实验室便可以很容易地采纳使用。”Bell 说，“与此同时，我们也向其他项目学习。当像 eBay 和 Rackspace 这样大规模的装机量提高了...阅读全文
称SIG）都在继续立足所在层面交付用户们最为需要的功能。感兴趣的朋友可以点击说明[7]查看发行版说明中的完整功能列表。 发布时间 Kubernetes 1.9目前已经可通过GitHub[8]下载。若需要马上开始使用Kubernetes，请参阅相关交互教程[9]。 发行团队 此次发行版的推出，源自数百名技术与非技术参与者们的共同努力。这里特别感谢谷歌公司软件工程师Anthony Yeh领导的发行团队。该发行团队中的14名成员一直在努力协调发行工作中的方方面面，包括说明文档、测试、验证以及功能完整性等等。 随着Kubernetes社区的不断发展，我们的发行流程也已经成为开源软件开发合作领域的一大标志性产物。Kubernetes继续以惊人的速度吸引到更多新用户的参与。这种增长创造出更为积极的反馈周...阅读全文
谷歌开源了一套代码评审（Code Review）规范，它是谷歌一套通用的工程实战指南，几乎涵盖了所有编程语言与各种类型的项目，这个规范代表了谷歌长期发展以来最佳实战经验的集合，谷歌表示希望开源项目或其他组织能够从这套规范中受益。 代码评审，也称代码复查，如果一个团队正在使用任务分支工作流，那么在所有代码编写完成并通过自动化测试之后，在代码合并之前，就会启动代码评审。通常的目的是查找系统缺陷，保证软件总体质量和提高开发者自身水平，代码评审的所有工具和过程都是为了这个目的而构建的。代码评审对于敏捷团队来说的作用如下： 代码评审共享知识通过代码评审可以更好的进行工作评估代码评审能让你享受休假通过代码评审指导新工程师 既然代码评审要进行众多的检查，那么找一个优秀的评审者就非常重要了。一般对于变更列...阅读全文
是一种强大的安全模型，处于现代安全实践的前沿。如果可以消除围绕它的营销噪音，那么采用零信任有一些深刻而重要的好处。虽然零信任需要对身份等核心理念进行一些根本性的改变，但如果 Kubernetes 用户能够采用服务网格并从纯粹基于边界的网络安全转变为“对每个用户、设备、应用程序和交易的持续验证”，那么他们至少有很大的优势。关于作者William MorganWilliam Morgan是 Buoyant 的联合创始人兼首席执行官，Linkerd 的创建者。在加入 Buoyant 之前，他是 Twitter 的一名基础架构工程师，在那里他帮助将 Twitter 从单体架构转变为微服务。他是 Powerset、Microsoft 和 Adap.tv 的软件工程师，以及 MITRE 的研究科学家。...阅读全文
本文翻译自 Jack Roper 的文章 Kubernetes Best Practice。译者：文章中作者从应用程序开发、治理和集群配置三个方面给出了一些 Kubernetes 的最佳实践，同时翻译过程中也加入了我过往的一些使用经验。有误的地方，也欢迎大家指正。在这篇文章中，我将介绍一些使用 Kubernetes (K8s) 时的最佳实践。作为最流行的容器编排系统，K8s 是现代云工程师掌握的事实标准。众所周知，不管使用还是维护 K8s 复杂的系统，因此很好地掌握它应该做什么和不应该做什么，并知道什么是可能的，将是一个好的开局。这些建议包含 3 大类中的常见问题，即应用程序开发、治理和集群配置。最佳实践目录使用命名空间使用就绪和存活探针（译者注：还有启动探针）使用自动缩放使用资源请求和约...阅读全文
Docker基于mamespace、cgroups、chroot等技术来构建容器，不是一个系统调用就能搞定，容器是一个用户态的概念。本文中Docker软件工程师Michael Crosby深入探讨了Docker对namespace技术的应用。 相信你在很多地方都看到过“Docker基于mamespace、cgroups、chroot等技术来构建容器”的说法，但你有没有想过为何容器的构建需要这些技术？ 为什么不是一个简单的系统调用就可以搞定？原因在于Linux内核中并不存在“linux container”这个概念，容器是一个用户态的概念。 Docker软件工程师Michael Crosby将撰写一些列博客，深入到Docker运行的背后，探索在 docker run这段代码的背后发生了什么...阅读全文
Mason：因为在主线内核上我们无法做自己想做的事——我们不得不fork一个自己的版本，以便微调、修改和允许在我们特有使用情况下打补丁到这个内核里。我们的目标是，在人力可控的范围内将fork版做到最小。在我们把内核从4.0升级到4.6的过程中（我们现在还没完成），当我们只用一个补丁就能够获得一个相当可观的生产工作负载性能提升时，我打心里为此感到高兴。我们打过补丁的4.0版本的内核拥有和未修改的普通4.6版本的内核相同的性能。这也是我们团队的长期目标：紧随主线内核的步伐，以便我们能从一个内核版本快速过渡到另一个版本。 Linux.com：我见过太多跑在旧内核上的Linux机器，然而您的目标却是尽可能使用新版本的内核。这样做有什么好处？ Chris Mason：对一个工程师团队来说，最大的好处就是利于我...阅读全文
万一千元，其中人民币十万元作为违法所得，予以没收；其中人民币一万一千元，折抵罚金。 三、扣押于公安机关的银色苹果牌笔记本电脑一台、TOKEN 密钥一个，发还北京百度网讯科技有限公司；苹果牌 4S 手机一部、苹果牌 6 手机一部、华为手机一部，退还被告人“安某”。 为什么总是运维人员？ 这起挖矿事件虽然告一段落了，但对于众多企业来说，这也是一个提醒，因为除去企业自身的风险外，很多情况下，人为因素也为企业安全风险中带来了很多挑战，企业需要正视长期存在的 IT 运维权限风险问题。 相信大家还记得前不久微盟宕机 36 小时的事情，事后，微盟拿出了 1.5 亿商家赔付计划，并表示放弃自建数据库，但这场由运维工程师恶意操作引爆的微盟 300 万商家数据删除案也让大家对数据安全有了更多的恐慌。 而百度的这...阅读全文
本文翻译自 Wasm Labs @ VMware OCTO 的 blog： WebAssembly: Docker without container，已获得授权这是 Wasm Labs 在 2022 年 12 月 15 日在冬季 Docker Community All Hands 7 的关于 Docker+WebAssembly 的演讲的文字版。作者：Asen Alexandrov，Wasm Labs 工程师文中的我们均指作者或 Wasm Labs。由于文章内容翔实、篇幅较长我们将分成上下两篇分享，上篇将注重在概念阐释，如 Wasm 是什么，Wasm 与 Docker 的关系是什么。下篇文章将更具实践性，将以 PHP 为例带领大家实践 Docker + Wasm。最近，Docker 宣...阅读全文
在已经被广泛部署，并且被所有的主流浏览器和 web 服务器支持。 从网络的角度来看，HTTP/2 带来了一些显著变化。首先，这是一个二进制协议，因此，任何假定它是 HTTP/1.1 的设备都会出现问题。 这种破坏性问题是导致 HTTP/2 中另一个重大变化的主要原因之一：它实际上需要加密。这种改变的好处是避免了来自伪装的 HTTP/1.1 的中间人攻击，或者一些更细微的事情，比如 strip headers 或者阻止新的协议扩展 —— 这两种情况都在工程师对协议的开发中出现过，导致了很明显的支持问题。 当它被加密时，HTTP/2 请求也要求使用 TLS/1.2，并且将一些已经被证明是不安全的算法套件列入黑名单—— 其效果只允许使用短暂密钥ephemeral keys。关于潜在的影响可以去看...阅读全文
。在机器学习模型中，以分布式、可扩展的方式提供服务的能力成为保证其应用有效性的关键。 要解决分布式云环境中的这些扩展性问题非常困难。在确保容错、高可用性和应用健康的同时， MLOps 工程师要配置多个节点和推理服务之间的交互。 本文中，我将讨论 Kubernetes 和 Kubeflow 如何能够满足 TensorFlow 的机器学习模型的这些扩展性需求。通过一些实际的例子，我将向你介绍如何在 Kubernetes 上使用 Kubeflow 扩展机器学习模型。 首先，我将讨论如何使用 TensorFlow training jobs（TensorFlow 训练作业，TFJobs）抽象，通过 Kubeflow 在 Kubernetes 上协调 TensorFlow 模型的分布式训练。然后，我将介...阅读全文
需要细小的引线和线宽，复杂度高，良率受制程影响大，成本也会很高。"刘宏钧说到。以英特尔的EMIB为例，从英特尔所发布的公开论文中可以发现，EMIB在工艺实现上面临不少难题，需要进行材料和工艺的开发，其硅桥的设计工作需要由懂材料、懂封装、懂制程和懂信号完整性的资深工程师们来共同实现。另外，晶圆制造材料、设备都需要进行改进，其时间和成本是除苹果、英特尔等头部芯片公司之外无法承受的。不仅如此，即便是有了UCIe这芯片万能胶，"Chiplet在哪里"的问题也难以解决。"UCIe之后，Chiplet面临的是Chiplet供应商和应用商谁先迈出第一步的问题。这也是一个'鸡与蛋'的问题。Chiplet供应商较为关心的是Chiplet一次性工程费用（NRE）该由谁来承担，而应用商则担心是否有足够丰富的...阅读全文
本文翻译自 Wasm Labs @ VMware OCTO 的 blog： WebAssembly: Docker without container。这是 Wasm Labs 在 2022 年 12 月 15 日在冬季 Docker Community All Hands 7 的关于 Docker+WebAssembly 的演讲的文字版。作者：Asen Alexandrov，Wasm Labs 工程师。文中的我们均指作者或 Wasm Labs。本篇文章将更具实践性，将以 PHP 为例带领大家实践 Docker + Wasm。上篇文章我们了解了服务端 Wasm 为什么有着重要的作用、什么是 WasmEdge 以及如何让解释型语言编写的程序在 Wasm 里运行，这篇文章，我们将通过动手示例了...阅读全文
很多编程初学者至今还在给我写信请教，问我该学习什么程序语言，怎么学习。由于我知道如何掌握“所有”的程序语言，总是感觉这种该学“一种”什么语言的问题比较低级，所以一直没来得及回复他们 可是逐渐的，我发现原来不只是小白们有这个问题，就连美国大公司的很多资深工程师，其实也没搞明白。 今天我有动力了，想来统一回答一下这个搁置已久的“初级问题”。类似的话题貌似曾经写过，然而现在我想把它重新写一遍。因为在跟很多人交流之后，我对自己头脑中的（未转化为语言的）想法，有了更精准的表达。 如果你存在以下的种种困惑，那么这篇文章也许会对你有所帮助： 你是编程初学者，不知道该选择什么程序语言来入门。 你是资深的程序员或者团队领导，对新出现的种种语言感到困惑，不知道该“投资”哪种语言。 你的团队为使用哪种程序语言争...阅读全文
：现在科学界对AI的应用分为两种。一种是将AI工具直接用于科学目的，如AlphaFold（用于蛋白质结构预测），它们可以创造巨大价值，相信未来会出现无数这样的工具。 另一种是将AI工具用于提升科研工作效率，如帮科学家和工程师找到新研究方向、写代码等。Copilot编程工具就是一个例子。但AI工具的能力远不止于此。上述两种AI应用将会大大推动科技前进。 此外，目前科学界也在探索对AI的第三种应用方式——让AI成为可以“自我改进”的科学家。这件事情既有好处也有风险。 好的一面是，可以利用AI将人类的工作内容自动化，教会AI做任何人类可以做的事情：探索新科学、提出理论解释、验证、思考等，或许还可借此解决困扰人类已久的“AI对齐问题（Alignment Problem）”（即如何让AI系统的目标符合人...阅读全文
get everything on the same page）。因此，在可观测性平台产品设计上需要以指标、链路、日志为基本，向外集成阿里云自家的各类云服务，同时也支持开源产品数据接入，将关键上下文信息关联起来，方便不同背景的工程师理解，进而加速问题排查。信息没有有效地组织就会产生理解成本，信息粒度上以事件->指标->链路->日志由粗到细地组织到一个页面中，方便下钻，不需要多个系统来回跳转，从而提供一致体验。那么具体怎么关联呢？信息怎么组织呢？主要从两方面来看：1、端到端：展开说就是应用到应用，服务到服务，Kubernetes 的标准化和关注点分离，各自开发运维各自关注各自领域，那么端到端的监测很多时候成了”三不管“区域，出现问题的时候很难排查链路上哪个环节出了问题。因此从端到端的角度来看，两...阅读全文
，消费消息也是一个道理，一次拉取一批次的消息进行消费。并且Producer、Broker、Consumer都使用了优化后的压缩算法，发送和消息消息使用压缩节省了网络传输的开销，Broker存储使用压缩则降低了磁盘存储的空间。参考资料：1.《深入理解Kafka：核心设计实践原理》2.状态机程序设计套路3.raft算法源码4.https://www.bbsmax.com/A/QW5Y3kaBzm/ 作者简介屈志平腾讯数据研发工程师腾讯数据研发工程师，目前负责QQ浏览器、搜狗小说、搜狗浏览器、bingo等多款产品的数据建设。有丰富的数据治理、数仓建设、数据平台平台相关的经验。参考阅读：BIGO RTC如何低成本实现高画质一文读懂 Web3：互联网发展的新时代还是骗局？解析分布式系统的缓存设计日志中台...阅读全文
>> jdk8u141.tar.gz cat blk_1073742700 >> jdk8u141.tar.gz 移动我们的jdk到/export路径，然后进行解压 mv jdk8u141.tar.gz /export/ cd /export/ tar -zxf jdk8u141.tar.gz 正常解压，没有问题，说明我们的程序按照block块存储没有问题 作者简介： 园陌，目前就职于一家大而温馨的互联网公司，数据开发工程师 公众号【五分钟学大数据】的原创作者 本篇文章首发于公众号，版权归OSCHINA与公众号【五分钟学大数据】共同所有，转载请注明本声明！...阅读全文
题，详见图3。 图3：每个服务模型必须和每个基础架构提供者集成 如果只需要处理几个基础架构提供者，N*M问题还是可以管理的。随着基础架构提供者数量的增多（看看Google Cloud，AWS和Microsoft Azure上的产品数量），这些集成的数量和质量问题就开始出现了。 实际上减少基础架构提供者的数量不太实际。每个提供者都在提供不同的服务（比如，键值存储，pub/sub系统等），并且一些冗余不得不存在，就算定义好规则也会有很多异常情况出现。使用单个服务模型也不现实——这个模型必须能够暴露所有基础架构提供者的每一个特性，这违反了服务模型的初心。 Google的工程师们花费了大量时间将他们需要的服务模型连接到想要使用的基础架构上。我们显然需要一种不同的配置方案。 — 2 — 大规模部署 在...阅读全文
