希望到时候会有比它更好的东西出现，不断突破创新很重要。在他看来，AI可以帮助人类创造出前所未有的新应用，这将是人类的巨大的进步和胜利，是真正的科技革命。 从大模型的商业化机会、AI+应用再到AI发展方向，Sam Altman在这场对话中分享了自己的见解。以下为对话内容，由OneFlow社区编译。 1 大模型的商业机会 Reid Hoffman：很多大型模型都通过API开放使用，能够衍生什么商业化机会？ Sam Altman：现在，语言模型已经可以很好地应用到文案写作和教育服务领域，我相信未来几年内，语言模型会更加强大，将能与Google这一价值万亿美元的搜索产品一较高下。语言模型的应用将会改变我们的日常生活。 以前，大家都在调侃聊天机器人，其实它很有价值，只是当时的技术还不能满足需求。现在的...阅读全文
喜欢折腾的同学，会豪气如何升级 Debian Stretch 的内核到新版。遗憾的是现在能搜到的升级 Debian Linux 内核的文章多数是使用Ubuntu的deb安装包，其实这样装上去是有问题，常见的问题是，总会提示需要 apt --fix-broken install 。 这里简单记录一下，如何使用Debian官方源更新到最新的内核；以及如何是用 Kernel.org 的deb源，更新内核到最新的 5.x 版本。 修改更新源 name@debian.cn:~$ echo -e "deb http://http.debian.net/debian stretch-backports main\ndeb-src http://http.debian.net/debian stretch...阅读全文
"Linux 内核 “社区” 对待安全的优先级并不高，虽然经历了 2000 年代的多次大规模漏洞利用事件但并没有让 Linus Torvalds 本人改变 "A bug is bug" 的哲学，由于 Linux 内核的安全问题逐渐影响到了 Android 和 IoT 设备，一次 华盛顿邮报的曝光促使了 KSPP（Linux 内核自防护项目）的成立。 KSPP 是由 Linux 基金会旗下的 CII（基础架构联盟）管理，其吸纳了来自诸多大厂商（Google, RedHat, Intel, ARM 等）的工程师进行联合工作，可惜的是两年的时间过去了，KSPP 大多时候只是在重复的抄袭 PaX/Grsecurity 的各种特性以获得各自雇主那里的 KPI 和 credit，各种混乱的代码合并到了...阅读全文
近日全球著名开源社区 Apache 基金会，宣布“百度开源的 ECharts 项目全票通过进入 Apache 孵化器”。这是百度第一个进入国际顶级开源社区的项目，也标志着百度开源正式进入开源发展的快车道。 ECharts 成为 Apache 孵化器项目之前，已经是国内可视化生态领域的领军者，近年内连续被开源中国评选为“年度最受欢迎的中国开源软件”，并广泛被各行业企业以及事业单位、科研院所应用。涉及行业包含金融、教育、医疗、物流、气候监测等众多领域，其中甚至包括阿里巴巴、腾讯、华为、联想、小米、国家电网、中国石化等。 ECharts 负责人祖明介绍到：“ ECharts 作为拥有丰富的可视化图表类型和深度交互能力的开源可视化库，配置便捷容易上手，同时上千的配置项和不同层面的扩展机制带来了灵活...阅读全文
是试验性的，即使它们是让 Parrot 尝试和试的完美解决方案。 Parrot 4.5 内核是 Linux 4.19，已经按照我们为 Parrot 5.0 LTS 实现的新的内核分发策略打包了。 我们计划支持两个内核分支，一个稳定的内核和一个测试内核，并为这两个内核提供更新。Linux4.19 是我们测试分支的一部分，而稳定分支的第一个版本将随 Parrot 5.0 本身一起发布。 更多信息请查看 更新日志。...阅读全文
在去年年初，SUSE 的开发者向 Linux 内核提交了一个 v2 补丁，该补丁将 ReiserFS 文件系统标记为已弃用，并将会在 2025 年从内核中正式删除它。删除的原因主要是过去十多年该文件系统都不再活跃，并且在现代内核的生产用例中也不太可能再使用。基于差不多的原因，日前开发者也开始着眼讨论 Journaled File-System（JFS）文件系统是否还应该在内核中继续保留的问题。内核开发者 Christoph Hellwig 在邮件列表中表示：不久前，我们已经弃用了 ReiserFS，并计划将其删除。看着 JFS 中的代码，我想知道我们是否也应该这样做。虽然 JFS 不像 ReiserFS 那么复杂，但它的使用率也很低，而且从未成为任何主要发行版中的默认文件系统。1990...阅读全文
虽然人们一直在猜测Linux 5.9会是内核的下一个长期支持版本，但事实上Linux 5.10才是。Linux内核主要稳定维护者的Greg Kroah-Hartman在Linux基金会欧洲开源峰会上证实，Linux 5.10将是LTS版本。 Linux 5.10-rc1 昨天发布，预计会在 12月中旬 的稳定版发布后正式亮相。随后，这个内核将在Linux LTS计划下，在未来的几年中得到长时间的维护。 看到 Linux 5.10 成为LTS而不是 Linux 5.9 是一个可喜的消息，因为 Linux 5.10 有很多新的功能和改进，尤其是在新硬件支持方面。 另一方面，没有几家主要的 Linux发行版打算长期坚持运行在 Linux 5.9 内核，像 Ubuntu 20.10虽然是近期发布的...阅读全文
双重身份验证有所改进。 高可用的方案也已得到了改进，并新增了"迁移"关闭策略，可以在关闭时将正在运行的服务迁移到另一个节点，类似于 AWS 的宿主机故障迁移方式。 存储上，版本 6.1 已支持 Ceph 和 KRBD 在较新内核上支持的所有功能。 我们有一些值得注意的错误修复，其中之一是 QEMU 监视器超时问题或 corosync 的稳定性改进。发行说明中列出了无数其他错误修复和较小的改进。详情请参考发行说明。 常见问题： 问题1：我可以用 apt dist-upgrade 把 VE 6.0 升级为 6.1 吗？回答：可以放心使用。可以通过GUI界面，或者命令行把 VE 6.0 升级为最新的 VE 6.1，一般执行以下命令即可 apt update && apt dist-upgrade...阅读全文
的 K8S 环境不矛盾。 另外一方面，如果说定制的概念是指基于 K8S 本身开发体系所提供的插件机制去做二次开发，那每家厂商都要定制，因为 K8S 本身不是一个产品级就绪的环境，需要使用者去适配网络和存储还有计算，因为每个公有云厂商基于自己的 IaaS 去提供 K8S 产品，必然要去开发插件。 综上，向用户应该提供原生的、标准的 K8S 产品，但底层应该基于自身 IaaS 平台去定制，本质还是为了提高用户使用 K8S 的效率，让用户开箱即用。 K8S 落地挑战：改造成本和人才问题 记者：你觉得目前国内云厂商提供的 K8S 集群编排服务在推广方面目前欠缺的是什么？是什么阻碍了客户进一步去使用这些容器集群服务？ 叶理灯：K8S 以容器技术为核心、以容器镜像为打包标准的特点，意味着如果要迁移到这个...阅读全文
Debian 是个组合单词，它是由 Debian 项目创始人 Ian Murdock 和他的妻子 Debra 的名字缩写。是Linux的一个版本。Debian 是一套为了您的计算机所设计的自由操作系统。Debian 使用 Linux 核心, 但大部份的基本工具则来自 GNU 计划，本站有一篇关于Debian 项目的详细介绍，推荐看看。 Debian 怎么读才是标准的，正确的发音呢？ 其实这个问题不难，我们可以通过一些视频网站，对项目创始人、或者知名开源人士的访谈来判断如何正确年出 Debian。Youtube上也有专门的视频介绍Debian的发音，参考这里。通过对比，我们可以发现百度翻译上的发音，就是很标准的 Debian 发音。多听几遍，我们就知道如何正确念出 Debian 了。常听到的...阅读全文
适用于 Debian 11 “Bullseye”的壁纸评选工作已经于11月9日结束，在通过投票统计之后 Debian 团队宣布“Homeworld”这款壁纸胜出，将会作为 Debian 11 的默认壁纸和全球用户见面。 Debian 11 登录界面 Debian 11 安装界面 在关于该壁纸的说明中写道：“Homeworld 是一款受包豪斯运动启发的一款主题。包豪斯运动是 19 世纪诞生于德国的一种艺术风格，特征是独特的结构和设计方法。由于结构和设计是软件建设的核心，我希望在这种艺术风格和 Debian 之间建立某种联系”。 在用户安装和使用 Debian 11 中，用户会在多个地方看到“Homeworld”主题。首先是在 Debian 的安装程序中，在横幅上会显示 Homeworld 的...阅读全文
Debian项目团队于今天发布了Debian GNU/Linux 10 “Buster”分支的第二个维护版本更新，和此前版本更新相隔2个多月时间。为那些想要在新电脑上部署操作系统，或者不想要下载数百个更新的用户，Debian 10.2将会提供新的安装镜像。Debian GNU / Linux 10.2“ Buster”总共包含115个更改，包括66个各种BUG修复，以及49个针对各种核心组件和软件的安全更新。 下载：https://www.debian.org/mirror/list Debian团队表示：“值得注意的是，本次维护版本更新并不构建Debian 10的新版本，只是对系统的部分组件进行了更新。因此目前不需要丢弃旧的安装媒介。在完成安装之后，可以使用最新的Debian镜像来升级至...阅读全文
项目）仍应由各自的所有者负责，但重要的是默认情况应该是相反的。 Debian缺乏管理重大变更的工具：很难用程序的方式处理包和存储库（请参见下一小节的内容）。最近一次发送过来要求审核的更改是一个附带补丁的bug报告。我认为接受bug报告更改的流程太复杂，然后开始尝试mergebot，但只有Guido曾经表示对该项目感兴趣。 在文化方面，Debian的评论和反应都很慢。凡事都没有截止期限。有时我会收到电子邮件，通知我说我在几年前（！！）发送的补丁现在终于合并了。只有短短数周的项目拖到了数年，对我来说这是一个巨大的消极影响。 有趣的是，你可以看到缓慢的线上活动也影响到了线下的文化：我不想在第一次听到systemd后，过10年之久再讨论它。 最后，如果有人坚持拒绝合作，那么你做出的变更很容易就会被一...阅读全文
览我之前翻译的Kubernetes 的自动伸缩你用对了吗？；HPA 除了可以基于 CPU 指标伸缩，还可以基于内存，或者自定义指标，可以浏览Kubernetes HPA 基于 Prometheus 自定义指标的可控弹性伸缩。使用资源请求和约束应设置资源请求和约束（可在容器中使用的最小和最大资源量）以避免容器在未分配所需资源的情况下启动，或集群用尽可用资源。在没有限制的情况下，Pod 可以使用比所需更多的资源，从而导致可用资源总量减少，这可能会导致集群上的其他应用程序出现问题。节点可能会崩溃，并且调度程序可能无法正确调度新的 pod。如果没有请求，无法为应用程序分配足够的资源，它可能会在尝试启动或执行异常时失败。资源请求和限制以毫核和兆字节为单位定义可用的 CPU 和内存。请注意，如果进程超出...阅读全文
吗？你不能。你得看看它里面装的是什么型号的处理器，有多少个核，主频多少，有多少 L1 cache，L2 cache……，有多少内存和硬盘，显示器分辨率有多大，显卡是什么 GPU，网卡速度，等等各种“配置”。有时候你还得看各个组件之间的兼容性。 这些配置对应到程序语言里面，就是所谓“语言特性”。举一些语言特性的例子： 变量定义 算术运算 for 循环语句，while 循环语句 函数定义，函数调用 递归 静态类型系统 类型推导 lambda 函数 面向对象 垃圾回收 指针算术 goto 语句 这些语言特性，就像你在选择一台电脑的时候，看它里面是什么配置。选电脑的时候，没有人会说 Dell 一定是最好的，他们只会说这个型号里面装的是 Intel 的 i7 处理器，这个比 i5 的好，DDR3 的内...阅读全文
。Debian计划并没有盈利组织支援，它的开发团队完全由来自世界各地的志愿者。Debian经常被认为是一个Linux发行版，但实际上Debian所涵盖的并不仅仅是Linux，还有GNU、FreeBSD等多种作业系统，因此Debian的官方称呼叫做“Debian通用操作系统”。 采用Linux核心的Debian GNU/Linux是后来很多Linux发行版的基础，Ubuntu正是其中最知名的一个发行版。Ubuntu的官方支持者是Canonical公司，六个月一次的Ubuntu新版本发布都是由Canonical负责，但大部分编码、分发、文档、翻译等工作都是由社区志愿者完成。 接下来，让我们进一步了解这两个项目的成员结构。 Debian的成员结构 Debian只有两种官方背景的成员角色：Debian开发者...阅读全文
当 Torvalds 将某些代码标记为“dontuse”，通常表明这个问题比较大。在 5.12 首个候选版本更新中，破坏了交换文件（swapfile）的处理。具体来说，更新后的代码会失去指向 swapfile 开头的正确偏移。用 Torvalds 自己的话来说，“交换还是会发生，但它发生在文件系统的错误部分，最终结果显然是灾难性的”。这样 Linux 内核如果想要将内存中的内容分页到磁盘上的时候，数据就会落在相同磁盘和 swapfile 活跃的分区的随机部分上，而且这不是作为文件，而是作为垃圾直接写入到磁盘的原始扇区。这意味着不仅要覆盖现有文件中的数据，还要覆盖相当大块的元数据，这些元数据的损坏很可能会导致整个文件系统无法挂载和使用。Torvalds 继续指出，如果你根本不使用 swap...阅读全文
访问：天猫6·18 “开门红”超级红包活动主会场 | 手机版京东6·18“京享红包”25日12点开始领取 最大面额高达18618元 （图 via Orozco 2018）据悉，工程团队中有三位核心成员，且他们对 QUIC 的承诺深信不疑。其中包括 IETF QUIC 工作组只需 Mark Nottingham，协议主要贡献者兼 quicly 创作者 Kazuho Oku，以及核心文档集编辑、杰出工程师 Jana Iyengar 。最新消息是，互联网工程任务组（IETF）已经发布了 RFC 9000，且得到了 RFC 9001 / 9002 / 8999 支持，意味着 QUIC 已从草稿阶段转向了 1.0 正式版。与此同时，基于 QUIC 的 HTTP/3 也有望紧随其后很快发表。对于...阅读全文
前不久组内又有一次我比较期待的分享：“Linux 的虚拟内存”。是某天晚上加班时，我们讨论虚拟内存的概念时，leader 发现几位同事对虚拟内存认识不清后，特意给这位同学挑选的主题。 我之前了解一些操作系统的概念，主要是毕业后对自己大学四年的荒废比较懊恼，觉得自己有些对不起计算机专业出身，于是在工作之余抽出时间看了哈工大在网易云课堂的操作系统公开课，自己也读了一本讲操作系统比较浅的书 《Linux内核设计与实现》，而且去年自己用 C 写简单的服务器时，也追根究底了解了更多的系统底层知识。多亏了这些知识，让我对应用层的知识更有掌控感，也在上次排查问题时（从应用到内核查接口超时）助了我一臂之力。 前几天另一位同事来问另一个虚拟内存相关的问题，我才发现对于虚拟内存，我的理解还不够深刻，一些概念还...阅读全文
Linux Lite 项目维护成员 Jerry Bezencon 今天发布推文，这款基于 Ubuntu 的发行版本现在已经基于最新的 Linux Kernel 4.14 分支内核。 如果你正在使用 Linux Lite 2.x/3.x 系列，那么可以通过下面这段命令行来获取 4.14 内核，除了在安装完成之后需要重启之外用户不再需要任何其他操作。不过要注意的是，这可能会破坏您已经安装的任何专有驱动程序（如 NVIDIA 或 AMD Radeon 图形驱动程序） sudo apt-get update && sudo apt-get install -y linux-headers-linuxlite-4.14.0 linux-image-linuxlite-4.14.0 此外用户也可以通过...阅读全文
Arch Linux 的开发人员也没有时间休息，所以他们正在用 2018 年的第一个 ISO 快照开始新的一年，带来最新的组件和最新的安全修复。 Arch Linux 2018.01.01 ISO，它是第一个使用最新的 Linux 4.14 LTS 内核 。尽管 12 月份的 Arch Linux ISO 快照仍然是 Linux 4.13 系列的内核提供支持，但是 2018 年 1 月的发行版对所有新安装都使用了 Linux 内核 4.14.9，而最近发布的 Linux 内核 4.14.10 仍在测试中。 Arch Linux 是一份独立开发的、为 i686 优化的 Linux 发行，它面向高级 Linux 用户。它使用自行开发的包管理器 pacman 来为最新的应用软件提供 更新升级，并...阅读全文
, ALERT, EMERG 级别的日志消息后， 将会无条件的立即刷写日志文件。 因此该设置仅对 ERR, WARNING, NOTICE, INFO, DEBUG 级别的日志消息有意义。 ForwardToSyslog=, ForwardToKMsg=, ForwardToConsole=, ForwardToWall= ForwardToSyslog= 表示是否将接收到的日志消息转发给传统的 syslog 守护进程，默认值为"no"。 如果设为"yes"，但是没有任何进程监听对应的套接字，那么这种转发是无意义的。 此选项可以被内核引导选项 "systemd.journald.forward_to_syslog" 覆盖。 ForwardToKMsg= 表示是否将接收到的日志消息转发给内核日志缓冲区...阅读全文
“spectre-meltdown-checker”命令，即可马上看到检查结果： 如果你的计算机很容易受到这三种投机行为攻击，请确保机器已装上最新可用的 Debian GNU/Linux 内核包、以及来自官方资源库的最新版软件。 当然，切记让你的 PC 时刻保持最新状态。...阅读全文
对于所有开源爱好者来说，今天是个大喜的日子，Linus Torvalds很高兴地宣布了Linux Kernel 4.0全新内核。 从版本上就可以看出Linux 4.0的变化之大，事实上也的确如此，尤其是打补丁后不需要重启了。 Linux新的补丁更新机制叫做“live patching”（实时补丁），可以对系统内核进行更新而不用重启。该功能由SUSE Enterprise Linux kGraft、Red Hat Kpatch合并升级而来。 普通用户对这个可能没啥感觉，但如果你是企业的网管，就会对打补丁再重启深恶痛绝了，那可意味着整套系统的下线。Windows要是啥时候也能会这招就好了，那意味着你的系统甚至可以连续运行几年乃至十几年！ 新系统还更新了大量驱动，包括Radeon DRM驱动支持...阅读全文
Mageia 6 已正式发布，该版本的研发周期是有史以来最长的。新版本中包含了大量全新和激动人心的功能，带来了一系列全新的安装媒体，并且在可用性和稳定性上进行了诸多调整。 新版使用了 KDE Plasma 5 桌面环境，DNF 软件包管理器现在可与 urpmi 一起使用，Mageia 6 还包括可用于 Xfce 桌面环境的 live test media。下面简单介绍一下更新的内容： KDE Plasma 5 替代了此前的 KDE SC 4 桌面环境 新的软件包管理器 DNF 作为 urpmi 的替代方案，提供了一个优秀的软件包生态系统：支持 AppStream，从而支持 GNOME 软件和 Plasma Discover 支持 Fedora COPR 和 openSUSE Build...阅读全文
-apiserver 的角度来看，它已经验证了我们的身份并且赋予了相应的权限允许我们继续，但对于 Kubernetes 而言，其他组件对于应不应该允许发生的事情还是很有意见的。所以这个请求还需要通过 Admission Controller 所控制的一个 准入控制链 的层层考验，官方标准的 “关卡” 有近十个之多，而且还能自定义扩展！ 虽然授权的重点是回答用户是否有权限，但准入控制器会拦截请求以确保它符合集群的更广泛的期望和规则。它们是资源对象保存到 etcd 之前的最后一个堡垒，封装了一系列额外的检查以确保操作不会产生意外或负面结果。不同于授权和认证只关心请求的用户和操作，准入控制还处理请求的内容，并且仅对创建、更新、删除或连接（如代理）等有效，而对读操作无效。 Note 准入控制器的工作方式与授权者和验证...阅读全文
) | 修正cron脚本中的版本比较 | | [debian-edu-config](https://packages.debian.org/src:debian-edu-config) | 将主机keytabs清理代码从gosa-modify-host中移出，变成一个独立的脚本，将LDAP调用减少为一个查询 | | [debian-installer](https://packages.debian.org/src:debian-installer) | 使用 4.19.0-14 Linux 内核 ABI；根据提议的更新进行重建 | | [debian-installer-netboot-images](https://packages.debian.org/src:debian...阅读全文
WireGuard 作者 Jason Donenfeld 宣布 FreeBSD 13 有了 WireGuard VPN 协议的内核实现。诸多路由器使用的是基于 BSD 的发行版，WireGuard 内核实现对它们有很大的帮助。 https://www.solidot.org/story?sid=67219...阅读全文
Amazon 应用。Ubuntu 上的 Amazon 图标一直就挂在桌面，这早已被人吐槽，因为它比较鸡肋，相关调查数据也反映了这一点。此次变化，特别是对于普遍不习惯首选 Amazon 购物的中国人来说，是一大好事。 Ubuntu 20.04 将使用 Linux 5.4 内核，该版本具有内核锁定模式和 exFAT 支持等新特性。 内核锁定功能主要是为了防止 root 帐户篡改内核代码，从而在用户态进程和代码之间划清界限。启用该功能后，即便是 root 帐户也无法访问某些内核功能，从而保护操作系统免受受损的 root 帐户影响。 exFAT 文件系统则是 FAT32 的替代者，它由微软开发，但是不仅用于 Windows 系统，目前 exFAT 在整个电子行业中都得到了广泛应用，特别是 SD 卡、USB 闪...阅读全文
知名Linux Kernel维护成员Greg Kroah-Hartman今天分享了一些非常有趣的细节--在Linux内核打上Meltdown和Spectre漏洞补丁之后的性能影响。根据Google+博文显示，最近发布的Linux Kernel 4.15的速度要比4.11快7-9%；在激活内核页表隔离（KPTI）情况下速度仅比4.11慢了1-2%。 Greg Kroah-Hartman在Google+上写道：“因此从整体上来看，我们又重新站在起跑线上了。让我感到欣慰的是，最近Meltdown的调整并未对综合性能造成太大的影响。不过如果你依然在使用旧版内核，那么就完全不一样了。” 对此，Greg Kroah-Hartman 在 Google+ 博文中推荐所有依然使用旧版Linux Kernel...阅读全文
在布拉格举行的LinuxCon Europe上，Linux基金会宣布了针对消费者电子产品的长期支持内核分支“Long Term Stable Kernel Initiative （LTSI）”,旨在减少开发定制移动或嵌入式Linux平台的成本。 LTSI将提供可连续使用2到3年的稳定版内核，消费电子产品的生命周期也就二到三年左右。LTSI将每年发布一个新内核版本，此后两年定期提供更新。LTSI由Linux基金会管理，将与行业合作伙伴合作开发，该项目已经吸引了日立、LG、松下、索尼和东芝等大型硬件制造商。...阅读全文
Tails 4.4 稳定版已发布，更新内容包括升级应用程序和修复安全漏洞。此版本中修复了在 Tails 4.3 中发现的许多安全问题，例如影响 OS 组件，以及 Tor Browser 和 Mozilla Thunderbird 等预装应用程序的漏洞。 该版本已将内核升级至 Linux Kernel 5.4.19，改进对显卡、无线网卡等较新硬件的支持。另外还修复了一些 Realtek RTL8822BE 和 RTL8822CE 芯片组的 Wi-Fi 接口造成的问题，团队还表示如果从 Tails 4.1 起使用 WiFi 时出现问题，请告知他们问题是否已解决。 最后，Tails 4.5 计划于4月7日发布。 下载地址：tails-amd64-4.4.iso (1,098MB...阅读全文
Linus Torvalds近日发布了Linux内核5.8，近一个半月后，他撰文回顾了这一版本，并宣布这个版本是一个 "真正的大更新"，以至于让人想起4.9版本。"我一直到最后一刻才考虑做一个rc8，但考虑到周围没有任何大的迫在眉睫的担忧时，不希望再等一周。"Torvalds解释道。 在这个新版本的内核带来了更新后的驱动程序，添加支持一系列的Adreno GPU芯片，如405，640，和650版本，新的Spectre补丁，以及exFAT完善。 Radeon驱动在这个版本中也得到了改进的支持，Power 10芯片也是如此，其推出目前预计将在明年某个时候进行。 但正如Torvalds在6月时所说，Linux内核5.8是一个大规模升级的版本，而且有数不清的小改进。"在5.8合并窗口中，我们已经修...阅读全文
1. HDFS概述 Hadoop 分布式系统框架中，首要的基础功能就是文件系统，在 Hadoop 中使用 FileSystem 这个抽象类来表示我们的文件系统，这个抽象类下面有很多子实现类，究竟使用哪一种，需要看我们具体的实现类，在我们实际工作中，用到的最多的就是HDFS(分布式文件系统)以及LocalFileSystem(本地文件系统)了。 在现代的企业环境中，单机容量往往无法存储大量数据，需要跨机器存储。统一管理分布在集群上的文件系统称为分布式文件系统。 HDFS（Hadoop Distributed File System）是 Hadoop 项目的一个子项目。是 Hadoop 的核心组件之一， Hadoop 非常适于存储大型数据 (比如 TB 和 PB)，其就是使用 HDFS 作为存...阅读全文
9 月 8 日，字节跳动正式宣布开源 CloudWeGo。这是一套以 Go 语言为核心、专注于微服务通信与治理的中间件集合，具有高性能、可扩展、高可靠的特点。 据介绍，作为项目维护方，字节跳动基础架构团队已推进项目以 CloudWeGo 开源库为主进行迭代，未来团队将坚持内外维护一套代码，统一迭代演进，并逐步分享更多内部微服务最佳实践。 项目地址：https://github.com/cloudwego 项目官网：www.cloudwego.io CloudWeGo 第一批开源了四个项目，以 RPC 框架 Kitex 和网络库 Netpoll 为主。 Kitex Kitex 是一个 Golang 微服务 RPC 框架，具有高性能、强可扩展的特点。 字节跳动使用 Golang 作为主要业务开...阅读全文
。”平板电脑应用处理嚣，自动驾驶域处理器，数据中心应用处理器将是Chiplet率先落地的三个领域。也是解决chiplet‘鸡’和‘蛋’的问题的原动力。”也就是说，虽然Chiplet有能力延续摩尔定律，但对于绝大多数不太先进的芯片公司而言，是没有必要早早就为芯片万能胶买单。因此也就能够理解，为何UCIe产业联盟是由几家芯片巨头携手共建的了。但不可否认的是，性能、功耗和面积的升级依然是芯片界向前发展的目标，随着越来越多的终端产品开始用得起更加先进的工艺制程时，芯片万能胶主流时代就不会再遥远。会有那么一天，但芯片万能胶的复用能力达到一定水平时，就有能力完全战胜晶体管集成了。如果您对文章内容有疑问，欢迎添加作者微信Yolanda_Zuu进一步讨论交流。作者 | 吴优编辑 | 包永刚访问:京东商城...阅读全文
基础架构 下面的小节讨论数据模型的细节以及如何生成内容。不会介绍服务内容的细节，因为我们使用了相对标准的搭建。 数据模型 Prodspec的声明式intent是通过一些抽象建模的，如图5、6所示： 资产（asset）：每个asset描述生产环境的一个特定方面分区（partition）：组织管理域中的asset。化身（incarnation）：表示给定时间点的分区快照。 图5：Prodspec的数据模型 图6：Prodspec里Shakespeare服务的简化视图，LB代表负载均衡器 Asset asset是Prodspec数据模型的核心。asset包含给定基础架构提供者某个特定资源的配置。比如，asset可以代表给定集群的资源或者如何配置某个特定job的指令。 在Shakespeare服务...阅读全文
WireGuard 是 Jason A. Donenfeld 开发的开源VPN协议。目前支持Linux, macOS, Android 以及 OpenWrt。iOS 和 Windows 官方客户端还在开发，但第三方 Windows 客户端已经出现。WireGuard 被视为下一代VPN协议，用来替代OpenVPN，IPSec等VPN协议。 WireGuard 协议作为 Linux 内核模块运行，所以效率极高。使用了最先进的加密技术(利用Curve25519进行密钥交换，ChaCha20和Poly1305用于数据认证，BLAKE2用于散列)，安全性毋庸置疑。WireGuard 是为嵌入式设备开发的，支持IP地址漫游，也就是网络断开再连，对它不会有影响。WireGuard 使用 UDP 协议传...阅读全文
认为需提供更好的入门指南，以便于更多志愿者和维护者得以参与 Debian 项目开发中。 人员问题并非 Debian 独有。上个月，Linux 基金会成员 Sarah Novotny 也向 Register 提出了降低新内核开发人员门槛中的挑战。 另一个问题是新软件包会卡在 NEW 队列中等待核准。Carterh 说，“这是我们大家的一个痛点。很多软件包会卡顿很长时间”。今年早期，NEW 队列的规模达到了历史新高，通过团队努力到 7 月已大为削减。 Carter 说，项目本身正在不断改进，也需要做更多努力。团队正与联想商洽在其 OEM 笔记本上预装 Debian 系统，虽然 Carter 也明白，即便是 Debian 开发人员，大多也会在购买这样的笔记本后立刻卸载预装版本并重装系统。团队认识到...阅读全文
了答案。 从单机到分布式，是追求更快和更高的性能，但也带来了更多的不确定性。比如，不确定计算机何时异常，不确定磁盘何时损坏，不确定网络通信的延迟，也不确定消息是否被正常消费。这些不确定性构成了分布式应用的挑战，简而言之： 异构的机器与网络：稳定性问题普遍的节点故障：可靠性问题不可靠的网络：一致性问题 面对这些挑战，业界提出了诸多的分布式理论、协议，如CAP定理，BASE理论，一致性协议2PC/3PC/ZAB，来保证系统的正常运行。虽然问题貌似是有了解决方案，但是应用的复杂度升高了。应用除了需要实现业务需求，还要兼顾非业务需求，集成诸如服务发现、负载均衡、失效转移、动态扩容、数据分片、调用链路监控等分布式系统的核心功能，对应用有很强的侵入性，这就是以Spring Cloud为代表的微服务框架的...阅读全文
访问：2021阿里云上云采购季：采购补贴、充值返券、爆款抢先购云通信分会场：爆款产品低至7.2折，短信低至0.034元/条 ARM 首席执行官 Simon Segars 表示：“当我们展望由人工智能定义的未来时，我们必须奠定一个领先的计算基础，为应对未来的独特挑战做好准备。armv9 就是答案，它将会成为下个 3000 亿台 ARM 芯片的最前沿，其驱动力是建立在通用计算的经济性、设计自由度和可获得性基础上的普遍的专业化、安全和强大的处理需求”。armv9 架构有两个核心侧重点：人工智能和安全。ARM 表示到 21 世纪中叶，将会有超过 80 亿台语音辅助设备，90% 的应用将包含 AI 元素。ARM 与富士通合作创建了可扩展矢量扩展（SVE），现在，SVE2 是 armv9 的一部分，用...阅读全文
如果你经常让你的系统经历休眠周期，那么从即将开始的 Linux 5.10 周期开始，性能应该会好很多。在即将到来的Linux 5.10合并窗口中，有一个变化允许对休眠/恢复的I/O请求进行批处理，以加快休眠和恢复进程。 到目前为止，Linux 内核依靠为每一页数据提交单独的 I/O 请求，但现在 Linux 5.10+ 的时候，它设置为使用 batch 与 blk_plug。 开发者Xiaoyi Chen的内核补丁解决了这一问题：合并I/O请求让系统休眠和恢复的速度提升了一个数量级以上。在使用的32GB内存中，16GB内存的一个休眠和恢复周期在改变前需要21分钟左右，在存储IOPS有限的系统上，改变后仅需要1分钟。" Xiaoyi Chen在亚马逊EC2旗下主导了这项工作，这项改变是在系统...阅读全文
Redis 创始人兼核心开发者 antirez 在博客 介绍 了将在 Redis 6 提供的新功能 —— Client side caching（客户端缓存）。 antirez 表示 全新的 Redis 协议 RESP3 将是 Redis 6 中最重要的特性，并解释了他为何如此急切地改进 Redis 协议，原因主要有两个，一是因为希望能为客户端提供更多的语义化回复（semantical replies），以开发使用旧协议难以实现的功能；另一个原因也是 antirez 认为最重要的一个，实现 Client side caching（客户端缓存）功能 。 这个功能十分常见，但 Redis 尚未提供。 当使用者需要进行快速存储或快速取操作时，就需要在客户端内存中存储一小部分信息，这是为了降低程序...阅读全文
表的不同部分，都会有不同的评审者进行细致的审查。当然如果是结对编程，且你的队友能进行高质量的代码评审，那么这样写的代码一般可以视为已经过评审了。此外，我们也可以进行面对面的评审，评审者会问开发者一些问题。 根据谷歌的项目描述，代码审核规范为两套独立文档组成，代表了两方面内容的最佳实践： 代码评审者的指南CL 作者指南 在其中一些文档中使用了一些术语，如下： CL：表示“变更列表 (changelist)”，意思是已经提交到版本控制或正在进行代码检查的一个独立的更改。其他组织通常称为“改变”或“补丁”LGTM：意思是“在我看来不错 (Looks Good to Me)”，这是代码审阅者在批准 CL 时说的 接下来我们来看看两份文档分别的主要内容是什么： 1. 代码评审者的指南——如何进行代码评...阅读全文
式（如基于 HTTP 路径的路由和流量转移）提高了可靠性。 点此了解更多 。Mesh 网关 。Mesh 网关是网络边缘的 Envoy 代理，让独立网络环境中的服务能够轻松地相互通信。它们由 Consul 使用类似机制作为 Sidecar Proxy 的配置。点此了解更多 。意图 & CA 复制。 这些功能实现了在 Consul 逻辑数据中心之间进行连接服务，并且是 Mesh 网关的重要构建部分。请注意，此功能以前属于 Consul 企业版的功能。 另请注意，此版本中已完全删除了在 1.3.0 中被弃用的托管代理功能（managed proxies）。 详细更新内容请查看 Consul 1.6.0 Beta 版的发布公告 或 更新日志 。...阅读全文
的内存技术组合的承诺。"万亿GB是三星自40多年前开始生产的内存总量，这一万亿中大约有一半是在过去三年里生产的，这表明数字转型的进展有多快，"三星电子总裁兼内存业务主管Jung-bae Lee说。"随着内存带宽、容量和功率效率的进步使新的平台成为可能，而这些反过来又刺激了更多的半导体创新，我们将越来越多地推动在数字共同进化的道路上实现更高水平的整合。"推进数据智能的DRAM解决方案三星的1b级DRAM目前正在开发中，计划在2023年进行大规模生产。为了克服DRAM扩展到10纳米范围以外的挑战，该公司一直在开发图案化、材料和架构方面的颠覆性解决方案，像High-K材料这样的技术正在顺利进行。该公司随后强调了即将推出的DRAM解决方案，如32Gb DDR5 DRAM、8.5Gbps...阅读全文
cloud, intelligent edge ” ，对 GitHub 的收购将对此目标发挥重要作用。Friedman 表示，云是开发者的核心需求，微软将致力于不仅仅将自己的 Azure 云服务插入到 GitHub 中，还会集成其他平台（如 AWS 和 Google 云平台）以帮助开发者。 5、进驻 GitHub Marketplace 针对 GitHub Marketplace ，微软有着许多的规划。Friedman 表示，微软计划利用该市场使开发者社区中的所有人都可以使用微软的所有开发工具和服务。 6、集成 Visual Studio Code 最后，Friedman 表示，微软将直接将其开源的 Visual Studio Code 开发环境的功能整合到 GitHub 中，为开发者提供“更加无缝...阅读全文
的技术问题。 如果你是因为需要帮助正在阅读本文，还想着直接从作者那取得帮助（答案），然后挥一挥衣袖转身离开，那么你就不幸成了我们所说的白痴之一。别向我们提问，我们不会理你的。我们只是在这教你「如何从那些真正懂得问题答案的人那里取得帮助」的方法。不过，在99.9％的时间里我们不会是那些百事通。除非你非常地确定本文的作者是你的问题专家，否则请不要打扰，这样大家都更开心一点。 引言 在黑客[3]的世界里，你所提技术问题的解答很大程度上取决于你提问的方式与此问题的难度，本文将教你如何提问才更有可能得到满意的答复。 开源程序的应用已经很广，你通常可以从其他更有经验的用户而不是黑客那里得到解答。这是好事，因为他们更能够容忍一般的新手错误。但我们还建议你使用我们推荐的方法，像对待黑客那样对待这些有经验的用...阅读全文
架来兼容这种环境。 开发工具 - 在实现框架时，提供尽可能小的摩擦将会使开发人员更快捷。哪些工具可以帮助编码，本地测试端点，以及单元和集成测试的stubbing/mocking？当事情出错时，我们需要能够看到包括内容在内的请求信息。消息格式等因素也可以使调试更容易依赖于工具，例如JSON消息是人可读的，但是二进制消息将需要额外的努力来解码。 成熟度和采用 - 对于初创公司来说，资源是有限的，需要花费在公司的核心业务上，而不是修复，测试和增强第三方框架。诸如框架的普及，大规模使用的例子，社区的活跃程度以及框架本身的成熟度等因素都是稳定性的良好指标。需要强调的是，选择一个解决具体问题的框架，而并非选择最新最热的。 多平台支持 - 在真正的微服务思维中，使用最适合其目的的语言编写企业的服务，目前包...阅读全文
Pyinotify 是一个简单而实用的 Python 模块，它用于通过 inotify 实时监控Linux文件系统的更改。用于在Linux中实时监控文件系统的变化。 作为系统管理员，您可以使用它来监视目标感兴趣的更改，如Web目录或应用程序数据存储目录及其他目录。这取决于inotify （包含在 2.6.13及后续Linux内核中的功能），它是一个事件驱动的通知程序，其通知通过三个系统调用从内核空间导出到用户空间。 pyinotiy的目的是绑定三个系统调用，并支持其上的实现，提供了一个共同和抽象的手段来操纵这些功能。 在本文中，我们将向您展示如何在Linux中安装和使用pyinotify来实时监控文件系统更改或修改。 依赖关系 为了使用pyinotify ，您的系统必须运行： Linux内...阅读全文
