InfraPub 为您找到相关结果 817

Docker 快速入门之 Dockerfile

, LABEL, EXPOSE, ENV, ADD, COPY, ENTRYPOINT, VOLUME, USER, WORKDIR, ARG, ONBUILD, SHELL等指令,这里只择常用的几个进行讲解,可结合上面的示例进行理解。其它的请自行查阅官方文档。 3.1 FROM FROM 指令用于指定要操作的基础镜像,因为在我们构建我们自己的镜像的时候需要一个基础镜像。 语法: FROM [AS ] FROM [:] [AS ] 其 [AS ] 为指定一个名称,在一个 Dockerfile 多次使用 FROM 时如有需要,可用 COPY --from= 语法进行复制。 3.2 RUN RUN 指令...阅读全文

博文 2017-12-16 13:50:31 debian.cn

固态硬盘的 PCIE、SATA、M2、NVMe、AHCI 如何理解

固态硬盘近年来也是随着计算机的发展而得到了迅速的发展,目前已经隐隐有要取代机械硬盘的势头。但是关于固态硬盘相关的概念实在是繁琐,很多人购固态硬盘时,看到商家宣传NVMe,PCIE 却不懂是什么意思,今天我们就来为大家详解这些概念。 首先我们要把 M2 跟 SATA 放一起说,我们常说的 M2 其实是 M.2,更多是指一种尺寸或者插槽,就是上图右边的尺寸较小的直接插主板上的这种,而 SATA 通常是指上图左边那个尺寸较大的一大块那种。 还要提的是M.2插槽也是有两种的,一种是金手指有两个缺口的Socket 2跟金手指只有一个缺口的Socket 3,这两种可以走不同的通道,我们后面会说到。 接下来要搞懂的是 SATA 跟 PCIE,这两个东西是指串行接口或者就是数据走的通道,相信有人看到这...阅读全文

博文 2019-01-23 13:28:23 debian.cn

Go 公布 2.0 设计草案:规模化和扩展性、支持泛型

高开发者处理错误的可能性。 为避免处理重复异常,错误检查和错误处理还必须是显性的,在程序文本可见。 参考示例: func main() { hex, err := ioutil.ReadAll(os.Stdin) if err != nil { log.Fatal(err) } data, err := parseHexdump(string(hex)) if err != nil { log.Fatal(err) } os.Stdout.Write(data) } 简化后: func main() { handle err { log.Fatal(err) } hex := check ioutil.ReadAll(os.Stdin) data := check parseHexdump...阅读全文

博文 2018-09-01 18:39:47 debian.cn

Greg Kroah

Ubuntu根本就是个祸害开源社区发行版。资本家是“无利不起早”的。“新人用Ubuntu系列是最不明智的择,因为很难利用到别人的经验。Ubuntu修改了太多东西造就了和其它发行版的不兼容。 “Ubuntu通过大量散发免费光盘圈走很大一部分初级用户,这部分用户自行解决问题能力相对较差,当遇到问题而又因为系统和别人不兼容而无法获得别人帮助时,最终将屈服于Ubuntu而购买Ubuntu的服务。 “这种称作糖衣炮弹的诈骗手段古往今来屡试不爽。实际上微软也这样,只不过微软是通过放纵盗版来圈客户,并且微软的Windows好歹还有很大一部分是它自己编的;Ubuntu则明着圈初学者,并且利用的工具也基本上不是它自己的,而是GNU/Linux。”(按:在以上大字报贴出一年后,Ubuntu果然提供了比买...阅读全文

博文 2021-01-28 17:50:09 Hartman批评Ubuntu发行版

提问的智慧 – 全文

」拼写为「lusers」[5])。 我们注意到很多人只是想使用我们写的软件,对学习技术细节没有任何兴趣。对他们而言,计算机只是种工具,是种达到目的的手段而已。他们有自己的生活,有更重要的事要做,我们承认这一点,也从不指望每个人都能对这些让我们着迷的技术问题感兴趣。所以,我们回答问题也有自己的择,仅仅回应那些真正对问题有兴趣并愿意主动参与解决问题的人,这一点现在不变,以后不会变,也不该变,否则,我们就无法做好那些该做好的事情了。 我们(大多数)是自愿者,从自己繁忙的生活抽时间来回答问题,有时也会力不从心。因此,(请原谅)我们会毫不留情地过滤问题,特别是那些像是losers提的问题,这样,我们就有更多的时间和精力去回答那些winner[6]的问题 如果你认为这种态度令人反感、以施惠者自居或傲慢...阅读全文

博文 2009-10-01 13:18:00 debian.cn

使用 MongoDB 之前应该知道的 14 件事

有一个“填充因子(padding factor)”,为文档增长提供空间。 你也许会想,你可以通过不建立数组索引来绕开这个问题。遗憾的是,没有索引,你会遇到其他问题。因为文档会从头到尾扫描,找到一个接近数组尾部的元素需要花更多的时间, 大部分处理这个文档的操作都会变慢 。 忘记聚合情况下的阶段排序 在有查询优化器的数据库系统,你编写的查询是说明你想要什么而不是如何获取它。这就像在餐馆点餐;你通常只需要点菜,而不必对厨师发出详细的指令。 在 MongoDB ,你是对厨师发指令。例如,你需要通过$match 和$project 确保管道的数据尽早减少,排序只在数据减少时发生一次,查找按照你希望的顺序执行。查询优化器省去了不必要的工作,优化阶段顺序,择连接类型,这会把你宠坏。MongoDB...阅读全文

互联网协议正在发生变化

了。 事实上,iQUIC 当前的 ‘短报文头’ 被用于除了握手外的所有包,仅公开一个包编号、一个可的连接标识符和一个状态字节,像加密密钥轮换计划和包字节(它最终也可能被加密)。 其它的所有东西都被加密 —— 包括 ACK,以提高 通讯分析 攻击的门槛。 然而,这意味着通过观察连接来被动估算 RTT 和包丢失率将不再变得可行;因为没有足够多的信息。在一些运营商,由于缺乏可观测性,导致了大量的担忧,它们认为像这样的被动测量对于他们调试和了解它们的网络是至关重要的。 为满足这一需求,它们有一个提议是 ‘Spin Bit’ — 这是在报文头的一个回程翻转的位,因此,可能通过观察它来估算 RTT。因为,它从应用程序的状态解耦的,它的出现并不会泄露关于终端的任何信息,也无法实现对网络位置的粗略估...阅读全文

得物云原生全链路追踪Trace2.0-采集篇 - OSCHINA

一、0xcc开篇 2020年3月,得物技术团队在三个月的时间内完成了整个交易体系的重构,交付了五彩石项目,业务系统也进入了微服务时代。系统服务拆分之后,虽然每个服务都会有不同的团队各司其职,但服务之间的依赖也变得复杂,对服务治理等相关的基础建设要求也更高。 对服务进行监控是服务治理、稳定性建设的一个重要的环节,它能帮助提早发现问题,预估系统水位,以及对故障进行分析等等。从 2019 年末到现在,得物的应用服务监控系统经历了三大演进阶段,如今,整个得物的应用微服务监控体系已经全面融入云原生可观测性技术 OpenTelemetry。 回顾过去十年间,应用服务监控行业的竞争也很激烈,相关产品如雨后春笋般涌现,如推特在 2012 年开源的 Zipkin,韩国最大的搜索引擎和门户网站 Naver...阅读全文

博文 2022-12-10 06:50:41 中文开源技术交流社区

谷歌开源了代码评审规范:好坏代码应这样来判断

识也是改善系统代码健康状态的重要部分。当然,如果评审者的评论仅仅只是教育性的,且对于标准要求不那么重要,那么还是要加上前缀「Nit:」的。 评审准则 技术事实和数据要优先于观点与个人风格。 在代码风格方面,谷歌的代码风格指南是最权威的参考资料。任何不在风格指南的代码习惯,都属于个人风格,但我们应该保证基本的风格和谷歌风格指南是一致的。 软件设计方面几乎不会有纯粹的风格问题,或者纯粹个人的习惯问题。很多风格问题都基于一些基本准测,它们并不是简单地由个人观点决定的。此外,如果代码作者通过数据或基本工程原则证明了几种方法同样有效,那么评审者应该接受作者的风格。否则,偏好的择还是取决于软件设计的标准原则。 如果没有其它适用规则,那么评审者可以要求作者的偏好与当前代码库保持一致,同时不对整体的代码...阅读全文

博文 2019-09-10 17:19:13 debian.cn

如何读懂火焰图?+ 实例讲解程序性能优化 - xuxh120

是看顶层的哪个函数占据的宽度最大。只要有"平顶"(plateaus),就表示该函数可能存在性能问题。 颜色没有特殊含义,因为火焰图表示的是 CPU 的繁忙程度,所以一般择暖色调。 三、互动性 火焰图是 SVG 图片,可以与用户互动。 (1)鼠标悬浮 火焰的每一层都会标注函数名,鼠标悬浮时会显示完整的函数名、抽样抽的次数、占据总抽样次数的百分比。下面是一个例子。 mysqld'JOIN::exec (272,959 samples, 78.34 percent) (2)点击放大 在某一层点击,火焰图会水平放大,该层会占据所有宽度,显示详细信息。 左上角会同时显示"Reset Zoom",点击该链接,图片就会恢复原样。 (3)搜索 按下 Ctrl + F 会显示一个搜索框,用户可以输入关键词...阅读全文

博文 2022-03-11 10:05:09 博客园

linux下查看系统socket读写缓冲区_eyucham的专栏

系统提供的socket缓冲区大小为8K,你可以将之设置为64K,尤其在传输实时视频时。 socket发送数据时候先把数据发送到socket缓冲区,之后接受函数再从缓冲区取数据,如果发送端特别快的时候,缓冲区很快就被填满(socket默认的是1024×8=8192字节),这时候我们应该根据情况设置缓冲区的大小,可以通过setsockopt函数实现 #include #include #include #include #include #include #include #include int main...阅读全文

博文 2021-01-26 16:21:35 CSDN博客

Harbor 1.9 发布:新增多项企业级功能

(Tag Retention) 除了项目配额之外,1.9 版还提供了一项增强功能,用于更好地管理镜像生命周期并优化存储分配,此项功能称为“Tag保留”。Harbor 的存储可能会迅速累积起大量镜像的文件,特别是在 Harbor 与 CI 系统挂钩在一起以自动生成内部版本时,许多 tag 会在一定时间之后或被下一个内部版本取代后过时。要释放这些已过期的镜像所占用的空间,并满足监管与合规要求,项目管理员可以择性地定义镜像 tag 的保留策略,以留存具有特定匹配镜像 tag 的镜像,同时删除其他 tag 及其关联的 blob。无论是手动生成还是从 CI/CD 管道自动生成,镜像 tag 通常包含环境和镜像使用情况的大量元数据信息,足以用作定义保留策略的条件。 CVE 例外策略 (Exception...阅读全文

博文 2019-10-09 12:12:04 debian.cn

使用 setfacl 管理文件的访问控制列表ACL

如果你是在一个大型组织,你运行了 NFS 或者 Samba 服务给不同的用户,你将会需要灵活的挑并设置很多复杂的配置和权限去满足你的组织不同的需求。Linux(以及其他Unix等POSIX兼容的操作系统)有一个被称为访问控制列表(ACL)的权限控制方法,它是一种权限分配之外的普遍范式。例如,默认情况下你需要维护3个权限组:owner、group和other。 使用ACL后,你可以设置权限给其他用户或组,而不单只是简单的"other"。可以允许指定的用户A、B、C拥有写权限而不再是让他们整个组拥有写权限。 ACL支持多种Linux文件系统,包括ext2, ext3, ext4, XFS, Btrfs等。如果你不确定你的文件系统是否支持ACL,请参考文档。 首先我们需要安装工具来管理ACL...阅读全文

三个技巧 大幅减少 Docker 镜像体积

个。 镜像的层就像 Git 的提交(commit)一样。Docker 的层用于保存镜像的上一版本和当前版本之间的差异。就像 Git 的提交一样,如果你与其他存储库或镜像共享它们,就会很方便。 实际上,当你向注册表请求镜像时,只是下载你尚未拥有的层。这是一种非常高效地共享镜像的方式。但额外的层并不是没有代价的。层仍然会占用空间,你拥有的层越多,最终的镜像就越大。Git 存储库在这方面也是类似的,存储库的大小随着层数的增加而增加,因为 Git 必须保存提交之间的所有变更。 过去,将多个 RUN 语句组合在一行命令或许是一种很好的做法,就像上面的第一个例子那样,但在现在看来,这样做并不妥。 1. 通过 Docker 多阶段构建将多个层压缩为一个 当 Git 存储库变大时,你可以择将历史提交记录...阅读全文

博文 2018-09-06 10:50:29 debian.cn

Debian 9 使用kubeadm创建 k8s 集群(下)

Kubernetes对象的关系。 豆荚在Kubernetes无处不在,因此了解它们将有助于您的工作。部署概述 - 提供部署概述 。 了解部署控制器如何工作非常有用,因为它们在无状态应用程序经常用于扩展和不健康应用程序的自动修复。服务概述 - 涵盖服务,Kubernetes集群另一个常用对象。 了解服务类型及其项对于运行无状态和有状态应用程序至关重要。 您可以研究的其他重要概念是Volumes , Ingresses和Secrets ,所有这些在部署生产应用程序时都会派上用场。 Kubernetes提供了许多功能和特性。 Kubernetes官方文档是了解概念,查找特定于任务的指南以及查找各种对象的API参考的最佳位置。...阅读全文

博文 2019-05-13 22:57:41 debian.cn

Apollo 配置中心简单介绍

钮。 点击后就进入到集群添加页面,一般情况下可以按照数据心来划分集群,如SHAJQ、SHAOY等。 不过也支持自定义集群,比如可以为A机房的某一台机器和B机房的某一台机创建一个集群,使用一套配置。 4.2.2 在Cluster添加配置并发布 集群添加成功后,就可以为该集群添加配置了,首需要按照下图所示切换到SHAJQ集群,之后配置添加流程和3.2添加/修改配置项一样,这里就不再赘述了。 4.2.3 指定应用实例所属的Cluster Apollo会默认使用应用实例所在的数据心作为cluster,所以如果两者一致的话,不需要额外配置。 如果cluster和数据心不一致的话,那么就需要通过System Property方式来指定运行时cluster: -Dapollo.cluster...阅读全文

博文 2021-04-09 17:53:51 CSDN

Omi 5.0.5 发布,腾讯开源的下一代 Web 框架

框架 Omi 内置 observe 制作响应式视图(免去 this.update) Web Components 也可以数据驱动视图, UI = fn(data) JSX 是开发体验最棒(智能提示)、语法噪音最少、图灵完备的 UI 表达式,模板引擎不完备,模板字符串完备但是语法噪音太大 独创的 Path Updating 机制,基于 Proxy 全自动化的精准更新,功耗低,自由度高,性能卓越,方便集成 requestIdleCallback 对 this.update 说再见吧!只要使用 store 系统,它就会自动化按需更新局部视图 看看Facebook React 和 Web Components对比优势,Omi 融合了各自的优点,而且给开发者自由的择喜爱的方式 Shadow DOM...阅读全文

博文 2018-12-13 02:36:19 debian.cn

25万次P/E循环 超级长寿的SLC SSD诞生

EnduroSLC闪存芯片,从名字上就可以看出强调超长寿命,P/E循环可5万次、10万次、25万次三种规格(QLC才不过1000-1500次左右),搭配无缓存主控支持增强型掉电保护,性能也是上一代的四倍,而且可耐受-40℃到85℃的极端温度。 该硬盘采用BGA整合封装的单芯片方案,集成主控和闪存,145-ball封装,尺寸仅14×24mm,容量不大2GB-128GB,系统通道是SATA 6Gbps,支持NCQ。 具体读写速度指标没有公布,但是对于这种产品来说,能跑多快反而是次要的。 Greenliant表示,NANDDrive EX系列已经开始向客户送样,计划今年第四季度量产,同时还会推出基于3D MLC闪存的NANDDrive MX系列,也是SATA 6Gbps,今年第四季度初出样,年底量产。...阅读全文

博文 2019-08-07 23:13:00 debian.cn

自由软件基金会向微软邮寄空硬盘 望其贡献Windows 7源码

2009 年正式发布的 Windows 7 操作系统,已于 2020 年 1 月 14 日终止面向公众的技术支持。即便如此,自由软件基金会(FSF)还是做好了下一步行动的准备。为了接管 Windows 7 源码,该组织已于上周向微软邮寄了一枚空硬盘。至于软件巨头将如何回应,目前暂不得而知。 自由软件基金会称: 鉴于其拥有所有必要的合法权利与措施,微软有权择是否开源 Windows —— 只待该公司一声问候,我们可随时为其提供力所能及的帮助。 尽管微软不大可能开放 Windows 7 的源码,但自由软件基金会表示将该操作系统的钥匙交由开源社区的提议,已经收到了热烈的反响。 过去几周,我们已经向其传达了这样的信息 —— 全世界成千上万的人希望 Windows 开源 —— 而我们将为其提供相应...阅读全文

博文 2020-02-17 15:11:28 debian.cn

域名与商标: 如何防止域名被仲裁

用,费用由投诉人承担。 A、一人独任专家组: 1-5个域名,总收费6000元,其管理费2000,专家费40006-10个域名,总收费8000元,其管理费3000,专家费500010个以上,总收费11000元,其管理费4000,专家费7000 B、三人合议专家组: 1-5个域名,总收费9000,其管理费2500,专家费6500(首席:4,000;其他:2,500)6-10个域名,总收费12000,其管理费3500,专家费8500(首席:5,000;其他:3,500)10个以上,总收费16500,其管理费4500,专家费12000(首席:7,000;其他:5,000) 至于是由一人独任还是三人合议,一方面由仲裁机构指定,另一方面需征得投诉人和被投诉人的认可,如果投诉人择三人合议,而...阅读全文

博文 2019-01-18 14:59:59 debian.cn

粘合万种芯片的“万能胶” 是摩尔定律的续命丹吗? - 硬件

更早之前,AMD在其EYPC系列CPU,也用到了"黏合"这一步骤,让芯片设计成本减少一半。自家芯片的“黏合”似乎已经不成问题,那么能否从全球市场上挑出性能最优的芯片黏合在一起,创造出更强大的芯片?几周前,能够实现芯片互连的"万能胶"出现了,英特尔、AMD、台积电等芯片公司联合成立小芯片互连产业联盟,定制UCIe 1.0(Universal Chiplet Interconnect Express)标准。如果将同一家芯片公司的互连方式(例如英伟达的NVlink)视为只能黏合一种材质且功能单一的胶水,那么UCIe标准的提出则意味着能够实现各种芯片互连的芯片万能胶的雏形初现。芯片万能胶,是否已经有足够的能力替代不断微缩的晶体管,成为摩尔定律的"续命丹"?“胶水”芯片时代的真起点"胶水"芯片发...阅读全文

博文 2022-04-08 07:35:46 cnBeta.COM

influxdb内存消耗分析及性能优化【探索篇】

1.新的问题influxdb目前支持内存型索引inmem及文件型索引tsi1。之前追踪篇将influxd索引修改为tsi1之后,经过一段时间的运行,从监控观察到,由于调用方采用异步队列+批处理的方案将数据写入influxdb,会在某些时刻调用方内部出现数据堆积,指标如图:横坐标: 时间轴,从12-29 00:00 到 12-30 00:00纵坐标: 队列数据堆积长度,坐标最大值250k,即最大25w个数据堆积从上图可以看到,当天监控出现数次堆积,上午7:00-10:00尤为严重。在堆积时,登录influxdb服务器,查看机器状态如下:top - 09:40:58 up 120 days, 19:18, 1 user, load average: 32.29, 32.32, 29.82...阅读全文

博文 2021-10-27 16:06:30 知乎

玩转 AWS 的必备工具

虽然AWS平台早已早已为使用者带来了十分详细和高品质的工具箱,但在具体运用含的软件还没有尤其方便快捷或是能满足客户的必须,因而,紧紧围绕全部AWS平台,客户及其许多专业开发设计AWS专用工具的企业发布了很多和AWS规范专用工具互为补充的第三方开发环境。这种专用工具集化在系统软件布署管理方法自动化技术,系统架构图自动生成可视化工具,及其服务器资源监管专用工具等AWS技术栈的最底层服务项目。 系统软件布署管理方法自动化技术专用工具. 国开发者利好消息!AWS(亚马逊云计算)国区新用户注册即可免费使用12个月云服务产品啦!每注册一个新用户均可享受新的12个月免费云服务器数据库等产品!快来加入我们吧! 免费12个月链接: https://aws.amazon.com/cn...阅读全文

玩转 AWS 的必备工具

虽然AWS平台早已早已为使用者带来了十分详细和高品质的工具箱,但在具体运用含的软件还没有尤其方便快捷或是能满足客户的必须,因而,紧紧围绕全部AWS平台,客户及其许多专业开发设计AWS专用工具的企业发布了很多和AWS规范专用工具互为补充的第三方开发环境。这种专用工具集化在系统软件布署管理方法自动化技术,系统架构图自动生成可视化工具,及其服务器资源监管专用工具等AWS技术栈的最底层服务项目。 系统软件布署管理方法自动化技术专用工具. 国开发者利好消息!AWS(亚马逊云计算)国区新用户注册即可免费使用12个月云服务产品啦!每注册一个新用户均可享受新的12个月免费云服务器数据库等产品!快来加入我们吧! 免费12个月链接: https://aws.amazon.com/cn/free...阅读全文

DevOps 越来越流行,2019 年这八大趋势值得关注

从我们认为 DevOps 只是一个流行语开始,它已经发展了很长的一段时间。现在,DevOps 已经成为了一个主要焦点,并在过去几年一直在塑造着软件世界。专家表示,DevOps 将成为主流,它的流行程度将在 2019 年达到顶峰。 根据 2018 年《DevOps 现状报告》,DevOps 精英级执行团队代码部署频率和发布速度更高,变更故障率更少,事故恢复时间更短,同时高效能团队的比例逐年增长,采用 DevOps 的团队越来越多。 而 Stack Overflow2018 年的薪资计算器报告显示,全球 DevOps 专家的收入最高,美国 DevOps 专家的年薪位数接近 10 万美元。 以下是“DevOps”一词的 Google Trends 以及 2019 年的预计增长假设。 从统计数据...阅读全文

博文 2018-12-10 22:49:57 debian.cn

利用 NAT VPS 进行流量中转

转机的设置,并默认已按初始化配置文章对服务器进行了配置。本文将介绍四种方法:firewalld,UFW,iptables,和 socat(推荐)来进行流量转,根据需要取其一种方法操作即可。亦可根据需要,将目标机设置为只允许转机访问。其,firewalld,UFW,iptables 均可对 TCP 和 UDP 进行转发,而 socat 还可以对包含域名的地址进行转发。 准备购买合适的 NAT VPS,此处提供一些服务商了解 NAT VPS 的基本使用方法,例如搞清楚 NAT VPS 一般需要在服务商处查看端口映射的设置基础 Linux 操作知识,并了解 vim 编辑器的基本使用方法 使用 firewalld 进行转此方法在 CentOS 下较为简便(CentOS 8 默认使用...阅读全文

博文 2021-03-11 21:16:11 Silearner

Docker 17.06 社区版发布

加了对日志驱动器插件的支持。 Service日志 docker service logs从实验版本改进到了稳定版,你可以轻松地获取Swarm上运行的一个服务的完整日志。同时也添加了服务单个任务日志的端点。 网络 Service节点本地的网络支持 Docker支持很多的网络择。在Docker 17.06 CE,可以将服务追加到节点本地的网络(node-local networks)。这包括如Host、Macvlan,IPVlan,Bridge和本地作用域的插件。例如对于一个Macvlan网络,可以在worker节点上创建一个节点特定的网络配置,然后在manager节点上创建一个加入了这些配置的网络: [Wrk-node1]$ docker network create —config...阅读全文

博文 2017-06-30 23:08:57 debian.cn

在树莓派上搭建 Raspbian 系统下的 Kubernetes 集群

成一个三节点的 Kubernetes 集群的创建,可以开始愉快的玩耍了。 K3s 的蛋蛋 如果执行 kubectl get pods --all-namespaces,就会看到其它服务的一些 Pod,比如 Traefik。Traefik 在这里起到是反向代理和负载均衡器的作用,它可以让流量从单个入口进入集群后引导到集群的各个服务。Kubernetes 支持这种机制,但 Kubernetes 本身不提供这个功能,因此 Traefik 是一个不错的择。...阅读全文

博文 2020-04-12 16:30:23 debian.cn

Apache Flink 1.14 新特性预览 - OSCHINA

在引擎层面,API 层面和算子的执行层面上做到了真正的流与批用同一套机制运行。但是在任务具体的执行模式上会有 2 种不同的模式: 下图是不同的执行模式: 对于无限的数据流,统一采用了流的执行模式。流的执行模式指的是所有计算节点是通过 Pipeline 模式去连接的,Pipeline 是指上游和下游计算任务是同时运行的,随着上游不断产出数据,下游同时在不断消费数据。这种全 Pipeline 的执行方式可以: 通过 eventTime 表示数据是什么时候产生的; 通过 watermark 得知在哪个时间点,数据已经到达了; 通过 state 来维护计算间状态; 通过 Checkpoint 做容错的处理。 这两种各有优劣,可以根据作业的具体场景来进行择。 对于有限的数据集有 2 种执行模式,我...阅读全文

博文 2021-09-05 07:26:58 中文开源技术交流社区

王垠:如何掌握所有的程序语言

很多编程初学者至今还在给我写信请教,问我该学习什么程序语言,怎么学习。由于我知道如何掌握“所有”的程序语言,总是感觉这种该学“一种”什么语言的问题比较低级,所以一直没来得及回复他们 可是逐渐的,我发现原来不只是小白们有这个问题,就连美国大公司的很多资深工程师,其实也没搞明白。 今天我有动力了,想来统一回答一下这个搁置已久的“初级问题”。类似的话题貌似曾经写过,然而现在我想把它重新写一遍。因为在跟很多人交流之后,我对自己头脑的(未转化为语言的)想法,有了更精准的表达。 如果你存在以下的种种困惑,那么这篇文章也许会对你有所帮助: 你是编程初学者,不知道该择什么程序语言来入门。 你是资深的程序员或者团队领导,对新出现的种种语言感到困惑,不知道该“投资”哪种语言。 你的团队为使用哪种程序语言争...阅读全文

博文 2017-07-10 10:13:17 debian.cn

aptitude 与 apt

update。如果apt-file search filename输出的内容太多,您可以尝试使用, apt-file search filename | grep -w filename 只显示指定字符串作为完整的单词出现在其的那些文件名,类似方法还有 , apt-file search filename | grep /bin/ 只显示位于诸如/bin或/usr/bin这些带有/bin字段的文件夹的文件,如果您要查找的是某个特定的执行文件的话,这样做是有帮助的。 典型应用 我是个赛车发烧友,想装个赛车类游戏玩玩。有哪些赛车类游戏可供择呢?apt-cache search racing game出来了一大堆结果。看看有没有更多关于torcs这个游戏的信息。apt-cache show torcs...阅读全文

博文 2021-01-28 17:50:09 get 的区别与联系

开源硬件是趋势,Arm 却走了一条与众不同的路

Android 从来都不存在一样,Arm 也希望 RISC-V 不存在。” Riordan 如此说道。 2019 年可能是 Arm 的转折点。这家英国公司对客户(主要是半导体公司)的微处理器 IP 许可进行了一系列重大更改,目的是提供更好的访问以及更灵活的芯片设计项。今年早些时候,Arm 推出了 Arm 灵活访问权限(Arm Flexible Access)—— 通过它客户可以以较低的费用访问公司的广泛技术组合,而没有购买完整许可证的义务。 在本周于圣何塞举行的 Arm TechCon 年度技术会议上,Arm 首席执行官 Simon Segars 宣布将自定义指令(Custom Instructions)添加到以 IoT 为重点的 Cortex-M 处理器系列,并从 2020 年上半年的 Arm...阅读全文

博文 2019-10-17 22:39:43 debian.cn

Golang Context 探究

在用 Golang 开发过程,我们一定能在代码里很多函数或方法都会传递 context, 也会经常遇到这样的报错 context deadline exceeded。你有想过或去探究过 context 到底是什么吗,为什么会遇到上述的报错。在这里我们就分析一下 context 是什么及用途。 首 Golang 的 context 值得是 context.Context 接口,Golang 在 1.7 版本引入标准库的接口。context 主要用来在 goroutine 之间传递上下文信息,包括:取消信号、截止时间、key-value 等。 Context 定义 Context 接口定义如下 1 2 3 4 5 6 7 8 9 10 type Context interface...阅读全文

博文 2021-02-25 09:27:27 lxkaka

不要光想着价格 QLC 与 TLC 闪存有什么不同

在这个互联网时代,游戏、电影、照片等数据越来越大,硬盘容量将会面临着前所未有的挑战。虽然传统的机械硬盘可以解决容量问题,但是速度太慢,体验糟糕,并不是最优的个人存储解决方案。我们渴求大容量的SSD,不过超过TB大容量SSD动不动就几千元的售价,对于支付能力有限用户实际上没有意义。SSD的成本主要来源于闪存,在TLC闪存能够实现TB容量可惜价格未能降下来。只有不断开发新类型的闪存,解决容量与价格的矛盾,才能让SSD真正在大数据时代发挥应有作用。 这时,QLC 闪存就应运而生, 目前,东芝和西数先后宣布成功开发基于四比特单元3D NAND闪存芯片,即QLC闪存,这也意味着QLC SSD将要来临。那么,它与TLC闪存又有什么区别,能否取代TLC成为SSD主流闪存之? 先来了解一下什么是TLC...阅读全文

博文 2017-08-01 09:52:54 debian.cn

如何在 Debian 下配置邮件服务器

户和它们各自的邮箱。创建一个用户是很容易的。 root@mail:~# adduser fourbyte 安装和配置SMTP 服务: postfix 配置文件路径 /etc/postfix/ 执行脚本 /etc/init.d/postfix 日志文件 /var/log/mail.log 端口 TCP/25 SMTP:安装postfix Postfix是广泛使用的SMTP服务器之一,因为它是稳定的、轻量级的、可扩展的、高度可定制的。安装postfix可以使用apt-get的完成。 root@mail:~# apt-get install postfix 在安装过程,需要指定电子邮件服务器和域名的类型。 由于此邮件服务器就会直接向目的地发送电子邮件,我们择Internet Site。 邮件服...阅读全文

博文 2021-01-28 17:50:22 debian.cn

百度运维工程师挖矿实录:四个月用155台服务器挖矿赚10万判3年

近日,百度两年前的一桩诉讼案终于有了答案。国裁判文书网显示,百度运维员工“安某”从 2018 年1 月底到 5 月底,以技术手段在公司服务器上部署“挖矿”程序,非法控制 150 余台服务器以获取比特币、门罗币等虚拟货币,共获利人民币 10 万余元。 事发后,“安某”不仅被没收了所有获利金额,罚款 11000 元,还背上了三年牢饭,有点惨。 4 个月,占用 155 台服务器,获利 10 万余元。 2017 年“安某”正式入职百度,彼时,比特币的价格飙升到了近 2 万美元,按照当时的汇率,一枚比特币人民币价格将近 13 万。虽然后续的币价有所降低,但挖到一枚,还可以挣几万块,这样的诱惑或许没有几个人会择无视。 2018 年初,“安某”开始打起了挖矿的主意。 挖矿,是指利用服务器CPU的运算...阅读全文

博文 2020-03-17 20:42:41 debian.cn

什么是线程安全,以及并发需要知道的几个概念

众所周知,在Java的知识体系,并发编程是非常重要的一环,也是面试的必问题,一个好的Java程序员是必须对并发编程这块有所了解的。为了追求成为一个好的Java程序员,我决定从今天开始死磕Java的并发编程,尽量弥补自己在这方面的知识缺陷。 并发必须知道的概念 在深入学习并发编程之前,我们需要了解几个基本的概念。 同步和异步同步和异步用请求返回调用的方式来理解相对简单。 同步:可以理解为发出一个请求后,必须等待返回结果才能执行下面的操作。 异步:请求发出后,不需要等待返回结果,可以继续执行后续操作,异步请求更像是在另一个 “空间” 处理请求的结果,这个过程不会影响请求方的其他操作。 举个生活的例子,比如我们去实体店买衣服,挑完款式后下单让售货员去仓库拿货,在售货员拿货的过程你需要在店...阅读全文

博文 2018-12-31 20:44:06 debian.cn

树莓派 9 周年:你不知道的树莓派冷知识

。 5. 树莓派总共能跑 20+ 个操作系统树莓派可以运行的操作系统多达 20 余种。其,基于 Debian 定制的 Raspberry Pi OS 是树莓派官方的操作系统。但到目前为止,它并不是最受树莓派用户们青睐的择。对于喜欢 DIY 的树莓派用户来说,为其适配 Ubuntu 和 FreeBSD Linux 版本,以及非官方的 Android 和Chrome OS 端口等显然更具有挑战性。开源社区已经有大量不同的操作系统适配树莓派的实现方案。一些最有趣的包括: LibreELEC:运行 Kodi 开源媒体软件的轻量级操作系统。 RISC 操作系统:此独特的操作系统专为 ARM 芯片而设计,号称拥有比 Linux 更快的运行速度。 Chromium 操作系统: Chromium OS 在...阅读全文

博文 2021-03-11 17:03:55 diablo4

监控Kubernetes集群证书过期时间的三种方案 - OSCHINA

前言 Kubernetes 大量用到了证书, 比如 ca证书、以及 kubelet、apiserver、proxy、etcd等组件,还有 kubeconfig 文件。 如果证书过期,轻则无法登录 Kubernetes 集群,重则整个集群异常。 为了解决证书过期的问题,一般有以下几种方式: 大幅延长证书有效期,短则 10年,长则 100 年; 证书快过期是自动轮换,如 Rancher 的 K3s,RKE2 就采用这种方式; 增加证书过期的监控,便于提早发现证书过期问题并人工介入 本次主要介绍关于 Kubernetes 集群证书过期的监控,这里提供 3 种监控方案: 使用 Blackbox Exporter 通过 Probe 监控 Kubernetes apiserver 证书过期时间; 使...阅读全文

博文 2022-12-10 06:49:43 中文开源技术交流社区

说透IO多路复用模型_京东云开发者的博客

处,那么自linux 2.6之后新增的epoll模型,则彻底解决了性能问题,一举使得单机承受百万并发的课题变得极为容易。现在可以这么说,只需要一些简单的设置更改,然后配合上epoll的性能,实现单机百万并发轻而易举。同时,由于epoll整体的优化,使得之前的几个比较耗费性能的问题不再成为羁绊,所以也成为了linux平台上进行网络通讯的首模型。 讲解之前,还是linux man文档镇楼:linux man epoll 4类文档 linux man epoll 7类文档,俩文档结合着读,会对epoll有个大概的了解。和之前提到的select和poll不同的是,此二者皆属于系统调用函数,但是epoll则不然,他是存在于内核的数据结构,可以通过epoll_create,epoll_ctl及...阅读全文

博文 2023-01-01 15:13:50 CSDN博客

为什么使用 JavaScript 开发物联网?

嵌入式设备与JavaScript看似是来自两个不同世界的两个物种,八竿子都打不着。但是随着JavaScript 开疆扩土,从浏览器逆袭登陆到服务端之后又与物联网有了交集。 物联网的未来需要一门解释性语言 传统的嵌入式开发相对于WEB开发来说门槛高,碎片化严重,平台复杂。C/C++性能高,对设备资源要求低,但是对开发者的要求高,开发效率低。 物联网与互联网、移动互联网的基因是相同的,大量的应用才能铸就生态的繁荣。而使用C/C++来开发应用是及其低效和昂贵的,纵观互联网、移动互联网,应用开发是解释性语言的天下。互联网的PHP、JavaScript,移动互联网的Java,JavaScript,而物联网还是使用C/C++。因此,物联网的未来需要一门解释性语言。 JavaScript是最好的择 相...阅读全文

博文 2021-01-28 17:50:12 debian.cn

Debian 9 Stretch 安装配置 Caddy Server

Caddy 是一个用 Golang 开发的高效 Web Server,相比 Nginx,它的配置和使用要简单很多,能自动开启 HTTPS、并且支持 HTTP/2 和 QUIC。 下载安装 Caddy 首先去 Download Caddy 择你需要的插件,然后复制下方的 One-step installer script (bash),例如我的是 $ curl https://getcaddy.com | bash -s http.cache,http.cors,http.expires,http.filemanager,http.git,http.ipfilter,http.minify,http.nobots,http.ratelimit,http.realip...阅读全文

博文 2017-12-24 10:18:33 debian.cn

岗位需求: CTO

CTO 招聘需求 ** 职位介绍:** 1. 全面负责技术层面的整体运营,制定研发战略和计划,负责全面实施,并与业务发展需求. 系统现状等结合起来; 2. 全面支持平台日常安全运营. 系统维护. 升级,确保公司各项投融资业务能在网站上安全. 有序开展,保障系统和数据的安全. 稳定; 3. 负责平台的研发与核心技术管理工作,组织制定和实施重大技术决策和技术方案; 4. 研究决策网站技术发展路线,规划公司产品的技术构架,负责互联网产品技术框架的型与搭建,程序开发及技术攻坚; 5. 网站的技术团队的梯队化建设及管理,包括技术团队的培养; 6. 主导公司技术架构. 数据库结构. 业务逻辑等编码工作; 7. 负责制定技术开发规范. 编码规范等技术团队...阅读全文

DNSCrypt简明教程

-proxy.toml,将最后的 static 改成你想要的DNS服务器,你可以在 这里 择你喜欢的(一般来说就是你试试访问快的),然后填进去,例如:[static] [static.'cloudflare'] stamp = 'sdns://AgcAAAAAAAAABzEuMC4wLjGgENk8mGSlIfMGXMOlIlCcKvq7AVgcrZxtjon911-ep0cg63Ul-I8NlFj4GplQGb_TTLiczclX57DvMV8Q-JdjgRgSZG5zLmNsb3VkZmxhcmUuY29tCi9kbnMtcXVlcnk'接着启动 dnscrypt-proxy:$ sudo systemctl start dnscrypt-proxy $ sudo systemctl enable...阅读全文

博文 2021-02-06 19:55:08 知乎

Gitlab CI 配置文件 .gitlab

,将从项目使用默认值。 可以设置的值有:clone,fetch,和none。 clone是最慢的项。它会从头开始克隆整个仓库,包含每一个job,以确保项目工作区是最原始的。 variables: GIT_STRATEGY: clone 当它重新使用项目工作区是,fetch是更快(如果不存在则返回克隆)。git clean用于撤销上一个job做的任何改变,git fetch用于获取上一个job到现在的的commit。 variables: GIT_STRATEGY: fetch none也是重新使用项目工作区,但是它会跳过所有的Git操作(包括GitLab Runner前的克隆脚本,如果存在的话)。它主要用在操作job的artifacts(例如:deploy)。Git数据仓库肯定是存在的,但...阅读全文

博文 2018-12-12 21:09:02 ci.yaml 详解(下)

Linux下多线程程序为什么消耗大量虚拟内存

] munmap(0x7f53d0000000, 13275136) = 0 [pid 19343] mmap(NULL, 8392704, PROT_READ|PROT_WRITE, MAP_PRIVATE|MAP_ANONYMOUS|MAP_STACK, -1, 0) = 0x7f53d04a8000 Process 19495 attached 我检查了一下trace文件也没有发现大量内存mmap动作,即便是brk动作引起的内存增长也不大。于是感觉人生都没有方向了,然后怀疑是不是文件缓存把虚拟内存占掉了,注释掉了代码所有读写日志的代码,虚拟内存依然增加,排除了这个可能。 灵光一现 后来,我开始减少thread的数量开始测试,在测试的时候偶然发现一个很奇怪的现象。那就是如果进程创建了一个线程并且在该...阅读全文

博文 2015-01-28 10:35:39 debian.cn

WebAssembly:无需容器的 Docker (下)

ghcr.io/vmware-labs/php-wasm 7.4.32-cli-aot 63460740f6d5 44 minutes ago 5.35MB 这是意料之的,因为对于 Wasm,我们只需要在容器内添加可执行二进制文件,而对于传统容器,我们仍然需要来自运行二进制文件的操作系统的一些基本库和文件。这种大小差异对于第一次拉取镜像的速度以及进行在本地存储库占用的空间非常有帮助。Wasm 可移植性Wasm 最大优势之一就是它的可移植性。 当人们想要一个可移植的应用程序时,Docker 已经提供了传统的容器作为一种择。 然而,除了镜像特别大之外,传统容器还绑定到它们运行的平台架构。 作为程序员,相比许多人都经历过这种坎坷:针对不同的架构,必须构建支持的软件版本,并为每种架构打包对应镜像...阅读全文

博文 2023-01-03 06:39:46 spider

译:Kubernetes 最佳实践

。控制平面是 K8s 的核心,这些组件保持系统运行,因此对于正确 K8s 操作至关重要。 Kubernetes API、kubelet、etcd、controller-manager、kube-proxy 和 kube-dns 组成了控制平面。控制平面组件可以以最常见的 K8s 监控工具 Prometheus 兼容的格式输出指标。应该使用自动监控工具而不是手动管理告警。可以在启动 kube-apiserver 时打开 K8s 的审计日志记录,以便使用择的工具进行更深入的调查。audit.log 将详细记录向 K8s API 发出的所有请求,并应定期检查集群上可能存在的任何问题。Kubernetes 集群默认策略在 audit-policy.yaml 文件定义,可以根据需要进行修改...阅读全文

博文 2022-09-13 19:32:21 atbug.com

深度解密基于 eBPF 的 Kubernetes 问题排查全景图

应用性能监测的可观测性解决思路。​要采集容器、节点运行环境、应用、网络各个维度的数据挑战非常大,云原生社区针对不同需求给出了 cAdvisor、node exporter、kube-state-metics 等多种方式,但仍然无法满足全部需求。维护众多采集器的成本也不容小觑,引发的一个思考是能否有一种对应用无侵入的、支持动态扩展的数据采集方案?目前最好的答案是 eBPF。数据采集(eBPF 超能力)1、eBPF 的超能力​eBPF 相当于在内核构建了一个执行引擎,通过内核调用将这段程序 attach 到某个内核事件上,实现监听内核事件。有了事件我们就能进一步做协议推导,筛出感兴趣的协议,对事件进一步处理后放到 ringbuffer 或者 eBPF 自带的数据结构 Map ,供用户态进程...阅读全文

博文 2022-03-21 09:11:51 joseph