InfraPub 为您找到相关结果 499

中国加快基于 IPv6 的互联网发展,2025 年实现全覆盖

网骨干网、骨干网网间互联体系、城域网和接入网,广电骨干网,LTE 网络及业务,新增网络设备、固定网络终端、移动终端。 2.到 2020 年末,IPv6 活跃用户数超过 5 亿,在互联网用户中的占比超过 50%,新增网络地址不再使用私有 IPv4 地址,并在以下领域全面支持 IPv6:国内用户量排名前 100 位的商业网站及应用,市地级以上政府外网网站系统,市地级以上新闻及广播电视媒体网站系统;大型互联网数据中心,排名前 10 位的内容分发网络,排名前 10 位云服务平台的全部云产品;广电网络,5G 网络及业务,各类新增移动和固定终端,国际出入口。 3.到 2025 年末,网络、应用、终端全面支持 IPv6,全面完成向下一代互联网的平滑演进升级,形成全球领先的下一代互联网产业体系。...阅读全文

Debian 9、RHEL 9 移除了对 MongoDB 的支持

许可,Red Hat 和社区外展计划经理 Tom Callaway 解释:“Fedora 认为 SSPL 是具有针对性的,它对特定类别的用户具有严重歧视性。” 此外,Debian Linux 也已经从它的发行版中删除了 MongoDB。 外界普遍认为从去年开始酝酿的开源与其它各势力的较量,到今年会发展成混战。联系一下前阵子 Confluent 宣布修改其平台部分组件的开源协议,Redis 模块协议的修改,其实目的是一样的,就是不想云厂商坐收渔翁之利。 这几位开源大佬与 MongoDB 其实可以视为开源厂商阵营;而前边提到的英国卫报可以看成是最终用户商阵营;AWS 可以归为云厂商阵营;Debian、RHEL 这一类则是操作系统层面,用于托管开源项目的阵营;当然还有最终个人用户一大阵营。 开...阅读全文

博文 2019-01-17 10:02:06 debian.cn

Jonathan Carter 当选新一任 Debian 项目负责人

Debian 的 1011 位开发人员中,有 339 位在今年的选举中投了赞成票,参与人数与往年差不多,且相比几年前票数还略有提高。 具体的投票过程与结果分析查看:https://www.debian.org/vote/2020/vote_001 新当选的 Jonathan Carter 在竞选“宣言”中写下了几个大目标: 继续做 Debian 做得好的事情。卓越、推广自由软件、分发新版本、稳定的版本更新。使 Debian 对贡献者有吸引力。使它成为一个有趣、有意义和受欢迎的项目,让更多贡献者有意愿参与进来。更好地了解正在完成的工作。减少影响贡献者的瓶颈。收集有关阻碍个人在 Debian 中所做的事情的反馈,并找到减少这种摩擦的方法。改善在线协作。改善项目内务管理。关于支出和可用资金,具有更好的可...阅读全文

博文 2020-04-22 13:50:05 debian.cn

腾讯云 TKE 集群如何修改单节点的Pod数量的上限?

TKE集群在创建时,会设置点上允许的Pod数量的上限,一般默认是64个。 这里介绍,如何把单点的 Pod 数量上限,从 32个 调整到 64个,分两种: 1. 新增的点,需要在创建点时指定最大Pod 的上限,增加一个自定义项即可, ![94e3.png](https://img.debian.cn/210826/d5feab6345ffe7746904b417470594e3.png) 2. 存量的点可以使用这个脚本更新一下配置: ``` #!/bin/bash grep MAX_PODS /etc/kubernetes/kubelet if [ $? -eq 0 ]; then echo 'patched already' sed...阅读全文

在树莓派上搭建 Raspbian 系统下的 Kubernetes 集群

我们将介绍,如何在三个树莓派上,创建出一套 Kubernetes 集群并正常使用。在这种场景下,主点的内存和 CPU 资源较有限,执行 Kubernetes 任务时性能会有折扣,想做升级也不容易。 在开始之前,我们先介绍 K3s 这个项目。K3s 被誉为是最轻量级的 Kubernetes 发行版,它针对低配的 x86 和 ARM 处理器优化,可以让 Kubernetes 在树莓派上运行得更好。 基于 Raspbian 的 kubernetes 集群 本文我们将介绍如何使用 K3s 在树莓派上创建 Kubernetes 集群。系统我们用的是树莓派最流行的 Raspbian。 准备工作 在开始创建 Kubernetes 集群之前,我们需要准备, 至少一个树莓派,包括 SD 卡和电源网线,普通...阅读全文

博文 2020-04-12 16:30:23 debian.cn

深入理解Golang之context

?其实可以想象一颗树,树的每个点可能携带一组键值对,如果当前点上无法找到key所对应的值,就会向上去父点里找,直到根点,具体后面会说到。再来看看context包中的其他关键内容。emptyCtxemptyCtx是一个int类型的变量,但实现了context的接口。emptyCtx没有超时时间,不能取消,也不能存储任何额外信息,所以emptyCtx用来作为context树的根点。// An emptyCtx is never canceled, has no values, and has no deadline. It is not // struct{}, since vars of this type must have distinct addresses. type...阅读全文

博文 2021-01-27 09:05:27 知乎

Docker 核心原理

用,容器之间相互隔离,并且能按需分配资源。大大提高了运维效率和资源利用率 架构 Docker使用了 C/S 体系架构,Docker 客户端与 Docker 守护进程通信,Docker 守护进程负责构建,运行和分发 Docker 容器。Docker 客户端和守护进程可以在同一个系统上运行,也可以将Docker客户端连接到远程Docker守护进程。 我们日常在命令行的操作 docker build, docker push, docker pull, docke build 等等操作都是客户端通过 rest api 请求与 Docker 守护进程交互。 实现原理 下面我们就介绍一下 Docker 在实现隔离,资源控制,文件系统等关键部分所采用的的 Namespace Linux manaul...阅读全文

博文 2021-02-25 09:14:23 lxkaka

DPDK Graph Pipeline 框架简介与实现原理

表驱动点调度(便于支持QoS)而不是 hardcode pipeline Graph 工作流程 现在来说一下整体上 graph 框架的工作流程。如上图所述的一样,一个 graph 是由不同的点 (node) 所组成的。与传统的标量模型相比,两个框架其实都包含一样的逻辑。最大的不同是 graph 框架中 node 点在运行时与其他 node点的交互方式,或者具体地来说,是报文在node点中的传递方式。 一个 node 中的 报文 传送到不同的 node,home run 情况 (优化案例) 以及正常 enqueue情况;动态增加 node 的 objects 队列 大小 Node 的 Object 队列大小 默认情况下,每个 node 都有一个...阅读全文

博文 2023-02-09 07:13:55 掘金

AWS EKS 添加IAM用户角色 - SRE运维博客

的联合身份用户。如果使用不属于 aws-auth ConfigMap 的 IAM 用户或角色访问 Amazon EKS 控制台,则无法看到 Kubernetes 工作负载。也不会看到集群的概览详信息。所以要向其他 AWS 用户或角色授予与集群交互的能力,您必须在 Kubernetes 中编辑 aws-auth ConfigMap。 因为部门有不通的角色,所以想基于不通的角色分配不同的权限,下面是记录添加一个对 EKS 只有只读权限的 AIM 用户。 {{< notice info "注意:" >}} 如果您在运行 AWS 命令行界面 (AWS CLI) 命令时遇到错误,请确保您使用的是最新版的 AWS CLI。 {{< /notice >}} 为 IAM 用户或角色配置权限 要查找具有主要...阅读全文

博文 2022-12-19 21:15:27 博客园

linux下查看系统socket读写缓冲区_eyucham的专栏

系统提供的socket缓冲区大小为8K,你可以将之设置为64K,尤其在传输实时视频时。 socket发送数据时候先把数据发送到socket缓冲区中,之后接受函数再从缓冲区中取数据,如果发送端特别快的时候,缓冲区很快就被填满(socket默认的是1024×8=8192字),这时候我们应该根据情况设置缓冲区的大小,可以通过setsockopt函数实现 #include #include #include #include #include #include #include #include int main...阅读全文

博文 2021-01-26 16:21:35 CSDN博客

bmon:一个强大的网络带宽监视和调试工具

(初学者说明:RX 表示每秒接收数据,TX 表示每秒发送数据): $ bmon bmon - Linux 带宽监视按 d 键可以查看更详的带宽使用情况的图形化统计信息,参考下面的截图。 bmon - Detailed Bandwidth Statistics按 Shift + ? 可以查看快速指南。再次按 Shift + ? 可以退出(指南)界面。 bmon – 快速指南通过 Up 和 Down 箭头键可以查看特定网卡的统计信息。但是,要监视一个特定的网卡,你也可以像下面这样作为命令行参数指定。 选项 -p 指定了要显示的网卡,在下面的例子中,我们会监视网卡 enp1s0: $ bmon -p enp1s0 bmon – 监控以太网带宽要查看每秒位数而不是每秒字数,可以像下面这样使用 -b...阅读全文

博文 2021-01-28 17:50:27 debian.cn

Kubernetes 1.9发布:Apps Workloads通用版本与生态系统扩展

称SIG)都在继续立足所在层面交付用户们最为需要的功能。感兴趣的朋友可以点击说明[7]查看发行版说明中的完整功能列表。 发布时间 Kubernetes 1.9目前已经可通过GitHub[8]下载。若需要马上开始使用Kubernetes,请参阅相关交互教程[9]。 发行团队 此次发行版的推出,源自数百名与非参与者们的共同努力。这里特别感谢谷歌公司软件工程师Anthony Yeh领导的发行团队。该发行团队中的14名成员一直在努力协调发行工作中的方方面面,包括说明文档、测试、验证以及功能完整性等等。 随着Kubernetes社区的不断发展,我们的发行流程也已经成为开源软件开发合作领域的一大标志性产物。Kubernetes继续以惊人的速度吸引到更多新用户的参与。这种增长创造出更为积极的反馈周...阅读全文

博文 2017-12-17 01:00:00 debian.cn

DevOps 越来越流行,2019 年这八大趋势值得关注

务就跟着学,一定要了解自己的需求,并知道为什么要采用微服务架构。 更多公司预计会选择企业版软件 很多公司仍处于是自己开发还是购买企业版软件的两难境地。我们建议你做自己最擅长的事情,并按照自己的要求购买相应的工具。这样不仅可以帮助你专注于你的目标,还可以完全依赖第三方平台来提高工作效率。很多公司现在都在通过企业版软件来构建自己的基础设施,并确保安全性尽可能得到最好的控制。 Kubernetes 将进一步演化 Kubernetes 因为易用性而成为增长最快的容器。Kubernetes 还建立了一个壮大的开源社区。在世界各地,很多 CIO 和专家已经在使用 Kubernetes,并预计在 2019 年会有重大的发展。 最近,云原生计算基金会(CNCF)进行了一项调查,分享了容器编排领域所发...阅读全文

博文 2018-12-10 22:49:57 debian.cn

十个增加 Linux Shell 脚本趣味的小工具

-Windows 系统发送消息 smbclient可以和 SMB/CIFS服务器通信。它可以向MS-Windows系统的指定用户发送消息: smbclient -M WinXPPro < 或者 echo "${Message}" | smbclient -M salesguy2 10. Bash Socket 编程 你可以在bash中开启一个socket链接,并且传输数据。Bash有两个特殊的设备文件: /dev/tcp/host/port - 如果hostname,和port是合法的话,bash会尝试开启一个TCP连接。 /dev/udp/host/port - 如果hostname和port是合法的话,bash会开启一个UDP连接。 你可以利用这个来测试一台主机的端口是否是开启的,而不需要使用...阅读全文

博文 2018-04-09 09:38:50 debian.cn

Kubernetes调度算法浅析

在真正的生产环境中,如何合理的分配服务器资源、提高利用率、让整个集群运行的更加稳定使得 k8s-scheduler 这个角色在集群中的地位愈发重要。 kube-scheduler的预选(过滤)和精选(打分) api-server会将创建pod的请求发送给kube-scheduler,并且将pod信息记录在etcd数据库中。之后kube-scheduler会根据预选(过滤)规则,首先过滤掉一部分node点中的pod,没有被过滤掉的pod可以看做是可以被调度的pod,之后再通过更加严格的规则给剩下的pod打分,这一步也叫作优选。打分最高的pod可以看做被优先分配到pod任务。 调度流程简介 创建pod的命令被api-server的api接口接收到。api-server将pod信息存储在...阅读全文

博文 2020-12-20 11:01:10 debian.cn

Vultr日本节点VPS主机使用小结

Vultr是一家性价比非常高的VPS提供商,多达15个数据库中心可以选择,并且全部使用SSD硬盘、KVM架构。网上有很多与DigitalOcean、Linode对比的文章,这篇文章主要是分享一下Vultr日本点的使用感受。 之前看到很多文章对洛杉矶和日本点进行了测试,不过最近从个人测试来看,电信到Vultr洛杉矶点目前已经绕路一大圈,丢包也是惨不忍睹,估计是电信又在调整的原因,不知后期是否能恢复正常。 Vultr日本点以前是限制200G流量,不过现在流量已经增加至400G/月,如果只是安心放网站是完全足够的,最便宜的配置只需要5$/月,1CPU、768MB内存、15GB存储、1000M共享带宽,性价比是非常不错的。 性价比虽不错,那对国内环境来说网络情况又如何,下面是不同运营商的...阅读全文

博文 2015-11-11 22:48:03 debian.cn

基于thanos搭建分布式prometheus

: path: /data/thanos-receive-data type: DirectoryOrCreate - name: thanos-receive-config configMap: name: thanos-receive-config 大家可以自己慢慢看,我讲一下关键: 用statefulset部署集群,因为这是一个有状态的存储集群,不能随便漂移。 因为是分布式存储集群,要通过POD亲和性避免2个POD跑到1个Node上。 核心配置是声明receive集群的地址列表,这里利用headless service可以直接拿到每个POD的dns name,是有规则的。 每个thanos receive实例的启动参数中指定replica标签唯一标识它。 thanos-receive集群的...阅读全文

博文 2021-03-01 13:02:46 鱼儿的博客

Redis 命令、特性介绍与性能调优

KEYS命令,严格禁止在生产环境中使用) Redis的数据结构和相关常用命令 本中将介绍Redis支持的主要数据结构,以及相关的常用Redis命令。本只对Redis命令进行扼要的介绍,且只列出了较常用的命令。如果想要了解完整的Redis命令集,或了解某个命令的详使用方法,请参考官方文档:https://redis.io/commands Key Redis采用Key-Value型的基本数据结构,任何二进制序列都可以作为Redis的Key使用(例如普通的字符串或一张JPEG图片) 关于Key的一些注意事项: 不要使用过长的Key。例如使用一个1024字的key就不是一个好主意,不仅会消耗更多的内存,还会导致查找的效率降低 Key短到缺失了可读性也是不好的,例如”u1000flw”比起...阅读全文

博文 2018-10-27 10:37:55 debian.cn

成为Debian社区维护人需要做好的准备

sponsor 上传的软件包的维护者是打包人而非 sponsor,所以它的各种更新、任何 Bug 报告都是打包人的责任。在维护软件包上,普通维护人员与正式的 DD 间的差别仅在于能否直接上传,其他的完全相同。 这个步骤进行期间,需要多次阅读 Debian Policy Manual 并确保自己的软件包符合里面的全部要求。最好再读一下 Debian Developers Reference,里面介绍了很多 Policy Manual 中没有提到的和最佳经验。 如果打算申请 DM/DD,则应尽早开始维护软件包,因为申请 DM 需要经过一段时间的软件包维护作为评价的材料,以此证明你能够胜任。 5. 不是有软件包被上传到仓库就说明你已经符合了成为 DM 的要求。你必须通过一段时间的努力(更新软件、修复...阅读全文

Golang Context 探究

context 是 emptyCtx if done == nil { return // parent is never canceled } select { case <-done: // parent is already canceled child.cancel(false, parent.Err()) return default: } // 找到可以取消的父 context if p, ok := parentCancelCtx(parent); ok { p.mu.Lock() if p.err != nil { // 父点已经被取消了,子点也要取消 child.cancel(false, p.err) } else { // 父点未取消 if p.children == nil...阅读全文

博文 2021-02-25 09:27:27 lxkaka

Hadoop 核心 - HDFS 分布式文件系统详解

据信息。 3. HDFS的特性 首先,它是一个文件系统,用于存储文件,通过统一的命名空间目录树来定位文件; 其次,它是分布式的,由很多服务器联合起来实现其功能,集群中的服务器有各自的角色。 1. master/slave 架构(主从架构) HDFS 采用 master/slave 架构。一般一个 HDFS 集群是有一个 Namenode 和一定数目的 Datanode 组成。Namenode 是 HDFS 集群主点,Datanode 是 HDFS 集群从点,两种角色各司其职,共同协调完成分布式的文件存储服务。 2. 分块存储 HDFS 中的文件在物理上是分块存储(block)的,块的大小可以通过配置参数来规定,默认大小在 hadoop2.x 版本中是 128M。 3. 名字空间...阅读全文

如何为 k8s 节点增加污点,或者移除污点?

kubectl taint node node1 key2=value2:NoSchedule ``` 查看taint: `kubectl describe node node1` 删除taint: ``` kubectl taint node node1 key1:NoSchedule- # 这里的key可以不用指定value kubectl taint node node1 key1:NoExecute- kubectl taint node node1 key1- 删除指定key所有的effect kubectl taint node node1 key2:NoSchedule- ``` master点设置taint `kubectl taint...阅读全文

树莓派64位系统Debian 9先行测评:性能最高提升30倍

采用64位处理器的树莓派3B,虽然具有64位硬件,但是系统还没有跟上奏。官方尚未正式发布64位Raspbian,近期有团队移植了Debian 9 arm64到树莓派3B,将“装死”一年多的树莓派3B的性能完全释放出来,测试跑下来发现CPU性能最高比32位系统高30倍! 本文将介绍如何进行对比跑分测试。 硬件测试环境: RaspberryPi 3 Model B 16GB Class 10 TF卡 5v2.5A电源 以太网网线及能连外网路由设备 软件测试环境: GEEEKPI-64bit-beta(内核移植版,操作系统是基于Debian 9的arm64位源码,Debian 9目前还没发布,目前属于beta版,RaspberryPi 官方也没有发布64bit操作系统的计划,但是我们迫切需要...阅读全文

博文 2021-01-28 17:50:25 debian.cn

网易云音乐Linux版v1.1发布 支持 Debian Stretch

时隔近一年半的时间,网易云音乐 Linux 版本终于迎来了更新,本次更新除了迁移到QCEF框架,对GNOME、KDE桌面环境支持更好,支持最新 Debian 9、Ubuntu 17.10版本(仅64位),还优化和修复各个社区用户反馈的问题。 具体的优化如下: 迁移全新的QCEF框架; 使用了全新的播放器后端; 支持打开更多格式的本地文件; 优化播放时内存占用资源问题; 优化扫描本地音乐目录,支持读取下载任务的状态; 优化第三方字体的支持; 优化淡入淡出效果和在线播放; 优化更好的支持Wayland环境; 移除了沙盒机制; 修复部分本地音乐播放存在卡顿的问题; 修复Tooltip位置偏移的问题; 修复在Qt 5.9中界面乱码的问题; 修复GPU加速选项无效的问题; 修复无法捕获本地目录变...阅读全文

博文 2017-12-02 18:34:00 debian.cn

Debian 环境中安装git服务器 Gogs(上)

Gogs 是由 Go 语言编写的,自由开源的 Git 服务。Gogs 是一款无痛式自托管的 Git 服务器,能在尽可能小的硬件资源开销上搭建并运行您的私有 Git 服务器。Gogs 的网页界面和 GitHub 十分相近,且提供 MySQL、PostgreSQL 和 SQLite 数据库支持。 在本教程中,我们将使用 Gogs 在 Debian Stretch 上按步骤指导您安装和配置您的私有 Git 服务器。这篇教程中涵盖了如何在 Debian 上安装 Go 语言、PostgreSQL 和安装并且配置 Nginx 网页服务器作为 Go 应用的反向代理的内容。 步骤 1 - 更新和升级系统 继续之前,更新 Debian 所有的库,升级所有包。 运行下面的 apt 命令: sudo apt...阅读全文

博文 2018-03-10 09:35:31 debian.cn

GitHub 发布10月21日系统故障分析报告

Raft 共识机制之上达成共识。Orchestrator 可以实现应用程序无法支持的拓扑,因此必须注意将 Orchestrator 的配置与应用程序级别的期望保持一致。 然而 21 日,在上述网络分区中,Orchestrator 在主数据中心中一直保持活跃,根据 Raft 的共识机制,它开始了一个取消领导选举的过程。美国西海岸数据中心和美国东海岸公有云 Orchestrator 点能够建立合规数量并开始对群集进行故障转移,以便将写入指向美国西海岸数据中心。Orchestrator 继续组织美国西海岸数据库集群拓扑,当连接恢复时,应用层立即开始将写入流量引导到西海岸站点的新当选者。 美国东海岸数据中心的数据库服务器包含一段短暂的写入时间,但尚未复制到美国西海岸的设施。由于两个数据中心中的数据库集群...阅读全文

Facebook 开源的一组 Linux 内核组件与工具

近日,Facebook 开源了一套解决重要计算集群管理问题的 Linux 内核组件和相关工具,这些项目覆盖了资源控制、资源利用、工作负载隔离、负载均衡、测量和监控等方面:BPF、Btrfs、Netconsd、Cgroup2、PSI、Oomd。 Facebook 表示这些项目现在已大规模用于其所有基础设施生产环境中,并用于其它许多企业组织的环境中。 BPF:https://facebookmicrosites.github.io/bpf/ BPF 是 Linux 内核中一种高度灵活、高效率的代码执行引擎,可以让字码在各个 hook 点运行,以使用自定义代码。虽然 BPF 已广泛用于数据包过滤,但是 BPF 的指令集具有很强的通用性和灵活性,足以支持和允许除网络之外的众多使用场合,比如跟踪和...阅读全文

博文 2018-11-24 09:27:14 debian.cn

Postgres 10 开发者新特性

目前非常流行的RDBMS PostgresSQL已经在几周前发布了它的第10个版本。由于Postgres的可靠性、约成本、成熟,当然还有它的开源,已经21岁的Postgres在开发者之中仍旧非常流行。 Postgres 10带来了一些新特性,其中一些特性另开发者感到十分兴奋。10Clouds在博客中详介绍了其中的一些特性。通过消除主表(master table)中触发器(trigger)的需求,本地分区(native partitioning)现在变得更简单了。这意味着创建分区表将变得更简单,并且从开发者的角度来看,现在从分区数据表中进行查询和插入与在非分区的数据表进行这些操作是完全一致的。 多列统计(multicolumn statistics)是Postgres 10的另一项改进...阅读全文

博文 2017-12-30 11:46:16 debian.cn

Kubernetes 1.16.0发布 新版本四大主题

manifest.json 的体系结构。如果你正在使用 Docker 清单,则没有可见的更改 (#80266) 在 TLS 引导用户依赖 bootstrap-kubelet.conf 之后,kubeadm 现在已删除 bootstrap-kubelet.conf 文件,用户应该切换到包含点凭证的 kubelet.conf 文件(#80676)。 beta.kubernetes.io/metadata-proxy-ready、beta.kubernetes.io/masq-agent-ds-ready、beta.kubernetes.io/kube-proxy-ds-ready(点标签)不再添加到新点上。 ip-mask-agent addon 开始使用标签node.kubernetes.io/masq...阅读全文

博文 2019-09-20 13:28:32 debian.cn

细数k8s支持的4种类型的container - 侃豺小哥

初始化容器,该容器要等到API准备好后才能成功退出。只有在初始化容器成功完成其工作之后,应用程序容器才会启动。 初始化容器不能像应用程序容器那样使用运行状况和就绪探针。原因是它们要成功启动和退出,就像Jobs和CronJobs的行为一样。 同一Pod上的所有容器共享相同的卷和网络。您可以利用此功能在应用程序及其初始化容器之间共享数据。 正如我们刚刚讨论的那样,init容器总是比同一个Pod上的其他应用程序容器先启动。结果,调度程序对init容器的资源和限制赋予了更高的优先级。必须仔考虑这种行为,因为这可能会导致不良后果。例如,如果您有一个初始化容器和一个应用程序容器,并且将初始化容器的资源和限制设置为高于应用程序容器的资源和限制,那么只有在有一个可用点满足初始化的情况下,才调度整个Pod...阅读全文

博文 2021-08-20 11:45:32 博客园

influxdb内存消耗分析及性能优化【探索篇】

influxdb会对磁盘数据文件{{index+data}}按照分片shard维度进行四次压缩(level1,2,3及full),以约磁盘空间3.堆积的原因在队列堆积的时间点,经过多次对比influxdb的日志:#调用方队列堆积时,influxdb的关键日志如下: #influx开始执行第四次全量压缩策略,tsm1_strategy=full ts=2021-01-05T10:30:02.049644Z lvl=info msg="TSM compaction (start)" log_id=0RVRbtjl000 engine=tsm1 tsm1_strategy=full tsm1_optimize=false trace_id=0RWXOKGG000 op_name...阅读全文

博文 2021-10-27 16:06:30 知乎

Golang 操作 Kafka 样例

,可能是先从RSS数据源中抓取文章的内 容,然后将其丢入一个叫做“文章”的topic中;后续操作可能是需要对这个内容进行清理,比如回复正常数据或者删除重复数据,最后再将内容匹配的结果返 还给用户。这就在一个独立的topic之外,产生了一系列的实时数据处理的流程。 日志聚合:使用Kafka代替日志聚合(log aggregation)。日志聚合一般来说是从服务器上收集日志文件,然后放到一个集中的位置(文件服务器或HDFS)进行处理。然而Kafka忽略掉 文件的,将其更清晰地抽象成一个个日志或事件的消息流。这就让Kafka处理过程延迟更低,更容易支持多数据源和分布式数据处理。比起以日志为中心的 系统比如Scribe或者Flume来说,Kafka提供同样高效的性能和因为复制导致的更高的耐用性保证...阅读全文

博文 2023-01-10 13:46:09 掘金

为什么使用 JavaScript 开发物联网?

/S架构变成B/S架构,传统的上位机开发将不复存在。 大量的互联网、移动互联网开发资源和方法应用到物联网,设备、云、人相互之间的联系更加方便。 目前发展 Tessel, 是Tessel是一个针对软件开发者的可连接网络的微控制器。Tessel 的目标是让网站开发者能够轻松玩转物联网。 IoT.js,IoT.js 旨在为物联网提供一个基于 Web 的可相互操作的服务平台。IoT.js 的目标是要在资源受限的设备上良好运行。 JerryScript,JerryScript 是一个轻量级的 JavaScript 引擎,它可以运行在受限制的设备上,例如低于64KB RAM、200KBROM的MCU上。 node-red,Node-RED 是 IBM Emerging Technology 团队创建的...阅读全文

博文 2021-01-28 17:50:12 debian.cn

百度开源项目 ECharts 首进 Apache 孵化器

ECharts 的企业和用户享受到可视化数据分析带来的便利的同时,也促进了中国可视化生态的繁荣与发展。加入 Apache 基金会,进一步表明 ECharts 拥抱开源的决心,在遵循 ‘the Apache Way’ 的基础上,打造一个更为中立、开放、多元的社区文化,让更多人享受 ECharts 带来的可视化革命。 据了解,作为世界级互联网企业,百度目前已成为 Linux Foundation 黄金会员、CNCF 基金会黄金会员、 HyperLedger 白金会员,并组织成立了 CockroachDB 中国社区。目前,针对此次项目进入 Apache Incubator 的孵化过程,百度将努力推动 ECharts 孵化的同时,还将为 Apache 开源生态贡献更多力量,并将持续倡导开源文化,保持与知名开...阅读全文

博文 2018-03-09 08:46:07 debian.cn

如何在 Debian 上安装 TensorFlow

TensorFlow 是一个端到端开源机器学习平台。它拥有一个包含各种工具、库和社区资源的全面灵活生态系统,可以让研究人员推动机器学习领域的先进的发展,并让开发者轻松地构建和部署由机器学习提供支持的应用。 TensorFlow可以在系统范围内,Python虚拟环境中,作为Docker容器或与Anaconda一起安装。在本教程中,我们将讲解如何在Debian 10的Python虚拟环境中安装TensorFlow。 虚拟环境使你可以在一台计算机上拥有多个不同的隔离Python环境,并在每个项目的基础上安装模块的特定版本,而不必担心会影响其他项目。 以下内容提供了如何在Debian 10上的Python虚拟环境中安装 TensorFlow。 1、安装Python 3 venv 首先我们要验证...阅读全文

2022年云原生服务网格展露的五大趋势

。Ingress 作为 Kubernetes 的初代入口网关,资源模型过于简单,以致无法适应当今的可编程网络。Gateway API 作为 Kubernetes 入口网关的最新成果,它通过角色划分将关注点分离,并提供跨 namespace 支持使其更适应多云环境,已获得大多数 API 网关的支持;入口网关(南北向)与服务网格(东西向,集群内路由)存在部分功能重叠,Gateway API 为两者的融合提供了新的参考模型。三是 eBPF 开始兴起。越来越多的开源项目使用 eBPF ,比如 Cilium 将 eBPF 引入容器原生网络,Merbridge 使用 eBPF 加速 Istio 中的透明流量劫持,Pixie 使用 eBPF 来构建可观察性堆栈,SkyWalking 使用 eBPF 来诊断服务网格的...阅读全文

IBM宣布以340亿美元收购RedHat 组建混合云提供商

发模式,以及促进其广泛的开发人员生态系统。此外,通过专利承诺、GPL 合作承诺、OIN 和 LOT 网络等工作,IBM 和 Red Hat 将继续致力于持续的开源自由。 除了 IBM Cloud 之外,IBM 和 Red Hat 还将继续构建和增强红帽合作伙伴关系,包括主要云提供商,如 AWS、微软 Azure、谷歌云与阿里巴巴等。与此同时,红帽将从 IBM 的混合云和企业 IT 规模中受益,帮助他们将开源组合扩展到全球业务。 “收购 Red Hat 是一个改变游戏规则的方式。它改变了有关云市场的一切”,IBM 公司董事长、总裁兼首席执行官 Ginni Rometty 表示:“IBM 将成为全球排名第一的混合云提供商,为企业提供唯一的开放云解决方案,为企业提供全面的云价值。” “如今,大...阅读全文

AMD发32核Naples处理器 靠性价比杀回服务器市场

片的反应“令人愉快”,Norrod说。 这一代Naples仅面向单插槽以及双插槽市场。双插槽系统最多支持八个内存通道,适合数据库等对宽带有更高要求的内存应用程序。 Naples比同级别的英特尔芯片提供更多I/O和内存容量。这一特性将为机器学习带来方便,特别是在芯片与GPU等协处理器协同运行时。AMD希望将Zen芯片与即将推出的Vega GPU配对,打造专为机器学习而生的芯片组合。 芯片中连接两个插槽的高带宽架构独一无二,这使得它成为双插槽服务器的理想选择。 AMD已授权中国天津海光先进投资有限公司(简称THATIC)生产Zen芯片。 Naples芯片将同英特尔Skylake服务器芯片进行直接对决,目前谷歌云服务使用的便是Skylake。高性能应用是AMD的弱项,而英特尔一直在高性能计算领...阅读全文

Oracle Linux 8.0 发布

Oracle Linux 8.0 发布了,更新包中包括基础 BaseOS 和 Application Streams,其中 BaseOS 提供运行环境的用户空间,Application Streams 提供了一系列以往分发在软件集中的应用,以及可在用户空间内运行的其它产品和程序。 Application Streams Oracle Linux 8 引入了 Application Streams 的概念,它可以比核心操作系统包更频繁地交付和更新多个版本的用户空间组件。Application Streams 包含必要的系统组件和一系列以往分发在软件集中的应用,以及其它产品和程序。 系统管理 引入 Dandified Yum 软件包管理器,它是基于 DNF 的 yum 工具的新版本,可在基...阅读全文

博文 2019-07-20 22:39:32 debian.cn

高性能日志采集工具 logpipe 简单介绍

日志文件增长,某些应用会在目标目录下产生多个日志文件甚至现在不能确定将来的日志文件名,架构上要支持多输入多输出流式日志采集传输,为了达成以上需求,我研究了所需,评估实现难度并不高,就自研了 logpipe。 logpipe 是一个分布式、高可用的用于采集、传输、对接落地的日志工具,采用了插件风格的框架结构设计,支持多输入多输出按需配置组件用于流式日志收集架构,无第三方依赖。 logpipe 的一种用法是能异步实时监控集群里的所有日志目录,一旦有文件新增或追加写,立即采集并传输到大存储上以相同日志文件名合并落地,或者写入 HDFS。异步意味着不影响应用输出日志的性能,实时意味着一有日志立即采集,很多日志采集工具如 flume-ng、logstash 介绍文档通篇不提采集方式是否实时还是周期...阅读全文

提问的智慧(精简版)

用替换一幅图片的色码(color table)成自己选定的色码,我现在知道的唯一方法是编辑每个色码区块(table slot), 但却无法从某绘图程序的颜色选择器取得十六进制的 RGB 值。问题解决后,加个简短的补充说明补充说明不必很长或是很深入。简单的一句 你好,原来是网线出了问题!谢谢大家。 比什么也不说要来的好。事实上,除非结论真的很有含量,一句话就够了:说明问题是怎样解决的,但大可不必将解决问题的过程复述一遍。对于有深度的问题,张贴调试记录的摘要是有帮助的。但请记住,先描述问题的最终状态,说明是什么解决了问题,在此之后才指明踩坑的地方。在即时聊天软件里问问题为了避免重复答疑,你应该在群里询问常见问题。由于部分聊天软件没有话题串的功能(或着实现很差),同时群里还可能有多个同时讨论的...阅读全文

博文 2023-10-07 15:02:42 infras

不与版本帝争,16 年后 SciPy 1.0 版终发布

近已经达成一些重要的项目目的,上方面比如:Windows wheels 和持续集成。组织方面有管理结构、代码准则和路线图。 我们中很多人都有点完美主义,所以不情愿称某东西是 1.0 了,因为这样或许就暗示「已做完」或「我们对此 100% 满意」。虽然很多开源项目都这样,但我们承认自己项目并不完美,总有些边边角角有灰尘的。 虽然我们有如此想法,但对用户来说,SciPy 极为实用,有着高于平均水平的高质量代码和文档,稳定性和向后兼容性均很好。 SciPy 的重要里程碑 2001 年:第一版 SciPy 发布; 2005 年:过渡到 NumPy; 2007 年:scikits 的诞生; 2008 年:scipy.spatial 模块以及首个 Cython 代码的增加; 2010 年:进入 6...阅读全文

博文 2017-10-26 13:54:33 debian.cn

Debian 10使用 Wine 安装配置微信、QQ与TIM

[HKEY_LOCAL_MACHINE\Software\Microsoft\Windows NT\CurrentVersion\FontLink\SystemLink] "Lucida Sans Unicode"="simsun.ttc" "Microsoft Sans Serif"="simsun.ttc" "Tahoma"="simsun.ttc" "Tahoma Bold"="simsun.ttc" "SimSun"="simsun.ttc" "Arial"="simsun.ttc" "Arial Black"="simsun.ttc" 上面两个直接的方案二选一,或者可以有其他设置。把上面的设置文件记成font.reg,在终端下输入 wine regedit font.reg 这样,wine安装的程序(下一介绍安装方...阅读全文

Gartner公布Q3全球服务器报告:出货量318.3万台

Gartner公司公布2018年第三季度全球服务器市场调查报告,根据报告显示,全球服务器出货量为318.3万台,销售额193.9亿美元,同比分别增长12.5%和31.5%。本季度全球出货量与销售额位居前三位是戴尔EMC、HPE和浪潮。 2018Q3全球X86服务器出货量排名 2018Q3全球X86服务器销售额排名 从区域增长来看,全球除去拉丁美洲和东欧地区,其他区域市场均有增长,增速普遍达到两位数。大中华区和北美拉动了全球增长,两个地区的销售额分别同比增长44.6%和39.6%,所占市场份额提升分别为26.7%和41.7%。 从具体产品形态看,多点、机架类服务器销售额分别同比增长75.2%和31.1%。刀片和塔式服务器继续小幅萎缩,销售额分别同比下降3.7%和4.8%。多点服务器的增长...阅读全文

Robolinux 8.8.1 发布,基于 Debian 的 Linux 发行版

Robolinux 8.8.1 发布了,它基于 Debian 8“Jessie”,并配有 Firefox 和 Thunderbird 的最新版本,以及对 MATE 和 Xfce 桌面环境的改进,点此查看详更新内容。 Robolinux 是基于 Debian GNU/Linux 最新稳定发行的用户友好的、直观的操作系统。该项目非常有趣的特性之一是预配置好的 VirtualBox 虚拟机支持套件,可运行 Windows XP 或 Windows 7,从而允许用户在 Robolinux 中无缝安装和运行 Windows 操作系统。 演示及下载地址: https://www.robolinux.org/downloads/ Robolinux 的详介绍:点击查看 Robolinux 的下载地址...阅读全文

博文 2021-01-28 17:50:33 debian.cn

王垠:如何掌握所有的程序语言

Dell,联想一样的“组装机”。语言特性的设计者,才是像 Intel,AMD,ARM,Qualcomm 那样核心的创造者。 合理的入门语言 所以初学者要想事半功倍,就应该从一种“合理”的,没有明显严重问题的语言出发,掌握最关键的语言特性,然后由此把这些概念应用到其它语言。哪些是合理的入门语言呢?我个人觉得这些语言都可以用来入门: Scheme C Java Python JavaScript 那么相比之下,我不推荐用哪些语言入门呢? Shell PowerShell AWK Perl PHP Basic Go 总的说来,你不应该使用所谓“脚本语言”作为入门语言,特别是那些源于早期 Unix 系统的脚本语言工具。PowerShell 虽然比 Unix 的 Shell 有所进步,然而它仍然没有摆脱...阅读全文

博文 2017-07-10 10:13:17 debian.cn

Docker 17.06 社区版发布

加了对日志驱动器插件的支持。 Service日志 docker service logs从实验版本改进到了稳定版,你可以轻松地获取Swarm上运行的一个服务的完整日志。同时也添加了服务中单个任务日志的端点。 网络 Service中点本地的网络支持 Docker支持很多的网络选择。在Docker 17.06 CE中,可以将服务追加到点本地的网络(node-local networks)。这包括如Host、Macvlan,IPVlan,Bridge和本地作用域的插件。例如对于一个Macvlan网络,可以在worker点上创建一个点特定的网络配置,然后在manager点上创建一个加入了这些配置的网络: [Wrk-node1]$ docker network create —config...阅读全文

博文 2017-06-30 23:08:57 debian.cn

Elastic search 6.0.0 正式发布 大量新特性

性就是序列 ID,它允许基于操作的分片恢复。 以前,如果由于网络问题或点重启而从集群断开连接的点,则点上的每个分区都必须通过将分段文件与主分片进行比较并复制任何不同的分段来重新同步。 这可能是一个漫长而昂贵的过程,甚至使点的滚动重新启动非常缓慢。 使用序列 ID,每个分片将只能重放该分片中缺少的操作,使恢复过程更加高效。 使用排序索引更快查询 通过索引排序,只要收集到足够的命中,搜索就可以终止。它对通常用作过滤器的低基数字段(例如 age, gender, is_published)进行排序时可以更高效的搜索,因为所有潜在的匹配文档都被分组在一起。 稀疏区域改进 以前,每个列中的每个字段都预留了一个存储空间。如果只有少数文档出现很多字段,则可能会导致磁盘空间的巨大浪费。现在,你付出你...阅读全文

博文 2017-11-15 18:11:10 debian.cn

树莓派 9 周年:你不知道的树莓派冷知识

作为最成功的微型计算机,开源的树莓派(Raspberry Pi)在圈和学界一直广受编程爱好者的好评,各路大神基于树莓派制作的新奇设备层出不穷,围绕这款微型计算机已经形成了一种独特的 DIY 文化,相关的开源软件生态也十分丰富。 ​树莓派最初是剑桥大学计算机系的一个实验性项目,创始人 Eben Upton 召集了一群教师、学者和计算机爱好者,希望设计出一种能激励儿童参与编程的小型计算机。这个计算机的灵感来自 1981 年 Acorn 公司的 BBC Micro 计算机。第一台树莓派 ARM 原型机安装在一个与 USB 记忆棒大小相同的盒子里,它的一端是 USB 端口,另一端是HDMI 端口。2012 年 2 月 29 日,首批树莓派正式发售,定价为 35 美元。 根据树莓派官方统计的数...阅读全文

博文 2021-03-11 17:03:55 diablo4