1. HDFS概述 Hadoop 分布式系统框架中，首要的基础功能就是文件系统，在 Hadoop 中使用 FileSystem 这个抽象类来表示我们的文件系统，这个抽象类下面有很多子实现类，究竟使用哪一种，需要看我们具体的实现类，在我们实际工作中，用到的最多的就是HDFS(分布式文件系统)以及LocalFileSystem(本地文件系统)了。 在现代的企业环境中，单机容量往往无法存储大量数据，需要跨机器存储。统一管理分布在集群上的文件系统称为分布式文件系统。 HDFS（Hadoop Distributed File System）是 Hadoop 项目的一个子项目。是 Hadoop 的核心组件之一， Hadoop 非常适于存储大型数据 (比如 TB 和 PB)，其就是使用 HDFS 作为存...阅读全文
当 Torvalds 将某些代码标记为“dontuse”，通常表明这个问题比较大。在 5.12 首个候选版本更新中，破坏了交换文件（swapfile）的处理。具体来说，更新后的代码会失去指向 swapfile 开头的正确偏移。用 Torvalds 自己的话来说，“交换还是会发生，但它发生在文件系统的错误部分，最终结果显然是灾难性的”。这样 Linux 内核如果想要将内存中的内容分页到磁盘上的时候，数据就会落在相同磁盘和 swapfile 活跃的分区的随机部分上，而且这不是作为文件，而是作为垃圾直接写入到磁盘的原始扇区。这意味着不仅要覆盖现有文件中的数据，还要覆盖相当大块的元数据，这些元数据的损坏很可能会导致整个文件系统无法挂载和使用。Torvalds 继续指出，如果你根本不使用 swap...阅读全文
(
，会获取到此套接字的文件描述符。 然后，bind到指定的地址进行监听listen。这样，服务端就在特定的端口启动起来并进行监听了。 之后，利用开启accept方法来监听客户端的连接请求。一旦有客户端连接，则将获取到当前客户端连接的connection文件描述符。 双方建立连接之后，就可以进行数据互传了。需要注意的是，在循环开始的时候，务必每次都要重新设置当前connection的文件描述符，是因为文件描描述符表在内核中被修改过，如果不重置，将会导致异常的情况。 重新设置文件描述符后，就可以利用select函数从文件描述符表中，来轮询哪些文件描述符就绪了。此时系统会将用户态的文件描述符表发送到内核态进行调整，即将准备就绪的文件描述符进行置位，然后再发送给用户态的应用中来。 用户通过...阅读全文
1.新的问题influxdb目前支持内存型索引inmem及文件型索引tsi1。之前追踪篇将influxd索引修改为tsi1之后，经过一段时间的运行，从监控观察到，由于调用方采用异步队列+批处理的方案将数据写入influxdb，会在某些时刻调用方内部出现数据堆积，指标如图:横坐标: 时间轴，从12-29 00:00 到 12-30 00:00纵坐标: 队列中数据堆积长度，坐标最大值250k，即最大25w个数据堆积从上图可以看到，当天监控出现数次堆积，上午7:00-10:00尤为严重。在堆积时，登录influxdb服务器，查看机器状态如下:top - 09:40:58 up 120 days, 19:18, 1 user, load average: 32.29, 32.32, 29.82...阅读全文
性的，这很关键。 logpipe 概念朴实、使用方便、配置简练，没有如 sink 等一大堆新名词。 logpipe 由若干个 input、事件总线和若干个 output 组成。启动 logpipe 管理进程 (monitor)，派生一个工作进程 (worker)，监控工作进程崩溃则重启工作进程。工作进程装载配置加载若干个 input 插件和若干个 output 插件，进入事件循环，任一 input 插件产生消息后输出给所有 output 插件。 logpipe 自带了几个插件，分别是： logpipe-input-file 用 inotify 异步实时监控日志目录，一旦有文件新建或文件增长事件发生（注意：不是周期性轮询文件修改时间和大小），立即捕获文件名和读取文件追加数据。该插件拥有文件大小...阅读全文
InfoQ 此前的粗略统计，仅 2019 年 2 月份，就发生了六起数据泄漏事件，而原因均是：Elasticsearch 服务器没有密码保护。即便是使用云端服务，企业也不可将数据安全的责任全部押到云厂商身上，云厂商只可以在有限的权限范围内提供安全防护，企业还是需要具备安全意识。 Elasticsearch 中文社区深圳分会杨振涛此前在接受 InfoQ 采访时表示：“不少开发人员及其团队在认知上更多地把 Elasticsearch 看成是与 MySQL 同等的存储系统，所以在部署以后并没有太多地关心其访问控制策略和数据安全。而且 Elastisearch 开箱即用的特点也让开发和运维人员放松了对安全的重视。” 对于避免 Elasticsearch 在使用时发生数据泄露，杨振涛给出了几个最基本的低成本措...阅读全文
换到 HTTPS HTTPS 可阻止第三方侦听或修改客户端和服务器之间通信的 中间人攻击 。理想情况下，应该在安装 WordPress 前激活 HTTPS，如果在安装后再添加，可能需要更新 WordPress 设置。 HTTPS 还可以提升网站的 Goggle PageRank。诸如 SiteGround 这类网站托管服务提供商会提供免费的 SSL 证书。 2. 限制 MySQL 连接地址 确保你的 MySQL 数据库拒绝来自外部的人员和系统连接到本地服务器的行为。大多数受管理的 Web 主机默认情况下都会执行此操作，但那些使用专用服务器的主机可以将下面的代码添加到 MySQL my.cnf 配置文件的 [mysqld] 部分： bind-address = 127.0.0.1 3. 使用强...阅读全文
西部数据开发了有一段时间的Zonefs已经确定要在Linux 5.6内核中登场了，这并不是一个传统意义上面的通用文件系统（比如Ext4、NTFS），而是一个针对特定硬件设备的文件系统，它为分区式存储设备进行了高度的优化。 熟悉Linux的朋友应该知道，在Linux下面内核会将存储设备视为块设备，比如目前会将SATA存储设备视为/dev/sdX。传统文件系统是在这个块设备上面进行操作，而应用程序则是通过系统提供的接口对块设备上面的数据进行访问。 但SMR HDD（叠瓦式硬盘）有一个毛病，它只有在顺序写入时才能正常发挥性能，一旦要进行数据覆盖写入，就需要改写这块数据所在区块内的所有磁道，造成严重的性能下降。传统的文件系统不会因为SMR HDD的特性而特别对待它，而Zonefs就是西部数据对...阅读全文
!版权声明：本博客内容均均为原创,每篇博文作为知识积累,写博不易,转载请注明出处。 目录[-] 参考地址： Nacos 官方文档 系统环境： Nacos 版本：1.4.1 Mysql 版本：8.0.19 Kubernetes 版本：1.20.1 项目示例地址： Kubernetes 中部署 Nacos 的部署文件 Kubernetes 中部署 Mysql 数据库部署文件 如果该文章对你有帮助，别忘了 Github 帮忙点颗星哦~ 一、什么是 Nacos Nacos 是阿里开源的服务注册中心与配置中心组件，能够帮助开发人员快速实现动态服务发现、服务配置、服务元数据及流量管理。同时能够与 SpringCloud、Kubernetes、Dubbo 等开源生态无缝集成。 Nacos 支持如下核心特...阅读全文
./configure make && make install 安装Yearning 2.1 用pip3安装依赖包（txt文件在src目录中） pip3 install -r requirements.txt 2.2 创建数据库实例yearning 2.3 将该数据库实例的连接信息写入develop.conf。升级请注意：1.0.0发布后，该文件增加了两个属性：ldap_type=1和smtp_port=，如果是cp原有的配置文件覆盖新下载的，要加上这两个配置 2.4 初始化数据库 python3 manage.py makemigrations && python3 manage.py migrate 2.5 添加初始化用户 echo "from core.models import Account...阅读全文
本文将介绍如何远程升级 Debian 11 Bullseye 到最新的稳定版 Debian 12 Bookworm。本升级流程简单、快速，适用于绝大部分运行在 公有云 上的主机实例。 在升级之前，建议妥善备份重要的数据，InfraPub 有一个简单的备份策略，只需要一个文件列表 记录需要备份的文件及目录，即可实现快速备份， ``` ## cat /root/backup.list /var/lib/mysql /etc/mysql /var/www /etc/nginx ``` 随后使用一条命令即可备份: `tar czvf /tmp/backup.tgz --files-from /root/backup.list` 稳妥期间，备份时把数据库类的服务停一下...阅读全文
Solo 是一款 一个命令 就能搭建好的 Java 开源博客系统，如果你想开个独立博客，请一定不要错过！2.5.0 版本主要支持了 Markdown/JSON 格式数据导出，并改进了 Markdown 渲染。 另外，我们 新的博客产品 Pipe（golang 开发）已经开源 ，欢迎大家来围观！ 安装 下载 安装包 解压后执行 java -cp WEB-INF/lib/*;WEB-INF/classes org.b3log.solo.Starter 从 2.4.0 升级只需将已有的配置拷贝覆盖即可，启动后会自动升级。 文档 用户指南 ：安装、配置、备份以及常见问题 开发指南 ：开发环境、项目结构、框架说明 皮肤开发 ：开发步骤、模版变量 插件开发 ：插件机制、处理流程 项目...阅读全文
（GitHub release）SwitchHosts! 下载地址2（百度网盘） brew方式安装 在 macOS 上，也可以使用 brew cask 安装，命令如下： brew cask install switchhosts scoop 方式安装 在 Windows 上，也可以使用 scoop 安装，命令如下： scoop install switchhosts SwitchHosts 配置文件 SwitchHosts! 的数据文件在 ~/.SwitchHosts 目录下（Windows 用户为个人主目录下的 .SwitchHosts 目录下），其中 ~/.SwitchHosts/data.json 是 hosts 数据文件，~/.SwitchHosts/prefereces.json 是配置信息。...阅读全文
localStorage的存储空间后会抛出异常。 此外，H5还提供了逆天的websql和indexedDB,允许前端以关系型数据库的方式来存储本地数据，相对来说，这个功能目前应用的场景比较少，此处不作介绍。 5、浏览器缓存机制 浏览器缓存机制是指通过 HTTP 协议头里的 Cache-Control（或 Expires）和 Last-Modified（或 Etag）等字段来控制文件缓存的机制。 Cache-Control 用于控制文件在本地缓存有效时长。最常见的，比如服务器回包：Cache-Control:max-age=600 表示文件在本地应该缓存，且有效时长是600秒（从发出请求算起）。在接下来600秒内，如果有请求这个资源，浏览器不会发出 HTTP 请求，而是直接使用本地缓存的文件。 Last...阅读全文
在这篇文章里，我将在 VMWare 里面虚拟四台 Debian 虚拟机，一个做master，三个slave。这四台主机的 hostname 分别是 master、slave1、slave2、slave3。下面的 JDK 和 Hadoop 安装配置操作都是使用普通用户 hadoop 来执行，并非 root。 集群环境准备 1. 静态网络的配置 编辑/etc/network/interfaces文件，注释自动获取IP，并添加下面内容 # static IP address auto ens33 iface ens33 inet static address 192.168.20.101 netmask 255.255.255.0 gateway 192.168.20.2 dns...阅读全文
MongoDB 服务器都很重要。尤其是，除非有非常好的理由要使用mapReduce、group 或 $where，否则你应该 在配置文件中设置 javascriptEnabled:false，禁用 JavaScript。因为标准 MongoDB 的数据文件是不加密的，另外， 使用专门的用户运行 MongoDB 也是一个明智的做法，对数据文件的完全访问仅限于那个用户，这样就可以使用操作系统自带的文件访问控制了。 没有设计一个模式 对于模式，MongoDB 没有强制要求。这不是说它不需要模式。如果你真想保存文档而又没有一致的模式，那么你可以非常快速、简单地保存它们，但是 检索会十分麻烦 。 “MongoDB 模式设计的六大经验原则 ”是一篇值得一读的经典文章，而第三方工具（如 Studio 3T）提供的类似...阅读全文
Vsftpd的安装： aptitude update //更新数据源列表 aptitude install vsftpd //安装vsftpd Vsftpd的文件结构： /usr/sbin/vsftpd —- VSFTPD的主程序 /etc/init.d/vsftpd —- 启动脚本 /etc/vsftpd.conf —- 主配置文件 /etc/pam.d/vsftpd —- PAM认证文件 /etc/ftpusers —-记录不允许访问FTP服务器的用户名单 /home/ftp —-Vsftpd的根目录 此外VSFTPD的日志文件为/var/log/vsftpd.log。 Vsftpd的管理控制。 /etc/init.d/vsftpd start //启动vsftpd /etc...阅读全文
，可能是先从RSS数据源中抓取文章的内 容，然后将其丢入一个叫做“文章”的topic中；后续操作可能是需要对这个内容进行清理，比如回复正常数据或者删除重复数据，最后再将内容匹配的结果返 还给用户。这就在一个独立的topic之外，产生了一系列的实时数据处理的流程。 日志聚合:使用Kafka代替日志聚合（log aggregation）。日志聚合一般来说是从服务器上收集日志文件，然后放到一个集中的位置（文件服务器或HDFS）进行处理。然而Kafka忽略掉 文件的细节，将其更清晰地抽象成一个个日志或事件的消息流。这就让Kafka处理过程延迟更低，更容易支持多数据源和分布式数据处理。比起以日志为中心的 系统比如Scribe或者Flume来说，Kafka提供同样高效的性能和因为复制导致的更高的耐用性保证...阅读全文
近日，Intel发布了最新版本的Linux处理器微代码数据文件，而这个补丁文件能够修复Intel CPU中的Spectre以及Meltdown漏洞。广大用户可以使用微代码文件来修复操作系统中目前已知的Intel CPU安全漏洞，而无需在计算机中执行BIOS更新。 根据Intel微代码下载页面所提供的介绍，Intel此次发布了40种不同版本（针对Linux）的补丁代码，可适用于多款不同型号的Intel处理器。 下面给出的就是Intel官方网站列出的处理器支持型号。大家可以参考下列表格以及cpu-world.com网站上的CPU信息来寻找合适自己处理器的补丁版本。注意，下列表格中的CPU版本号为十六进制值（例如(06-3c-03:32)），你可以在cpu-world.com寻找到相匹配的处理器...阅读全文
冲区，一个用于存储速度不同步的设备或优先级不同的设备之间传输数据的区域。通过缓冲区，可以使进程之间的相互等待变少，从而使从速度慢的设备读入数据时，速度快的设备的操作进程不发生间断。 在Free命令中显示的buffer和cache，它们都是占用内存： buffer : 作为buffer cache的内存，是块设备的读写缓冲区，更靠近存储设备，或者直接就是disk的缓冲区。 cache: 作为page cache的内存, 文件系统的cache，是memory的缓冲区 如果 cache 的值很大，说明cache住的文件数很多。如果频繁访问到的文件都能被cache住，那么磁盘的读IO 必会非常小。...阅读全文
原因。 同样，Ubuntu 20.04 LTS 将支持 WireGuard。 2、支持 USB4 Linux 5.6 也将支持 USB4。 如果你不了解 USB 4.0 (USB4)，你可以阅读这份文档。根据文档，“USB4 将使 USB 的最大带宽增大一倍并支持多并发数据和显示协议multiple simultaneous data and display protocols。” 另外，虽然我们都知道 USB4 基于 Thunderbolt 接口协议，但它将向后兼容 USB 2.0、USB 3.0 以及 Thunderbolt 3，这将是一个好消息。 3、使用 LZO/LZ4 压缩 F2FS 数据 Linux 5.6 也将支持使用 LZO/LZ4 算法压缩 F2FS 数据。 换句话说，这只...阅读全文
apt-offline.sig 示例输出如下： Generating database of files that are needed for an update. Generating database of file that are needed for operation upgrade 默认条件下，apt-offline 将会生成需要更新和升级的相关文件的数据库。你可以使用 --update 或者 --upgrade 选项相应创建。 拷贝完整的 tmp 目录到你的 USB 驱动器或者或者外接硬盘上，然后换到你的在线操作系统（有网络链接的操作系统）。 在在线系统上的操作 插入你的 USB 驱动器然后进入 tmp 文件夹： cd tmp/ 然后，运行如下命令： sudo apt...阅读全文
Ceph 是一个可扩展的分布式存储系统，性能卓越，安全可靠。 Ceph 12.2.0 正式版已发布。这是Luminous v12.2.x长期稳定版本的第一个版本。在Kraken（v11.2.z）和 Jewel（v10.2.z）后我们做了很多重大修改，而且升级过程并不简单哦。请仔细阅读版本说明。 在 Kraken（v11.2.z）版本上进行的重要修改 通用 Ceph现在有一个内置的简易DarshBoard，用于监控集群状态。 RADOS Bluestore ceph-osd的新后端存储BlueStore已经稳定，是新创建的OSD的默认设置。 BlueStore通过直接管理物理HDD或SSD而不使用诸如XFS的中间文件系统，来管理每个OSD存储的数据，这提供了更大的性能和功能...阅读全文
该数据的主体而仅仅是同步过来的备份，那么可以关闭Redis的数据持久化机制。 但通常来说，仍然建议至少开启RDB方式的数据持久化，因为： RDB方式的持久化几乎不损耗Redis本身的性能，在进行RDB持久化时，Redis主进程唯一需要做的事情就是fork出一个子进程，所有持久化工作都由子进程完成 Redis无论因为什么原因crash掉之后，重启时能够自动恢复到上一次RDB快照中记录的数据。这省去了手工从其他数据源（如DB）同步数据的过程，而且要比其他任何的数据恢复方式都要快 现在硬盘那么大，真的不缺那一点地方 RDB 采用RDB持久方式，Redis会定期保存数据快照至一个rbd文件中，并在启动时自动加载rdb文件，恢复之前保存的数据。可以在配置文件中配置Redis进行快照保存的时机...阅读全文
，GIMP 2.10.22 还改进了对 HEIC 格式的支持、更好的多层 TIFF 导出、并继续改进对 Adobe PSP 文件格式的支持、更好地处理 EXIF 元数据中的方向数据以及其他小改动。 希望了解更多关于开源图像编辑器GIMP 2.10.22变化的细节和下载，请访问GIMP.org。 `...阅读全文
Debian 9（代号为 Stretch）当前为测试阶段，代码已进入开发的最后阶段并已冻结，预计 Stretch RC1 的发布时间为四月底，正式版大约在七月底左右发布。 目前作为个人用的VPS主机，可以开始尝鲜 Debian 9了。 当前 VPS 提供商还不提供 Debian 9 的镜像，如何直接从 Debian 8 升级到 Debian Stretch？ 接下来就一步一步为大家介绍 Debian 的垮镜像升级的一般步骤。操作前请务必妥善备份现有系统，做好异地备份或者离线备份。 升级前准备： 备份当前系统的数据 这类大操作都是有风险，所以我们先做好最坏的打算：如果系统升级后完全不可用，我们怎么办？ 创建备份，并且同步到异地。 一般的VPS环境，需要备份的文件有几大类，Web服务器配置文件...阅读全文
-Guided Optimization） rustc 编译器现在通过 -C profile-generate 和 -C profile-use 标志提供了对配置文件引导优化(PGO)的支持。 Profile-Guided Optimization 允许编译器根据来自实际工作负载的反馈优化代码。它的工作方式是编译程序，在两个步骤中进行优化： 首先，程序是用编译器插入的工具构建的。这是通过将 -C profile-generate 标志传递给 rustc 来完成的。然后，需要在示例数据上运行检测程序，并将分析数据写入文件之后，重新构建程序，这一次使用 -C profile-use 标志将收集到的分析数据反馈回 rustc。此构建将利用收集到的数据，使编译器能够对代码放置、内联和其他优化做出更好的决定 在...阅读全文
存储世界最近发生了很大变化。十年前，Fibre Channel SAN 文件管理器是企业存储的标准。而在目前的环境中，受到基础架构即服务云的影响，数据存储需要更加灵活。 GlusterFS 和 Ceph 是两个灵活的存储系统，在云环境中表现非常出色。 在尝试了解 GlusterFS 与 Ceph 之间的相似之处和不同之处之前，让我们来讨论在云环境中对灵活存储的一些要求。 纵向扩展和横向扩展。在云环境中，必须可以很容易地向服务器添加更多存储空间以及扩展可用存储池。Ceph 和 GlusterFS 都可以通过轻松将新存储设备集成到现有存储产品中来满足这一要求。 高可用性。GlusterFS 和 Ceph 的复制是同时将数据写入不同的存储节点。这样做的结果是，访问时间增加，数据可用性也提高。在...阅读全文
据 Dgraph Labs 创始人 Manish Rai Jain 在其宣布 1.0.0 版本正式发布 的 文章 中透漏，他们已完成了由贝恩资本投资公司的 Salil Deshpande 领头的 300 万融资。凭借早期在基础设施软件和开源软件方面的经验，Salil 将加入 Dgraph 董事会。Jain 表示，这一轮融资正好是我们扩大云服务的时机，并继续建立世界上最先进的图数据库。 Dgraph 是一个可扩展的，分布式的，低延迟的图数据库，于 2015 年开源，最初是出于希望消除传统关系型数据库的典型弱点而创建的。为了解决组织在数据库增长超过单个服务器时面临的一些问题，Dgraph 以更有效的方式分割数据，这使查询可以在没有通用视图的情况下执行。它还减少了网络调用和磁盘查询需要执行查询的...阅读全文
。它播放的序列由你决定，但默认情况下它包括一个加密货币挖掘模拟器、composer PHP 依赖管理器、内核编译器、下载器、内存管理等等。不过，我最喜欢的是显示 simcity 加载消息的设置。因此，只要没有人检查得太仔细，你就可以花整个下午的时间等待电脑完成进度条。 Genact 有 linux、os x 和 Windows 版本，Rust 源码可以在 github 上找到。 Hollywood Hollywood 采取了更直接的方式。它本质上是在终端中创建一个随机数和拆分屏幕的配置，并启动看起来很忙的应用程序，如 htop、目录树、源代码文件和其他应用程序等，并每隔几秒钟进行切换。它以 shell 脚本的形式组合在一起，因此可以很容易地根据你的需要进行修改。 Hollywood 的源代码可...阅读全文
Infrastructure as Code", 基础架构即代码。Terraform 几乎可以支持所有市面上能见到的云服务。具体的说就是可以用代码来管理维护 IT 资源，把之前需要手动操作的一部分任务通过程序来自动化的完成，这样的做的结果非常明显：高效、不易出错。 Terraform 提供了对资源和提供者的灵活抽象。该模型允许表示从物理硬件、虚拟机和容器到电子邮件和 DNS 提供者的所有内容。由于这种灵活性，Terraform 可以用来解决许多不同的问题。这意味着有许多现有的工具与Terraform 的功能重叠。但是需要注意的是，Terraform 与其他系统并不相互排斥。它可以用于管理小到单个应用程序或达到整个数据中心的不同对象。 Terraform 使用配置文件描述管理的组件(小到单个应用程序，达到整个数据中心...阅读全文
止将凭据发送到默认注册表。 Runtime CVE-2021-41089 在docker cp过程中，在 chroot 中创建父目录，以... 2 1 LLVM 13.0.0 正式发布 LLVM 13.0.0 现已发布。本次更新内容主要包括 bug 修复和一些小型功能优化。 主要更新内容 Flang 作为 Fortran 前端现在包含在官方 LLVM 二进制包中 LLDB 可执行文件现在包含在官方预构建的 LLVM 二进制文件包中 对 Armv9-A 领域管理扩展 (RME) 和可扩展矩阵扩展 (SME) 的初始组装支持 在 Clang 中对 OpenCL 内核语言支持... 1 2 Apache Maven 3.8.3 发布，项目管理和构建工具 Apache Maven 3.8.3 发布了...阅读全文
接口。以这种方式合并多个接口的数据： $ vnstat -i wlan0+eth0+eth1 你可以通过以下几种方式过滤显示： -h 以小时显示统计数据。 -d 以天数显示统计数据。 -w 和 -m 按周和月显示统计数据。 使用 -l 选项查看实时更新。 此命令删除 wlan1 的数据库，并停止监控它： $ vnstat -i wlan1 --delete 此命令为网络接口创建别名。此例使用 Ubuntu 16.04 中的一个奇怪的接口名称： $ vnstat -u -i enp0s25 --nick eth0 默认情况下，vnstat 监视 eth0。你可以在 /etc/vnstat.conf 中更改此内容，或在主目录中创建自己的个人配置文件。请参见 man vnstat 以获得完整的参考...阅读全文
(@Deprecated修饰)的方法时。 创建你自己的注释 创建自己的注释是有可能的。注释被定义在它们自己的文件中，就像Java中的类或接口一样。下面是一个例子： @interface MyAnnotation { String value(); String name(); int age(); String[] newNames(); } 这个例子定义了一个包含四个元素的叫MyAnnotation的注释。 注意，每个元素的定义都很像接口中的方法定义。你可以使用原始数据类型定义元素的数据类型，你也可以使用数组定义元素的数据类型。但是不能使用复合对象(Complex Object定义元素的数据类型。 要使用上面自定义的注释，可以这样做： @MyAnnotation( value="123", name...阅读全文
码的困境结束，从而实现更快的开发。 简而言之，Web框架可以简化Web开发。 如果您想深入了解Web框架及其优点，请点击此处。 为什么Django是Python开发者的最佳选择 Django是一个Python编写的，高级的，MVC风格的开源库。 Django也被称为“完美主义者的最终框架”，它最初是为新闻网站设计的，因为它允许开发人员编写数据库驱动的Web应用程序，而无需从头开始编码。 除了更快完成常见的Web开发任务，Django还可以保持设计干净且实用。 Django是Python Web开发新人的最佳选择，因为官方文档和教程是几个（同类）软件开发框架中最好的。 技术市场充斥着一系列网络框架，但Django在最受欢迎的服务器端Web框架里处于顶峰位置。设计Django背后的座右铭很简单...阅读全文
Scrapy 是一个为了爬取网站数据，提取结构性数据而编写的应用框架。 可以应用在包括数据挖掘、信息处理或存储历史数据等一系列的程序中。本文着重介绍 Scrapy 架构及其组件之间的交互。 Scrapy 组件介绍 Scrapy Engine 引擎负责控制数据流在系统中所有组件中流动，并在相应动作发生时触发事件。 详细内容查看下面的数据流(Data Flow)部分。 调度器(Scheduler) 调度器从引擎接受request并将他们入队，以便之后引擎请求他们时提供给引擎。 下载器(Downloader) 下载器负责获取页面数据并提供给引擎，而后提供给spider。 Spiders Spider 是 Scrapy用户编写用于分析response并提取item(即获取到的item)或额外跟进的...阅读全文
["executable", "param1", "param2"] 样例： ENTRYPOINT ["top","-b"] CMD ["-c"] 上面的 -c 参数可以在启动时覆盖 docker run -it --rm --name test top -H。 如果要覆盖 ENTRYPOINT 指令则用 --entrypoint 参数启动容器。 3.10 VOLUME VOLUME 指令用于为容器创建一个挂载点，这个挂载点可以用来挂载 本地文件/文件夹 也可以用来挂载 数据卷。其中若在启动一个新容器时没有指定挂载目录，则会自动创建一个数据卷，当容器被销毁时，数据卷如果没有被其它容器引用则会被删除。语法： VOLUME ["/data1","/data2"] 3.11 USER USER 指令用于设置执行 RUN...阅读全文
设计处理器的消息。亚马逊最近几年比较受欢迎的另外一个云计算产品是“Lambda”，该产品将会在某种触发条件下完成计算工作。比如一个用户在社交网络上传照片之后，系统将启动计算，自动生成一个微缩小图。上述产品被开发者描述为“无服务器”，意思是服务商并不要求开发者自己来管理服务器基础设施。行业研究报告显示，亚马逊对Lambda计算服务的收费是EC2实例的两倍之多。数据存储：S3和EBS亚马逊云计算的另外一个鼻祖服务是“简单计算存储”，简称S3，产品推出于2006年，客户可用该服务在网络上保存各种数据对象，包括照片、视频或其他文件类型。科技从业者丹·阿尔瓦雷兹（Don Alvarez）是上述服务的早期用户。他早年曾经在华盛顿州西雅图的新创科技公司工作，主要为电影制片人群体开发协作软件。当年，科技公司...阅读全文
libgraph 的参照对象。因为 VPP 项目整体是一个非常全面的解决方案，从中剥离核心的设计框架为其它轻量级项目所用就变得很有意义。这也是 Libgraph 的产生背景。虽然它目前还是DPDK 中相对比较新的 lib，但是其优秀的设计思想还是值得学习参考。 下面将首先介绍 libgraph 架构的核心概念：标量和向量包处理（scalar vs vector packet processing）以及它们之间的区别。然后再介绍 libgraph 中的核心组件，以及它们之间的联系和交互方式。最后，我们将介绍 libgraph 的具体用例以及优缺点。 背景 DPDK libgraph 是一个向量包处理的框架。与传统的标量包处理模型（一系列函数负责处理一个数据包，重复直到所有数据包处理完毕）相比，向量数据包处理...阅读全文
Ceph v10.2.7 发布了。Ceph 是加州大学 Santa Cruz 分校的 Sage Weil（DreamHost 的联合创始人）专为博士论文设计的新一代自由软件分布式文件系统。自 2007 年毕业之后，Sage 开始全职投入到 Ceph 开 发之中，使其能适用于生产环境。Ceph 的主要目标是设计成基于 POSIX 的没有单点故障的分布式文件系统，使数据能容错和无缝的复制。 该版本更新日志尚未找到，了解更多请查看 提交记录 或关注 官方博客 。 下载地址 Source code (zip) Source code (tar.gz)...阅读全文
again. //回滚事务 producer.abortTransaction(); } producer.close(); 2.1.10 kafka高性能的原因 磁盘顺序读写：kafka消息不能修改以及不会从文件中间删除保证了磁盘顺序读，kafka的消息写入文件都是追加在文件末尾，不会写入文件中的某个位置(随机写)保证了磁盘顺序写。数据传输的零拷贝读写数据的批量batch处理以及压缩传输 数据传输零拷贝原理：...阅读全文
选项： $ bmon -bp enp1s0 我们也可以像下面这样按秒指定刷新间隔时间： $ bmon -r 5 -p enp1s0 如何使用 bmon 的输入模块 bmon 有很多能提供网卡统计数据的输入模块，其中包括： netlink - 使用 Netlink 协议从内核中收集网卡和流量控制统计信息。这是默认的输入模块。 proc - 从 /proc/net/dev 文件读取网卡统计信息。它被认为是传统界面，且提供了向后兼容性。它是 Netlink 接口不可用时的备用模块。 dummy - 这是用于调试和测试的可编程输入模块。 null - 停用数据收集。 要查看关于某个模块的其余信息，可以像下面这样使用 help 选项调用它： $ bmon -i netlink:help 下面的命令将启...阅读全文
Gogs 是由 Go 语言编写的，自由开源的 Git 服务。Gogs 是一款无痛式自托管的 Git 服务器，能在尽可能小的硬件资源开销上搭建并运行您的私有 Git 服务器。Gogs 的网页界面和 GitHub 十分相近，且提供 MySQL、PostgreSQL 和 SQLite 数据库支持。 在本教程中，我们将使用 Gogs 在 Debian Stretch 上按步骤指导您安装和配置您的私有 Git 服务器。这篇教程中涵盖了如何在 Debian 上安装 Go 语言、PostgreSQL 和安装并且配置 Nginx 网页服务器作为 Go 应用的反向代理的细节内容。 步骤 1 - 更新和升级系统 继续之前，更新 Debian 所有的库，升级所有包。 运行下面的 apt 命令： sudo apt...阅读全文
输数据，在不使用的情况下默认不会传输任何 UDP 数据包，所以比常规VPN省电很多，可以像ShadowSocks一样一直挂着使用。 WireGuard协议的速度几乎秒杀其它VPN协议，测试结果如下图； WireGuard 受到 Linus 本人的推荐，将整合到最新版Linux Kernel中，安装部署更方便。WireGuard 总共几千行代码，只需十分钟就能搞定一台WireGuard服务器。 Wireguard安全性高。极佳的VPN漫游特性，设备支持广泛。内核级别的端对端隧道加密技术，拥有良好的加密特性。Wireguard配置文件由两部分组成：interface和peer。服务器端、客户端互为平等关系。支持预共享密钥preshared key加密，防止量子计算攻击。 国际著名项目，开源代码审...阅读全文
库。一个恰当的数据库格式，或者至少是二进制的可交换格式都需要花费很大力气。 Debian Code Search希望尽快接受新包。我们曾经用过Debian的fedmsg实例，但似乎现在已经不见了。目前还不清楚从哪里获取新包的通知，以及获取这些包的最佳位置。 复杂的构建堆栈 请参阅我的这篇文章“Debian软件包构建工具”（https://michael.stapelberg.ch/posts/2016-11-25-build-tools/）。让我感到困惑的是其他人不认为工具的蔓延是个问题。 非常痛苦的开发者体验 到目前为止，本文讨论的大多数都是开发Debian的体验，但是正如我最近的这篇文章“Debian中的调试体验”（https://michael.stapelberg.ch/posts...阅读全文
安全（比如沙箱）。 Btrfs：https://facebookmicrosites.github.io/btrfs/ Btrfs 是下一代文件系统，它以当下的数据中心为基础。它是一个写时复制（CoW）文件系统，专注于高级功能实现、容错、修复和轻松管理。Btrfs 旨在解决和管理大型存储子系统，并支持快照、联机碎片整理、池化和集成的多设备支持等功能。 Netconsd：https://facebookmicrosites.github.io/netconsd/ Netconsd 是一个基于 UDP 的 netconsole 守护程序，为 Linux netconsole 消息提供轻量级传输。它接收并处理来自 Linux 内核的日志数据，并将其作为结构化数据提供以给生产工程师以快速识别集群中问...阅读全文
个简化的Web应用，由这些部分组成： 为了冗余而在两个集群上运行的二进制文件，实现前段逻辑负载均衡，有集群前和全局的配置全局的Spanner数据库 生产或者服务基础架构提供服务所需的基础模块来服务用户的请求，比如，Borg集群管理系统[2]，网络交换机的firmware等等。每个这些组件都是一个asset。 Shakespeare服务使用多个基础架构提供者：Borg来运行二进制文件，GSLB[1]管理负载均衡，以及Google共享的Spanner基础架构。 控制平面是服务用于管理生产服务基础结构的平面——比如，添加一台VM或者搭建负载均衡器。控制平面可以包括人工（“我会把新的二进制文件拷贝到服务器上”）到复杂的自动化系统（“我使用机器学习来控制变更”）。控制平面包括变更管理：控制平面里的逻辑...阅读全文
– 安装 tabby-trzsz 插件即可。electerm – 升级到 1.19.0 以上的版本即可。trzsz-go – 只要是支持本地 shell 的终端就可以用。trzsz.js – 让运行在浏览器中的 webshell 和用 electron 开发的终端支持 trzsz。 如果你的终端也支持 trzsz，请告诉我，我很乐意将它加到此列表中。trzsz 使用指南trz 上传文件trz 命令可以不带任何参数，将上传文件到当前目录。也可以带一个目录参数，指定上传到哪个目录。trz /tmp/ tsz 下载文件tsz 可以带一个或多个文件名（可使用相对路径或绝对路径，也可使用通配符），将下载指定的文件。tsz file1 file2 file3 -q 静默模式trz -q 或 tsz -q...阅读全文
，大多数公司都在开源他们的软件，还有一些公司则将Kubernetes这样的技术引入了竞争领域，它已经成为了许多开发人员工作流的基础。 最后，Warner比较关注的是目前对于网络中立性的讨论，下一个阶段的FFC投票会在12月4日进行。 2018年将决定网络中立性的未来，不论结果如何，我们都会受其影响。 查看英文原文：The Hottest Tech Trends in 2018 According to GitHub...阅读全文
