Scrapy 是一个为了爬取网站数据，提取结构性数据而编写的应用框架。 可以应用在包括数据挖掘、信息处理或存储历史数据等一系列的程序中。本文着重介绍 Scrapy 架构及其组件之间的交互。 Scrapy 组件介绍 Scrapy Engine 引擎负责控制数据流在系统中所有组件中流动，并在相应动作发生时触发事件。 详细内容查看下面的数据流(Data Flow)部分。 调度器(Scheduler) 调度器从引擎接受request并将他们入队，以便之后引擎请求他们时提供给引擎。 下载器(Downloader) 下载器负责获取页面数据并提供给引擎，而后提供给spider。 Spiders Spider 是 Scrapy用户编写用于分析response并提取item(即获取到的item)或额外跟进的...阅读全文
SQLite 3.30.0 发布了，SQLite 是一个 C 实现的 SQL 数据库引擎，它的特点是小型、快速、自包含、高可靠性和功能齐全。SQLite 嵌入在所有手机和大多数计算机中，也捆绑在为数众多的其它应用中，是世界上使用量最大的数据库引擎。 此版本更新内容包括： 添加对聚合函数的 FILTER 子句的支持添加对 ORDER BY 子句中的 NULLS FIRST 和 NULLS LAST 语法的支持增强了 index_info和index_xinfo 编译指示，以提供有关 WITHOUT ROWID 表在磁盘上的表示形式的信息新增 sqlite3_drop_modules() 接口，使应用程序可以禁用不需要的自动加载的虚拟表改进 CLI 中的 .recover dot...阅读全文
Elasticsearch 7.6.0 发布了，Elasticsearch 是一个分布式的 RESTful 风格的搜索和数据分析引擎。 更新内容较多，摘取部分新特性： Aggregations 新的直方图字段映射器，支持百分位数聚合 #48580 (issue: #48578)对字符串术语实施统计汇总 #47468 Analysis 实施 Lucene EstonianAnalyzer，投票 #49149 (issue: #48895) Authentication 受密码保护的密钥库 (Feature Branch) #49210 Features/ILM+SLM 等待 SLM 策略执行的 ILM 操作 #50454 (issue: #45067)添加 ILM histore 商店索引...阅读全文
谷歌已宣布将其内部使用的 Tsunami 漏洞扫描程序进行开源，以帮助其他组织保护用户数据。Tsunami 将不会成为谷歌的正式品牌产品，而是由开源社区以类似于管理 Kubernetes（另一种谷歌内部工具）的方式来维护。 “我们已经向开源社区发布了 Tsunami 安全扫描引擎。我们希望该引擎可以帮助其他组织保护其用户数据。我们还希望促进协作，并鼓励安全界在 Tsunami 之上创建和共享新的探测器。” 与其他漏洞扫描程序不同的是，Tsunami 本就是秉承着以大型企业为使用对象的初衷而进行构建的，旨在查找包含数十万个设备的大型网络中的漏洞。谷歌方面表示，其设计的漏洞扫描程序具有极强的适应性，Tsunami 能够扫描多种设备类型，而无需为每种设备运行不同的扫描仪。 Tsunami 在扫描...阅读全文
TrueOS 17.12 已发布，引入了多项增强功能，附带了 Firefox Quantum 网页浏览器。该版本的重点是大量的清理和让 TrueOS 的独特功能更加稳定：OpenRC，引导速度，可移动设备管理，SysAdm API 和 LibreSSL 集成，Lumina 改进等等。 正如预期的那样，TrueOS 17.12 将 Lumina Desktop 1.4.1 作为默认的桌面环境，带来了新的主题引擎和 ZFS 集成。对多个同步图形会话的支持也已添加到 PCDM 登录管理器。 对于不想使用 Lumina 桌面环境的用户，可选择诸如 Xfce 4.12，LXDE 1.0，MATE 1.18.0，KDE 4.14.3，GNOME 3.18.0 和 Cinnamon 2.4.6 桌面环境...阅读全文
addEventLisener/attachEvent来进行绑定。 10、全局对象 window 在JS中，当一段JS代码在浏览器中被加载执行，JS引擎会在内存中构建一个全局执行环境，执行环境的作用是保证所有的函数能按照正确的顺序被执行，而window对象则是这个执行环境中的一个全局对象，window对象中内置了很多操作api和对象，document对象就是其中一个。关于JS执行环境的介绍请参考博客：深入理解JS执行细节 CSS 篇 css是用来对html进行修饰的一门语言。 1、选择器 css的选择器有很多种，常用的有类选择器、标签选择器、ID选择器、后代选择器、群组选择器、伪类选择器(before/after)、兄弟选择器(+~)、属性选择器等等。 2、定位 position 定位一般有相对定位(relative...阅读全文
JavaScript引擎，能够阻止side-channel攻击方式。 下载地址：https://www.google.com/chrome/browser/desktop/index.html...阅读全文
Kaewkasi：我十分认同这种观点，过去，我们启动运行一组Web服务器是非常困难的，而有了Docker，我们几分钟之内就可以完成。 问：Docker与普通虚拟机有什么不同？ Chanwit Kaewkasi： Docker基本上使用操作系统级别的虚拟化，Linux命名空间和控制组。与虚拟化技术（如虚拟机使用的虚拟机管理程序）相比，Docker开销非常小。 Docker背后的真正引擎是Containerd 问：您如何在日常工作中使用Docker？ Chanwit Kaewkasi： 我曾经帮助过东南亚和欧洲的公司设计和实施使用Docker应用架构，并将它们部署在Docker Swarm集群上。 问：使用Docker时您遇到过什么问题？您认为目前存在的挑战是什么？ Chanwit Kaewkasi： 多集群...阅读全文
RethinkDB最早是作为一个对SSD进行专门优化的MySQL存储引擎出现的，其特点在于对SSD的充分利用。而目前RethinkDB已经脱离MySQL成为一个独立的存储。 RethinkDB目前支持几乎所有的64位Linux发行版，包括： Ubuntu 10.04.1 x86_64 Ubuntu 10.10 x86_64 Red Hat Enterprise Linux 5 x86_64 CentOS 5 x86_64 SUSE Linux 10 RethinkDB支持各种底层存储：SSD，传统磁盘以及像AWS这样的云存储服务。 RethinkDB应用场景 它可以用来替代Memcached作为数据缓存层。或者替代一些类似Memcached的存储，比如Membase，MemcacheDB...阅读全文
ThinkPHP V5.1 —— 12 载初心不改，你值得信赖的 PHP 框架。期盼已久的 V5.1.0 版本今日正式发布，祝大家 2018 年新年快乐！ ThinkPHP 自诞生以来一路走来已经 12 载，初心不改，并将继续努力，感谢大家的一路支持和贡献！ 特性 5.1 版本主要特性包括： 引入容器和 Facade 支持 依赖注入完善和支持更多场景 重构的（对象化）路由 路由跨域请求支持 支持注解路由 配置和路由目录独立 取消系统常量 助手函数增强 类库别名机制 模型和数据库增强 验证类增强 模板引擎改进 支持 PSR-3 日志规范 安装 5.1 版本开始官方不提供下载包，请使用 composer 安装： composer create-project topthink/think tp...阅读全文
rkt v1.30.0 发布了。Rocket（也叫 rkt）是 CoreOS 推出的一款容器引擎，和 Docker 类似，帮助开发者打包应用和依赖包到可移植容器中，简化搭环境等部署工作。Rocket 和 Docker 不同的地方在于，Rocket 没有 Docker 那些为企业用户提供的“友好功能”，比如云服务加速工具、集群系统等。反过来说，Rocket 想做的，是一个更纯粹的业界标准。 相信的更新内容如下。 新特性 status: added read from uuid-file (#3860). stage0/run: relax ‘–hosts-entry’ parser (#3833). iottymux: store logs for kubelet in the...阅读全文
Node.js 10.0.0 正式发布，这是自 Node.js Foundation 开展以来的第七个主要版本，并将在 2018 年 10 月成为下一个 LTS 分支。 新版本自带定制化的 Node-ChakraCore 引擎，其功能亮点包括： 全面支持 N-API 可轻松通过新的 Visual Studio Code Extension 进行 Time-Travel 调试 支持 TTD 的生成器和异步函数 支持 Inspector 协议 增强稳定性和其他各种改进 Node.js 10.0.0 还包含以下更新： N-API native addons API 已从实验状态毕业 Async_hooks 过时的实验性 async_hooks API 已被删除 Child Process 忽略未...阅读全文
Parrot 是一个基于 Debian 的 GNU/Linux 发行版，其设计上主要考虑安全性和隐私性。 Parrot 通常被用于渗透测试、计算机取证、反向工程、攻击、云计算渗透测试、隐私/匿名、密码等场合。它包含你在网上开发自己的软件或保护隐私所需的一切。 Parrot 4.5 正式发布，其主要变化在引擎层面。Parrot 4.5 放弃了对 32 为应用程序和架构的支持，不在为 i386 体系的机器提供任何更新。现在，32 位的计算机已不再能够运行完整的 Pentest 活动，也不能为我们的安全保护系统提供硬件加速支持。 Parrot 4.5 下一步是支持 OVA 格式的虚拟设备，这些虚拟设备支持倒入 VirtualBox、VMWare 和其他著名的虚拟化环境的程序文件。这些虚拟环境仍然...阅读全文
统的实现，深度参与到社区的创新和实践。除标准组件外，此次openEuler社区还孵化了A-Tune和iSula两个开源子项目：A-Tune是智能性能优化系统软件，即通过机器学习引擎对业务应用建立精准模型,再根据业务负载智能匹配最佳操作系统配置参数组合，实现系统整体运行效率提升；iSula是一种云原生轻量级容器解决方案，可通过统一、灵活的架构满足ICT领域端、边、云场景的多种需求。 开发者可以通过访问如下链接，获得相关代码和文档，供参考学习、了解openEuler操作系统的架构和源代码， https://gitee.com/openeulerhttps://gitee.com/src-openeuler...阅读全文
一句话概况：stackstorm是一个事件驱动的自动化引擎。StackStorm 是一坨功能强大的开源自动化平台，可将通过使用插件封装API的方式，将所有应用程序，服务和工作流程连接起来。这里的所有包括了目前我们常用Gitlab、Zabbix、ELK、AWS 等服务。 Stackstorm 具有很好的可扩展性，灵活性，完美支持 ChatOps 和全操作的API实现。通过Stackstorm 可以将您现有的基础架构和应用程序环境联系在一起，以便您可以更轻松地自动化操作该环境。它特别专注于针对事件采取行动。 便利的故障排除 - 触发由Nagios，Sensu，New Relic和其他监控系统捕获的系统故障，在物理节点、OpenStack或Amazon实例和应用程序组件上运行一系列诊断检查，并将...阅读全文
制 ：这是 PostgreSQL 在物理复制之外提供的另一种可选方案，提供了更大的灵活性，而且配置简单。 改进并行查询 ：在查询很多时应该会有 2 到 4 倍的速度提升。 更强大的密码哈希算法 ：使用了 SCRAM -SHA–256。 关于 PostgreSQL 10，还有更多的特性正在开发之中，就像 2ndQuadrant 创始人兼首席执行官 Simon Riggs 在最近的一次演讲中所 介绍 的那样。包括 PostgreSQL 10 官方路线图在内，正在进行中的特性开发工作还有诸如以下这些： 自治事务 多主集群，使用 分片 提高扩展性和可用性 查询 JIT 编译 可插拔的存储引擎（columnar、内存内存储等） 页级数据压缩等 改进临时表性能 不过，哪些特性将成为 PostgreSQL...阅读全文
在 MSHTML 中增加了另外一层事件支持，这是微软专有的 HTML 布局引擎，用于 Windows 版本的 IE 浏览器。 其中还提到：“再一次，因为是年度发布，一些功能还在开发当中，会被延迟到下一个开发周期当中。这包括 Direct3D 12 和 Vulkan 支持，以及在 Android 上启用 Direct3D 的 OpenGL ES 支持。”。 下载 Wine 3.0 如果你不想等待你的 Linux 发行版更新，你可以直接下载源代码构建或者从官方网站下载二进制包。 源代码： https://dl.winehq.org/wine/source/3.0/wine-3.0.tar.xz http://mirrors.ibiblio.org/wine/source/3.0/wine-3.0...阅读全文
框架 Omi 内置 observe 制作响应式视图(免去 this.update) Web Components 也可以数据驱动视图, UI = fn(data) JSX 是开发体验最棒(智能提示)、语法噪音最少、图灵完备的 UI 表达式，模板引擎不完备，模板字符串完备但是语法噪音太大 独创的 Path Updating 机制，基于 Proxy 全自动化的精准更新，功耗低，自由度高，性能卓越，方便集成 requestIdleCallback 对 this.update 说再见吧！只要使用 store 系统，它就会自动化按需更新局部视图 看看Facebook React 和 Web Components对比优势，Omi 融合了各自的优点，而且给开发者自由的选择喜爱的方式 Shadow DOM...阅读全文
菜单启动游戏引擎 godot 3 3.0.6音频/视频转码器：RipperX 2.8.0，Handbrake 1.2.2自动调整覆盖分区的大小而不重新引导LXDE，轻量级 Knoppix 标准桌面，包括文件管理器 pcmanfm 1.3.1用于在 Linux 上直接安装和运行 Windows 应用程序的预览版Libre Office 6.3.0-rc2, Gimp 2.10.8OwnCloud 2.5.1 和 NextCloud 2.5.1 客户端对 UEFI 安全启动的支持 安装的一个更好的方法是使用 flash-knoppix，它将在 USB Flash pen 上创建一个 FAT 32 和一个 Linux 分区的更简单和可写的布局。 Knoppix 的 DVD 版本 8.6 提供了以下...阅读全文
SonarQube v8.4 发布了。SonarQube 是一个用于管理源码质量的平台，帮助开发者编写干净的代码，其支持的语言包括：Python、Java、PHP、C#、C、Cobol、PL/SQL 与 Flex 等。 此版本扩展了 OWASP（Open Web Application Security Project，开放式 Web 应用程序安全项目）类型覆盖范围、带来了更快的分析速度、热备份和更快的启动。 Python 添加了 XSS 检测，以及另外 4 个 OWASP Top 10 类型 此版本中添加了一个与 XSS 相关的 Security Hotspot：S5247 查找在模板引擎中已关闭自动转义的所有位置。XSS 在OWASP Top 10 中属于 A7，此版本还增加了其它四个...阅读全文
robots 文件禁止搜索引擎抓取。未完成内容的网站、栏目不得上线。不存在页面必须返回 404 代码。每个月使用线上工具确认不存在页面服务器头信息。服务器开启 gzip 压缩。4XX、5XX 类服务器头信息不正常增多，及时通知SEO部门进行进一步检查。新站一律使用 https。开通子域名，需与 SEO 部门提前沟通并获得同意。 网站结构和URL URL一经确定上线，不得在没有得到SEO部门同意和提供对应机制的情况下，对URL做任何改动。除了已规划禁止搜索引擎抓取和收录的内容外，网站所有URL一律静态化。站内搜索结果页面使用robots文件禁止搜索引擎抓取。网站栏目与URL目录需一一对应，一级分类对应一级目录，二级分类对应二级目录。最多分级至二级目录，如果产品/页面数需要三级以上分类，请先与SEO部门沟...阅读全文
/S架构变成B/S架构，传统的上位机开发将不复存在。 大量的互联网、移动互联网开发资源和方法应用到物联网，设备、云、人相互之间的联系更加方便。 目前发展 Tessel， 是Tessel是一个针对软件开发者的可连接网络的微控制器。Tessel 的目标是让网站开发者能够轻松玩转物联网。 IoT.js，IoT.js 旨在为物联网提供一个基于 Web 技术的可相互操作的服务平台。IoT.js 的目标是要在资源受限的设备上良好运行。 JerryScript，JerryScript 是一个轻量级的 JavaScript 引擎，它可以运行在受限制的设备上，例如低于64KB RAM、200KBROM的MCU上。 node-red，Node-RED 是 IBM Emerging Technology 团队创建的...阅读全文
Shuttleworth，请你不要让 Mir 死亡。（我理解在桌面端这可能是非常困难或许无法实现的，但是如果你未来想要进一步布局物联网，你就会发现它是非常实用的。） 随后 Shuttleworth 的回复并不令人感到愉快： Martin Kozub，我们拥有大量使用 Mir 作为合成器的物联网项目，因此代码将会接受更新。我也非常赞同，它是非常高效、简洁和强悍的图形合成引擎，聪明的人都非常的喜欢。 然而我由衷的讨厌 Mir 的存在，因为这是一款非常容易产生分歧的软件。就像是气候变化或者枪支管理一样，它会变成不合理的策略话题。无论你站在哪一方都释放出种族拥护的信号。在社区中部分软件的对立已经变成了非常严重的问题，有些人会选择站在对立面怀着抱怨和讨厌的态度，而另一些人则站在了同一阵营，甘愿投入时间和精力并不断让软件变得...阅读全文
的定制能力。ECharts 底层依托了开源渲染引擎 ZRender ，支持 Canvas 和 SVG 等多种方式的渲染，支持 PC 、移动端、数据大屏、服务端渲染等多种设备场景。 目前，在 2018 年初发布的新版本 ECharts (4) 中，一些常用图表已支持最高达千万级的数据可视化，并且提供了小程序、无障碍访问等支持。基于 WebGL 的 ECharts-GL 能支持各种 3D 图表渲染、以及海量数据的渲染加速。目前，各种基于 ECharts 的扩展库，以及相关的可视化服务系统已经形成了丰富的产品体系和活跃的社区环境。ECharts 目前在 GitHub 上拥有 25k+ 的关注和 2k+ 的相关项目。大量的社区的反馈和贡献使 ECharts 不断地迭代进化。 业内人士认为，进入...阅读全文
依赖项的版本。 根据 Fluin 的说法，它可以执行代码修改和转换，使代码符合最新的最佳实践。 “我们想回到平衡稳定性和创新的核心理念上，因此，要在这些工具的工作方式和更新代码方面突破界限。”Fluin 说。 该团队还添加了 ng add 命令 ，可以执行诸如将应用程序转变为 Progressive Web App 或将 NativeScript 添加到现有项目等功能。 版本 6 的另一个预期功能是用于 Angular Material 和 Component Dev Kit 的树组件。 除了 6.0 版之外，该团队正在重写视图引擎并增加对 Bazel 的支持。...阅读全文
#2342TiFlash添加上报 DeltaTree 引擎读写负载相关 metrics 信息支持 fromUnixTime 和 dateFormat 函数下推默认禁用粗粒度索引过滤器TiDB Ansible新增 TiFlash 监控 #1253 #1257优化 TiFlash 配置参数 #1262 #1265 #1271优化 TiDB 启动脚本 #1268 Bug 修复 TiDB修复 merge join 在某些场景下 panic 的问题 #15920修复在计算选择率时重复考虑某些表达式的问题 #16052修复极端情况下 load 统计信息可能出现的 panic 的问题 #15710修复 SQL query 中存在等价表达式在某些情况下无法识别导致报错的问题 #16015修复从一个数据库中查询另一个数据库的...阅读全文
数据库。 6. 拥有复杂的数据（视频、图像、文件）——选择 Blob/对象存储。 7. 复杂的计算——使用消息队列和缓存。 8. 海量数据搜索——考虑搜索索引、尝试搜索引擎。 9. 扩展 SQL 数据库 — 实施数据库分片。 10. 高可用性、性能和吞吐量 — 使用负载均衡器。 11. 全球数据交付——考虑使用 CDN。 12. 图形数据（具有节点、边和关系的数据）——利用图形数据库。 13. 扩展各种组件——实现水平扩展。 14. 高性能数据库查询——使用数据库索引。 15. 批量作业处理——考虑批处理和消息队列。 16. 服务器负载管理和防止 DOS 攻击 - 使用速率限制器。 17. 微服务架构——使用 API 网...阅读全文
近日，Facebook 开源了一套解决重要计算集群管理问题的 Linux 内核组件和相关工具，这些项目覆盖了资源控制、资源利用、工作负载隔离、负载均衡、测量和监控等方面：BPF、Btrfs、Netconsd、Cgroup2、PSI、Oomd。 Facebook 表示这些项目现在已大规模用于其所有基础设施生产环境中，并用于其它许多企业组织的环境中。 BPF：https://facebookmicrosites.github.io/bpf/ BPF 是 Linux 内核中一种高度灵活、高效率的代码执行引擎，可以让字节码在各个 hook 点运行，以使用自定义代码。虽然 BPF 已广泛用于数据包过滤，但是 BPF 的指令集具有很强的通用性和灵活性，足以支持和允许除网络之外的众多使用场合，比如跟踪和...阅读全文
Linux上的中文输入法，基本上都比较原始，仿佛还停留在上个世纪。唯有搜狗还行。 简介 2013年12月，搜狗与Ubuntu Kylin团队开始合作开发“搜狗输入法Linux版”。经过五个月的合作，于2014年4月17日，正式发布了1.0版本。2015年10月16日更新至2.0版本。 搜狗输入法Linux版基于开源小企鹅输入法框架、开源Qimpanel面板以及搜狗输入法引擎开发。目前，我最看重的功能有： 智能输入，动态调频，动态组词 可自由导入的细胞词库 模糊音输入，智能纠错 方便的中英文切换 长词联想 逗号句号翻页 皮肤替换 添加源安装 由于Debian官方是不支持搜狗输入法的，因此纯命令行操作，要先添加源。 如果没有apt-add-repository，先用sudo apt-get...阅读全文
同的源语言创建可移植的二进制可执行文件。 这些二进制文件可以在各种环境中运行。 它起源于 Web，并得到各大主流浏览器的支持。Wasm 如何在浏览器中工作？浏览器引擎集成了一个 Wasm 虚拟机，通常称为 Wasm 运行时，可以运行 Wasm 二进制指令。 编译器工具链（如 Emscripten）可以将源代码编译为 Wasm 目标。 这允许将现有的应用程序移植到浏览器，并直接与在客户端 Web 应用程序中运行的 JS 代码通信。这些技术能让传统的桌面应用程序在浏览器中运行。现在它们可以在任何装了浏览器的设备上运行。 一些著名的例子包括 Google Earth 和用于计算机视觉的 Open CV 库。Wasm 如何在服务器上运行？除了浏览器，也有可以在浏览器之外运行的 Wasm 运行时，包括...阅读全文
PHP 是一种编程语言，Node.js 是一个基于 Chrome V8 引擎的 JavaScript 运行环境。 Node.js VS PHP，哪一方可以赢得这场战争取决于你构建的网站类型。比方说，如果你想构建一个实时的聊天应用程序，那么选择 Node.js 是明智的，因为它可以轻松处理大量的客户端请求。但是，这并不意味着PHP 不可以，请看完 Node.js VS PHP 后再决定用谁构建你的网站。 1.性能： 在性能方面，Node.js 显然赢了这一局。由于 Node.js 遵循事件驱动的非阻塞I/O模型，与传统的后端技术相比，Node.js 能够处理大量的服务器请求。PHP 遵循一个阻塞模型，其中在服务器端创建多个线程来处理多个客户端请求，如果代码没有被优化，它会导致高服务器负载和响应时间...阅读全文
Fio（Flexible I/O Tester） 是一款由 Jens Axboe 开发的用于测评和压力/硬件验证的自由开源的软件。它支持 19 种不同类型的 I/O 引擎 (sync、mmap、libaio、posixaio、SG v3、splice、null、network、 syslet、guasi、solarisaio，以及更多)， I/O 优先级（针对较新的 Linux 内核），I/O 速度，fork 的任务或线程任务等等。它能够在块设备和文件上工作。 Fio 接受一种非常简单易于理解的文本格式的任务描述。软件默认包含了几个示例任务文件。 Fio 展示了所有类型的 I/O 性能信息，包括完整的 IO 延迟和百分比。 它被广泛的应用在非常多的地方，包括测评、QA，以及验证用途。它支持...阅读全文
, OpenEdge ABL, PL/I, Pony, Processing, Programming Without Coding Technology, Q, Racket, Raku, Ring, S, Solidity, SPARK, Tcl, VBScript, VHDL, X++, Zig Top 10 编程语言 TIOBE 指数走势（2002-2023） 历史排名（1987-2023） 注：以下排名位次取决于 12 个月的平均值。 编程语言“名人榜”（2003-2022） 【说明】： TIOBE 编程语言社区排行榜是编程语言流行趋势的一个指标，每月更新，这份排行榜排名基于全球技术工程师、课程和第三方供应商的数量，其中包括了流行的搜索引擎以及技术社区，如 Google、百度、维基百科、CSDN、必...阅读全文
应用性能监测的可观测性解决思路。要采集容器、节点运行环境、应用、网络各个维度的数据挑战非常大，云原生社区针对不同需求给出了 cAdvisor、node exporter、kube-state-metics 等多种方式，但仍然无法满足全部需求。维护众多采集器的成本也不容小觑，引发的一个思考是能否有一种对应用无侵入的、支持动态扩展的数据采集方案？目前最好的答案是 eBPF。数据采集（eBPF 超能力）1、eBPF 的超能力eBPF 相当于在内核中构建了一个执行引擎，通过内核调用将这段程序 attach 到某个内核事件上，实现监听内核事件。有了事件我们就能进一步做协议推导，筛选出感兴趣的协议，对事件进一步处理后放到 ringbuffer 或者 eBPF 自带的数据结构 Map 中，供用户态进程...阅读全文
等数据库都能做到开箱即用。 点击此处了解使用 Django 及其 ORM 进行数据处理的基础知识。 强大的内置模板系统 基于继承系统，Django 的模板允许开发人员通过非常少量的前端代码构建整个动态网站。这得益于使用其他上下文特定元素替换模板的某些元素的选项。 想象一下，你知道你网站的每个页面都会有一个页眉和一个页脚。 现在，您首先需要在网站的基本模板中编写代码。 然后，您可以从应用程序的其他部分动态地更改这两个内容之间的组件。 简单可读的网址 很难正确阅读在PHP os ASP中开发的URL？ 使用 Django，您可以创建简单易读的 URL，这对人和搜索引擎都有好处。 您也可以使用其他框架创建可读 URL，但没有一个与 Django 一样容易进行 URL 构造。 快速容易的创建RSS和...阅读全文
拍摄的截图（Justin Paine 在博客中展示了一些处理过的图片）。我们将根据相关法律法规采取适当行动，并将继续采取积极主动的安全措施，以防止今后发生类似事件。” ElasticSearch 安全事故频发 虽然 ElasticSearch 通常在公司内部运行，但近年因为其未加密而发生的数据泄露事件不在少数： 2017 年，白帽汇曾对全球使用 ElasticSearch 引擎发生的勒索事件进行监测，最终发现因被攻击而删除的数据至少 500 亿条，被删除数据规模至少 450TB。系统显示，互联网上公开可访问的 ElasticSearch 服务器超过 68000 余台，受害总数达 9750 台。其中，美国 4380 台，中国第二为 944 台，其余来自法国、爱尔兰和新加坡等地。此次事件后，1...阅读全文
作为社区 RoadMap 的重要组成部分，是大数据实时化必然的趋势。但是另一方面，传统离线的计算需求其实并不会被实时任务完全取代，而是会长期存在。 在实时和离线的需求同时存在的状态下，以往的流批独立技术方案存在着一些痛点，比如： 需要维护两套系统，相应的就需要两组开发人员，人力的投入成本很高； 另外，两套数据链路处理相似内容带来维护的风险性和冗余； 最重要的一点是，如果流批使用的不是同一套数据处理系统，引擎本身差异可能会存在数据口径不一致的问题，从而导致业务数据存在一定的误差。这种误差对于大数据分析会有比较大的影响。 在这样的背景下，Flink 社区认定了实时离线一体化的技术路线是比较重要的技术趋势和方向。 Flink 在过去的几个版本中，在流批一体方面做了很多的工作。可以认为 Flink...阅读全文
。Rosco 基于 Packer 的镜像创建服务，她将一个 Debian 或者 RedHat 的包封装到虚拟机镜像中，这个过程有点像烘焙，所以也叫 image bake。Front50 存储所有pipeline，应用，通知的原信息。Igor 对接 Jenkins 的服务，比如 pipeline 中需要调用 jenkins，那么就依赖这个服务。Echo 提供通知服务，对接各种各样的服务商：Slack, Hipchat, SMS (via Twilio) , Email。Rush 脚本执行引擎。 管理方法 Spinnaker 看起来也是一个复杂的微服务架构，由不少服务组成，所以本身也遵循一些运维准则： 每个 Spinnaker 的服务（如 deck，gate，orca）都运行在独立的 cluster 中...阅读全文
火墙等），OSSEC作为强大的日志分析引擎是一个不错的选择。后来的发行版增加了用于基于debian的系统的身份验证日志文件，以及用于分析（3.6.0）的非标准Sophos UTM时间戳，用于缩进日志的多行日志收集（3.5.0）以及对多行的其他升级。记录。2. Tripwire顾名思义，这是Tripwire开发的基于主机的免费开放源代码检测系统。该公司也提供商业解决方案，但我们将专注于开源HIDS。开源的Tripwire软件包仅在几乎所有Linux发行版上运行。它以确保数据完整性的强大功能而闻名，它可以帮助系统管理员检测对系统文件的更改，并在文件损坏或被篡改时通知他们。要将其安装在Linux主机上，只需使用apt-get或yum实用程序。在安装过程中，系统将要求您添加必需的密码。最好选择一个...阅读全文
的，愚蠢的计算机操作员。 [6]指乐于分享，懂得专研和回报的人。 [7]人必自助而后人助之，而后天助之。出自《周易·系辞上》 提问前需要做的事情 在通过邮件、讨论组、论坛或社区提问之前，请先尝试做以下事情寻找答案： 使用论坛、知乎、百度知道、Quaro的搜索功能； 善用google、百度或其他搜索引擎在网络搜寻； 阅读说明书或者使用手册； 阅读网站上「常见问题解答」（FAQ）； 自己检查或做试验； 请教熟悉此问题的朋友； 如果你是程序员，尝试阅读源代码。 提问时，请先表明你已做了上述事情，这将有助于改变你是懒又肥的寄生虫形象，同时给别人一种你不会浪费别人时间的印象。提问时最好再总结一下你从中学到的东西 ，我们喜欢那些善于学习总结的人，也喜欢回答他们提出的问题。 运用搜索策略，比如利用...阅读全文
给了你更多的控制，但这种便利是有成本的。 像 Studio 3T 这样的工具使构建准确的 MongoDB 聚合查询变得更容易。它的聚合编辑器特性使你可以一次对一个阶段应用管道操作符，你可以在每个阶段验证输入和输出，更便于调试。 使用快速写 永远不要把 MongoDB 设为低稳定性的高速写。看上去，“file-and-forget”模式使得写入速度变快了，因为命令在实际写入任何东西前就返回了。如果系统在数据写入磁盘之前崩溃了，就会丢失，存在出现不一致状态的风险。所幸，64 位的 MongoDB 启用了“日志（Journaling）”。 MMAPv1 和 WiredTiger 存储引擎都使用日志预防上述情况，不过，在日志关闭的情况下，WiredTiger 也可以在还原过程中恢复到最后一致的 检查...阅读全文
一、0xcc开篇 2020年3月，得物技术团队在三个月的时间内完成了整个交易体系的重构，交付了五彩石项目，业务系统也进入了微服务时代。系统服务拆分之后，虽然每个服务都会有不同的团队各司其职，但服务之间的依赖也变得复杂，对服务治理等相关的基础建设要求也更高。 对服务进行监控是服务治理、稳定性建设中的一个重要的环节，它能帮助提早发现问题，预估系统水位，以及对故障进行分析等等。从 2019 年末到现在，得物的应用服务监控系统经历了三大演进阶段，如今，整个得物的应用微服务监控体系已经全面融入云原生可观测性技术 OpenTelemetry。 回顾过去十年间，应用服务监控行业的竞争也很激烈，相关产品如雨后春笋般涌现，如推特在 2012 年开源的 Zipkin，韩国最大的搜索引擎和门户网站 Naver...阅读全文
统资源，所以，随着客户端的增多，其性能也就越差。 而边缘触发，由于监控的是FD的状态变化，所以整体的系统通知并没有那么频繁，高并发下整体的性能表现也要好很多。但是由于此模式下，用户需要积极的处理好每一笔数据，带来的维护代价也是相当大的，稍微不注意就有可能出错。所以使用起来须要非常小心才行。 至于二者如何抉择，诸位就仁者见仁智者见智吧。 行文到这里，关于epoll的讲解基本上完毕了，大家从中是不是学到了很多干货呢？ 由于从netty研究到linux epoll底层，其难度非常大，可以用曲高和寡来形容，所以在这块探索的文章是比较少的，很多东西需要自己照着man文档和源码一点一点的琢磨（linux源码详见eventpoll.c等）。这里我来纠正一下搜索引擎上，说epoll高性能是因为利用mmap技...阅读全文
解决这个问题之前，我们依赖于传统的工作流引擎。比如，一个工作流列出部署新二进制文件的步骤：在集群X上做金丝雀测试，然后将N部署到集群Y和Z上，运行测试等等。 创建工作流本身就需要大量工作，因此我们只为经常需要做的事情创建工作流，比如二进制文件的版本更新。我们通常手动处理不那么常见的情况，比如重启。已有的脚本经常会过期而不再适用。 对于运维人员来说，这些工作流很容易实现：做X，然后Y。想要添加压力测试？只需要添加一个步骤。但是随着工作流使用规模的扩大，它的问题也显露出来。 首先，扩展工作流会造成很多重复。每个服务都有很好的理由要求一些特殊逻辑，这意味着需要定制化的实现。尝试了几次整合工作流的实现，但是只有适用于某个特定模型的服务才能使用。这样导致的重复让服务变得不一致。最佳实践，比如跨集群的有...阅读全文
GitHub 的联合创始人 Tom Preston-Werner 用 Ruby 编写的，根据开源 MIT 许可发行。 Jekyll 是一个解析引擎，打包为一个 Ruby gem，用来从动态组件（例如模板、部件、液态代码、markdown 等）构建静态网站。Jekyll 被称为“简单、博客型的静态站点生成器”。 Google Sites Google Sites 是谷歌提供的结构化 Wiki 和网页创建工具。Google Sites 宣称的目标是让任何人都能够创建让不同编辑者协作的简单网站。 你们可以一起用它为团队、项目或活动创建引人入胜的高质量站点。这些网站在各种设备的屏幕上看起来都很漂亮——所有这些工作都无需学习设计或编程知识。 小结 本文介绍整个 DevOps 工具链——包括规划工具、问题跟踪工具...阅读全文
导语 | kafka3.0的版本已经试推行去zk的kafka架构了，如果去掉了zk，那么在kafka新的版本当中使用什么技术来代替了zk的位置呢，接下来我们一起来一探究竟，了解kafka的内置共识机制和raft算法。一、Kafka简介Kafka是一款开源的消息引擎系统。一个典型的Kafka体系架构包括若干Producer、若干Broker、若干Consumer，以及一个ZooKeeper集群，如上图所示。其中ZooKeeper是Kafka用来负责集群元数据的管理、控制器的选举等操作的。Producer将消息发送到Broker，Broker负责将收到的消息存储到磁盘中，而Consumer负责从Broker订阅并消费消息。（一）Kafka核心组件producer：消息生产者，就是向broker...阅读全文
