eBPF 网络堆栈pwru
pwru 是 Cilium 推出的基于 eBPF 开发的网络数据包排查工具，它提供了更细粒度的网络数据包排查方案。本文将介绍 pwru 的使用方法和经典场景，并介绍其实现原理。...阅读全文
InfraPub 为您找到相关结果 633 个
Python Web 框架 Flask 1.0 正式发布
多线程处理开发过程中的并发请求。 之前不推荐使用的 flask.ext 已被完全删除。 在调试模式下访问 request.form 的缺失密钥时会显示更有用的错误提醒，以避免开发者混淆常见的错误来源。 app.logger 的行为已大大简化，更容易定制。 test_client 新增用于发布 JSON 数据的 json 参数，Response 对象新增 get_json 方法来在测试中将数据解码为 JSON 。 新增 test_cli_runner ，用于测试应用程序的 CLI 命令。 大量文档已被重写，更清晰明了。这是一项长期持续的工作。 教程和相应的示例已被重写。新的示例使用结构化布局并详细介绍每个方面，以帮助新用户更好地规避常见问题并适应 Flask 。 细节请查阅发行说明...阅读全文
使用 cURL 对Web请求进行性能测试
time 可以看到 time_total 的细节： time curl --silent -o /dev/null http://www.github.com/ real 0m0.022s user 0m0.004s sys 0m0.002s 通常情况 Benchmark 一次的数据并不可靠，可以配合 for loop 发送多次请求。 curl 默认发送 GET 请求，也可以发送 POST, DELETE, PUT 或者更多的请求方式。 使用 curl -w 查看更多的网络情况 通常情况下一个 HTTP Request 会包含很多步骤，如果想知道 time_total 之外更详细的信息，可以参考 man curl 文章中， -w --write-out
Debian 9 Stretch 发布，献给已故的创始人 Ian
Debian 发行版宣布正式释出代号为 Stretch 的 Debian 9，该版本将提供五年的支持。Stretch 将专门献给于 2015 年 12 月 28 日去世的项目创始人 Ian Murdock。Stretch 的主要变化包括：默认 MySQL 变种改为 MariaDB；Firefox 和 Thunderbird 替代去品牌名的版本 Iceweasel 和 Icedove， 九成以上的源包用逐位对应的方式构建，未来版本的 Debian 还将提供验证包的工具和元数据；X 显示系统不再需要 root 权限运行；GnuPG 经典版本将被淘汰，引入的现代版本增加了椭圆曲线加密，改进默认设置，模块化架构，改进智能卡支持；改进 UEFI 支持等。 软件方面的变化包括：Apache...阅读全文
Linus Torvalds谈ECC内存的重要性 痛斥英特尔
是说谎的混蛋，这些问题已经存在了好几代了，但这些混账的家伙却乐此不疲地把坏掉的硬件卖给消费者，并声称这是一种 "攻击性的市场策略"，而实际上翻译一下就是'我们在偷工减料'。" Torvalds继续在他的长文中说："'现代DRAM非常可靠，不需要ECC'一直都是小孩子的睡前故事，翻车的次数不是一次两次。是的，我为此很生气。你可以找到我抱怨这个的字面意思，已经几十年了。我不想说'我是对的'。我希望这个问题得到解决，我希望有ECC，而AMD做到了。英特尔没有。" 他的评论赞扬了AMD更广泛地支持ECC内存，尤其是在消费类台式机硬件上配备，而英特尔的市场细分显而易见扼杀了大多数消费市场产品对ECC内存的采用。 这些言论是在Torvalds还在AVX-512问题上抨击英特尔几个月后发表的。也是在...阅读全文
Apache Superset 成为 ASF 顶级项目
Apache 软件基金会宣布 Apache Superset 成为顶级项目 (Top-Level Project, TLP)。 Apache Superset 是一款现代化的开源数据工具，用于数据探索和数据可视化。它提供了简单易用的无代码可视化构建器和声称是最先进的 SQL 编辑器，用户可以使用这些工具快速地构建数据仪表盘。 Apache Superset 将 SQL IDE、数据浏览工具、拖拽式仪表板编辑器和插件组合使用，以构建自定义的可视化效果，支持从许多关系数据库和非关系数据库中创建仪表板，这些数据库包括 SQLite、MySQL，以及 ClickHouse、Google BigQuery、Snowflake、Oracle 数据库、IBM DB2 和其他各种兼容的数据源，并且可以连接...阅读全文
Go 公布 2.0 设计草案：规模化和扩展性、支持泛型
，Go 1 更多的是确保能快速构建包含很多独立软件包的程序。Go 2 的目标是通过允许带有类型参数的参数多态来解决编写 Go 库的问题，这些问题抽象出了不必要的类型细节。 此外，除了预期的容器类型之外，开发团队还希望能编写有用的库来操作任意的 map 和 channel 值。理想方案是编写能够同时操作 [ ]byte 和 string 值的多态函数。 type List(type T) []T func Keys(type K, V)(m map[K]V) []K 更多细节请查阅Golang 2 设计草案页面。...阅读全文
Kong发布新项目Kuma 通用的服务网格
追踪和日志功能，以此为快速调试提供监控数据支持。精细的路由和控制 ：Kuma 提供细粒度的流量控制功能，支持四层路由的熔断和健康检查。 Kuma 由 Kong 开发并提供支持，通过简化服务间的通信，以实现使数据随时随地可用的愿景。Kuma 的开发基于 150 余个企业在生产环境中使用服务网格的积累的经验。在未来 Kong 也会继续向 Envoy 贡献代码。 阅读 入门指南 了解 Kuma 服务网格的使用方法。...阅读全文
InfluxDB 的 percentile 函数详解
官方文档的说明并不详细: https://jasper-zhang1.gitbooks.io/influxdb/content/Query_language/functions.html 实际百分位取第几位的值参考如下 PERCENTILE(field_key, N) 选取某个字段中大于N%的这个字段值。 如果一共有4条记录，N为10，则10%*4=0.4，四舍五入为0，则查询结果为空。N为20，则 20% * 4 = 0.8，四舍五入为1，选取的是4个数中最小的数。如果N为40，40% * 4 = 1.6，四舍五入为2，则选取的是4个数中第二小的数。 由此可以看出N=100时，就跟MAX(field_key)是一样的，而当N=50时，与MEDIAN...阅读全文
TSLv 1.3 网络安全标准通过 带来更安全的网络环境
）握手，客户端利用PSK导出密钥，在第一轮就发送秘密数据，降低了握手的延迟。在此之后还可以继续进行（EC）DHE的密钥交换完成完整的握手（该步为可选）。 整个标准长达 155 页，如果您想仔细阅读或详细了解其中一项新功能，可在此处找到。...阅读全文
俄罗斯逮捕了一名 Debian 开发者
Debian 项目发表新闻稿，对一名活跃开发者遭俄罗斯当局逮捕表达了关切。Dmitry Bogatov 是一名数学教师和活跃 Debian 贡献者，他在 Debian Haskell 组工作，维护了多个软件包。 Debian 表示，他们正在等待更多有关此案的细节，希望程序正当，Bogatov 能得到公平对待。 出于安全方面的考虑，Debian 项目宣布移除 Bogatov 持有的密钥，Debian 项目将全力支持他及其家人。...阅读全文
Grafana 6.4.4 发布，系统指标监控与分析平台
Grafana 6.4.4 发布了，Grafana 是一个功能丰富的指标标准仪表板和图形编辑器，用于分析和监控 Graphite、Elasticsearch、OpenTSDB、Prometheus 和 InfluxDB。 新版本更新说明如下： Bug Fixes DataLinks：修复模糊问题 #19883Docker：使解析 Docker 镜像中的时区成为可能 #20081LDAP：即使其中一个返回连接错误，也应尝试所有 LDAP 服务器 #20077LDAP：不再根据调试页面中的角色显示不正确匹配的组 #20018Singlestat：修复无数据/空值映射 #19951 详细更新说明：https://github.com/grafana/grafana/releases/tag...阅读全文
Kiwi TCMS 6.11发布 开源测试用例管理系统
隆时，始终保留测试用例的原始默认测试器、重构为基于类的视图、修复了版本值在 b/c 验证中失败的问题、修复了在 UI 中显示错误版本值的问题。将 Clone TestCase 页面转换为 Patternflix，极大地简化了 UI 和更新行为：允许克隆成多个测试计划、删除“Filter another plan”选项，将改为“Add TP to TC”、克隆的 TC 将显示在 TestPlan 的底部、始终保持原来的默认测试器 API RPC 方法 Bug.Report() 的第一个参数已从 test_case_run_id 重命名为 Execution_id。这可能会破坏现有的 API 脚本，这些脚本试图通过名称而不是位置传递此参数 Settings 允许 ENV 变量...阅读全文
分布式 NewSQL 数据库 TiDB
时，进行 rename table 时潜在的问题修复多数据路径配置下进行 rename table 会导致数据丢失的问题修复某些场景下 TiFlash 存储空间上报错误的问题修复开启 Region Merge 情况下从 TiFlash 读取时潜在的问题ToolsTiDB Binlog修复因为 TiFlash 相关的 DDL job 导致 Drainer 同步中断的问题 #948 #942BR修复关闭 checksum 情况下，仍然执行 checksum 的问题 #223修复 TiDB 开启 auto-random 或 alter-pk 时，增量备份失败的问题 #230 #231 详细更新说明请参考官网说明，点击这里访问 TiDB 的详细文档。...阅读全文
GIMP 2.10.22发布 首次支持AVIF图像
，GIMP 2.10.22 还改进了对 HEIC 格式的支持、更好的多层 TIFF 导出、并继续改进对 Adobe PSP 文件格式的支持、更好地处理 EXIF 元数据中的方向数据以及其他小改动。 希望了解更多关于开源图像编辑器GIMP 2.10.22变化的细节和下载，请访问GIMP.org。 `...阅读全文
SQLite 3.30.0 发布，使用最广泛的数据库引擎
SQLITE_DBCONFIG_ENABLE_VIEW，并从 TCL 控制其他 sqlite3_db_config() 选项为应用程序定义的 SQL 函数添加了 SQLITE_DIRECTONLY 标志，以防止在触发器和视图中使用这些函数现在，旧版 SQLITE_ENABLE_STAT3 的编译时选项为空 详细的更新说明请参考这里。...阅读全文
西数今年推出20TB HDD硬盘：MAMR革命来临
的，还是基于CMR传统磁记录，型号为UltraStar DC HC550系列。 另外一款容量高达20TB，但是会使用SMR叠瓦式磁记录技术，型号为Ultrastar DC HC650系列，这就有点让人不太爽了，SMR技术现在也是过街老鼠，发烧友对SMR硬盘的可靠性并不放心。 西数两款MAMR硬盘今年内出样，年底交付给客户测试，预计明年上半年会正式上市，目前还没有详细的规格及售价。...阅读全文
说透IO多路复用模型_京东云开发者的博客
){ pollfds[0].revents = 0; ret = recv(connfd,buff,sizeof(buff)-1,0); printf("receive %d bytes from client: %s \n",ret,buff); } } 由于源码中，我做了比较详细的注释，同时将和select模型不一样的地方都列了出来，这里就不再详细解释了。总体说来，poll模型比select模型要好用一些，去掉了一些限制，但是仍然避免不了如下的问题： 用户态和内核态仍需要频繁切换，因为revents的赋值是在内核态进行的，然后再推送到用户态，和select类似，整体开销较大。 仍需要遍历数组，时间复杂度为O（N）。 epoll模型 如果说select模型和poll模型是早期的产物，在性能上有诸多不尽人意之...阅读全文
Debian 在其内核中测试启用 WireGuard
WireGuard.com 安装页面以获取设置详细信息。 WireGuard 是一个 VPN 内核实现，代码行数少，优先考虑性能，配置简单，试图在做到配置简单的同时提供高性能。WireGuard 基于 UDP，数据包在一端加密之后封装在 UDP 包内发送到远程端点，然后解密。...阅读全文
RethinkDB的简单介绍
，TokyoTyrant及Schooner Membrain等。RethinkDB为各种应用压力下提供高性能和高可靠性 支持，主要应用在下面一些场景： 用来处理一些其它方案无法解决的服务负载（如：要求快速的服务启动，在数据量超出内存大小后还要有高的性能，处理各种不稳定的读写压力，处理大量数据等） 提供性能与数据稳定性之间的精细调控 大大提高你的缓存层和key-value存储的性能，在你现有的硬件条件下，能支持更高的应用负载。 使用费用 RethinkDB目前提供两个版本的支持，一个免费版的，一个商用版的。商用版本的价格是每年每台机器$1500。免费版提供目前所有功能，提供后续所有安全相关的升级。但是新功能的升级只保证在付费版本中保持更新，另外商用版本还提供技术支持。...阅读全文
Debian GNU/Linux 8.8 发布，超 90 项安全更新
Debian 项目宣布其稳定发行版 Debian 8（代号 jessie）已经发布第八次更新。该版本是 Jessie 系列最新的稳定版本，包含超过90项安全更新，68个错误修复。 请注意，此更新不构成 Debian 8 的新版本，而是仅更新部分软件包。所以没有必要丢弃旧的 jessie CD 或 DVD，只需在安装后通过 up-to-date Debian 镜像进行更新。 经常从 security.debian.org 安装更新的用户不必更新许多软件包，并且大多数来自 security.debian.org 的更新都包含在本次更新中。 在线升级到此版本通常是通过将 aptitude（或apt）软件包工具（请参阅 sources.list(5) 手册页）指向 Debian 的许多 FTP 或...阅读全文
Debian Policy更新：新增多样性systemd初始化系统投票内容
上个月 Debian 开发团队就是否支持非 systemd 初始化系统的问题进行了投票，最后达成的共识是“选择 systemd 但同时探索替代方案”，而 Debian Policy 近期的更新也反映了这一点。 Debian Policy 4.5 是最新的版本，其中包含对“选择 systemd 但同时探索替代方案”这一投票结果响应的指南。 最新的 Debian Policy 手册指出，带有系统服务的软件包应该包括 systemd 服务单元，如果没有 systemd 单元，则鼓励使用 init 脚本，否则是可选的。此外，手册还鼓励 init 脚本支持"status"参数。如果软件包包含 init 脚本，则要求使用 update-rc.d。 Debian Policy 还有一个值得关注的更新是...阅读全文
NSA 的 Python 手册
Python 开发者现在可以观摩下美国情报机构 NSA 是如何培训 Python 程序员的。软件工程师 Chris Swenson 根据信息自由法案递交申请，要求访问 NSA 的 Python 培训材料，结果收到了 400 页经过编辑的 NSA COMP 3321 Python 培训课程打印资料。 Swenson 扫描了打印稿，用 OCR 进行识别，确保数字档案可搜索，将其托管在 Digital Oceans Spaces，之后又被上传到了互联网档案馆。Swenson 称他问 NSA 索要 Python 培训材料纯粹是出于好奇。 Python 开发者 Kushal Das 观摩之后摘录些有趣的细节：NSA 有内部的 Python 包索引，其 GitLab 实例是...阅读全文
如何查看系统启动的准确时间？
比较糙的方法，是直接用 uptime， 或者 who -b 这样的命令 样例， ``` [centos@new-py ~]$ uptime 01:17:00 up 12 days, 17:48, 1 user, load average: 1.08, 1.13, 1.14 [centos@new-py ~]$ who -b system boot 2022-12-22 07:28 ``` 细致一点的方法是，通过 /proc/uptime 计算系统启动的准确时间。 ``` cat /proc/uptime 5113396.94 575949.85 ``` 第一数字即是系统已运行的时间5113396.94 秒，运用系统工具 date 即可...阅读全文
Kafka 常用命令行工具
创建主题kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic infras_cn 查看所有主题kafka-topics.sh --zookeeper localhost:2181 --list 查看指定主题的详细信息kafka-topics.sh --zookeeper localhost:2181 --topic infras_cn --describe 命令行生产者kafka-console-producer.sh --broker-list localhost:9092 --topic infras_cn 行消费者消费所...阅读全文
OpenSSL 1.1.1 LTS 版本发布，支持 TLS v1.3
OpenSSL 1.1.1 已发布，这是新的长期支持版本（LTS），开发团队承诺至少提供五年支持。自 1.1.0 发布以来，已有超过 200 位个人贡献者提交了近 5000 个 commits。OpenSSL 1.1.1 最重要的变化就是添加对 TLS v1.3 (RFC8446) 的支持。 TLS v1.3 的优势包括： 由于减少了客户端和服务器之间所需的往返次数，缩短了连接时间。 在某些情况下，客户端能够立即开始将加密数据发送到服务器而无需与服务器进行任何往返（称为 0-RTT 或“early data”）。 由于删除了各种过时和不安全的加密算法及握手加密，提高了安全性。 OpenSSL 1.1.1 其他亮点包括： 完全重写 OpenSSL 随机数生成器以引入以下功能： The...阅读全文
bmon：一个强大的网络带宽监视和调试工具
(初学者说明：RX 表示每秒接收数据，TX 表示每秒发送数据)： $ bmon bmon - Linux 带宽监视按 d 键可以查看更详细的带宽使用情况的图形化统计信息，参考下面的截图。 bmon - Detailed Bandwidth Statistics按 Shift + ? 可以查看快速指南。再次按 Shift + ? 可以退出(指南)界面。 bmon – 快速指南通过 Up 和 Down 箭头键可以查看特定网卡的统计信息。但是，要监视一个特定的网卡，你也可以像下面这样作为命令行参数指定。 选项 -p 指定了要显示的网卡，在下面的例子中，我们会监视网卡 enp1s0： $ bmon -p enp1s0 bmon – 监控以太网带宽要查看每秒位数而不是每秒字节数，可以像下面这样使用 -b...阅读全文
Memcache UDP反射放大攻击技术分析
本篇技术blog，由360信息安全部0kee Team、360网络安全研究院、360-CERT共同发布。Memcache UDP 反射放大攻击（以下简称 Memcache DRDoS）在最近的一周里吸引了安全社区的较多注意。以下介绍我们对该类型攻击观察到的情况。 在PoC 2017 会议上的原始报告 Memcache DRDoS，由360信息安全部0kee Team在2017-06 附近首先发现，并于 2017-11 在 PoC 2017 会议上做了公开报告。会议报告在 这里，其中详细介绍了攻击的原理和潜在危害。 在这份文档中，作者指出这种攻击的特点： memcache 放大倍数超高，至少可以超过50k； memcache 服务器（案例中的反射点）数量较多，2017-11时估算全球约有...阅读全文
Zoom 5.0是重大更新 增强加密功能提供更多安全选项
Zoom 视频通信公司日前公布了 Zoom 5.0 的详细信息，这是对其视频会议客户端的一次重大更新，以解决最近几周发现的许多安全和隐私问题。在即将发布的版本中，用户可以从增加的 AES 256 位 GCM 加密功能中受益，同时还可以选择通话路由。 Zoom 的首席运营官 Oded Gal 表示，Zoom 从整体上考虑用户的隐私和平台的安全性。从 Zoom 网络到 Zoom 功能集到用户体验，所有的一切都要经过严格的审查。在后端，AES 256 位 GCM 加密技术将提升用户数据在传输过程中的安全标准。在前端，Zoom 最兴奋的是会议菜单栏中的安全图标。这将会把所有安全功能，无论是现有的还是新的，都放在会议主持人的前面和中心位置，这将确保用户可以在会议中即时访问重要的安全控制功能...阅读全文
Linux 5.2.1 发布 最新的稳定版内核
在 Linux 5.2 发布一周后，第一个修订版本 5.2.1 也已经发布了，用来处理各种错误/回归。需要注意的是5.2并非长期支持（LTS）分支，推荐注重稳定的用户还是使用当前的LTS内核。 5.2.1版只是修改一些小小的问题，主要有以下方面： 修复 Perf减少 RTL 8712 驱动程序的堆栈使用fscrapt 将不再为 dead 目录设置策略还有一个新的文档部分，详细说明了 Spectre 的 CPU 漏洞 完整列表查看发布说明。 Linux Kernel 5.2的亮点包括Sound Open Firmware，这是一个支持DSP音频设备的开源固件。此外还新增了用于挂载文件系统的新挂载API，面向ARM Mail设备的全新开源GPU驱动，在EXT4文件系统中支持不区分大小写，以及对...阅读全文
新改进让Linux 5.10能更快地休眠以及恢复工作
如果你经常让你的系统经历休眠周期，那么从即将开始的 Linux 5.10 周期开始，性能应该会好很多。在即将到来的Linux 5.10合并窗口中，有一个变化允许对休眠/恢复的I/O请求进行批处理，以加快休眠和恢复进程。 到目前为止，Linux 内核依靠为每一页数据提交单独的 I/O 请求，但现在 Linux 5.10+ 的时候，它设置为使用 batch 与 blk_plug。 开发者Xiaoyi Chen的内核补丁解决了这一问题：合并I/O请求让系统休眠和恢复的速度提升了一个数量级以上。在使用的32GB内存中，16GB内存的一个休眠和恢复周期在改变前需要21分钟左右，在存储IOPS有限的系统上，改变后仅需要1分钟。" Xiaoyi Chen在亚马逊EC2旗下主导了这项工作，这项改变是在系统...阅读全文
AD：为什么说 CoinEx 是一家很有潜力的数字货币交易所？
年7月 更是登顶全球交易所交易量排名榜首，成为全球产品布局最广泛的管理平台之一。与此同时，[CoinEx](http://cet.im) 已经是一个提供币币交易、杠杆交易、永续合约等多元化衍生品交易服务，支持中/英/日/韩/俄等多国语言，为全球超过一百个国家和地区提供安全、稳定、可信赖的数字资产交易服务。 在当前的大环境下，CET飙涨一路绿灯，CET及其背后的全球数字货币交易平台CoinEx走进了更多人的视线中；同样受到关注的，还有 CoinEx 即将推出的全新支持智能合约的智能链 [CoinEx Smart Chain（CSC）](https://www.coinex.org/)。市场利好条件虽说是推动 CET 币价的因素之一，但更加关键的还是CoinEx这股厚积薄发的力量。 下面就详细为...阅读全文
Google 关于 Go 2 的讨论
Go 1规范还存在，他们的程序将可以继续编译并正确运行。现在，要设计的Go 2规范，存在破坏与1.x兼容的可能性。Cox认为需要谨慎选择新特性。 Go 2必须带动所有开发者[包括使用Go 1.x的开发者]。只有回报足够丰富，我们才能要求他们放弃旧有习惯，来学习Go 2的新特性。 Go 2还必须兼顾所有现有的Go 1源代码。 我们不能分裂Go生态系统。在混合型的项目中，用Go 2 写的包中导入了用Go 1写的包，或者相反的情况，这种情况必须要在多年的过渡期中正常运行。我们必须弄清楚如何做到这一点，自动化工具像go fix一定会发挥作用。 为了避免引起混乱，Google将新功能的数量限制为“两到三个”，一定不超过五个“，”每一个变化都需要仔细的思考，规划和工具化“。 这些功能不包括“允许使用更加口...阅读全文
10年来最重要创新 ARM发布AMRv9指令集：IPC性能大涨30%
，ARM会增加更多高级功能，比如VRS可变帧率渲染、RT光线追踪及其他高级渲染技术等。在ARMv9中，最重要的一项挑战其实是数据安全，这一次ARM推出了全新的CCA机密计算体系架构，基于之前的TrustZone安全技术，但引入了动态域技术，它对操作系统及管理程序来说是完全不透明的，不会被系统或者软件提权攻击，而且依然可以接受管理及调度。总之，ARM今天公布的ARMv9指令集极具创新，是未来10年3000多亿ARM芯片的基础，不过现在具体的细节还很少，只是一个初步的路线图，今年夏天还会公布更多详细内容。至于ARMv9处理器的商业化，预计会在2022年早些时候进入市场。...阅读全文
360开源企业级 Kubernetes 集群管理平台 Wayne
以同时管理多个 Kubernetes 集群，更方便地管理多个集群。 丰富的权限管理 ：将资源抽象化为部门、项目级别，角色的权限可以更细化的控制，适用于多部门、多项目的统一集中管理。 多种登录模式 ：支持企业级 LDAP 登录、支持 OAuth2 登录，支持数据库登录多种模式。 完备的审计 ：所有操作都会有完整的审计功能，方便追踪操作历史。 开放平台 ：支持 APIKey 开放平台，用户可自主申请相关 APIKey 并管理自己的项目。 多层次监控 ：提供多级别的监控统计信息，实时关注集群的运行状态。 架构图 整体采用前后端分离的方案： 前端采用 Angular 框架进行数据交互和展示，使用 Ace 编辑器进行 Kubernetes 资源模版编辑。 后端采用 Beego 框架做数据接口处理，使用...阅读全文
得物云原生全链路追踪Trace2.0-采集篇 - OSCHINA
Grafana 图表工具，做到了灵活的指标监控，融合基础框架，让业务方开箱即用…然而，我们说第二阶段是基于 OpenTracing 全链路采样监控，随着业务的高速发展，这套架构的不足点也逐渐显露出来。 3.3 架构特点 体验层面 指标：覆盖面广，维度细，能清晰地根据各模块各维度来统计分析，基本做到了监控灵活的图表配置需求。但不可否认它是一种时序聚合数据，无法细化为个体。假如在某个时间点发生过几次高耗时操作，当吞吐量达到一定时，平均耗时指标曲线仍然趋于平稳，没有明显的突出点，导致问题发现能力降低。 链路：1%的采样率使得业务服务基本不会因调用链发送量大而导致性能问题，但同时也往往无法从错误，高耗时的场景中找到正好采样的链路。期间，我们曾经考虑将头部采样策略改为尾部采样，但面临着非常高昂的 SDK 改造成本...阅读全文
Apache Flink 1.14 新特性预览 - OSCHINA
作为社区 RoadMap 的重要组成部分，是大数据实时化必然的趋势。但是另一方面，传统离线的计算需求其实并不会被实时任务完全取代，而是会长期存在。 在实时和离线的需求同时存在的状态下，以往的流批独立技术方案存在着一些痛点，比如： 需要维护两套系统，相应的就需要两组开发人员，人力的投入成本很高； 另外，两套数据链路处理相似内容带来维护的风险性和冗余； 最重要的一点是，如果流批使用的不是同一套数据处理系统，引擎本身差异可能会存在数据口径不一致的问题，从而导致业务数据存在一定的误差。这种误差对于大数据分析会有比较大的影响。 在这样的背景下，Flink 社区认定了实时离线一体化的技术路线是比较重要的技术趋势和方向。 Flink 在过去的几个版本中，在流批一体方面做了很多的工作。可以认为 Flink...阅读全文
基于树莓派并支持触屏的模块化 PC：Zero Terminal 3
（用于充电）microSD 读卡器（用于操作系统）3.5 毫米耳机插孔视频输出相机接口2 个电源指示灯3 个可编程按键（连接到 Raspberry Pi Zero 的 GPIO pins）电源开关 NODE 还发布了一个视频，展示了 Zero Terminal 3 的详细组装过程。目前，Zero Terminal 3 并未上市销售，不过 NODE 表示，他计划提供更多细节和说明，以帮助大家来构建自己的 Zero Terminal 设备和模块化附件。 更多详细介绍可查看：https://n-o-d-e.net/zeroterminal3.html...阅读全文
在 Debian Stretch 上设置自动升级
不少博主，出于安全、稳定的考虑，在自己的服务器上使用了 Debian 操作系统。我们知道，对于多数应用环境，特别是 LNMP 环境，绝大多数安全更新可以自行安装，本文我们将详细介绍，如何在 Debian 环境下自行下载安装最新的系统安全补丁。 首选，我们安装关联的系统包 命令如下； apt -y install unattended-upgrades apt-listchanges apticron 安装完成后，编辑未完成的升级配置: vi /etc/apt/apt.conf.d/50unattended-upgrades 将下面的内容粘贴到这个文件中，然后用它修改条目，记得移除那些小行星。 APT::Periodic::Update-Package-Lists "1"; APT...阅读全文
Google 开源漏洞扫描系统 Tsunami
谷歌已宣布将其内部使用的 Tsunami 漏洞扫描程序进行开源，以帮助其他组织保护用户数据。Tsunami 将不会成为谷歌的正式品牌产品，而是由开源社区以类似于管理 Kubernetes（另一种谷歌内部工具）的方式来维护。 “我们已经向开源社区发布了 Tsunami 安全扫描引擎。我们希望该引擎可以帮助其他组织保护其用户数据。我们还希望促进协作，并鼓励安全界在 Tsunami 之上创建和共享新的探测器。” 与其他漏洞扫描程序不同的是，Tsunami 本就是秉承着以大型企业为使用对象的初衷而进行构建的，旨在查找包含数十万个设备的大型网络中的漏洞。谷歌方面表示，其设计的漏洞扫描程序具有极强的适应性，Tsunami 能够扫描多种设备类型，而无需为每种设备运行不同的扫描仪。 Tsunami 在扫描...阅读全文
ISTIO 1.1 正式版今日发布
global.outboundTrafficPolicy.mode 参数，用于定制 Egress 通信的缺省行为，目前的缺省值为 ALLOW_ANY，即允许全部 Egress 通信。 新增 Sidecar 资源 目前版本中，Sidecar 会包含整个网格内的服务信息，在 1.1 中，新建了 Sidecar 资源，通过对这一 CRD 的配置，不但能够限制 Sidecar 的相关服务的数量，从而降低资源占用，提高传播效率；还能方便的对 Sidecar 的代理行为做出更多的精细控制——例如对 Ingress 场景中的被代理端点的配置能力。 ExportTo 多个路由管理对象加入了这一字段，用于指定该资源的生效范围。 路由的区域感知能力 新增了对 AZ/Region 等的区域感知能力，降低跨区请求造成的性能损耗。 对 TCP 服务提供鉴权支持 在既有的 HTTP...阅读全文
MySQL 8 第一个正式版发布：更好的性能
MySQL 8.0 系列的首个正式版 8.0.11 已发布，官方表示 MySQL 8 要比 MySQL 5.7 快 2 倍，还带来了大量的改进和更快的性能！ 需要注意的是从 MySQL 5.7 升级到 MySQL 8.0 仅支持通过使用 in-place 方式进行升级，并且不支持从 MySQL 8.0 降级到 MySQL 5.7（或从某个 MySQL 8.0 版本降级到任意一个更早的 MySQL 8.0 版本）。作为替代方案，在升级之前请对数据进行全量备份。 本文简要介绍 MySQL 8 中值得关注的新特性和改进。 1. 性能：MySQL 8.0 的速度要比 MySQL 5.7 快 2 倍。MySQL 8.0 在这些方面带来了更好的性能：读/写工作负载、IO 密集型工作负载、以及高竞争...阅读全文
GitHub 发布10月21日系统故障分析报告
都包含了其它数据中心中不存在的写入，因此无法安全地将主要数据库故障转移到美国东海岸数据中心。 GitHub 工程师发现问题后进行了一系列抢救措施，“最终没有用户数据丢失，但是，几秒钟的数据库写入的手动协调仍在进行中。” GitHub 对所有受影响的用户表示歉意，并表示“我们已经吸取了教训，并且采取了一系列急救措施，我们希望更好地确保不再发生类似情况。” 同时 GitHub 也表示接下来将解决由此导致的数据不一致问题。详细分析与事件时间线请查阅 GitHub 公告。...阅读全文
Robolinux 8.8.1 发布，基于 Debian 的 Linux 发行版
Robolinux 8.8.1 发布了，它基于 Debian 8“Jessie”，并配有 Firefox 和 Thunderbird 的最新版本，以及对 MATE 和 Xfce 桌面环境的改进，点此查看详细更新内容。 Robolinux 是基于 Debian GNU/Linux 最新稳定发行的用户友好的、直观的操作系统。该项目非常有趣的特性之一是预配置好的 VirtualBox 虚拟机支持套件，可运行 Windows XP 或 Windows 7，从而允许用户在 Robolinux 中无缝安装和运行 Windows 操作系统。 演示及下载地址： https://www.robolinux.org/downloads/ Robolinux 的详细介绍：点击查看 Robolinux 的下载地址...阅读全文
PHP 7.2 Beta 的测试：PHP 仍然越来越快
PHP 7.2 Beta 1 已于上周发布，预计将于 11 月发布正式版。 PHP 7.2 Beta 1 实现了更多的 Sodium 扩展，针对现代和易于使用的加密、改进 opcache、无效 UTF-8 数据更好的 JSON 解码这些方面，以及自 PHP 7.1 以来的许多错误修复和其他改进。最新的版本和更多的细节可以通过 PHP.net 找到。 测试的系统信息 先看看 PHP 7.2 Beta 1 与 PHP 7.1.7, 7.0.21, 和 5.6.31 的性能对比 可以明显看到，在性能测试方面，从 PHP 5.6 到 PHP 7.0，性能有了显著的增长。不过这并没什么值得惊喜的，但看到使用 PHP 7.2 Beta 1 也有了很大的性能提升这倒是有点意想不到。由上图可看到，PHP...阅读全文
Go 1.16 发布，支持 macOS ARM64
运行时为每个程序包 init 发出一行标准错误，总结其执行时间和内存分配 - 编译器现在可以内联具有未标记的循环、方法值和类型判断的函数 详细内容请查看[更新公告](https://blog.golang.org/go1.16)。...阅读全文
Consul 1.6 GA 发布
式（如基于 HTTP 路径的路由和流量转移）提高了可靠性。 点此了解更多 。Mesh 网关 。Mesh 网关是网络边缘的 Envoy 代理，让独立网络环境中的服务能够轻松地相互通信。它们由 Consul 使用类似机制作为 Sidecar Proxy 的配置。点此了解更多 。意图 & CA 复制。 这些功能实现了在 Consul 逻辑数据中心之间进行连接服务，并且是 Mesh 网关的重要构建部分。请注意，此功能以前属于 Consul 企业版的功能。 另请注意，此版本中已完全删除了在 1.3.0 中被弃用的托管代理功能（managed proxies）。 详细更新内容请查看 Consul 1.6.0 Beta 版的发布公告 或 更新日志 。...阅读全文
Scrapy 架构及数据流图简介
Scrapy 是一个为了爬取网站数据，提取结构性数据而编写的应用框架。 可以应用在包括数据挖掘、信息处理或存储历史数据等一系列的程序中。本文着重介绍 Scrapy 架构及其组件之间的交互。 Scrapy 组件介绍 Scrapy Engine 引擎负责控制数据流在系统中所有组件中流动，并在相应动作发生时触发事件。 详细内容查看下面的数据流(Data Flow)部分。 调度器(Scheduler) 调度器从引擎接受request并将他们入队，以便之后引擎请求他们时提供给引擎。 下载器(Downloader) 下载器负责获取页面数据并提供给引擎，而后提供给spider。 Spiders Spider 是 Scrapy用户编写用于分析response并提取item(即获取到的item)或额外跟进的...阅读全文
Go 1.8 正式发布 标准库有显著变化和性能提升
务器现在还支持正常关机了，允许服务器通过在服务所有正在运行的请求之后关闭，而最小化停机时间。 上下文（添加到Go 1.7中的标准库）提供了取消和超时机制。Go 1.8在标准库中添加了更多对上下文的支持，包括数据库/ sql和net包以及net / http包中的Server.Shutdown。 现在使用新添加的Slice函数在排序包中对切片进行排序更简单。例如，要通过“名称”字段对结构体片段进行排序： sort.Slice（s，func（i，j int）bool {return s [i] .Name 更多新版本的添加、改进和修复内容，以及上面列出的改进的详细信息请查看Go 1.8发行说明。 为了庆祝发布，世界各地的Go用户组都在本周举办发布会，这已经成为Go社区的一个传统，所以如果你错过了...阅读全文
Go 1.10 发布说明草案：预计于 2018 年 2 月发布
。此外，大多数程序运行速度将会更快一些。 核心库 标准库的改动较小，bytes 和 net/url 中的变化最有可能要求对现有的程序进行更新。 总的来说，更新的内容涉及到语言特性、Port、工具、运行时、性能、垃圾收集器以及核心库这些方面，其中主要是对工具的更新。点此查看详细内容 。...阅读全文
最新评论
