SLC、MLC、TLC、QLC……NAND闪存类型的进化一直是个争议话题，可靠性和寿命越来越差，或者说P/E编程擦写循环次数越来越低，东芝甚至已经开始探讨PLC，不知道会渣成什么样。对于最初的SLC(每单元只保存1比特数据)，很多人都十分怀念，但如今已经几乎绝迹，只在极少数特殊场合才能看到。 东芝正在打造可视为SLC加强版的XL-Flash，而高端固态存储厂商Greenliant最新打造的NANDrive EX系列SSD产品，更是应用了超长寿的SLC闪存。 Greenliant NANDrive EX并非消费级产品，而是面向高性能计算、工业、交通运输、视频和网络等特殊行业应用，特别是那些需要超长寿命、高可靠性的应用，能长久保持数据完整。 它采用了Greenliant自家专门设计的...阅读全文
束的。上游的 Task 有可能先处理完任务提早退出了，但下游的 Task 却还在执行中。在同一个 stage 不同并发下，有可能因为数据量不一致导致部分任务提早完成了。这种情况下，在后续的执行作业中，如何进行 Checkpoint？ 在 1.14 中，JobManager 动态根据当前任务的执行情况，去明确 Checkpoint Barrier 是从哪里开始触发。同时在部分任务结束后，后续的 Checkpoint 只会保存仍在运行 Task 所对应的 stage，通过这种方式能够让任务执行完成后，还可以继续做 Checkpoint ，在有限流执行中提供更好的容错保障。 ■ Task 结束后的两阶段提交 我们在部分 Sink 使用上，例如下图的 Kafka Sink 上，涉及到 Task 需要...阅读全文
的数据并对其所含信息采取相应的操作。例如，您可以将 Harbor 配置为在成功推送镜像后向 Webhook 侦听器发送一个 POST 请求，从而触发 Kubernetes 应用程序的部署，以执行您的测试套件，或者仅仅更新您的 CMDB。 配额（Project Quotas） 配额有助于项目管理员对资源的使用加以控制。具体而言，您可以限制项目所含 tag 的数目，以及项目可占用的存储容量。您可以设置适用于所有项目的全局默认配额，也可以为个别项目设置配额以覆盖系统设置。镜像容量会根据其实际大小进行计算，并会在同时推送多个镜像时考虑所有相关镜像之间的层共享情况。配额可以与其他机制无缝协调工作，例如重新 tag、在线垃圾数据回收和保留策略，从而可始终合理管理各个工件，并且不会浪费空间。 Tag 保留...阅读全文
head 信息对模型进行 数据库级别约束对于 runserver 兼容性的调整 ，以改进浏览大量文件进行更改时的性能 随着 Django 2.2 的发布，Django 2.1 已到达获得主流支持的终点 —— 今天发布了最后的小错误修复版本 2.1.8。Django 2.1 将在 2019 年 12 月之前收到安全问题和数据丢失的修复程序。因此鼓励所有用户在此之前升级以继续接收安全问题的修复程序。 有关受支持版本以及未来发布计划的安排表，请参阅 下载页面 。 Django roadmap 路线发布计划 Django 生命周期...阅读全文
如果你看过谍战片、动作片或犯罪电影，你就会在脑海中勾勒出黑客坐在电脑屏幕前的样子：一行行快速移动的代码，大量的矩阵中的十六进制数字代码像雨水一样飞过。也许有一张世界地图，上面有一些发光点和一些快速更新的图表，也许还会有三维几何图形。如果可能的话，这一切还可以显示在多个显示器上面。 当然，我们这些技术人员很快意识到这完全是胡说八道。虽然我们中的许多人都有双显示器（或更多），但闪烁的数据通常与专注于工作这一目的背道而驰。编写代码、管理项目和管理系统与股票交易不同。我们遇到的大多数情况都需要我们对试图解决的问题进行大量思考，与利益相关者进行良好的沟通，进行一些研究以及组织信息，然后还有占工作量很少的快速打字。 但这并不意味着我们不想和电影中的黑客一样。有时，我们只是想让自己看起来“有效率”。 旁...阅读全文
会自动覆盖最早的文档。当该值为 true 时，必须指定 size 参数。 autoIndexId 布尔 （可选）如为 true，自动在 _id 字段创建索引。默认为 false。 size 数值 （可选）为固定集合指定一个最大值，以千字节计（KB）。如果 capped 为 true，也需要指定该字段。 max 数值 （可选）指定固定集合中包含文档的最大数量。 在插入文档时，MongoDB 首先检查固定集合的 size 字段，然后检查 max 字段 实例 # 在test数据库中创建ruochen 集合 use test db.createCollection('ruochen') # 查看已有集合 show collections db.createCollection('test...阅读全文
的内存技术组合的承诺。"万亿GB是三星自40多年前开始生产的内存总量，这一万亿中大约有一半是在过去三年里生产的，这表明数字转型的进展有多快，"三星电子总裁兼内存业务主管Jung-bae Lee说。"随着内存带宽、容量和功率效率的进步使新的平台成为可能，而这些反过来又刺激了更多的半导体创新，我们将越来越多地推动在数字共同进化的道路上实现更高水平的整合。"推进数据智能的DRAM解决方案三星的1b级DRAM目前正在开发中，计划在2023年进行大规模生产。为了克服DRAM扩展到10纳米范围以外的挑战，该公司一直在开发图案化、材料和架构方面的颠覆性解决方案，像High-K材料这样的技术正在顺利进行。该公司随后强调了即将推出的DRAM解决方案，如32Gb DDR5 DRAM、8.5Gbps...阅读全文
的定制能力。ECharts 底层依托了开源渲染引擎 ZRender ，支持 Canvas 和 SVG 等多种方式的渲染，支持 PC 、移动端、数据大屏、服务端渲染等多种设备场景。 目前，在 2018 年初发布的新版本 ECharts (4) 中，一些常用图表已支持最高达千万级的数据可视化，并且提供了小程序、无障碍访问等支持。基于 WebGL 的 ECharts-GL 能支持各种 3D 图表渲染、以及海量数据的渲染加速。目前，各种基于 ECharts 的扩展库，以及相关的可视化服务系统已经形成了丰富的产品体系和活跃的社区环境。ECharts 目前在 GitHub 上拥有 25k+ 的关注和 2k+ 的相关项目。大量的社区的反馈和贡献使 ECharts 不断地迭代进化。 业内人士认为，进入...阅读全文
我们知道，传统的DDR DIMM内存是易失性的，也就是必须维持通电才能保持数据，一旦断电就都没了。 Intel创造了Optane傲腾持久内存，做到了非易失性，也兼容DDR DIMM，但仅用于数据中心，和普通用户无关。 现在，JEDEC固态技术标准协会发布了DDR4 NVDIMM-P非易失内存标准规范，序列编号JESD304-4.01，也可以在断电后不丢失数据，而且完全兼容DDR4内存标准。 根据规范，这种新内存兼容普通的DIMM内存标准、固件，可以最大程度减少对于现有设备、平台的更改，同时为新内存提供了低延迟接口，提高了易用性，未来也会兼容支持DDR5。 NVDIMM-P的新功能： － 持久性：操作系统能够低延迟、高带宽访问非易失内存。 － 虚拟化的内存：在DDR通道启用尽可能多的内存容量...阅读全文
干嘛的？“如果把腾讯比作一个工厂，那么数据中心就是车间，信息需要在这里集中处理、存储、交换。”腾讯技术工程事业群任职数据中心技术总监朱华说。 那个名叫T-block的技术，是腾讯数据中心自主研发的第四代技术。 腾讯数据中心的技术发展，总共经历四个阶段： 第一代（2006-2009），基本是沿用了传统电信机房的解决方案（厂房改造，风冷，N+1冗余），只在局部做了点优化，比如冷热通道隔离； 第二代（2007-2011），从天津开启数据中心的大而全模式，10万量级、大型离心冷水机组、10KV Switch Gear、变压器上楼、中压油机、UPS、STS、AHU、MAU、封闭热通道、预作用水消防、水侧Free cooling、Air side economizer； 第三代TMDC（2011...阅读全文
partition都是有序的，即消息发送到队列的顺序跟消费时拉取到的顺序是一致的。replication：副本。一个topic对应的分区partition可以有多个副本，多个副本中只有一个为leader，其余的为follower。为了保证数据的高可用性，leader和follower会尽量均匀的分布在各个broker中，避免了leader所在的服务器宕机而导致topic不可用的问题。 （二）kafka2当中zk的作用/admin：主要保存kafka当中的核心的重要信息，包括类似于已经删除的topic就会保存在这个路径下面。/brokers：主要用于保存kafka集群当中的broker信息，以及没被删除的topic信息。/cluster: 主要用于保存kafka集群的唯一id信息，每个kafka集群都会给分配...阅读全文
：支持自定义任务失败重试次数，当任务失败时将会按照预设的失败重试次数主动进行重试；其中分片任务支持分片粒度的失败重试； 12、任务失败告警；默认提供邮件方式失败告警，同时预留扩展接口，可方面的扩展短信、钉钉等告警方式； 13、分片广播任务：执行器集群部署时，任务路由策略选择” 分片广播” 情况下，一次任务调度将会广播触发集群中所有执行器执行一次任务，可根据分片参数开发分片任务； 14、动态分片：分片广播任务以执行器为维度进行分片，支持动态扩容执行器集群从而动态增加分片数量，协同进行业务处理；在进行大数据量业务操作时可显著提升任务处理能力和速度。 15、事件触发：除了”Cron 方式” 和” 任务依赖方式” 触发任务执行之外，支持基于事件的触发任务方式。调度中心提供触发任务单次执行的 API 服...阅读全文
按计划，JDK 10 将于 3 月 20 日正式发布。据前 Oracle 员工 Simon Ritter 的统计，JDK 10 总共包含 109 项新特性。当然，在最终发布前，可能还会发生变化。 新特性中最重要的，是我们之前曾报道过的 12 个 JEP ： JEP 286: 局部变量的类型推断。该特性在社区讨论了很久并做了调查，可查看 JEP 286 调查结果。 JEP 296: 将 JDK 的多个代码仓库合并到一个储存库中。 JEP 304: 垃圾收集器接口。通过引入一个干净的垃圾收集器（GC）接口，改善不同垃圾收集器的源码隔离性。 JEP 307: 向 G1 引入并行 Full GC。 JEP 310: 应用类数据共享。为改善启动和占用空间，在现有的类数据共享（“CDS”）功能上再次拓...阅读全文
完全构建之前，您也可以从外部贡献者处获取有关信息。 这就是Django的力量。 该框架使您能够快速轻松地从应用模型生成管理站点。 代码设计 与大多数 Web 框架相反，Django 通过使用称为 app 的东西，更容易地将新功能添加到产品中。 因此，开发者可以感受到 Django 鼓励大家编写模块化的代码。 Django对ORM的完善支持 Django的对象关系映射 (ORM) 对数据库进行了完善的支持。所以，它用于查询数据库所需的数据时，没有处理结构化查询语言（SQL）的麻烦。 与许多通过SQL直接在数据库上工作的Python框架不同，Django开发人员有一个独特的选择来操纵相应的Python的Model对象。 Django对于PostgreSQL，MySQL，SQLite和Oracle...阅读全文
Java注释被用来为java代码提供元数据(meta data)。作为元数据，注释不会直接影响代码的执行结果，不过事实上有些注释就是为了影响代码的执行结果而定义的。 Java注释是从Java 5开始添加的。本文对于Java注释的讨论是基于java 6的，据我所知，到目前为止Java 7中关于注释的部分并没有发生改变，所以本文对java 7编程人员上来说应该也是可用的。 目录： · Java 注释的作用 · 注释的基础知识 · 注释的位置 · Java中预置的注释 · 创建你自己的注释 Java 注释的作用 预编译指令(Compiler instructions) 编译时指令(Build-time instructions) 运行时指令(Runtime instructions) Java有...阅读全文
Linux Kernel 5.10 LTS 的第八个维护版本更新于今天正式发布，本次更新最值得关注的改进就是终于解决了 5.10 Btrfs 性能倒退的问题。在去年圣诞节的时候，Linux 5.10 就被反馈 Btrfs 出现了明显的性能倒退问题。例如简单解压一个 Linux 内核源码.tar.zst 文件，可能需要花费数倍的时间。 虽然修复 Btrfs 性能倒退的补丁在去年年底就已经推出，但直到今天才整合到 mainline 上。而且，在即将到来的 Linux 5.11 上还将会对 Btrfs 进行大量的改进。 总体来说，Linux 5.10.8 的情况应该不错。Btrfs 开发者 Josef Bacik 在该页面上评论道：“5.10+patch比普通的5.9快了很多，因为我的系列补丁更...阅读全文
随着互联网的高速发展，云存储技术已经相当成熟了，网盘成了人们工作和学习中不可缺少的部分。尽管如此，离线存储技术也无法被取代，毕竟在没有网络的情况下，离线存储才是最佳的解决方案。 而目前使用的最多的且最方便的离线存储设备就是U盘，凭借小巧便携的体型设计赢得了广大用户的喜爱，但随着数据的日益膨胀，小小的U盘无论是在读写速度还是在容量上已经无法满足我们日益增长的存储需求。 而今天，金士顿在CES大会上展示了一款离线存储设备——HyperX Savage EXO外置SSD。HyperX Savage EXO外置SSD外壳采用聚碳酸酯打造，存储颗粒为3D TLC NAND闪存，拥有480GB和960GB两种容量可供选择。 外置SSD的接口为USB3.1 Gen 2，带宽高达10Gbps，实际连续读写...阅读全文
读取。用户态进程读取这些数据后，进一步关联 Kubernetes 元数据后推送到存储端。这是整体处理过程。eBPF 的超能力体现在能订阅各种内核事件，如文件读写、网络流量等，运行在 Kubernetes 中的容器或者 Pod 里的一切行为都是通过内核系统调用来实现的，内核知道机器上所有进程中发生的所有事情，所以内核几乎是可观测性的最佳观测点，这也是我们为什么选择 eBPF 的原因。另一个在内核上做监测的好处是应用不需要变更，也不需要重新编译内核，做到了真正意义上的无侵入。当集群里有几十上百个应用的时候，无侵入的解决方案会帮上大忙。但作为新技术，人们对 eBPF 也存在些许担忧，比如安全性与探针性能。为了充分保证内核运行时的安全性，eBPF 代码进行了诸多限制，如最大堆栈空间当前为 512、最...阅读全文
员年费数量备注白金会员企业会员50万美元15黄金会员企业会员10万美元16白银会员企业会员5000-20000美元800+根据企业规模年费不同个人会员个人会员99美元-- 可以看到主要的资金来源是上述四类，根据截止于2019年9月10日的数据，大体白金/黄金/白银（取中位数1万）的年费正常的话大概有：5015 + 1610 + 800*1 = 1710万美元，再加上大量的个人用户，资金来源相较于一般的项目还是能够提供较好的支持的。 白金和黄金会员 截止到目前位置，白金和黄金会员为31，虽然我们无法确认大量的白银会员，但是白金和黄金会员的企业类型，还是可以确认的。 会员类型会员数量通信企业软件开发商金融公司自动化/制造业组件生产商设备制造商其他白金15AT&T、腾讯TencentFujitsu...阅读全文
)。Terraform 生成一个执行计划，描述它将做什么来达到所需的状态，然后执行它来构建所描述的基础结构。随着配置的变化，Terraform 能够确定发生了什么变化，并创建可应用的增量执行计划。 Terraform 是用 Go 语言开发的开源项目，你可以在 github 上访问到它的源代码。 Terraform 核心功能 基础架构即代码(Infrastructure as Code)执行计划(Execution Plans)资源图(Resource Graph)自动化变更(Change Automation) 基础架构即代码(Infrastructure as Code) 使用高级配置语法来描述基础架构，这样就可以对数据中心的蓝图进行版本控制，就像对待其他代码一样对待它。 执行计划(Execution...阅读全文
的资源。例如，如果您的集群的利用率仅为25%，以资源的最大使用量和 Request 来衡量，则 Allocate idle costs 会按比例增加每个 pod/NS/Deployment 的成本到原来的4倍。 6. **图表选择**： 切换到条形图视图以查看所选窗口的汇总成本，或切换到时间序列视图以查看成本随时间的变化。 7. **附加选项**： 查看其他选项以将成本数据导出为 CSV 或查看帮助文档。 ### Assets  Kubecost Assets 视图显示了按集群中单个资源细分的 Kubernetes 集群成本（例如，按节点、磁盘...阅读全文
时，进行 rename table 时潜在的问题修复多数据路径配置下进行 rename table 会导致数据丢失的问题修复某些场景下 TiFlash 存储空间上报错误的问题修复开启 Region Merge 情况下从 TiFlash 读取时潜在的问题ToolsTiDB Binlog修复因为 TiFlash 相关的 DDL job 导致 Drainer 同步中断的问题 #948 #942BR修复关闭 checksum 情况下，仍然执行 checksum 的问题 #223修复 TiDB 开启 auto-random 或 alter-pk 时，增量备份失败的问题 #230 #231 详细更新说明请参考官网说明，点击这里访问 TiDB 的详细文档。...阅读全文
SK海力士日前宣布推出新一代企业级SSD硬盘，不过官方并没有公布SSD硬盘的名称，只知道是NVMe标准的，基于72层堆栈的3D TLC闪存，M.2版容量最大4TB，U.2容量可达8TB。 性能方面，SK海力士表示新一代企业级硬盘的连续速度可达3200MB/s，随机性能可达160K IOPS，与2018年FMS展会上推出的72层堆栈闪存硬盘相比，新一代企业级SSD的顺序读写性能提升30%，随机写入提升了70%，同时支持读取敏感型及混合型应用，包括数据中心、AI、ML机器学习及VDI虚拟桌面架构等。 值得一提的是，SK海力士的新一代企业级SSD具备极低的功耗，正常应用低于14W，这在企业级SSD中是很低的水平了。 此外，SK海力士还表示将在今年底推出容量更大的企业级SSD硬盘，闪存会从目前的...阅读全文
在即将过去的一年中，DevOps经历了大规模容器化，许多公司投入了容器化的怀抱。这并不意味着DevOps相关工具已经成熟，但是这些工具为安全改进、容器化和工具集中化奠定了基础。以下是2017年DevOps的5大发展预测。 工具整合 根据Quali公司CTO Joan Wrabetz的说法，DevOps相关工具市场整合的时机已经成熟，这主要归功于消费者需求和公司数量的大规模增长。她提到：“为了简化流程，消费者只会选择其中的几个优秀软件，并且围绕着这些工具，将它们整合到自身的流程当中去。这将会导致越来越多的工具直接提供横跨整个持续交付周期端到端功能。” 另外，由于DevOps公司数量的增长，2017年将会迎来小公司的收购潮。“我们已经看见亚马逊对Chef进行了投资。另外，一些DepOps公司已...阅读全文
服务。如果cortex有许多的查询，则可以扩展Querier或Query Frontend微服务。高可用性– Cortex可以在实例之间复制数据replicate data。这样可以防止数据丢失，并避免度量标准数据出现间断，即使发生机器故障and/orpod被驱逐。多租户–多个不受信任的parties可以共享同一群集。Cortex在从ingester到querying的整个生命周期中提供数据隔离。这对于为多个单元或应用程序存储数据的大型组织或运行SaaS服务的人员非常有用。长期存储– Cortex将数据分块存储并为其生成索引。可以将Cortex配置为将其存储在自托管或云提供商支持的数据库或对象存储中。Cortex的需求Prometheus高可用性和数据去重Prometheus默认情况下不具有...阅读全文
Kubernetes的kubelet组件内置了cadvisor，将Node上容器的指标以Prometheus支持的格式展示，可以通过这些指标计算得到更多有用的数据。 Kubelet的Cadvisor指标获取 在Prometheus的配置文件中，配置了相关的Target之后，这些指标就可以从Prometheus中查询到。 - job_name: 'kubernetes-cadvisor' scheme: https tls_config: ca_file: /var/run/secrets/kubernetes.io/serviceaccount/ca.crt bearer_token_file: /var/run/secrets/kubernetes.io/serviceaccount...阅读全文
中共中央办公厅、国务院办公厅印发了《推进互联网协议第六版（IPv6）规模部署行动计划》，计划全面推进部署 IPv6，协同推进网络实名制。 通知称，用 5 到 10 年时间，建成全球最大规模的 IPv6 商业应用网络。具体计划包括： 1．到 2018 年末，IPv6 活跃用户数达到 2 亿，在互联网用户中的占比不低于 20%，并在以下领域全面支持 IPv6：国内用户量排名前 50 位的商业网站及应用，省部级以上政府和中央企业外网网站系统，中央和省级新闻及广播电视媒体网站系统，工业互联网等新兴领域的网络与应用；域名托管服务企业、顶级域运营机构、域名注册服务机构的域名服务器，超大型互联网数据中心（IDC），排名前 5 位的内容分发网络（CDN），排名前 10 位云服务平台的 50% 云产品；互联...阅读全文
西部数据开发了有一段时间的Zonefs已经确定要在Linux 5.6内核中登场了，这并不是一个传统意义上面的通用文件系统（比如Ext4、NTFS），而是一个针对特定硬件设备的文件系统，它为分区式存储设备进行了高度的优化。 熟悉Linux的朋友应该知道，在Linux下面内核会将存储设备视为块设备，比如目前会将SATA存储设备视为/dev/sdX。传统文件系统是在这个块设备上面进行操作，而应用程序则是通过系统提供的接口对块设备上面的数据进行访问。 但SMR HDD（叠瓦式硬盘）有一个毛病，它只有在顺序写入时才能正常发挥性能，一旦要进行数据覆盖写入，就需要改写这块数据所在区块内的所有磁道，造成严重的性能下降。传统的文件系统不会因为SMR HDD的特性而特别对待它，而Zonefs就是西部数据对...阅读全文
当上世纪九十年代互联网开始被广泛使用的时候，其大部分的通讯只使用几个协议：IPv4 协议路由这些数据包，TCP 协议转发这些包到连接上，SSL（及后来的 TLS）协议加密连接，DNS 协议命名那些所要连接的主机，而 HTTP 协议是最常用的应用程序协议。 多年以来，这些核心的互联网协议的变化几乎是微乎其微的；HTTP 增加了几个新的报文头和请求方式，TLS 缓慢地进行了一点小修改，TCP 调整了拥塞控制，而 DNS 引入了像 DNSSEC 这样的特性。这些协议看起来很长时间都一成不变（除了已经引起网络运营商们的大量关注的 IPv6）。 因此，希望了解（甚至有时控制）互联网的网络运营商、供应商和决策者对这些协议采用的做法是基于其原有工作方式 —— 无论是打算调试问题，提高服务质量，或施加政策...阅读全文
支持和独一无二的ReproducibleBuilds。 3, Debian社区有大量的高质量贡献者（Security team超过20个人业余时间贡献）。STIG for Debian是参考了STIG for RHEL的实现，去除了一些Debian没有的或者以另外方式实现的功能，具体请查询porting log。 btw：棱镜事件的影响之一是导致国内产生了开源咨询这个快速增长的行业，而GNU/Linux作为基础架构也是充满了机遇，希望STIG for Debian能为Debian GNU/Linux在数据中心的推进助力一把。 "...阅读全文
802.11ac是当今最流行的Wi-Fi无线标准，不过，为了提高速度、吞吐量、降低功耗，IEEE 802.11ax/ad/ay先后应运而生。其中802.11ax是对ac/n的自然演进，同样工作在2.4/5GHz频段上，而ad/ay则是作为辅助技术，由于工作频段极高，没有干扰，所以速率可以非常高。比如基于60GHz的802.11ad可以达到8Gbps的数据传输率，如今TP-Link Talon AD7200路由、戴尔E74450/7470笔记本、Windows 10创作者更新都将支持。 据悉，目前的最新进展是，第一个修订版802.11ay（verison 0.2）标准已经认证完毕，目标速率高达176Gbps，也就是22GB/s，理论上说蓝光电影可以1秒下完。不过，你的电脑硬盘肯定是跟不上，即...阅读全文
的异步模型。2.6 及以前的版本，元数据全部存储在 URL 上，配置信息和注册信息只能存储在注册中心上，注册中心的容量和扩展成为瓶颈。这个限制在使用 ZooKeeper 作为注册中心的大规模 Dubbo 应用场景下尤为突出。在 2.7.0 中，通过对 URL 的改造，将 注册中心拆分成了三个中心 ，分别是注册中心、配置中心和元数据中心，三者各司其责，不仅有效地解决了上述容量问题，而且很好地适应了微服务的技术架构，用户可以开始自由选择适合自己场景的注册中心和配置中心。2.7.0 将内建支持 ZooKeeper、Nacos 和 Apollo 等第三方注册和配置中心，在后续的版本中，还会进一步提供对 Consul 和 etcd 的支持。另外，通过引入一个全新的元数据中心，将与注册配置无关的服务信息...阅读全文
施： 服务器必须要有防火墙，不能随意对外开放端口；Elasticsearch 集群的端口包括 TCP 和 HTTP，都不能暴露在公网；Elasticsearch 集群禁用批量删除索引功能；Elasticsearch 中保存的数据要做基本的脱敏处理；加强监控和告警，在安全事件发生的第一时间感知并启动紧急预案，将损失降到最低。 除此之外，很多 Elasticsearch 均可公网访问，杨振涛表示很有可能是团队忽视了数据安全，再加上服务器防火墙对于端口开放策略过于激进，导致 Elasticsearch 集群只要一部署即可公网访问。 “公网访问对于有些业务来说是必要的，例如网站搜索服务。” Elastic 架构师吴斌解释道，“我们经常说‘Simple/less is more, but no...阅读全文
Gartner公司公布2018年第三季度全球服务器市场调查报告，根据报告显示，全球服务器出货量为318.3万台，销售额193.9亿美元，同比分别增长12.5%和31.5%。本季度全球出货量与销售额位居前三位是戴尔EMC、HPE和浪潮。 2018Q3全球X86服务器出货量排名 2018Q3全球X86服务器销售额排名 从区域增长来看，全球除去拉丁美洲和东欧地区，其他区域市场均有增长，增速普遍达到两位数。大中华区和北美拉动了全球增长，两个地区的销售额分别同比增长44.6%和39.6%，所占市场份额提升分别为26.7%和41.7%。 从具体产品形态看，多节点、机架类服务器销售额分别同比增长75.2%和31.1%。刀片和塔式服务器继续小幅萎缩，销售额分别同比下降3.7%和4.8%。多节点服务器的增长...阅读全文
由于人工智能 / 机器学习日益集成到应用和业务流程中，因此生产级机器学习模型需要更多可扩展的基础设施和计算能力，以用于训练和部署。 现代机器学习算法在大量数据上进行训练，并且需要数十亿次迭代才能使成本函数最小化。这类模型的垂直扩展会遇到操作系统级别的瓶颈，包括可提供的 CPU、GPU 和存储的数量，而且对于这种类型的模型，已经证明效率并不高。更为高效的并行处理算法，例如异步训练和 allreduce 式训练，需要一个分布式集群系统，由不同的 worker （工作器）以协调的方式同时学习。 可扩展性对于在生产环境中服务深度学习模型也非常重要。将单个 API 请求处理到模型预测端点可能会触发复杂的处理逻辑，这将花费大量时间。由于更多用户访问模型的端点，为了有效地处理客户端请求，需要更多服务实例...阅读全文
器容灾稳定性等非专业逻辑的开发。这些服务器的运维和开发知识、经验极大地限制了开发者进行业务开发的效率。设想一下，如果开发者直接租用服务或者开发服务而无须关注如何在服务器中运行部署服务，是否可以极大地提升开发效率和产品质量？这种去服务器而直接使用服务的架构，我们称之为 Serverless 架构（无服务器架构）。 Serverless 架构的问世 2014 年，云厂商 AWS 推出了“无服务器”的范式服务。其实，最初“无服务器”意在帮助开发者摆脱运行后端应用程序所需的服务器设备的设置和管理工作。这项技术的目标并不是为了实现真正意义上的“无服务器”，而是指由第三方供应商负责后端基础结构的维护，以服务的方式为开发者提供所需功能，例如数据库、消息，以及身份验证等。这种服务基础结构通常可以叫做后端即服...阅读全文
Gogs 是由 Go 语言编写的，自由开源的 Git 服务。Gogs 是一款无痛式自托管的 Git 服务器，能在尽可能小的硬件资源开销上搭建并运行您的私有 Git 服务器。Gogs 的网页界面和 GitHub 十分相近，且提供 MySQL、PostgreSQL 和 SQLite 数据库支持。 在本教程中，我们将使用 Gogs 在 Debian Stretch 上按步骤指导您安装和配置您的私有 Git 服务器。这篇教程中涵盖了如何在 Debian 上安装 Go 语言、PostgreSQL 和安装并且配置 Nginx 网页服务器作为 Go 应用的反向代理的细节内容。 步骤 1 - 更新和升级系统 继续之前，更新 Debian 所有的库，升级所有包。 运行下面的 apt 命令： sudo apt...阅读全文
知道他们可以通过勒索软件赚钱，并且在索要赎金方面变得越发大胆。常见的勒索软件攻击包括勒索软件运营商对数据进行加密，并强迫受害者支付赎金以解锁数据。在双重勒索中，勒索软件运营商会加密并窃取数据，进一步胁迫受害者支付赎金。如果不支付，勒索软件运营商就会将数据公布到泄漏网站或暗网，大部分数据泄漏网站都托管在暗网，而这些托管站点由勒索软件运营商创建和管理。在新冠疫情下，医疗行业成今年勒索软件最大目标。不法之徒得知医疗机构需要继续营运以治疗新冠患者，无法承担系统被锁定的后果，继而通过勒索软件进行攻击。勒索软件Ryuk在众多勒索软件中尤其猖獗。利用这种手段最多的勒索软件是NetWalker。从2020年1月到2021年1月，NetWalker泄漏了全球113家受害企业的数据（见下图），远远超过了其他勒索...阅读全文
它还展示了公司垂直磁性隧道结(pMTJ)的可扩展性。 首批配备Everspin全新千兆MRAM芯片的产品之一将来自Smart Modular公司。该公司计划发布一款NVMe PCIe硬盘，它的重量和长度都将减半，其将用于元数据缓存和储存加速应用。Smart Modular表示，该产品单元在4K随机读写测试中能够达到1500K IOPS。 眼下，Everspin正在闪存峰会(Flash Memory Summit)展示他们的1Gb ST-MRAM。...阅读全文
点 。 日志可以确保数据库在恢复时处于一致状态，它会保存日志写入时的所有数据。日志写入的时间间隔可以使用运行时选项 commitIntervalMs 来配置。 为了确保写入，就要确保 在配置文件中启用日志（storage.journal.enabled），而且提交间隔要和你能够承担的数据丢失相对应。 无索引排序 在搜索和聚合中，你经常希望排序数据。但愿那是在最后阶段完成的，在结果过滤之后，从而减少需要排序的数据量。即使在那个时候，你需要 一个可以覆盖排序的索引 。单键索引或混合索引都可以。 当没有合适的索引可用时，MongoDB 就不得不在没有索引的情况下排序。对于排序操作中所有文档的总大小， 有 32MB 的内存限制 ，如果 MongoDB 达到了这个限值，它就会产生错误，或者有时候 仅仅...阅读全文
能够统一面向多个接入口进行自动化操作的定义与管理。 在本次峰会之前，红帽的 Linux发行版RHEL OpenStack发行版RDO OpenShift（Kubernetes） 存储产品Cepht与Gluster 已经与Ansible集成。本次峰会上，红帽又发布了Red Hat Insights（红帽的监控预警产品）和CloudForms与Ansible的集成。 为什么是Ansible？ 其中一个很重要的原因在于，Ansible连不懂技术的业务人员也可以拿来用。甚至可以这么说：任何一个能够阅读英文的人都能看懂Ansible Playbook的用法。红帽认为Ansible代表了自动化的未来，在此投入了大量研发力量与资源。 2、Red Hat Insights作为统一的数据分析层 Red Hat...阅读全文
-s2000 -X -c echo_fds fd.cip=192.168.0.1as ASCII:sysdig -s2000 -A -c echo_fds fd.cip=192.168.0.1查看本地开放端口中，连接数最多的服务端口：sysdig -c fdcount_by fd.sport "evt.type=accept"查看本地开放端口中，总流量最多的端口：sysdig -c fdbytes_by fd.sport查看客户端IP地址中，连接数最多的 IP：sysdig -c fdcount_by fd.cip "evt.type=accept"查看客户端IP地址中，数据传输量最高的 IP：sysdig -c fdbytes_by fd.cip列出所有的请求链接中，不是访问 apache服务的链接...阅读全文
言，框架建立在不断增长的世界级攻击性内容库的框架基础上。另外，此次更新还包括了可用性改进和大规模开发的支持，数据库和自动化 API 的改进等。 在 4.x 现有的 Postgresql 数据库后端之上，Metasploit 5.0 增加了将数据库本身作为 RESTful 服务运行的功能，使用该服务可以与多个 Metasploit 控制台甚至外部工具进行交互。5.0 版本的这个变更还将取消数据库服务的一些批量操作，从而通过并行处理数据库和常规 msfconsole 操作来提高性能。 新的发布周期 过去的一年，Metasploit 的开发包括两个分支：一个是 4.x 的稳定分支，支持 Metasploit Pro 和像 Kali Linux、ParrotSec Linux、和 Rapid7 自己...阅读全文
通过先后收购HGST（日立）、SanDisk（闪迪），西部数据坐上了全球硬盘界的头把交椅。虽然西数和希捷一样看到了SSD的巨大势头，但出于各种因素，仍不敢贸然掉头。近日，西数在官方博客秀出了新一代的充氦硬盘的内部，高达8碟装。 早在2013年，HGST率先推出充氦技术的时候，当时设定的技术极值是7碟6TB，现在已经发展到8碟最高12TB，据说两年内还有14和16TB。 充氦的目的是减少碟片间距便于封装多碟，这一方式比提高单位面积的存储量在技术上要稍微容易点。 具体来说，充氦硬盘的外观看上去和普通机械硬盘一模一样，也是标准的3.5寸规格，内部机械结构也是相同的，仅仅是将内部填充的普通空气换成了氦气。 但就是这点变化，可以大大缩短碟片之间的距离，彼此靠得更近。在这项技术诞生前，硬盘最多只能塞进...阅读全文
于更好的机器学习和数字信号处理。在安全方面，armv9 会获得 Arm Confidential Compute Architecture (CCA)，在使用时屏蔽数据的访问，在硬件层面保护数据。此外，还会有一个叫做 Realms 的东西，应用程序可以在安全和非安全区域之外使用。ARM 并没有透露首款基于 armv9 的新芯片何时会发布，不过可以肯定的是还需要再等待一段时间。...阅读全文
virpus是一家成立很久的美国vps主机商，本次黑五活动，算是相当给力了。采用xen虚拟架构技术，数据中心为西雅图，国内速度还是很优秀和稳定的，硬盘为hdd+ssd缓存，带宽为1Gbps上行；折扣为3折，非常给力。 优惠码：BLACKFRIDAY2017 黑五专属折扣，算是很有性价比了，机会不容错过。支持Paypal、MasterCard、比特币支付。 优惠方案 核心：4核CPU 内存：1GB 硬盘：50GB 流量：1.5TB 端口：1Gbps 架构：Xen 价格：$1.50/month 传送：购买链接 https://my.virpus.com/cart.php?a=confproduct&i=0 官网链接 https://www.virpus.com/...阅读全文
律动 BlockBeats 消息，5 月 25 日，据官方消息，牛油果 Enumivo 团队宣布推出新项目 EVO Chain，旨在复制一条 ETH2。官方表示，将在区块高度 12,520,000 至 12,800,000 区间内进行代币空投。 用户需要在此区间内，向 0x3fEa51dAab1672d3385f6AF02980e1462cA0687b 地址发送 0 ETH，成功后便可获得 4 EVO，同时团队将获得 1 EVO。单一地址发送交易次数不限，EVO 总量 1 亿枚。 团队同时表示，对 DPoS 已经失望，此前发行于 EOS 链上的项目将会迁移至 EVO Chain 上。...阅读全文
Web前端技术由html、css和javascript三大部分构成，是一个庞大而复杂的技术体系，其复杂程度不低于任何一门后端语言。而我们在学习它的时候往往是先从某一个点切入，然后不断地接触和学习新的知识点，因此对于初学者很难理清楚整个体系的脉络结构。本文将对Web前端知识体系进行简单的梳理，对应的每个知识点点到为止，不作详细介绍。目的是帮助大家审查自己的知识结构是否完善，如有遗漏或不正确的地方，希望共勉。 JAVASCRIPT 篇 0、基础语法 Javascript基础语法包括：变量定义、数据类型、循环、选择、内置对象等。 数据类型有string,number,boolean,null,undefined,object等。其中，string,number和boolean是基础类型,null...阅读全文
昨天，Apache Kafka 3.0 版本正式发布，这是一个涉及多方面的大版本。在这个版本中，Apache Kafka 3.0 引入了各种新功能、突破性的 API 更改以及对 KRaft 的改进：Apache Kafka 的内置共识机制将取代 Apache ZooKeeper™。虽然 KRaft 尚未被推荐用于生产（已知差距列表），但我们对 KRaft 元数据和 API 进行了许多改进。Exactly-once 和分区重新分配支持值得强调，我们鼓励开发者查看 KRaft 的新功能并在开发环境中试用它。并且，从 Apache Kafka 3.0 开始，生产者默认启用最强的交付保证 ( acks=all, enable.idempotence=true)，这意味着用户现在默认获得排序和持久性...阅读全文
。 TypeScript：TypeScript是JavaScript的超集，它可以增加类型检查、接口声明等特性，减少错误和提高可读性。 NestJS：NestJS是一种流行的Node.js框架，它采用面向对象的编程方式，提供了路由、中间件、模块化等丰富的功能。 GraphQL：GraphQL是一款优秀的数据查询和操作语言，它可以帮助我们快速构建API，并减少网络传输的数据量。 功能设计 我们将开发一个电商平台，包含以下主要功能： 用户管理：用户可以注册、登录、修改个人信息等，管理员可以查看用户列表并进行管理。 商品管理：管理员可以添加、修改、删除商品信息，包括商品名称、价格、库存、图片等。 购物车：用户可以将商品加入购物车，并在结算时进行支付。 订单管理：管理员可以查看订单列表、订单详情、订单状态等。 开发流程 下面是全栈开发的开发流...阅读全文
