在Linux的内存分配机制中，优先使用物理内存，当物理内存还有空闲时(还够用)，不会释放其占用内存，就算占用内存的程序已经被关闭了，该程序所占用的内存用来做缓存使用，对于开启过的程序、或是读取刚存取过得数据会比较快。 一. 内存使用说明 Free 命令相对于top 提供了更简洁的查看系统内存使用情况： [root@debian ~]$ free total used free shared buffers cached Mem: 1035108 1008984 26124 0 124212 413000 -/+ buffers/cache: 471772 563336 Swap: 2096472 842320 1254152 这里显示的单位是KB。 在Linux的内存分配机制中，优先使用物...阅读全文
获取数据时的延迟。此功能在大规模的应用程序上十分重要，因为数据离应用程序越近，程序就能更快获取到数据。 antirez 受 Ben Malec 演讲的启发，他想到可以将大部分需要频繁存和取的数据直接放在服务器的内存中，以便让 Redis 为客户端完成部分工作，并使客户端缓存更简单、更有效。这个就是 Client side caching（客户端缓存）的概念。 不过这个思路有一个需要解决的问题是，如何控制数据的有效时间？在程序允许的情况下，虽然可以直接设置数据的有效时间，让数据在一段时间后失效。但 antirez 表示，大多数的应用程序无法接受提供过时的数据的风险，因此必须找到更理想的方案来控制数据的失效时间。 所以 antirez 决定开发新的协议 RESP3，在协议中加入新特性来支持客户端...阅读全文
了10个工作日的延期，那我们会针对这个问题抽取指标分析原因，但如果下个版本此问题不存在，则指标取消。当然，如果目前的指标集不能反映当前问题，我们会根据实际情况扩充指标集。固定通用指标是指业界认可的一些评定标准，如开发代码千行代码bug率；或者对于项目人员关注的指标信息我们也会将这类指标抽取出来作为通用指标，如线上遗留问题原因等。以输入法为例，下图是输入法项目总结中的指标集。总结：1)制定的指标可以通过定量的数据衡量；2)制定的指标要项目组三方认知达成一致，且三方都认可。3. 项目数据分析在第二步中选取指标后，我们就要根据指标进行数据分析。在数据分析过程中我们要注意异常数据，对于异常数据我们要进行深入分析，直到找到问题的根本，数据的分析才算到位。总结：1) 对通用指标的数据分析时，一般不少于三...阅读全文
Scrapy 是一个为了爬取网站数据，提取结构性数据而编写的应用框架。 可以应用在包括数据挖掘、信息处理或存储历史数据等一系列的程序中。本文着重介绍 Scrapy 架构及其组件之间的交互。 Scrapy 组件介绍 Scrapy Engine 引擎负责控制数据流在系统中所有组件中流动，并在相应动作发生时触发事件。 详细内容查看下面的数据流(Data Flow)部分。 调度器(Scheduler) 调度器从引擎接受request并将他们入队，以便之后引擎请求他们时提供给引擎。 下载器(Downloader) 下载器负责获取页面数据并提供给引擎，而后提供给spider。 Spiders Spider 是 Scrapy用户编写用于分析response并提取item(即获取到的item)或额外跟进的...阅读全文
储系统. HDFS 使用多台计算机存储文件，并且提供统一的访问接口，像是访问一个普通文件系统一样使用分布式文件系统。 HDFS文件系统 2. HDFS架构 HDFS架构 HDFS是一个主/从（Mater/Slave）体系结构，由三部分组成： NameNode 和 DataNode 以及 SecondaryNamenode： NameNode 负责管理整个文件系统的元数据，以及每一个路径（文件）所对应的数据块信息。 DataNode 负责管理用户的文件数据块，每一个数据块都可以在多个 DataNode 上存储多个副本，默认为3个。 Secondary NameNode 用来监控 HDFS 状态的辅助后台程序，每隔一段时间获取 HDFS 元数据的快照。最主要作用是辅助 NameNode 管理元数...阅读全文
prometheus存在单点问题，具体痛点可以这么描述： prometheus单机存储和抓取能力都有上限，容易单点故障。 虽然有一种方式是通过部署N个prometheus分别抓取不同的target来分摊压力的，但是grafana就要为不同的图表配置不同的prometheus地址，复杂程度比较棘手。 thanos+prometheus可以解决这个问题，它提供了一个核心能力： 1，thanos querier组件可以反向代理到N个prometheus，然后grafana直接指向thanos querier即可，thanos querier会从N个prometheus同时查询数据，返回满足Promql的数据结果； 2，如果N个prometheus抓取的数据存在重复的，那么thanos...阅读全文
”、“简单存储服务”等数据存储业务，再加上保存和提取数据的”关系数据库服务”和数据迁移费，这占到了亚马逊云计算的七成收入。不过在今天，亚马逊更加注重更复杂的高级云计算功能，它们不仅利润率高，而且让企业客户切换服务商的成本更高。比如在五月份，塞林普斯基在Twitter上介绍了一个新服务“应用运行器”（App Runner），可以在虚拟容器中部署应用软件，这可以让企业用户把精力集中在业务构建上，而不是管理“容器”或是“基础设施”。美国贝尔斯登研究公司六月份发布的一份报告指出，2015年，亚马逊云计算14%的收入来自于高毛利的“平台即服务”云计算产品，其余来自于低端的“基础设施即服务”产品。但是贝尔斯登认为，在去年上半年，平台即服务的收入占比已经提高到了18%。美国科技业人士乔·金塞拉（Joe...阅读全文
去年的时候，Google 旗下 Project Zero 团队发现了一个由 CPU “ 预测执行 ” 导致的严重安全漏洞，而它也是一项被大多数现代处理器使用的性能优化方案。根据研究人员 Jann Horn 的演示，恶意攻击者可借此读取不该被它访问到的系统内存。某个未经授权的一方，可能在系统内存中读取到一些敏感信息，比如密码、加密密钥、或者在应用程序中打开的其它机密信息。 测试还表明，在一台虚拟机上发起的攻击，甚至能够访问到主机的物理内存。基于此，还可以获取在同一主机上、不同虚拟机的内存读取访问。 该漏洞影响许多 CPU，包括来自英特尔、AMD、ARM 的芯片，以及搭配运行的设备和操作系统。在获悉这种新型攻击的第一时间，谷歌安全和产品开发团队就积极动员了起来，以保护自家系统和用户数据。 万幸...阅读全文
influxdb中数据库名 use iot_cloud #修改保留策略为周期为3天，每2小时一分片 alter retention policy rp_iot_cloud on iot_cloud duration 3d REPLICATION 1 SHARD DURATION 2h default调整为2小时一分片之后，SHR内存峰值会减少10-15g左右的占用。但是缩短分片间隔之后，influxdb会更频繁的进行内部自检及数据压缩，会造成cpu及磁盘io的消耗。所以继续考虑SHR占用较大对系统会有什么影响？应用程序在启动之后，会共享系统一些内存:堆内存(共享函数库消耗的堆空间)文件缓存(从磁盘读取文件进行缓存)对于共享堆内存则是必须占用的物理空间，而文件缓存则是系统针对磁盘读取的优化。目前...阅读全文
否唯一。指定为true创建唯一索引。默认值为false name string 索引的名称。如果未指定，MongoDB的通过连接索引的字段名和排序顺序生成一个索引名称 dropDups Boolean 3.0+版本已废弃。在建立唯一索引时是否删除重复记录,指定 true 创建唯一索引。默认值为 false sparse Boolean 对文档中不存在的字段数据不启用索引；这个参数需要特别注意，如果设置为true的话，在索引字段中不会查询出不包含对应字段的文档.。默认值为 false expireAfterSeconds integer 指定一个以秒为单位的数值，完成 TTL设定，设定集合的生存时间 v index version 索引的版本号。默认的索引版本取决于mongod创建索引时运行的...阅读全文
JBoot 是一个基于 JFinal 和 Undertow 开发的微服务框架。提供了 AOP、RPC、分布式缓存、限流、降级、熔断、统一配置中心、Opentracing 数据追踪、metrics 数据监控、分布式 session、代码生成器、shiro 和 jwt 安全控制、swagger api 自动生成等功能。 Jboot v1.7.1 主要更新如下： 新增：redis 添加自定义序列化配置的功能 新增：Jboot.java 添加方法 service(Class clazz, JbootrpcServiceConfig config) 方便获取 rpc service 新增：JbootController 添加 getRawObject() 方便获取 api 传过来的 json 数据...阅读全文
Querier–查询器处理PromQL的求值。如果是最近的数据，则从大块存储和或内部获取样本其他组件：Ruler–处理alertmanager产生的警报Alertmanager –评估警报规则ConfigsAPI –在Postgres中存储Ruler和Alertmanager的配置Table Manager–负责在选定的块chunk/索引index存储后端中创建表Consul –存储分发服务器distributor生成的一致的哈希环(hash ring)。分发服务器在发送指标时使用散列值来选择ingester。与其他选项的异同ThanosThanos和Cortex具有非常相似的目标：聚合指标，将其存储在块存储中，并为所有度量使用一块single pane。因此，两个项目重用大量Prometheus代码也...阅读全文
中删除。同时还可以提供一个守护进程，当发现备份队列中的消息过期时，可以重新将其再放回到主消息队列中，以便其它的消费者程序继续处理。 7.谨慎全量操作Hash、Set等集合结构 在使用HASH结构存储对象属性时，开始只有有限的十几个field，往往使用HGETALL获取所有成员，效率也很高，但是随着业务发展，会将field扩张到上百个甚至几百个，此时还使用HGETALL会出现效率急剧下降、网卡频繁打满等问题【时间复杂度O(N)】,此时建议根据业务拆分为多个Hash结构；或者如果大部分都是获取所有属性的操作,可以将所有属性序列化为一个STRING类型存储！同样在使用SMEMBERS操作SET结构类型时也是相同的情况！ 8.根据业务场景合理使用不同的数据结构类型 目前Redis支持的数据库结构类型...阅读全文
都包含了其它数据中心中不存在的写入，因此无法安全地将主要数据库故障转移到美国东海岸数据中心。 GitHub 工程师发现问题后进行了一系列抢救措施，“最终没有用户数据丢失，但是，几秒钟的数据库写入的手动协调仍在进行中。” GitHub 对所有受影响的用户表示歉意，并表示“我们已经吸取了教训，并且采取了一系列急救措施，我们希望更好地确保不再发生类似情况。” 同时 GitHub 也表示接下来将解决由此导致的数据不一致问题。详细分析与事件时间线请查阅 GitHub 公告。...阅读全文
(命名空间) 一个应用下不同配置的分组，可以简单地把namespace类比为文件，不同类型的配置存放在不同的文件中，如数据库配置文件，rpc配置文件，应用自身的配置文件等应用可以直接读取到公共组件的配置namespace，如DAL，RPC等应用也可以通过继承公共组件的配置namespace来对公共组件的配置做调整，如DAL的初始数据库连接数 4.2 自定义Cluster 【本节内容仅对应用需要对不同集群应用不同配置才需要，如没有相关需求，可以跳过本节】 比如我们有应用在A数据中心和B数据中心都有部署，那么如果希望两个数据中心的配置不一样的话，我们可以通过新建cluster来解决。 4.2.1 新建Cluster 新建Cluster只有项目的管理员才有权限，管理员可以在页面左侧看到“添加集群”按...阅读全文
据外媒报道，磁性随机存取内存(MRAM)将在今年达到一个新的里程碑。Everspin宣布开始尝试打造1Gb (128MB)的ST-MRAM芯片，另外他们已经将这款高寿命、非易失性的内存芯片生产提上议程。 Everspin的ST-MRAM能够提供持久的记忆能力，相较于普通的NAND闪存技术，它可以减少写入放大倍数并拥有更好的耐用性。 这款新芯片采用的则是一个兼容DDR4的接口。这家公司表示，供应商可以利用持久的记忆技术设计企业级SSD或对现有的储存产品展开进一步的改善。 据了解，ST-MARAM的密度要比公司旗下现有的任何256MB(32MB)芯片大得多。Everspin指出，从Global Foundries的40nm工艺到foundry 28nm工艺的转变是开发这种千兆级芯片的关键，另外...阅读全文
性的，这很关键。 logpipe 概念朴实、使用方便、配置简练，没有如 sink 等一大堆新名词。 logpipe 由若干个 input、事件总线和若干个 output 组成。启动 logpipe 管理进程 (monitor)，派生一个工作进程 (worker)，监控工作进程崩溃则重启工作进程。工作进程装载配置加载若干个 input 插件和若干个 output 插件，进入事件循环，任一 input 插件产生消息后输出给所有 output 插件。 logpipe 自带了几个插件，分别是： logpipe-input-file 用 inotify 异步实时监控日志目录，一旦有文件新建或文件增长事件发生（注意：不是周期性轮询文件修改时间和大小），立即捕获文件名和读取文件追加数据。该插件拥有文件大小...阅读全文
拍摄的截图（Justin Paine 在博客中展示了一些处理过的图片）。我们将根据相关法律法规采取适当行动，并将继续采取积极主动的安全措施，以防止今后发生类似事件。” ElasticSearch 安全事故频发 虽然 ElasticSearch 通常在公司内部运行，但近年因为其未加密而发生的数据泄露事件不在少数： 2017 年，白帽汇曾对全球使用 ElasticSearch 引擎发生的勒索事件进行监测，最终发现因被攻击而删除的数据至少 500 亿条，被删除数据规模至少 450TB。系统显示，互联网上公开可访问的 ElasticSearch 服务器超过 68000 余台，受害总数达 9750 台。其中，美国 4380 台，中国第二为 944 台，其余来自法国、爱尔兰和新加坡等地。此次事件后，1...阅读全文
，时间复杂度O(1) GET：获取某个key对应的value，时间复杂度O(1) GETSET：为一个key设置value，并返回该key的原value，时间复杂度O(1) MSET：为多个key设置value，时间复杂度O(N) MSETNX：同MSET，如果指定的key中有任意一个已存在，则不进行任何操作，时间复杂度O(N) MGET：获取多个key对应的value，时间复杂度O(N) 上文提到过，Redis的基本数据类型只有String，但Redis可以把String作为整型或浮点型数字来使用，主要体现在INCR、DECR类的命令上： INCR：将key对应的value值自增1，并返回自增后的值。只对可以转换为整型的String数据起作用。时间复杂度O(1) INCRBY：将key对应的...阅读全文
随着互联网的高速发展，云存储技术已经相当成熟了，网盘成了人们工作和学习中不可缺少的部分。尽管如此，离线存储技术也无法被取代，毕竟在没有网络的情况下，离线存储才是最佳的解决方案。 而目前使用的最多的且最方便的离线存储设备就是U盘，凭借小巧便携的体型设计赢得了广大用户的喜爱，但随着数据的日益膨胀，小小的U盘无论是在读写速度还是在容量上已经无法满足我们日益增长的存储需求。 而今天，金士顿在CES大会上展示了一款离线存储设备——HyperX Savage EXO外置SSD。HyperX Savage EXO外置SSD外壳采用聚碳酸酯打造，存储颗粒为3D TLC NAND闪存，拥有480GB和960GB两种容量可供选择。 外置SSD的接口为USB3.1 Gen 2，带宽高达10Gbps，实际连续读写...阅读全文
。 － 大容量：支持扩展的内存寻址功能。 － 支持即插即用：在电脑开机时可以直接插入标准的双列内存插槽，并立刻与同一总线上的DDR内存交互操作。 NVDIMM-P的主要特征： － 与现有DDR通道完全兼容，包括物理接口、电气性能、协议、时钟。 － 保证为下一代CPU插槽增加的针脚尽可能少。 － 协议支持数据读取时的不确定延迟。 － 确保数据在非易失内存中的事务性操作。 － 从NAND到DRAM多种延迟模式的支持(在模块级别)。 － 内存本身具备高可靠性、链路错误保护功能。 事实上，NVDIMM是一个系列标准，除了这里说的NVDIMM-P，还有NVDIMM-F、NVDIMM-N、NVDIMM-H。 NVDIMM-F本质上就是DDR接口的SSD固态盘，只使用NAND闪存，优点是延迟低(纳秒级别)、带宽高...阅读全文
，channel的零值也是nil。两个相同类型的channel可以使用==运算符比较。如果两个channel引用的是相同的对象，那么比较的结果为真。一个channel也可以和nil进行比较。通道的操作发送ch := make(chan int,0) // 创建一个无缓存区的int channel ch <- 998 // 向通道发送一个int类型的值10 接收receiver := <-ch //将通道ch的值取出，赋值给变量receiver <- ch //将通道ch的值取出，忽略结果 关闭close(ch) // 关闭通道 关于关闭通道需要注意的事情是，只有在通知接收方goroutine所有的数据都发送完毕的时候才需要关闭通道。通道是可以被垃圾回收机制回收的，它和关闭文件是不一样的，在结束操作之后关闭...阅读全文
的数据并对其所含信息采取相应的操作。例如，您可以将 Harbor 配置为在成功推送镜像后向 Webhook 侦听器发送一个 POST 请求，从而触发 Kubernetes 应用程序的部署，以执行您的测试套件，或者仅仅更新您的 CMDB。 配额（Project Quotas） 配额有助于项目管理员对资源的使用加以控制。具体而言，您可以限制项目所含 tag 的数目，以及项目可占用的存储容量。您可以设置适用于所有项目的全局默认配额，也可以为个别项目设置配额以覆盖系统设置。镜像容量会根据其实际大小进行计算，并会在同时推送多个镜像时考虑所有相关镜像之间的层共享情况。配额可以与其他机制无缝协调工作，例如重新 tag、在线垃圾数据回收和保留策略，从而可始终合理管理各个工件，并且不会浪费空间。 Tag 保留...阅读全文
中心解耦，增加对 Apollo 等第三方专业配置中心的支持，更易于扩展新增应用级别的动态配置规则规则体使用更易读、易用 YAML 格式外部化配置。支持读取托管在远程的集中式配置中心的 dubbo.properties，实现应用配置的集中式管控。更精炼的注册中心 URL，进一步减轻注册中心存储和同步压力，初步实现地址和配置的职责分离。新增服务元数据中心，负责存储包括服务静态化配置、服务定义（如方法签名）等数据，默认提供 Zookeeper, Redis 支持。此功能也是 OPS 实现服务测试、Mock 等治理能力的基础。异步编程模式增强（限定于 Dubbo 协议）原生 CompletableFuture 签名接口支持服务端异步支持异步 Filter 链新增 Protobuf 序列化协议扩展新增...阅读全文
是在不同的机器，同一机 器对同一个分区也只可能存放一个副本（包括自己）。 Consumer：消费者，即消息的消费方，是消息的出口。 Consumer Group：我们可以将多个消费组组成一个消费者组，在kafka的设计中同一个分 区的数据只能被消费者组中的某一个消费者消费。同一个消费者组的消费者可以消费同一个 topic的不同分区的数据，这也是为了提高kafka的吞吐量！ 2.1.2. ⼯作流程 我们看上⾯的架构图中，producer就是生产者，是数据的入口。Producer在写入数据的时候会把数据 写入到leader中，不会直接将数据写入follower！那leader怎么找呢？写入的流程又是什么样的呢？我 们看下图： 1.⽣产者从Kafka集群获取分区leader信息 2.⽣产者将消息发...阅读全文
系统菜单中的 Lite Tweaksv 工具，选择“Kernel Installer”功能来安装更新，同样在安装完成之后需要重启你的电脑。 Linux Kernel 4.14 LTS 的主要功能就是为 x86 硬件部署了更大的存储限制，虚拟地址空间提升至 128PiB，物理硬件空间提升至 4PiB。此外还引入了全新的 ORC unwinder 来改进内核追踪和内核尺寸。 Linux Kernel 4.14 LTS 同时为 Btrfs 和 SquashFS 文件系统引入了 zstd 压缩，能够从用户存储到 sockets 实现 zero-copy 数据，改进 SMP 的 cpufreq 协调，同步 non-blocking buffered 读取，以及对 PCID 指令更快的 TBL 刷新。...阅读全文
[4h], 3600)时间获取 Unix 时间，以秒为单位： time()获取最后一次成功运行的批处理作业的年龄： time() - my_batch_job_last_success_timestamp_seconds查找一小时内没有成功的批处理作业： time() - my_batch_job_last_success_timestamp_seconds > 3600缺失数据处理当输入向量为空时，创建一个一个输出序列： absent(my_metric_name)当输入的范围向量5分钟内都是空的时候，创建一个空的输出序列： absent_over_time(my_metric_name[5m])标签操作用 - 分隔符连接两个标签的值： label_join(my_metric_name...阅读全文
partition都是有序的，即消息发送到队列的顺序跟消费时拉取到的顺序是一致的。replication：副本。一个topic对应的分区partition可以有多个副本，多个副本中只有一个为leader，其余的为follower。为了保证数据的高可用性，leader和follower会尽量均匀的分布在各个broker中，避免了leader所在的服务器宕机而导致topic不可用的问题。 （二）kafka2当中zk的作用/admin：主要保存kafka当中的核心的重要信息，包括类似于已经删除的topic就会保存在这个路径下面。/brokers：主要用于保存kafka集群当中的broker信息，以及没被删除的topic信息。/cluster: 主要用于保存kafka集群的唯一id信息，每个kafka集群都会给分配...阅读全文
-->
{ // 返回 context.Context的截止时间（也就是取消时间） Deadline() (deadline time.Time, ok bool) // 返回一个 Channel，这个 Channel 会在当前操作完成或者上下文被取消之后关闭，多次调用 Done 方法会返回同一个 Channel Done() <-chan struct{} // 返回 context.Context 结束的原因 Err() error // 从 context.Context 中获取键对应的值, 该方法可以用来传递请求特定的数据 Value(key interface{}) interface{} } Context 实现 首先我们思考为什么Golang 中需要 Context。用我们最熟悉的例子 http...阅读全文
都是你的，随便用，管够。可事实上呢，操作系统只是给它们画了个大饼，这些内存说是都给了 P1 和 P2，实际上只给了它们一个序号而已。只有当 P1 和 P2 真正开始使用这些内存时，系统才开始使用辗转挪移，拼凑出各个块给进程用，P2 以为自己在用 A 内存，实际上已经被系统悄悄重定向到真正的 B 去了，甚至，当 P1 和 P2 共用了 C 内存，他们也不知道。 操作系统的这种欺骗进程的手段，就是虚拟内存。对 P1 和 P2 等进程来说，它们都以为自己占用了整个内存，而自己使用的物理内存的哪段地址，它们并不知道也无需关心。 分页和页表 虚拟内存是操作系统里的概念，对操作系统来说，虚拟内存就是一张张的对照表，P1 获取 A 内存里的数据时应该去物理内存的 A 地址找，而找 B 内存里的数据应该去物...阅读全文
JSON 的支持，添加了基于路径查询参数从 JSON 字段中抽取数据的 JSON_EXTRACT() 函数，以及用于将数据分别组合到 JSON 数组和对象中的 JSON_ARRAYAGG() 和 JSON_OBJECTAGG() 聚合函数。 9. 可靠性：InnoDB 现在支持表 DDL 的原子性，也就是 InnoDB 表上的 DDL 也可以实现事务完整性，要么失败回滚，要么成功提交，不至于出现 DDL 时部分成功的问题，此外还支持 crash-safe 特性，元数据存储在单个事务数据字典中。 10. 高可用性(High Availability)：InnoDB 集群为您的数据库提供集成的原生 HA 解决方案。 11. 安全性：对 OpenSSL 的改进、新的默认身份验证、SQL 角色、密码强度...阅读全文
已经停止的容器，默认为1；（maxPerPodContainerCount）--maximum-dead-containers：一个 node 上最多可以保留多少个已经停止的容器，默认为 -1，表示没有限制；--minimum-container-ttl-duration：已经退出的容器可以存活的最小时间，默认为 0s；与镜像回收有关的主要有以下三个参数：--image-gc-high-threshold：当 kubelet 磁盘达到多少时，kubelet 开始回收镜像，默认为 85% 开始回收，根目录以及数据盘；--image-gc-low-threshold：回收镜像时当磁盘使用率减少至多少时停止回收，默认为 80%；--minimum-image-ttl-duration：未使用的镜像...阅读全文
作为社区 RoadMap 的重要组成部分，是大数据实时化必然的趋势。但是另一方面，传统离线的计算需求其实并不会被实时任务完全取代，而是会长期存在。 在实时和离线的需求同时存在的状态下，以往的流批独立技术方案存在着一些痛点，比如： 需要维护两套系统，相应的就需要两组开发人员，人力的投入成本很高； 另外，两套数据链路处理相似内容带来维护的风险性和冗余； 最重要的一点是，如果流批使用的不是同一套数据处理系统，引擎本身差异可能会存在数据口径不一致的问题，从而导致业务数据存在一定的误差。这种误差对于大数据分析会有比较大的影响。 在这样的背景下，Flink 社区认定了实时离线一体化的技术路线是比较重要的技术趋势和方向。 Flink 在过去的几个版本中，在流批一体方面做了很多的工作。可以认为 Flink...阅读全文
消费消息需要紧急处理，可以修改消费端程序，让其将收到的消息快速转发到其他topic(可以设置很多分区)，然后再启动多个消费者同时消费新主题的不同分区。 2）由于消息数据格式变动或消费者程序有bug，导致消费者一直消费不成功，也可能导致broker积压大量未消费消息。 此种情况可以将这些消费不成功的消息转发到其它队列里去(类似死信队列，kafka没有死信队列，需要自己写)，后面再慢慢分析死信队列里的消息处理问题。 2.1.5 延时队列 kafka没有延时队列，需要自己实现；延时队列存储的对象是延时消息。所谓的“延时消息”是指消息被发送以后，并不想让消费者立刻获取，而是等待特定的时间后，消费者才能获取这个消息进行消费，延时队列的使用场景有很多， 比如 ： 1）在订单系统中， 一个用户下单之后通常...阅读全文
看着SSD气势汹汹，机械硬盘丝毫不敢懈怠，唯有不断推陈出新大容量产品，同时把容价比做到更低。据说淘宝上出现了一批全新/充新HGST 8T企业盘，由不景气的乐视云内部流出，居然只要千元出头。 就目前而言，西数、东芝均发布了14TB，前者使用SMR（叠瓦式磁记录），后者使用传统的PMR（垂直磁记录），9碟充氦。 而且，巨头均规划了16TB硬盘，预计明年推向市场。 近日，知名存储服务商Backblaze刊文报道，希捷CTO（首席技术官）Mark Re介绍称，HAMR（热辅助磁记录）存储技术硬盘已经越来越接近商用了。 今年10月的容量密度还是2Tbpsi（每平方英寸容量），Mark Re此次透露，目前已经达到5Tbpsi，是当下希捷最大的12TB硬盘（PMR）1.3Tbpsi的3.8倍，而HAMR...阅读全文
CDS Archives 默认类数据共享归档文件344Abortable Mixed Collections for G1 可中止的 G1 Mixed GC346Promptly Return Unused Committed Memory from G1 G1 及时返回未使用的已分配内存 下边分别来看看： Shenandoah: A Low-Pause-Time Garbage Collector (Experimental) Shenandoah：低暂停时间的 GC（实验性功能） 新增了一个名为 Shenandoah 的 GC 算法，通过与正在运行的 Java 线程同时进行 evacuation 工作来减少 GC 暂停时间。使用 Shenandoah 的暂停时间与堆大小无关，这意味着无论堆是...阅读全文
SK海力士日前宣布推出新一代企业级SSD硬盘，不过官方并没有公布SSD硬盘的名称，只知道是NVMe标准的，基于72层堆栈的3D TLC闪存，M.2版容量最大4TB，U.2容量可达8TB。 性能方面，SK海力士表示新一代企业级硬盘的连续速度可达3200MB/s，随机性能可达160K IOPS，与2018年FMS展会上推出的72层堆栈闪存硬盘相比，新一代企业级SSD的顺序读写性能提升30%，随机写入提升了70%，同时支持读取敏感型及混合型应用，包括数据中心、AI、ML机器学习及VDI虚拟桌面架构等。 值得一提的是，SK海力士的新一代企业级SSD具备极低的功耗，正常应用低于14W，这在企业级SSD中是很低的水平了。 此外，SK海力士还表示将在今年底推出容量更大的企业级SSD硬盘，闪存会从目前的...阅读全文
欧盟一般数据保护条例（GDPR）和加州消费者隐私法案（CCPA）是欧美两大经济体所出台的两部具有代表意义的个人数据保护方面的法规，代表欧美监管机关对于个人数据保护两种不同的管控取向。 本文选取了“个人数据或信息的类型与范围界定”、“法律的管辖范围”、“数据跨境传输管控”、“儿童数据的保护”、“数据主体的反对权和被遗忘权”等关键概念，对GDPR和CCPA的部分要点进行比较分析。 1. “个人数据”或“个人信息”的范围界定 1.1 GDPR对个人数据的定义——侧重用抽象概念定义，实践中存在很大解释空间 除了对少数“特殊种类个人数据”（如宗教信仰、种族、工会成员信息、健康状况等）进行了零星列举以外，《欧盟一般个人数据保护条例》（GDPR）主要用抽象概念对其所管辖的“个人数据”的范围进行界定。 根...阅读全文
Kubernetes的kubelet组件内置了cadvisor，将Node上容器的指标以Prometheus支持的格式展示，可以通过这些指标计算得到更多有用的数据。 Kubelet的Cadvisor指标获取 在Prometheus的配置文件中，配置了相关的Target之后，这些指标就可以从Prometheus中查询到。 - job_name: 'kubernetes-cadvisor' scheme: https tls_config: ca_file: /var/run/secrets/kubernetes.io/serviceaccount/ca.crt bearer_token_file: /var/run/secrets/kubernetes.io/serviceaccount...阅读全文
方法接受Instant数据类型的参数。此更改将影响需要实现新方法的任何自定义只读交互式查询会话存储实现。KIP-622：添加currentSystemTimeMs和currentStreamTimeMs到ProcessorContext该ProcessorContext增加在3.0两个新的方法，currentSystemTimeMs和currentStreamTimeMs。新方法使用户能够分别查询缓存的系统时间和流时间，并且可以在生产和测试代码中以统一的方式使用它们。KIP-743：删除0.10.0-2.4Streams 内置指标版本配置的配置值3.0 中取消了对 Streams 中内置指标的旧指标结构的支持。KIP-743正在0.10.0-2.4从配置属性中删除该值...阅读全文
这些年，机械硬盘容量的提升速度十分缓慢，大有被SSD全面赶超的趋势，不过每个季度，希捷、西部数据都会更新路线图，展望机械硬盘在技术、容量上的发展趋势，尤其是希捷。近日，希捷更是公布了详细的未来技术路线图，计划在2026年左右达到50TB左右，2030年则可以超过120TB。机械硬盘最近几年普遍基于PMR(垂直存储技术)，但即便经过各种优化加强，也已经逼近极限，新的存储技术、机械结构迫在眉睫。比如希捷研发近20年的HAMR(热辅助磁记录)，终于已经开花落地，去年底交付了20TB HAMR硬盘，同时新的多传动器(Muti-Actuator)结构也已经基本成熟，二者结合可让机械硬盘的容量跨上新台阶，2026年达到50TB就靠它们了。类似未来的半导体工艺制程，要想实现更进一步的突破，全新的存储介质...阅读全文
MongoDB 是一个多租户系统，它会尽可能地占用内存，因此最好是安装在服务器上，最大限度地提供内存，即使是开发工作。在服务器上使用默认端口安装而不启用身份验证是在自找麻烦，尤其是可以在查询中运行任意 JavaScript 时（例如把$where 作为注入攻击的载体）。 身份验证方法有多种，但是用户 ID/密码凭证最容易安装和管理。当你考虑 基于 LDAP 的身份验证 时，可以采用那个方法。在我们谈论安全时，MongoDB 必须保持最新，而且，在日志里查找未授权访问的迹象总是值得的。我不喜欢使用默认端口。 忘记限制 MongoDB 的攻击面 MongoDB 的 安全检查清单 为降低网络渗透和数据泄露风险提供了很好的建议。我们很容易会认为，开发服务器不需要高等级的安全。不是这样的：安全对于所有...阅读全文
.SourceTree https://www.sourcetreeapp.com/ 2.2配置用户信息 $ git config --global user.name "shang" $ git config --global user.email [email protected] 2.3Git文件的三种状态 在 Git 内都只有三种状态：已修改（modified）、已暂存（staged）和已提交（committed）。已修改表示修改了某个文件，但还没有提交保存；已暂存表示把已修改的文件放在下次提交时要保存的清单中；已提交表示该文件已经被安全地保存在本地数据库中了； 3.获取 Git 仓库 有两种取得 Git 项目仓库的方法。 第一种是在现有项目导入所有文件到 Git 中。 第二种是从一个服务器克隆一个现有...阅读全文
今天我们公布了Kubernetes 1.7，这一里程碑版本引入了更为强大的安全性、存储以及扩展性因素，旨在满足Kubernetes在广泛企业环境下所面临的实际需求。 这次发布的版本中安全方面的改进包括加密的Serect，Pod到Pod通讯的网络策略，限制kubelet访问的节点授权器（node authorizer），和客户端/服务端 TLS 证书轮换。 对于在Kubernetes上伸缩数据库的用户，这次版本有一个重要特性向StatefulSet添加了自动化的更新，并增强了对DaemonSet的更新。同时我们宣布对本地存储和用于更快速伸缩StatefulSet的加速模式（burst mode）的alpha支持。 同时，对于高级用户，这次版本中的API聚合允许用户提供的API服务器和...阅读全文
，此方法在 Storage=none 时无效。 此方法不能实时读取日志消息， 但是可以读取先前保存的日志消息(例如在系统启动完成之后读取系统启动早期的日志消息)。 此方法还可以读取到完整的日志元数据。 此方法一般无法读取当前最新的日志消息， 只能读取已经被记录到文件系统上的日志消息。 注意，syslog 守护进程通常使用此方法(而不是前一种方法)， 因此 Storage= 选项(而不是 ForwardToSyslog= 选项) 不应该设为"none"。...阅读全文
。 Internet Explorer允许cookie多达4095个字节，包括：名（name）、值（value）和等号。 在所有浏览器中，任何cookie大小超过限制都被忽略，且永远不会被设置。 html5提供了两种在客户端存储数据的新方法：localStorage 和 sessionStorage, 它们都是以key/value 的形式来存储数据，前者是永久存储，后者的存储期限仅限于浏览器会话(session),即当浏览器窗口关闭后，sessionStorage中的数据被清除。 localStorage的存储空间大约5M左右(不同浏览器可能不同，分 HOST)，这个相当于一个5M大小的前端页面的数据库，相比于cookie可以节约带宽，但localStorage在浏览器隐私模式下是不可读取的，当存储数据超过了...阅读全文
8000的安全组策略） 1.0.0升级后，之前的用户要重新配置权限，但有些权限可能存在一些bug，例如数据字典修改时的403问题。 至此安装全部完成！...阅读全文
余台服务器下载了挖矿脚本。 而挖矿脚本可以把百度公司的运算资源上传到哈希网站，哈希网站通过其上传的运算资源挖取门罗币，最后根据其上传运算资源的多少，以比特币的方式向其结算。 最后，从哈希网站将比特币提现到 otcbtc.com 网站，通过这个网站将比特币卖了约 10 万元人民币。目前在哈希网站的钱包里，还存有约 1.44 个比特币，在 otcbtc.com 网站里还存有大概 1.5 个比特币。以现在的币价来算，1.44 个比特币相当于人民币 5 万元，结合 2018 年的币价，这样算下来，其实“安某”也不过挖了 5 个左右的比特币，并不算多。 用网友的话来说：“155 个服务器，获利 10 万，这手段着实不甚高明”。 百度损失 2.7 万，“安某”获三年牢狱之灾 2018 年 6 月初，在安...阅读全文
时，进行 rename table 时潜在的问题修复多数据路径配置下进行 rename table 会导致数据丢失的问题修复某些场景下 TiFlash 存储空间上报错误的问题修复开启 Region Merge 情况下从 TiFlash 读取时潜在的问题ToolsTiDB Binlog修复因为 TiFlash 相关的 DDL job 导致 Drainer 同步中断的问题 #948 #942BR修复关闭 checksum 情况下，仍然执行 checksum 的问题 #223修复 TiDB 开启 auto-random 或 alter-pk 时，增量备份失败的问题 #230 #231 详细更新说明请参考官网说明，点击这里访问 TiDB 的详细文档。...阅读全文
