InfraPub 为您找到相关结果 336

基于 Debian 的 Slax 9.3 GNU/Linux 发行版在圣诞前如约而至

EXT4 和 NTFS 文件系统引导、“持续变动”(Persistent Changes)特性也已默认启用。 其它方面,Slax 9.3 改进了 xLunch 应用程序启动器的能力(支持自动更新、显示新安装的程序)、支持在启动时挂载外部驱动器(在 PCManFM 中添加了一个快捷方式)、键盘布局也能够长期保持。 最后,Slax 9.3 默认使用的 syslinux bootloader 已更新至最新版本,并且重新实现了屏幕分辨率的变更,以使它能够更好地工作。 : http://www.slax.org/en/blog/24578-Slax-9.3-is-here.html...阅读全文

博文 2017-12-25 13:36:26 debian.cn

Canonical发起投票:Ubuntu 18.04 LTS预装哪些应用

Subiquity 服务器安装程序、以及将镜像的尺寸缩减 18% 。 当然,他们也在努力带来更好的 GPU/CUDA、EXT 加密(fscrypt)、从 Ubuntu 17.10 的 /boot 路径中自动移除旧内核等功能支持。 不过现在,Canonical 希望你投票选出 Ubuntu 18.04 LTS 的默认应用。作为 Ubuntu 的下一个长期支持版本,它定于 2018 年 4 月份正式与大家见面。 Ubuntu 产品战略经理 Dustin Kirkland 表示:“我们邀请您列出一份清单,以找到在 Linux 中最实用的应用程序”。 :https://insights.ubuntu.com/2017/07/21/dustin-kirkland-ubuntu-18-04-lts-desktop...阅读全文

Golang 中的 channel 通道详解

channel通道golang的并发模型是序列通信处理CSP(communicating sequential process)——使用通信来共享内存 ,避免goroutine因竞争共享内存频繁加锁产生的性能问题。基本数据结构golang中提供了一个特殊的类型channel实现goroutine之间的通信。channel类似于队列,先进先出。channel数据结构源码在src/runtime/chan.go下。chan 使用 hchan 表示,它的参与赋值始终都是指针形式,每个 hchan 对象代表着一个 chan。hchan 中包含一个缓冲区 buf,它表示已经发但是还未被接收的数据缓存。buf 的大小由创建 chan 时的参数来决定。qcount 表示当前缓冲区中有效数据的总量...阅读全文

TLS1.3 正式版发布 — 特性与开启方式科普

延迟会使人感觉到移动浏览速度很缓慢。不幸的是,数据加密会进一步降低连接的速度。而 TLS1.3 有助于改善这种状况。 要向加密网站发一条消息,你必须首先建立共用密钥。这一过程叫做一次握手。它要求有专的消息往来于浏览器和网站之间。只要你的浏览器连接到一个加密站点,TLS握手就会在后台发生。 对于TLS1.2来说,在请求发出去之前,需要2次消息往来才能完成握手。通过移动网络访问一个站点时,加载时间会额外增加超过半秒钟。而对于TLS1.3来说,首次握手只需要1次消息往来。这就像把一辆0-60迈加速需10秒的旅行车升级成一辆只需5秒的特斯拉Model S。如果一次连接所需的消息往来耗时约100毫秒,那么TLS1.3的速度提升足以让那些反应迟缓(加载时间超过300毫秒)的站点变得足够快(加载时间...阅读全文

博文 2018-08-14 14:40:05 debian.cn

容器安全项目Falco

Falco 是云原生的容器运行时(Runtime)安全项目,主要有 Sysdig 为主开发,为 CNCF 项目,近日 Sysdig 宣布将底层的内核模块、eBPF 探针和库贡献给 CNCF。 Falco 可以轻松使用内核事件,并使用 Kubernetes 和其他云本机中的信息补充和丰富事件。Falco 具有一组专为 Kubernetes,Linux 和云原生构建的安全规则。如果系统中违反了规则,Falco 将发警报,通知到用户。...阅读全文

开源项目 2021-03-15 17:46:45

协议介绍之深入了解 gRPC

HTTP/1.x 做过推的同学,大概就知道有多么的痛苦,因为 HTTP/1.x 并没有推机制。所以通常两种做法: Long polling 方式,也就是直接给 server 挂一个连接,等待一段时间(譬如 1 分钟),如果 server 有返回或者超时,则再次重新 poll。 Web-socket,通过 upgrade 机制显式的将这条 HTTP 连接变成裸的 TCP,进行双向交互。 相比 Long polling,笔者还是更喜欢 web-socket 一点,毕竟更加高效,只是 web-socket 后面的交互并不是统意义上面的 HTTP 了。 Hello HTTP/2 虽然 HTTP/1.x 协议可能仍然是当今互联网运用最广泛的协议,但随着 Web 服务规模的不断扩大,HTTP/1.x 越...阅读全文

博文 2017-06-22 11:08:48 debian.cn

使用 cURL 对Web请求进行性能测试

time 可以看到 time_total 的细节: time curl --silent -o /dev/null http://www.github.com/ real 0m0.022s user 0m0.004s sys 0m0.002s 通常情况 Benchmark 一次的数据并不可靠,可以配合 for loop 发多次请求。 curl 默认发 GET 请求,也可以发 POST, DELETE, PUT 或者更多的请求方式。 使用 curl -w 查看更多的网络情况 通常情况下一个 HTTP Request 会包含很多步骤,如果想知道 time_total 之外更详细的信息,可以参考 man curl 文章中, -w --write-out 。 curl -w...阅读全文

博文 2018-11-28 18:40:47 debian.cn

贪污公司六百万美元:监管缺失的IT运维

Word文档通常会保留创建人的信息,没想到正是这一点,成了破案关键。据外媒报道,Hicham Kabbaj曾是美国纽约营销公司Rakuten Marketing的IT部主管。精于“以权谋私”的他创办了名为Interactive Systems的空壳公司,并以新公司的名义向Rakuten Marketing输IT设备。 由于这些IT设备、软件只需要Kabbaj点头同意,所以他顺风顺水地做了4年左手倒右手的生意,牟利600万美元(约合4182万)。 不过,公司走账是需要发票的,Kabbaj就是在这里露馅的。 调查人员发现,有几张发票上对应的硬件序列号对应的是已购老设备,更甚的是,其中几张发票还是用Word伪造的,这些原始Word文档显示为Kabbaj的副本。 事情败露地喝么彻底...阅读全文

博文 2020-01-08 10:12:34 debian.cn

技术部门的 SEO 规范

遵守的SEO规范,开发网站或修改网站时,即使不与SEO部协同,也至少不能违反SEO规范,以防产生灾难性的后果。以前为客户写过一些技术部SEO规范,现在简单整理更新一下,分享给大家,希望对其它公司也有帮助。 技术部SEO规范 本SEO规范适用于公司所有新建网站及对现有网站的更新、改版。本SEO规范不是建议,是强制性规定。编程、前端、运维等技术相关部务必遵守。 对本SEO规范中的内容有疑义时,请与SEO部沟通,不可自行解释有疑义部分。 域名及服务器相关 只解析公司因业务需要决定开通的子域名。未开通子域名一律不解析。不要使用泛解析(以通配符*代替子域名)。不能有两个或两个以上域名显示同样网站内容(无论以哪种方式实现,如解析至相同根目录、上同样文件和数据库)。用于测试的子域名使用...阅读全文

博文 2019-03-28 13:58:51 debian.cn

Stackstorm 入门介绍

结果发布到IM中,比如 HipChat、JIRA 或者 Slack 等。 自动修复 - 识别和验证OpenStack计算节点上的硬件故障,正确排空实例并向管理员发关于潜在停机时间的电子邮件,但如果出现任何问题 - 冻结工作流程并呼叫PagerDuty唤醒人员。 持续部署 - 与Jenkins一起构建和测试,配置新的AWS群集,基于NewRelic的应用程序性能数据,打开负载均衡器的一些流量,以及前滚或回滚。 Stackstorm工作原理 主要组件角色: 感器(Sensors) 用于分别接收或监视事件的入站或出站集成的Python插件。 当来自外部系统的事件发生并由感器处理时,StackStorm触发器将发射到系统中。 触发器(Triggers)外部事件的StackStorm表示形式...阅读全文

为什么使用 JavaScript 开发物联网?

嵌入式设备与JavaScript看似是来自两个不同世界的两个物种,八竿子都打不着。但是随着JavaScript 开疆扩土,从浏览器逆袭登陆到服务端之后又与物联网有了交集。 物联网的未来需要一解释性语言 统的嵌入式开发相对于WEB开发来说槛高,碎片化严重,平台复杂。C/C++性能高,对设备资源要求低,但是对开发者的要求高,开发效率低。 物联网与互联网、移动互联网的基因是相同的,大量的应用才能铸就生态的繁荣。而使用C/C++来开发应用是及其低效和昂贵的,纵观互联网、移动互联网,应用开发是解释性语言的天下。互联网的PHP、JavaScript,移动互联网的Java,JavaScript,而物联网还是使用C/C++。因此,物联网的未来需要一解释性语言。 JavaScript是最好的选择 相...阅读全文

博文 2021-01-28 17:50:12 debian.cn

Kafka生产问题总结以及性能优化

都要用G1垃圾收集器,因为年轻代内存比较大,用G1可以设置GC最大停顿时间,不至于一次minor gc就花费太长时间,当然,因为像kafka,rocketmq,es这些中间件,写数据到磁盘会用到操作系统的page cache,所以JVM内存不宜分配过大,需要给操作系统的缓存留出几个G。 2.1 线上问题及优化 2.1.1 消息丢失情况 消息发端: (1)acks=0: 表示producer不需要等待任何broker确认收到消息的回复,就可以继续发下一条消息。性能最高,但是最容易丢消息。大数据统计报表场景,对性能要求很高,对数据丢失不敏感的情况可以用这种。 (2)acks=1: 至少要等待leader已经成功将数据写入本地log,但是不需要等待所有follower是否成功写入。就可以继续发...阅读全文

博文 2023-01-05 23:16:48 CSDN博客

钉钉发送报警消息的Python实现

] else: return '' 需要先上文件获得media_id,然后使用media_id将文件发给用户。另外,这里用到了poster,可使用pip安装: pip install poster 之后引入multipart_encode和register_openers函数: from poster.encode import multipart_encode from poster.streaminghttp import register_openers 给群会话发消息 与给用户发信息类似,区别是需要群会话id,而不是用户列表,以发文本消息为例,代码如下: def send_text_to_chat(access_token, chat_id, text): msg_type, msg...阅读全文

博文 2018-04-27 08:51:33 debian.cn

linux下查看系统socket读写缓冲区_eyucham的专栏

系统提供的socket缓冲区大小为8K,你可以将之设置为64K,尤其在输实时视频时。 socket发数据时候先把数据发到socket缓冲区中,之后接受函数再从缓冲区中取数据,如果发端特别快的时候,缓冲区很快就被填满(socket默认的是1024×8=8192字节),这时候我们应该根据情况设置缓冲区的大小,可以通过setsockopt函数实现 #include #include #include #include #include #include #include #include int main...阅读全文

博文 2021-01-26 16:21:35 CSDN博客

取代TCP:工程师宣布QUIC协议已完成RFC 9000发布

访问:天猫6·18 “开红”超级红包活动主会场 | 手机版京东6·18“京享红包”25日12点开始领取 最大面额高达18618元 (图 via Orozco 2018)据悉,工程团队中有三位核心成员,且他们对 QUIC 的承诺深信不疑。其中包括 IETF QUIC 工作组只需 Mark Nottingham,协议主要贡献者兼 quicly 创作者 Kazuho Oku,以及核心文档集编辑、杰出工程师 Jana Iyengar 。最新消息是,互联网工程任务组(IETF)已经发布了 RFC 9000,且得到了 RFC 9001 / 9002 / 8999 支持,意味着 QUIC 已从草稿阶段转向了 1.0 正式版。与此同时,基于 QUIC 的 HTTP/3 也有望紧随其后很快发表。对于...阅读全文

深入学习golang — channel

. }() doSomethingForAWhile() <-c // Wait for sort to finish; discard sent value. 上面的示例中,在子goroutine中进行排序操作,主goroutine可以做一些别的事情,然后等待子goroutine完成排序。 接收方会一直阻塞直到有数据到来。如果channel是无缓冲的,发方会一直阻塞直到接收方将数据取出。如果channel带有缓冲区,发方会一直阻塞直到数据被拷贝到缓冲区;如果缓冲区已满,则发方只能在接收方取走数据后才能从阻塞状态恢复。 3. 消息递 我们来模拟一下经典的生产者-消费者模型。 func Producer (queue chan<- int){ for i:= 0; i < 10; i++ { queue <- i } } func...阅读全文

博文 2021-01-25 12:39:17 博客园

VIRPUS – $1.5/mo Xen 4核 1G 50G 1.5T 1Gbps 西雅图

virpus是一家成立很久的美国vps主机商,本次黑五活动,算是相当给力了。采用xen虚拟架构技术,数据中心为西雅图,国内速度还是很优秀和稳定的,硬盘为hdd+ssd缓存,带宽为1Gbps上行;折扣为3折,非常给力。 优惠码:BLACKFRIDAY2017 黑五专属折扣,算是很有性价比了,机会不容错过。支持Paypal、MasterCard、比特币支付。 优惠方案 核心:4核CPU 内存:1GB 硬盘:50GB 流量:1.5TB 端口:1Gbps 架构:Xen 价格:$1.50/month :购买链接 https://my.virpus.com/cart.php?a=confproduct&i=0 官网链接 https://www.virpus.com/...阅读全文

博文 2017-11-25 11:05:35 debian.cn

三星首发HBM-PIM存内计算技术:2倍性能、功耗降低70%

PIM存内计算是近年来的热领域,与统诺伊曼体系面临着越来越严重的存储贷款瓶颈不同,PIM直接在存储芯片上集成了计算功能,而不是CPU、内存数据分离,这样就能极大地提高带宽,在AI人工智能领域这个更重要。得益于这一突破,三星首发的HBM-PIM技术实现了2倍的性能,同时功耗还降低了70%,还能兼容目前的HBM接口,便于客户通过HBM-PIM来构建自己的AI加速器。三星计划今年上半年推出HBM-PIN芯片完成客户验证工作,何时量产、商用还没信息。...阅读全文

博文 2021-02-17 20:05:54 cnBeta.COM

打破IP协议重塑互联网 华为能做到吗

的 IP 报头允许终端用户指定要在数据包上执行的自定义功能。 文章以智能家居为例,描述了新 IP 网络下的应用场景: 运动感器检测出房间出现异常活动时,会通知相应房间的安全摄像头通过智能家居网络采集信息,然后,安全摄像头将收集到的图像信息通过互联网发到主人的智能手机上进行判断。如果只是误报,主人可以向安全摄像头发信息要求停止信息收集。由于房子里的所有设备都连接在同一个家庭网络上,所以运动感器可以直接将通知发到安全摄像头,并带有它的域内地址;并且由于新的 IP 协议向源地址中添加了一个地址段(4.3.2.1),摄像头数据能够直接至用户的智能手机中。 不难看出,在该场景中,新 IP与统 IP 相比有两方面优势:一是智能家居网络采用短地址空间进行批量通信,减少了分组开销,提高了通信...阅读全文

博文 2020-03-31 06:40:15 debian.cn

什么是线程安全,以及并发需要知道的几个概念

里等待,直到售货员把衣服交给你后才算购物成功,这就相当于同步的过程。 不过,如果是在网上购物的话,我们只需下单并完成支付,对我们来说整个购物过程就算完成了。网上的商家接到订单会帮我们加紧安排货,这段时间我们可以去做其他的事,比如去外面打个篮球之类的。等货上并签收商品就完事了,这个过程就相当于异步。 并发和并行并发和并行的功能很相似,两者都可以表示多个任务一起执行的情况,但本质上两者其实是有区别的。 严格意义上来说,并行的多任务是真实的同时执行,而并发更多的情况是任务之间交替执行,系统不停的在多个任务间切换执行,也就是 “串行” 执行。 最直接的例子的就是我们的计算机系统,在单核CPU时代,系统表面上能同时进行多任务处理,比如听歌的同时又浏览网页,但真实环境中这些任务不可能是真实并行的...阅读全文

博文 2018-12-31 20:44:06 debian.cn

Google 宣布新拥堵控制算法 TCP BBR

Google 宣布了 新拥堵控制算法 TCP BBR。Google 官方博客称新算法将 google.com 和 YouTube 的全球网络吞吐量平均改进了 4%,在某些国家改进了 14%+。 Google 解释说,现有的 TCP 拥堵控制算法源自 1980 年代,是为低带宽数据输设计的,解决拥堵主要考虑丢包,也就是在网络堵塞的时候路由器将会丢弃新的数据包。BBR 代表 Bottleneck Bandwidth and Round-trip propagation time,它的拥堵控制采用了不同的方法,考虑了网络实际的数据交付率有多快。根据最近测量的网络交付率和往返时间构建显示模型,最大化近期可用带宽和最小化近期往返延迟。BBR 使用这些数据决定数据发速率有多快。 Google 已经...阅读全文

博文 2017-07-22 19:42:30 debian.cn

SpringCloud 之外的选择:国产JBoot v1.7.1 发布

JBoot 是一个基于 JFinal 和 Undertow 开发的微服务框架。提供了 AOP、RPC、分布式缓存、限流、降级、熔断、统一配置中心、Opentracing 数据追踪、metrics 数据监控、分布式 session、代码生成器、shiro 和 jwt 安全控制、swagger api 自动生成等功能。 Jboot v1.7.1 主要更新如下: 新增:redis 添加自定义序列化配置的功能 新增:Jboot.java 添加方法 service(Class clazz, JbootrpcServiceConfig config) 方便获取 rpc service 新增:JbootController 添加 getRawObject() 方便获取 api 过来的 json 数据...阅读全文

博文 2018-10-24 13:19:05 debian.cn

漫画赏析:Linux 内核到底长啥样

鹅,它表示着 PID 为 421 的进程,它正在查看文件柜中的文件,这代表系统中正有一个进程在访问文件系统。在右下角有一只小狗,它是看狗,这代表对文件系统的监控。 一层(地面层) floor 看完了地基,接下来我们来看地基上面的一层,都有哪些东西。 Process Table 在这一层,最引人瞩目的莫过于中间的一块垫子,众多小企鹅在围着着桌子坐着。这个垫子的区域代表进程表。 左上角有一个小企鹅,站着,仿佛在说些什么这显然是一位家长式的人物,不过看起来周围坐的那些小企鹅不是很听话——你看有好多走神、自顾自聊天的——“喂喂,说你呢,哇塞娃(171),转过身来”。它代表着 Linux 内核中的初始化(init)进程,也就是我们常说的 PID 为 1 的进程。桌子上坐的小企鹅都在等待状态中,等待工...阅读全文

博文 2021-01-28 17:50:24 debian.cn

Debian目前面临的问题:钱足够但很缺人!

。” Jonathan Carter 的演讲报告幻灯片,“问题永无止境” 社区的文化是不花费不必要的钱。Carter 说,“Debian 人不喜欢花钱,对此有负罪感”。在 Register 看来,这导致社区依赖于少量中坚开发人员承担所有的工作。 官方给出了为 Debian 项目添砖加瓦的开发人员统计情况。目前上代码的开发人员有 975 人,项目维护者有 223 人。在 Carter 看来,这远远不够,因为 Debian 项目正在不断增长。 在 2009 年,当时的发行版 Lenny 的 i386 架构中有近 2.2 万个二进制软件包。目前的 Bullseye 发行版中,amd64 架构中就有超过 6.1 万个二进制软件包。Carter 指出,“规模很快就会突破 10 万个软件包”。因此,规模扩张是项目面对的燃...阅读全文

博文 2020-10-09 10:24:04 debian.cn

Facebook 是如何进行大规模代码部署的

。 • 自动测试:包括单元、集成和端到端测试,会使用到 Roboelectric、XCTest、JUnit 和 WebDriver 等工具。 在代码变更的生命周期内,每次提交都会执行移动构建并运行测试栈,这样就会运行很多次。单单 Android 一天就有 5 万到 6 万个构建版本。移动部署系统遵循较早的基于 Web 的模式,每周发布一次,按 cherry-picking 策略随机选择变更。尽管代码输速度和发布频率有所增长,但工程师的生产率保持不变。然而,本文提到的标准(代码行和推次数),可能并非衡量生产率的最佳标准。 据 2016 年 IEEE 的论文和相关讨论,Facebook 早在 2005 年就利用了某种形式的 CD。该论文中的一些结论列出了 CD 成功的先决条件:可观的持续投资、高度熟...阅读全文

博文 2017-10-31 14:05:20 debian.cn

百度运维工程师挖矿实录:四个月用155台服务器挖矿赚10万判3年

余台服务器下载了挖矿脚本。 而挖矿脚本可以把百度公司的运算资源上到哈希网站,哈希网站通过其上的运算资源挖取罗币,最后根据其上运算资源的多少,以比特币的方式向其结算。 最后,从哈希网站将比特币提现到 otcbtc.com 网站,通过这个网站将比特币卖了约 10 万元人民币。目前在哈希网站的钱包里,还存有约 1.44 个比特币,在 otcbtc.com 网站里还存有大概 1.5 个比特币。以现在的币价来算,1.44 个比特币相当于人民币 5 万元,结合 2018 年的币价,这样算下来,其实“安某”也不过挖了 5 个左右的比特币,并不算多。 用网友的话来说:“155 个服务器,获利 10 万,这手段着实不甚高明”。 百度损失 2.7 万,“安某”获三年牢狱之灾 2018 年 6 月初,在安...阅读全文

博文 2020-03-17 20:42:41 debian.cn

Cortex: 高可用和水平扩展Prometheus监控系统

询时必须提供相同的值。在下面的例子中,这个headers是使用nginx反向代理设置的。架构图Cortex架构(源)Nginx/gateway–一个位于cortex前面的反向代理,将收到的所有请求转发给相应的服务。分发服务器Distributor–处理入的指标,将其拆分为多个批次,然后将其递给Ingesters。如果复制因子replication factor设置为> 1,则数据将发到多个实例。接收器Ingester–此服务负责将数据写入已配置的存储后端。Ingester是半状态的,因为它们保留了最后12个小时的样本。这些样本将被批处理并压缩,然后再写入块存储。查询前端Query Frontend–一个可选组件,用于对查询请求进行排队,并在失败时重试它们。结果也被缓存以提高性能查询器...阅读全文

博文 2021-10-09 17:00:22 知乎

25万次P/E循环 超级长寿的SLC SSD诞生

SLC、MLC、TLC、QLC……NAND闪存类型的进化一直是个争议话题,可靠性和寿命越来越差,或者说P/E编程擦写循环次数越来越低,东芝甚至已经开始探讨PLC,不知道会渣成什么样。对于最初的SLC(每单元只保存1比特数据),很多人都十分怀念,但如今已经几乎绝迹,只在极少数特殊场合才能看到。 东芝正在打造可视为SLC加强版的XL-Flash,而高端固态存储厂商Greenliant最新打造的NANDrive EX系列SSD产品,更是应用了超长寿的SLC闪存。 Greenliant NANDrive EX并非消费级产品,而是面向高性能计算、工业、交通运输、视频和网络等特殊行业应用,特别是那些需要超长寿命、高可靠性的应用,能长久保持数据完整。 它采用了Greenliant自家专设计的...阅读全文

博文 2019-08-07 23:13:00 debian.cn

Go 1.16 即将发布,这些变更你需要知道

泛型又近了一步。 另外在本次新版本中,像是 template 支持跨行: {{"hello" | printf}} 又或是 Linux 的默认内存管理策略下又从 MADV_FREE 改回了 MADV_DONTNEED 策略,大家在新版本中不再需要设置: GODEBUG=madvdontneed=1 大家若有需求都可以进一步去了解,现在新版本的功能特性已经锁定,基本尘埃落定。 :https://tip.golang.org/doc/go1.16。 分享 Go 语言、微服务和奇怪的系统设计 ???? 长按关注煎鱼,在知识的海洋里遨游 学习资料分享,关注公众号回复指令: 回复【000】,下载 LeetCode 题解大全。回复【001】,下载 Go 进阶图书 Mastering Go。...阅读全文

博文 2021-02-17 08:52:12 CSDN博客

RethinkDB的简单介绍

RethinkDB最早是作为一个对SSD进行专优化的MySQL存储引擎出现的,其特点在于对SSD的充分利用。而目前RethinkDB已经脱离MySQL成为一个独立的存储。 RethinkDB目前支持几乎所有的64位Linux发行版,包括: Ubuntu 10.04.1 x86_64 Ubuntu 10.10 x86_64 Red Hat Enterprise Linux 5 x86_64 CentOS 5 x86_64 SUSE Linux 10 RethinkDB支持各种底层存储:SSD,统磁盘以及像AWS这样的云存储服务。 RethinkDB应用场景 它可以用来替代Memcached作为数据缓存层。或者替代一些类似Memcached的存储,比如Membase,MemcacheDB...阅读全文

博文 2021-01-28 17:50:10 debian.cn

Golang 操作 Kafka 样例

)、consumer(消息消费者)都可以是分布式的。 在消息的生产时可以使用一个标识topic来区分,且可以进行分区;每一个分区都是一个顺序的、不可变的消息队列, 并且可以持续的添加。 同时为发布和订阅提供高吞吐量。据了解,Kafka每秒可以生产约25万消息(50 MB),每秒处理55万消息(110 MB)。 消息被处理的状态是在consumer端维护,而不是由server端维护。当失败时能自动平衡 1.1.3. 常用的场景 监控:主机通过Kafka发与系统和应用程序健康相关的指标,然后这些信息会被收集和处理从而创建监控仪表盘并发警告。 消息队列: 应用程度使用Kafka作为统的消息系统实现标准的队列和消息的发布—订阅,例如搜索和内容提要(Content Feed)。比起大多数的消息系统来说,Kafka...阅读全文

博文 2023-01-10 13:46:09 掘金

Gitlab CI 配置文件 .gitlab

。 默认情况下,job artifacts 只正对成功的jobs收集。 artifacts用于指定成功后应附加到job的文件和目录的列表。只能使用项目工作间内的文件或目录路径。如果想要在不通的job之间递artifacts,请查阅依赖关系。以下是一些例子: 发binaries和.config中的所有文件: artifacts: paths: - binaries/ - .config 发所有没有被Git跟踪的文件: artifacts: untracked: true 发没有被Git跟踪和binaries中的所有文件: artifacts: untracked: true paths: - binaries/ 定义一个空的dependencies可以禁用artifact递: job...阅读全文

博文 2018-12-12 21:09:02 ci.yaml 详解(下)

深入理解Golang之context

++ { messages <- i } time.Sleep(5 * time.Second) close(done) time.Sleep(1 * time.Second) fmt.Println("main process exit!") } 上述例子中定义了一个buffer为0的channel done, 子协程运行着定时任务。如果主协程需要在某个时刻发消息通知子协程中断任务退出,那么就可以让子协程监听这个done channel,一旦主协程关闭done channel,那么子协程就可以推出了,这样就实现了主协程通知子协程的需求。这很好,但是这也是有限的。如果我们可以在简单的通知上附加递额外的信息来控制取消:为什么取消,或者有一个它必须要完成的最终期限,更或者有多个取消选项,我们需要根据额外的信息来判断...阅读全文

博文 2021-01-27 09:05:27 知乎

CCPA vs. GDPR:欧美这两部个人数据保护法有什么差异?

否落入加州CCPA管辖。 2.3 小结 相比而言,GDPR的管辖较广泛,管辖逻辑复杂,只要与欧盟、欧盟居民、向欧盟输出产品服务或监控欧盟个人等因素相关,即大概率落入GDPR管辖范围。 相反,CCPA管辖逻辑简明,聚焦于管辖“以营利目的处理个人信息的企业”,为被管辖实体设置了“年收入金额槛”和“消费者、家庭和设备数量槛”,注重对于风险影响程度和范围较大的实体进行管辖,执法的针对性就更强。 3. 数据跨境输管控:GDPR环环相扣严格限制,CCPA无明确规定 3.1 GDPR对跨境输的授权与限制——五道“关口” GDPR对数据跨境输到欧盟境外的情况规定了较为严格的条件。从立法价值取向上,通过以下“五步走”的方式[11],GDPR就为数据流出欧洲经济区(EEA)设置了层层关口,且GDPR给...阅读全文

运维的未来:云服务兴起,运维人员会“下岗”吗?

本文作者 Tyler Treat 是一名软件工程师,他认为运维的未来从很多方面来说都跟质量保证(QA)的未来走向相似。未来,运维要使开发者能够通过工具、自动化和流程实现自助服务。统的运维( Ops)没有消失,只是在重组。 云服务的发展看起来让运维人员“丢”了工作,因为从统意义上说,从本地(on-premise)转移到云平台意味着运维工作在相当大程度上外包给云提供商。这正应了那个流行词—— “无运维运动”(NoOps),许多人称之为 DevOps 的“继承者”,虽然这个词最近这些日子已经不是那么响亮了。这使得 Amazon 和开发团队创建的产品——包括基础设施自动化,部署自动化,配置管理,日志管理以及监控和检测——之间出现了隔膜,隔膜虽小,但却至关重要。 事实上,运维的未来从很多方面来说...阅读全文

博文 2021-01-28 17:50:31 debian.cn

谷歌公开了内部管理Infra层的两个工具的Paper

同点:不再关注于给生产环境推单独的变更,而是关注于想要达到的状态。不再维护一步一步的工作流,而是让服务所有者使用配置来描述他们想要基础架构达到的样子:运行什么job,负载均衡器的搭建,数据库schema的位置等等。 基于这些信息,Prodspec和Annealing将这些配置转化成统一的结构,随后被执行。执行是安全并且持续性的:自动化系统重复地比较用户模型所表达的预期状态和生产环境的状态,并且在安全的时候自动触发reconciliation。服务所有者不再需要将配置变更手动推到生产环境里。 因为我们从2015年左右就开始开发Prodspec和Annealing,基于intent的执行(intent-based actuation)这一简单明了的理念如今已经成了实际的标准。Google生产...阅读全文

博文 2023-01-08 11:23:20 CSDN博客

互联网协议正在发生变化

的安全是否是一个正确的解决方案有很多的争论。确实,仍然有可能对使用 TLS 1.3 的通讯进行解密,但是,你需要去访问一个短暂密钥才能做到,并且,按照设计,它们不可能长时间存在。 在这一点上,TLS 1.3 看起来不会去改变以适应这些网络,但是,关于去创建另外一种协议有一些言,这种协议允许第三方去偷窥通讯内容,或者做更多的事情。这件事是否会得到推动还有待观察。 QUIC 在 HTTP/2 工作中,可以很明显地看到 TCP 有相似的低效率。因为 TCP 是一个按顺序发的协议,一个数据包的丢失可能阻止其后面缓存区中的数据包被发到应用程序。对于一个多路复用协议来说,这对性能有很大的影响。 QUIC 尝试去解决这种影响而在 UDP 之上重构了 TCP 语义(以及 HTTP/2 流模型的一部分...阅读全文

十个增加 Linux Shell 脚本趣味的小工具

-Windows 系统发消息 smbclient可以和 SMB/CIFS服务器通信。它可以向MS-Windows系统的指定用户发消息: smbclient -M WinXPPro < 或者 echo "${Message}" | smbclient -M salesguy2 10. Bash Socket 编程 你可以在bash中开启一个socket链接,并且输数据。Bash有两个特殊的设备文件: /dev/tcp/host/port - 如果hostname,和port是合法的话,bash会尝试开启一个TCP连接。 /dev/udp/host/port - 如果hostname和port是合法的话,bash会开启一个UDP连接。 你可以利用这个技术来测试一台主机的端口是否是开启的,而不需要使用...阅读全文

博文 2018-04-09 09:38:50 debian.cn

Chrome浏览器中新增反恶意软件广告功能

告。 阿拉巴马大学伯明翰分校的计算机取证研究主任GaryWarner指出,谷歌的这一措施将会起到很大的作用。受恶意广告攻击最严重的是依靠广告网络播恶意广告的人。他们在播基础设施方面投入巨大,在某些情况下他们甚至不惜收购广告公司来播恶意软件。遗憾的是,它可能带来的副作用是,播“本地”恶意软件的现象可能会因此而上涨。他指的是托管在被黑站点上的恶意软件,而不是通过将用户重定向至利用包的恶意广告活动播的恶意软件。 但是恶意广告的表现形式多样,而谷歌新增的安全功能不会终结所有的恶意广告形式。例如,依靠由被黑站点组成的僵尸网络的恶意广告活动,它的重定向含在被黑站点的源代码中而非通过内嵌框架实现,这些恶意广告活动可能不会受影响。 Tab-under将不复存在 不过,谷歌还推出了其它让犯罪分子头疼...阅读全文

博文 2017-11-18 09:00:06 debian.cn

Kong发布新项目Kuma 通用的服务网格

的数据平面和先进的控制平面,极大地降低了各团队使用的难度。Kuma 可以在 Kubernetes、虚拟机、容器、裸机和统环境等任意平台上运行,以落实整个组织中的云原生体验。 得益于成熟的控制平面,Kuma 开箱即用地使得下层网络安全、可靠和可观测,而无需更改代码。Kuma 高效的数据平面和先进的控制平面,允许用户通过少量的 Kubernetes 原生 CRD 或者 RESTful API 请求来方便地设置权限,暴露监控数据和设置路由规则。 Kuma 的主要功能包括: 软件定义安全(Software Defined Security):Kuma 支持所有第四层流量的双向 TLS(mutual TLS)。用户可以通过简单的权限设置来实现访问控制。强大的生产力功能 :Kuma 使得用户能快速实现...阅读全文

RabbitMQ 高可用实现镜像队列

如果 RabbitMQ 集群只有一个 broker 节点,那么该节点的失效将导致整个服务临时性的不可用,并且可能会导致 message 的丢失(尤其是在非持久化 message 存储于非持久化 queue 中的时候)。可以将所有 message 都设置为持久化,并且使用持久化的 queue,但是这样仍然无法避免由于缓存导致的问题:因为 message 在发之后和被写入磁盘并执行 fsync 之间存在一个虽然短暂但是会产生问题的时间窗。通过 publisher 的 confirm 机制能够确保客户端知道哪些 message 已经存入磁盘,尽管如此,一般不希望遇到因单点故障导致服务不可用。 如果 RabbitMQ 集群是由多个 broker 节点构成的,那么从服务的整体可用性上来讲,该集群对...阅读全文

博文 2018-12-30 19:21:59 debian.cn

Scrapy 架构及数据流图简介

URL的类。 每个spider负责处理一个特定(或一些)网站。 Item Pipeline Item Pipeline负责处理被spider提取出来的item。典型的处理有清理、 验证及持久化(例如存取到数据库中)。 下载器中间件(Downloader middlewares) 下载器中间件是在引擎及下载器之间的特定钩子(specific hook),处理Downloader递给引擎的response。 其提供了一个简便的机制,通过插入自定义代码来扩展Scrapy功能。 Spider中间件(Spider middlewares) Spider中间件是在引擎及Spider之间的特定钩子(specific hook),处理spider的输入(response)和输出(items及requests...阅读全文

博文 2017-07-23 22:56:26 debian.cn

Kafka 3.0新特性全面曝光,真香!

", key, printer.print(getResponse)); } catch (Exception ex) { ex.printStackTrace(); } } rpcClient.stop(); }}先启动服务端,然后启动客户端,就可以将实现客户端向服务端发消息,并且服务端会向三台机器进行保存消息了。五、Kafka常见问题(一)消息队列模型知道吗?Kafka是怎么做到支持这两种模型的?对于统的消息队列系统支持两个模型:点对点:也就是消息只能被一个消费者消费,消费完后消息删除。发布订阅:相当于广播模式,消息可以被所有消费者消费。kafka其实就是通过Consumer Group同时支持了这两个模型。如果说所有消费者都属于一个Group,消息只能被同一个Group内的一个消费者消费,那...阅读全文

博文 2022-04-28 16:02:11 mp.weixin.qq.com

亚马逊12个月免费云服务

恢复有要求的用户;希望轻松管理系统的用户。支持互联网应用,如电子商务、论坛、社交网络、企业网站和办公自动化系统;4.与租用物理服务器相比,云服务器的主要优势是什么?云服务器的租赁价格低于统物理服务器,不需要押金。凭借快速供应和部署的能力,用户在提交租赁申请后,可以实时打开云主机并立即获得服务。支持业务平滑扩展,当用户业务规模扩大时,可以快速实现业务扩展。5.云服务器可以申请多个IP吗?云服务器将根据用户选择的不同线路配备不同数量的IP地址。默认情况下,单线会有一个独立的IP,双线会有两个独立的IP。由于IP的增加,带宽无法限制,所以暂时不会增加IP。6.云服务器出租产品是为了赋予产权吗?不产权。云服务器是基于云计算平台的主机产品。用户实际上为云计算平台的计算和存储能力以及高质量的网络带宽...阅读全文

开源社区的运作模式:Debian Vs. Ubuntu

择更多,因此被官方定义了的参与者也更多,但Debian具有明显更多的开发者人数。虽然所有工作都是贡献者来完成,但最关键的权利还是只有少数人才能获得。Ubuntu贡献者中,Canonical员工居多,63名核心开发人员中有36人使用 @canonical.com邮件后缀注册launchpad帐号,他们放在Ubuntu发行版上的时间比Debian成员更多,如果能比较一下他们的工时数将非常有意思。 Debian已经意识到成员结构的缺点,就是否增设专的打包人员也讨论过多次了,但遗憾的是每次都只是讨论讨论就结束了,始终没有拿出一个解决方案。 可能的演变 Ubuntu方面,底层结构变化最近已经结束,他们近期不再打算做出进一步变化,但他们计划让每个团队可以更好地控制与自身相关的包上权限,这样可以让每个...阅读全文

博文 2021-01-28 17:50:09 debian.cn

Apollo 分布式配置中心详解

Apollo(阿波罗)是携程框架部研发的分布式配置中心,能够集中化管理应用不同环境、不同集群的配置,配置修改后能够实时推到应用端,并且具备规范的权限、流程治理等特性,适用于微服务配置管理场景。 本文简单从功能特点做介绍,更详细的说明请参考Apollo配置中心介绍。本地快速部署可以参考这里。线上的演示环境从这里可以访问到: 106.54.227.205 (账号/密码: apollo/admin) Apollo 配置中心产生背景 大多情况下程序随着功能的复杂,程序的配置也会增多:包括各种功能开关、参数配置、服务地址信息配置等,同时开发人员对程序配置的期望值也越来越高:配置修改后实时生效,灰度发布,分环境、分集群的管理配置、权限控制、审核机制等。 在这样的大环境下,统的通过配置文件、数据库...阅读全文

博文 2020-04-12 12:16:26 debian.cn

三位候选人正进行 2022 Debian 项目负责人选举

项同时也是 2021 年竞选的议程)进军固件领域,接触 FSF、OSI 和 LF,看看在固件问题上有没有合作的范围。此外,如果可能的话,提供一些资金用于开发开源固件。Hideki Yamane (やまねひでき)日本人,在 2010 年成为了 Debian 开发人员,Debian 社区帐户名是“henrich”。Debian 贡献一些包维护一些发行说明(Debian6 到 11)、开发者参考资料等的翻译(英语 -> 日语) 。协调将 security.debian.org 镜像放到日本使用来自 DocBook 的 sphinx 将Debian 政策手册转换为 reStructuredText推在 DebConf12 中的 .deb 文件中使用 XZ 压缩作为一名技术作家,从 2013 年到...阅读全文

Go 1.8 正式发布 标准库有显著变化和性能提升

今天Go 团队很高兴地宣布Go 1.8发布了。现已提供下载。整个标准库有了显著的性能提升和变化。该版本主要的更新内容如下: Go 1.7中为64位x86引入的编译器后端现在用于所有体系结构,这些体系结构将会有显著的性能改进。例如,我们的基准程序所需的CPU时间在32位ARM系统上减少了20-30%。在此版本中,64位x86系统还有一些性能改进,编译器和链接器更快了,编译时间应该比Go 1.7提高约15%。但是在这一领域还有很长的路要走:我们希望在未来版本中实现更快的编译速度。 垃圾收集暂停时间明显更短,通常在100微秒以下,有时候甚至低至10微秒。 HTTP服务器添加对 HTTP/2 Push的支持,允许服务器抢先发响应到客户端。这对于通过消除往返行程来最小化网络延迟非常有用。HTTP服...阅读全文

博文 2021-01-28 17:50:22 debian.cn

三种SSL证书之间有什么区别

SSL指的是安全套接层协议(以及输层协议TLS),位于 TCP/IP 协议与各种应用层协议之间,为数据通讯提供安全支持。 ssl 在市面上多指的是安全证书,SSL证书是数字证书的一种,因为配置在服务器上,也称为服务器证书。 数字证书在广义上可分为:个人数字证书、单位数字证书、单位员工数字证书、服务器证书、VPN证书、WAP证书、代码签名证书和表单签名证书。我们这里介绍SSL证书的类型与区别。 DV(域名型)SSL证书:只验证域名,适合个人网站、博客等站点使用;在网络黑客、钓鱼威胁层出不穷,域名型SSL数字证书可有效保护通过互联网所发的数据,为网络账户登录、邮件等机密信息资讯提供安全防护。安全级别较低。  OV(企业型)SSL证书:验证网站所属单位身份,适合于中型企业级用户使用;企业型证...阅读全文

成为Debian社区维护人需要做好的准备

假如你打算加入Debian社区,为Debian社区做些事情的话,那么你可以先申请Debian Maintainer一职。在那之前需要做好哪些准备呢?在本文中,一位华人DM Aron向大家介绍了申请成为Debian Maintainer的流程以及事先准备。 今天我收到了一封邮件,询问关于做 Debian Maintainer 的事情让我给他写几条建议。非常高兴看到越来越多的人参与到 Debian 社区之中,以下是我所写的一点东西,希望有用。 Debian Maintainer (DM)是有个别软件包上权限的 Debian 开发人员,是成为正式 Debian Developer (DD)前的一个步骤。在开始前需要清楚,为 Debian 贡献点力量是很容易的事情,但要成为“官方”的人员则需要付...阅读全文