。 内存寻址和分配 我们知道通过虚拟内存机制，每个进程都以为自己占用了全部内存，进程访问内存时，操作系统都会把进程提供的虚拟内存地址转换为物理地址，再去对应的物理地址上获取数据。CPU 中有一种硬件，内存管理单元 MMU（Memory Management Unit）专门用来翻译虚拟内存地址。CPU 还为页表寻址设置了缓存策略，由于程序的局部性，其缓存命中率能达到 98%。 以上情况是页表内存在虚拟地址到物理地址的映射，而如果进程访问的物理地址还没有被分配，系统则会产生一个缺页中断，在中断处理时，系统切到内核态为进程虚拟地址分配物理地址。 功能 虚拟内存不仅通过内存地址转换解决了多个进程访问内存冲突的问题，还带来更多的益处。 进程内存管理 它有助于进程进行内存管理，主要体现在： 内存完整性：由于...阅读全文
域名，是用以简化记录服务器IP地址的马夹，所以，域名只有通过解析到具体的IP地址才能访问网站，就相当于给IP地址穿上的一件马夹，避免我们去记那一长串的数字。可以说，域名的价值是依托于服务器的，没有域名的服务器，可以用IP地址访问，而不解析的域名，就仅仅只是一串字符而已。 商标，是用以区分商品(或服务)来源的一种显著标志，不同公司提供的相同商品，对于大众而言，商品上印刷的标志，代表的就是不同公司。商标的价值，是依托于产品和公司的。 由这一点来看，商标和域名是有其相似性的，广义上来说，它们都是一种指代的符号而已。 但是，域名由于其技术特性，它是虚拟的和全球唯一的，同样的域名不可能同时被两个人注册，它遵循着先注先得的原则，而商标，则允许在不同领域，由不同的人持有相同的商标，比如中国的“中华...阅读全文
个容器就可以跑起来，而不用知道它的节点在哪里，即 Serverless 形态。一旦这种技术更加成熟，对容器技术的落地也有很大的推动作用。另一方面，Serverless 形态也给用户节省了大量的成本，按需付费，免去用户的运维成本。我觉得 K8S 的落地已经是个趋势了，是不可避免的，但是 K8S 本身是要往前进步，它的革命还没有完成。 容器与 Serverless：覆盖场景不同，非替换关系 记者：你觉得现在目前 Serverless 的发展对于容器这种创新技术的迭代升级有什么影响？是不是可以让容器更加的轻量化？ 叶理灯：不完全是这样，其实 Serverless 刚出现的时候是针对计算的。计算分很多层次，有物理机、虚拟机、容器和 Serverless。Serverless 刚出来的时候，它等同于...阅读全文
更早之前，AMD在其EYPC系列CPU中，也用到了"黏合"这一步骤，让芯片设计成本减少一半。自家芯片的“黏合”似乎已经不成问题，那么能否从全球市场上挑选出性能最优的芯片黏合在一起，创造出更强大的芯片？几周前，能够实现芯片互连的"万能胶"出现了，英特尔、AMD、台积电等芯片公司联合成立小芯片互连产业联盟，定制UCIe 1.0（Universal Chiplet Interconnect Express）标准。如果将同一家芯片公司的互连方式（例如英伟达的NVlink）视为只能黏合一种材质且功能单一的胶水，那么UCIe标准的提出则意味着能够实现各种芯片互连的芯片万能胶的雏形初现。芯片万能胶，是否已经有足够的能力替代不断微缩的晶体管，成为摩尔定律的"续命丹"？“胶水”芯片时代的真起点"胶水"芯片发...阅读全文
Prometheus已成为cloud-native世界中的默认监控应用程序和系统。对于真是使用案例，Prometheus应该是高可用的，这是有挑战的。一旦在高可用性模式下运行Prometheus，就会遇到很多问题，例如数据重复，为重复数据实现single pane等。为了解决此问题，Cortex诞生了。Cortex是一个CNCF sandbox project，旨在为使用Prometheus 收集的指标提供长期存储和全局指标视图。首先让我们看一下Cortex的主要目标，然后看一下它为Prometheus解决的一些问题。水平可伸缩性– Cortex可以分成多个微服务，每个微服务都可以独立地水平伸缩。例如，如果许多Prometheus实例正在向Cortex发送数据，则可以扩展Ingester微...阅读全文
partition，又没有设置key，则会采用轮询⽅式，即每次取一小段时间的数据写入某 个partition，下一小段的时间写入下一个partition 复制代码 2.1.4. ACK应答机制 producer在向kafka写入消息的时候，可以设置参数来确定是否确认kafka接收到数据，这个参数可设置 的值为 0,1,all 0代表producer往集群发送数据不需要等到集群的返回，不确保消息发送成功。安全性最低但是效 率最高。 1代表producer往集群发送数据只要leader应答就可以发送下一条，只确保leader发送成功。 all代表producer往集群发送数据需要所有的follower都完成从leader的同步才会发送下一条，确保 leader发送成功和所有的副本都完成备份。安全性最⾼高，但是效...阅读全文
monit status # 查看所有服务状态 monit status nginx # 查看nginx服务状态 monit stop all # 停止所有服务 monit stop nginx # 停止nginx服务 monit start all # 启动所有服务 monit start nginx # 启动nginx服务 monit -V # 查看版本 配置文件 使用yum安装默认配置文件在： /etc/monitrc # 主配置文件 /etc/monit.d/ # 单独配置各项服务 为了保护控制文件和密码的安全性，monitrc必须具有读写权限不超过0700(u=xrw,g=,o=)。 主配置文件主要配置全局：/etc/monitrc ## Global section set daemon...阅读全文
:
=SomeCluster这里注意apollo.cluster为全小写 4.3 自定义Namespace 【本节仅对公共组件配置或需要多个应用共享配置才需要，如没有相关需求，可以跳过本节】 如果应用有公共组件（如hermes-producer，cat-client等）供其它应用使用，就需要通过自定义namespace来实现公共组件的配置。 4.3.1 新建Namespace 以hermes-producer为例，需要先新建一个namespace，新建namespace只有项目的管理员才有权限，管理员可以在页面左侧看到“添加Namespace”按钮。 点击后就进入namespace添加页面，Apollo会把应用所属的部门作为namespace的前缀，如FX。 4.3.2 关联到环境和集群 Namespace创建完，需...阅读全文
，而且有一个新的资源已经依据请求的需要而建立，且其 URI 已经随Location 头信息返回。假如需要的资源无法及时建立的话，应当返回 ‘202 Accepted’。 202 服务器已接受请求，但尚未处理。正如它可能被拒绝一样，最终该请求可能会也可能不会被执行。在异步操作的场合下，没有比发送这个状态码更方便的做法了。 返回202状态码的响应的目的是允许服务器接受其他过程的请求（例如某个每天只执行一次的基于批处理的操作），而不必让客户端一直保持与服务器的连接直到批处理操作全部完成。在接受请求处理并返回202状态码的响应应当在返回的实体中包含一些指示处理当前状态的信息，以及指向处理状态监视器或状态预测的指针，以便用户能够估计操作是否已经完成。 203 服务器已成功处理了请求，但返回的实体头部元信...阅读全文
访问：百度网盘联合会员买1得5：QQ音乐、优酷视频…… 2020年，云计算实现了130亿美元的运营利润，从而帮助亚马逊在当年实现了210亿美元的净利润。怪不得亚马逊创始人贝索斯从首席执行官职位卸任之后，他把指挥公司的大权交给了云计算掌门人安迪·贾西。在全球云计算市场，阿里巴巴、Google、IBM、微软和甲骨文公司都在挑战亚马逊。而和阿里巴巴和Google不同的是，亚马逊云计算业务已经盈利。今年第二季度是贾西执掌亚马逊云计算的最后一个季度，该季度云计算实现了40亿美元的运营利润，同比增长了25%，超出了分析师预期，另外营业收入则增长了37%。七月份，云计算业务另外一位高管亚当·塞林普斯基（Adam Selipsky）接替了贾西的职务，此人曾经在亚马逊云计算工作11年，后来创业，并且把数据软...阅读全文
时候，我们往往不能预想到最终结果全貌。不论怎样，我们就把 CLONE_NEWNS添加到clone_flags变量中，结果就是， int clone_flags = CLONE_NEWNS | SIGCHLD;，再来编译mount.c并运行同样的命令。 > cp skeleton.c mount.c > gcc -o mount mount.c > ./mount mount 这次没有任何变化，为何？因为运行在新的mount namespace中的进程，在底层系统下仍然拥有一个/proc视图。结果就是新的进程继承了底层挂载点的视图。我们有一些方法来阻止出现这样的结果，比如说，使用 pivot_root，将在后续的博客中详细介绍。 然而，有一种方法，我们可以尝试在新的mount...阅读全文
的。apt-get upgrade——更新所有已安装的软件包apt-get dist-upgrade——将系统升级到新版本apt-cache search string——在软件包列表中搜索字符串dpkg -l package-name-pattern——列出所有与模式相匹配的软件包。如果您不知道软件包的全名，您可以使用“*package-name-pattern*”。aptitude——详细查看已安装或可用的软件包。与apt-get类似，aptitude可以通过命令行方式调用，但仅限于某些命令——最常见的有安装和卸载命令。由于aptitude比apt-get了解更多信息，可以说它更适合用来进行安装和卸载。apt-cache showpkg pkgs——显示软件包信息。apt-cache...阅读全文
派的运维需负责运行该系统。 老派的运维通常是伪君子。他们主张严苛的 SDLC，然后在维护基础架构时却绕过了同样的 SDLC 。新运维意味着基础架构即代码。配置变化即代码。这两个哪个也没能免于开发人员必须遵守的 SDLC。我们编纂变更请求，使用不可改变的基础架构和 AMI。没经历此进程，我们不会把改变推送到真实环境中。同样地，我们需要对合规性和其他开发人员无法产生共鸣的 SDLC 要求进行编码，编到工具和进程中。进程记录并编纂价值。 老派运维总是同精益思维不一致。它完全是中断驱动——灭火后，一个接一个解决问题。同时，取得平衡非常重要。在集成环境中，使开发者团队能够 SSH 登录进 box 中或者将调试器附加到集合上，会阻止他们正确地调试应用程序吗？会促进痛苦移位吗？在运维思维和开发思维间取得平...阅读全文
的是它不是非黑即白的，更多的时候是两者混合的灰色，很少有公司有自由软件基金会（或者类似的组织，比如软件自由保护组织）的那种纯粹的理念，因此我想那些公司也不喜欢选择和那些理念相关的协议。 我需要说明，我不是在这是说自由软件基金会以及类似的组织（比如软件自由保护组织）的错。他们有着打造完全自由的软件的目标，对于他们来说，走它们选择的路十分合理。自由软件基金会以及软件自由保护组织做了了不起的工作，我将继续支持这些组织以及为他们工作的人们。我只是觉得这种对纯粹性的高要求的一个后果就是让那些公司认为自己难以达到要求，因此，他们使用了非 GPL 的其他协议。 我怀疑 GPL 的使用是随着开源软件增长而变化的。在以前，启动（开源）项目的根本原因之一是对开放性和软件自由的伦理因素的严格关注。GPL 无疑是项...阅读全文
立好需要 listen 的 socket（listenfd）之后，然后再 fork 出多个 worker 进程。所有 worker 进程的 listenfd 会在新连接到来时变得可读，为保证只有一个进程处理该连接，所有 worker 进程在注册 listenfd 读事件前抢 accept_mutex，抢到互斥锁的那个进程注册 listenfd 读事件，在读事件里调用 accept 接受该连接。当一个 worker 进程在 accept 这个连接之后，就开始读取请求，解析请求，处理请求，产生数据后，再返回给客户端，最后才断开连接，这样一个完整的请求就是这样的了。我们可以看到，一个请求，完全由 worker 进程来处理，而且只在一个 worker 进程中处理。 在 Nginx 服务器的运行过程中...阅读全文
server 来解释, Go 服务每次都是启动一个新的 goroutine 来处理每一个请求，在这个请求的操作往往会启动新 goroutine 访问数据库或其他服务，如果此时客户端断开了连接，后续的消耗资源的操作就完全没必要了。所以我们需要一个在 goroutine 之间同步取消信号，截止时间的机制或者特定请求数据。而 Context 被设计出来就是帮我们实现这个目标。 1 2 3 |-----------| |-----------| |-----------| | goroutine |-------> | goroutine |-------> | goroutine | |-----------| |-----------| |-----------| 默认 Context context 包...阅读全文
： thanos receive组件需要部署N个进程组成集群，prometheus可以remote write写入数据到任意receive节点，收到写入请求的receive节点根据metrics label做哈希后计算出负责存储该部分数据的receive节点，并将数据转发过去； 同时，receive可以配置replica数量，这样的话receive会根据哈希结果将数据复制给多个receive做冗余，应该说是非常简单粗暴的复制方案吧，因为监控场景没那么严谨所以基本可用即可，查询去重和归拢则全部依靠querier组件反向查询所有Receive组件搞定。 我们的选择 让prometheus直接配置remote write的方式看起来更好一些，我们只需要在启动一套thanos receive集群，然后让...阅读全文
你打算在程序代码中来设置这个东西，那么可以调用mallopt(M_ARENA_MAX, xxx)来实现，由于我们AuthServer采用了预分配的方式，在各个线程内并没有分配内存，所以不需要这种优化，在初始化的时候采用mallopt(M_ARENA_MAX, 1)将其关掉，设置为0，表示系统按CPU进行自动设置。 意外发现 想到tcmalloc小对象才从线程自己的内存池分配，大内存仍然从中央分配区分配，不知道glibc是如何设计的，于是将上面程序中线程每次分配的内存从1k调整为1M，果然不出所料，再分配完64M后，仍然每次都会增加1M，由此可见，新版 glibc完全借鉴了tcmalloc的思想。【原文出处： 陈斌的博客】...阅读全文
任何类型的向后兼容的“增量”语言特性变更，因为他们认为无论变更多么小，都要有更全面的支持计划，并将 Go 2 考虑在内。 对于这些累积下来的提案，官方表示现在是时候采取行动了！ 近况 本文发布时，官方表示目前在 Go 2 的提案中，大约有 120 个尚未解决且被标记为提案的 issue。这些提案都涉及到重要的库或语言特性变更，而它们通常不能与 Go 1 互相兼容。Ian Lance Taylor 和 Robert Griesemer 一直在研究这些提案，并对它们进行了分类(Go2Cleanup, NeedsDecision 等)，以理解这些提案背后的含义并使它们后续更易进行。此外，他们还合并了相似的提案，并关闭了那些看似明显超出 Go 范围的提案，或者其他方面无法实现的提案。 早期出现的两个...阅读全文
发语言。早在 2016 年，基础架构团队就已经开始基于 Golang 开发内部框架 Kite，并在 2019 年围绕性能和可扩展启动重构，使其能更好地满足业务发展和技术体系演进需求。 2020 年 10 月，Kitex 正式上线。虽然是一个全新的框架，但经过一年的线上应用，目前字节跳动内部已有超过 50% 的 Golang 微服务迁移到了 Kitex。 下面是 Kitex 的一些特性： 高性能：Kitex 默认集成自研网络库 Netpoll 作为网络传输模块，性能相较使用 go net 有显著优势；除了网络库带来的性能收益，Kitex 对 Thrift 编解码也做了优化，这在之前的性能优化实践文章中有介绍。关于性能数据，可参考 https://github.com/cloudwego...阅读全文
源的数量，而且能限制某个 Namespace 中被 Pod 所请求的资源总量。该准入控制器和资源对象 ResourceQuota一起实现了资源配额管理。LimitRanger 作用类似于上面的 ResourceQuota 控制器，针对 Namespace 资源的每个个体（Pod 与 Container 等）的资源配额。该插件和资源对象 LimitRange 一起实现资源配额管理。 3. etcd 到现在为止，Kubernetes 已经对该客户端的调用请求进行了全面彻底地审查，并且已经验证通过，运行它进入下一个环节。下一步 kube-apiserver 将对 HTTP 请求进行反序列化，然后利用得到的结果构建运行时对象（有点像 kubectl 生成器的逆过程），并保存到 etcd 中。下面我们...阅读全文
位是否为1。 FD_SET（int fd,fd_set*set） 用来设置描述词组set中相关fd的位，即将bitmap结构中某一位设置为1，索引值为fd。 FD_ZERO（fd_set *set） 用来清除描述词组set的全部位，即将bitmap结构全部清零。 首先来看一段服务端采用了select模型的示例代码： //创建server端套接字，获取文件描述符 int listenfd = socket(PF_INET,SOCK_STREAM,0); if(listenfd < 0) return -1; //绑定服务器 bind(listenfd,(struct sockaddr*)&address,sizeof(address)); //监听服务器 listen(listenfd,5...阅读全文
带动了以X86为基础的处理器的飞速发展。就在PC从企业级市场走向民用市场的同时，半导体行业也在酝酿着一场变革。从英特尔身上折射出来的市场对处理器的需求，让半导体厂商们看到了红利。于是，在此期间，各大厂商都开始着手于处理器架构的研究，2017 年图灵奖获得者John Hennessy 和 David Patterson 在其所著的《计算机架构的新黄金时代》一文中曾提到，20 世纪 80 年代我们做的研究（在计算机领域）能为我们带来回报，能改善成本、能源、安全以及性能。在巨大的回报之下，处理器架构也迎来了百家争鸣的时代。从公开的消息显示，20世纪80年代期间诞生的处理器架构不仅包括我们耳熟能详的ARM以及MIPS，SPARC、DEC Alpha、PA-RISC和其他一些产品也在同一时期出现，这些...阅读全文
Server、Connection、Request，不仅将上游的信息共享给下游任务，同时实现了上游可发送取消信号取消所有下游任务，而下游任务自行取消不会影响上游任务。总结context主要用于父子任务之间的同步取消信号，本质上是一种协程调度的方式。另外在使用context时有两点值得注意：上游任务仅仅使用context通知下游任务不再需要，但不会直接干涉和中断下游任务的执行，由下游任务自行决定后续的处理操作，也就是说context的取消操作是无侵入的；context是线程安全的，因为context本身是不可变的（immutable），因此可以放心地在多个协程中传递使用。参考资料1、Package context2、Go Concurrency Patterns: Context3...阅读全文
生成在 3.0 和KIP-730 中，Kafka 控制器现在完全接管了生成 Kafka 生产者 ID 的责任。控制器在 ZK 和 KRaft 模式下都这样做。这让我们更接近桥接版本，这将允许用户从使用 ZK 的 Kafka 部署过渡到使用 KRaft 的新部署。KIP-679：Producer 将默认启用最强的交付保证从 3.0 开始，Kafka 生产者默认开启幂等性和所有副本的交付确认。这使得默认情况下记录交付保证更强。KIP-735：增加默认消费者会话超时Kafka Consumer 的配置属性的默认值session.timeout.ms从 10 秒增加到 45 秒。这将允许消费者在默认情况下更好地适应暂时的网络故障，并在消费者似乎只是暂时离开组时避免连续重新平衡。KIP-709：扩展...阅读全文
。诸如 KFServing 这样的工具可以让你根据需要定制扩展逻辑，包括 RPS 和请求并行目标。 你也可以使用 Kubernetes-native 工具，比如 HPA，根据用户定义的指标对模型进行扩展。你可以研究一下其他很棒的服务工具，比如 Seldon Core 和 BentoML。它们都支持自动扩展，并为自动化服务模型版本、金丝雀发布、更新和生命周期管理提供了许多有用的功能。 #### 作者介绍： Kirill Goltsman，技术博客写手、研究员，专攻研究人工智能 / 机器学习及容器化技术。在过去的几年里，他领导了专注于数据分析、Kubernetes 以及游戏和安全领域的人工智能的初创公司的内容创作策略。在他的技术写作中，Kirill 利用了他的编程语言（Javascript...阅读全文
Debian 的不舍和热爱。 “如果说我在 Debian 的18年有什么遗憾的话，那就是在 Debian 章程最初制定的时候，尽管感觉到了不妥，但我没有发声。” 同样地，当初 Michael Stapelberg 离开 Debian 也没有“脱粉回踩”，他只是希望自己的文章能激励 Debian 做出改变，继而改进开发者参与维护的体验。 因此，他在博客中苦口婆心地列举出 Debian 的问题（包括包的上传问题、bug追踪问题、邮件列表归档问题等等），然后再给出自己的解决方案。比如他认为，项目应该努力实现更多的统一；Debian 文化需要从“这个包归我管，你不能碰”转变为共同的所有权意识等等。 1993年9月15日，Debian 0.01版发布至今，Debian 已经经历了近三十个春秋。一个完全没有盈利组...阅读全文
以进行故障排除的二进制文件和工具。这就决定了该容器有助于提供安全可靠的运行时环境，但也很难在问题发生时进行调试。 在这种情况下，临时容器发挥作用。它们实现了调试容器附加到主进程的功能，然后你可以用于调试任何类型的问题。调试容器可以基于任何镜像，因此可以根据您的需求进行定制。您可以构建自己的调试镜像，其中包含特殊的调试二进制文件或仅包含curl，OpenSSL和MongoDB客户端之类的工具。但是，您也可以选择Linux发行版（如Ubuntu）或仅运行Busybox镜像，这两个镜像都已经包含了许多有用的工具。 如何使用临时容器？ 临时容器是alpha功能，因此默认情况下处于禁用状态。您将需要激活以下功能门才能使用它们： 临时容器 PodShareProcessNamespace（v1.16中的...阅读全文
括Java，Ruby，Go和Node。框架是否为现有的语言选择提供了一流的支持，同时提供了用其他语言编写新服务的选项？ 代码量 - 框架应该有助于降低工程成本。企业需要编写和维护多少代码才能使其工作？与业务逻辑相比，这是多少样板代码？ 安全 - 所有的内部通信都应该被认证和加密。我们需要能够使用所有通信的SSL / TLS（或等价物）。 设计上的考虑，并非都与技术有关 服务API是最重要的接口之一，因为在开发过程中对设置服务期望至关重要。解决服务API的设计是一项艰巨的任务，当不同的团队负责所涉及的不同服务时，该任务会被放大。最大限度地减少由于预期不匹配而浪费的时间和精力，与缩短编码时间一样有价值。由于Bugsnag拥有跨地区的工程团队，因此沟通时间有限。必须通过简化沟通，确保事情不用那么多...阅读全文
3,5的数额等；2、填写二维数组第一列时，代表到用到面额为i时，剩余数额为0，即只用i就可以组成相应数额，这也是一种方法，所以第一列的值，第一个为0，后面全为1. public static int SmallMoney(int num[],int target) { int m = num.length; int dp[][] = new int[m][target+1]; dp[0][0] = 1; for(int i=1;i<=target;i++){ if(i%num[0] == 0){ dp[0][i] = 1;//第一行数值填写 }else{ dp[0][i] = 0; } } for(int i=0;i
