曼谷 人妖

2021年7月13日，bilibili 出现了一次服务弗成用的宕机事故。一年以后，bilibili 本事团队以一篇事故复盘的著述刷爆了本事东说念主的一又友圈，这一次典型的本事事故，却成了一个非典型的本事故事。

肖似的黑天鹅事件时有发生，有的或出于单体应用的代码要领问题，有的或出于瞬时流量的峰值涌入，有的或因为云厂商的服务抖动受到拖累。不错说，后端研发东说念主员的成长之旅，经常伴跟着对黑天鹅事件的防卫、处理、履历，互联网服务这样多年发展于今，高可用才略到了什么进程，是否能匡助企业逃匿黑天鹅事件的发生？上云是否是这个时期保证服务褂讪性的灵验门道？企业本事治理者又该怎么居安念念危，调节本事架构？

9月25日，腾讯云 TVP 走进 B 站，畅聊「高可用 VS 黑天鹅」的那些事儿，信服能给你一些不一样的启发。本文为本次步履精华归来。

bilibili云原生架构演进

bilibili 本事委员会主席、腾讯云 TVP 毛剑带来了题为《bilibili 云原生架构演进》的主题共享。

毛剑赤诚先容说念，bilibili 的云原生演进大体上始于2015年，主要历程涵盖了微服务、容器化和中间件三个要害关节：

微服务：伴跟着业务的发展、DAU 的爆发，2015年启动从单体转向微服务，濒临单体架构无法延迟、可靠性低的问题，搪塞的念念路详细为“化繁为简，分而治之。

容器化：15年领先部署在裸金属上；16年启动使用 Mesos+Marathon 进行容器编排，17年移动到 Kubernetes，之后很快在线应用弹性公有云上线。20年离线 Yarn 和 在线 K8S 作念了在离线混部(错峰使用)，基于混部 Agent，互助分派资源。22年离线 Flink、Spark Native on K8S，启动渐渐尝试脱色，吞并转念架构，完成吞并转念。

中间件：容器+微服务的组合带来的应用爆发式增长给架构带来了巨大挑战，为此引入了开源社区的组件，在性能、褂讪性能达到条目的情况下，尽可能使用开源决策，一丝组件需要二次开发和迭代。

从架构想象的层面上看，从CDN到接入层再到服务/中间件/存储、可不雅测、效率体系、褂讪体系，每个关节皆有褂讪性、可用性的保险，每一层皆有不同本事东说念主员去作念爱护和迭代。毛剑赤诚示意，想象很好意思好，但黑天鹅该来还得来。

毛剑赤诚示意，从本事东说念主员的视角看，可用性保险的中枢即是流量能否得到灵验管控。无论是网罗故障、机房故障、组件故障照旧服务故障，每一层皆应该想象备有相应的容错机制，以幸免事故发生或在事故发生时能快速定位、实时修补。

在 bilibili 2021年发生的7.13事故中，激发的原因即是接入层SLB弗成用了。毛剑赤诚详备共享了本次事故所暴透露的基础本事开采方面的问题，诸如：

用户链路和办公网链路未透顶阻拦

多活未按预期立即告成，不援助写

东说念主力不及，故障止损和排查无法并行

组件故障预案不完善，处理耗时久

复杂事故影响面极大，定位老本高

……

毛剑赤诚示意，多活是机房级故障时容灾止损最快的决策。在这样的配景下，bilibili 作念了多活基架才略开采、多活管控才略提高的针对性改进。在 bilibili 本事委员会确立后，采取了拥抱云原生，以强调工程一致性的方式作念云原生的落地开采。

另一方面，针对容灾、快速切换的高可用才略方面，想象了同城双活的架构，具体如下图所示。

跟着业务的快速演进，bilibili 启动从 Global Zone（单点全局业务）演进到同城双活、他乡 AZ 的开采，渐渐也过度到他乡多活。毛剑赤诚示意，已毕单位化用户流量的搀和云架构是 bilibili 一直在追求作念的事情，包括在急需扩容的情况下，可依托于云厂商的云原生本事基础才略，在云上新建一个 RZone/CZone Shard，移动部分用户 bucket 流量，表现云的弹性上风，已毕共赢。

共享终末，毛剑赤诚也基于 bilibili 的业务场景，解说了 bilibili 为何要在专有云架构之上再上公有云的执行念念考。

大变革时期研发团队的重塑

有赞本事副总裁、参谋人，腾讯云 TVP 沈淦带来了题为《大变革时期研发团队的重塑》的主题共享。

共享开端，沈淦赤诚为全球先容了大变革的时期配景下，旧经济模式与新经济模式的变化。现时的企业从以前的“活得好”到面前启动念念考怎么“活下去”，这背后折射的是经济底层范式的重置：从全皆经济优先转化为可捏续、社会公道、数据安全、自主可控的新经济模式。在内卷的旧经济时期曼谷 人妖，本事治理的中枢价值，是打造本事团队超(无穷)高的委用效率。

从旧经济到新经济的转化过程中，本事团队的管事和价值也发生了相应的变化。从步履到职责，需要改动的场地有好多。如下图所示，现时大部分的本事团队仍旧处于图中的第二阶段，效率和老本仍是中枢价值，但新经济条目的的速率和适合性的价值依然更为隆起。

沈淦赤诚以 SaaS 行业为例，先容了价值驱动业务模式的三条干线：其一是高本事密度的产物力；其二是生意化才略；其三是从客户之声到 CSGB 的客户成功。这三条线大多数业务团队皆有在作念，但大部分相互之间皆比较沉着，莫得形成有机聚积，效率欠安。

另一方面，关于考察体系的理解也有待创新。畴昔的考察体系主要柔软点落在“作念了什么”的动作上，聚焦功能、非功能需求的已毕。现时阶段启动由作念了什么到作念成了什么转化，柔软GMV增长、PV/UV、褂讪性等等。而对本事东说念主员而言，终极的目的应该是价值的已毕——达成了什么？是爆款？是增购？照旧客户的推选？

沈淦赤诚将以上所体现的理念归来为了“找价值、设想象、拆进程、建团队”的端到端进程四步法。这四个门径圮绝来看，单个关节可能每个本事团队皆有波及到，但独一按照一定的限定、有机聚积地去作念，才气产生更大的业务价值。

“进程四步法中最难的也许是建团队”，从组织结构上去撬动杠杆经常是最难的场地，因为这背后波及到东说念主与东说念主之间的连气儿。沈淦赤诚例如指出，建团队有三个基本表面需要柔软，其一是康威定律，其二是理解负荷，其三是贞洁视线。本事团队的治理者应该从大处落墨，小处入辖下手，由点及面地完成高遵守团队的构建管事。

腾讯自研业务上云背后的高可用践诺

腾讯云云原坐褥物中心本事总监王涛带来了题为《腾讯自研业务上云背后的高可用践诺》的主题共享。

王涛赤诚起原简要共享了腾讯自研业务容器化上云的历程。本事道路上，从胖容器到富容器再到微容器，演化到 Serverless、FaaS 的形态，同期捏续着在离线混部、在线混部的践诺，包括 Service Mesh 也皆有捏续的应用。

王涛赤诚先容到，经过3-4年的大范围自研业务云原生践诺，腾讯在各个本事标的和业务场景皆千里淀了普遍的治理决策。与此同期捏续反哺给公有云产物，提高多样业务场景下的中枢本事竞争力。

在这样的配景下，腾讯的云原生熟谙度模子演进到 V2.0 版块，从平台和业务两个维度，历练云原生的才略。在这样的模子考量下，腾讯自研业务上云的范围及熟谙度也保捏了一个捏续上扬的趋势，业务和平台的云原生熟谙度皆得到了捏续提高，价值得以量化。

王涛赤诚分析到，容器平台褂讪性主要涵盖平台层褂讪、集群层褂讪、节点层褂讪、业务层褂讪几个方面。他重心共享了节点褂讪性和业务褂讪性的case，捏续深耕云原生OS，提供更好的容器阻拦性才略和可不雅测性，与此同期腾讯也在缓缓大范围使用 Serverless K8s(EKS)的产物才略，透顶治理容器阻拦性问题，并已毕了吞并大资源池的转念才略。

在业务容灾的老本方面，畴昔面向集群业务治理效率低、容灾部署老本高，校正的目的是快速已毕业务的多地域多活部署、一键发起应用的全球灰度变更，业务灰度期间只需偶尔柔软应用大盘视图即可掌控举座灰度情况，极大的提高了应用治理效率，这对大范围的应用治理极其迫切。

王涛赤诚示意，这背后波及到的要害本事有好多，比如腾讯开源的多集群治理神色Clusternet、多集群的应用声明、面向应用的多集群协同弹性伸缩才略和动态拆分转念才略等，最终以面向应用的”屏蔽集群、空乏可用区“等产物才略，sewang匡助业务快速已毕同城多活、两地三中心等容灾部署才略。全球多地域一次性高可用部署以及丰富的多集群业务灰度变更战术等，匡助业务提高容灾部署/变更的效率以及可用性。

在服务路由的高可用方面，通过腾讯里面自研的服务东西向流量治理“北极星Polaris”，提供治理包括云尔过程调用（RPC）的服务注册与发现、动态路由、负载平衡、服务熔断等一系列的超大范围和高性能的服务路由治理才略。辅以Kubernetes Controller的方式对接北极星，进一步提高了Pod景色和服求实例可用性的联动实时性，加速了实例故障自动剔除等要害动作。

在糊涂工程方面，腾讯云通盘云产物皆必须参与日常糊涂演练，提前发现产物隐患，提高云产物的可用性。由此也孵化出了公有云糊涂演练平台，日常通过高可用攻击演练的方式，锤真金不怕火运营质地与架构的高可用校正，在故障信得过发生时端庄搪塞。

云上高可用才略开采

腾讯云高可用巨匠服务谨慎东说念主廖行星带来了题为《云上高可用才略开采》的主题演讲。

共享开端，廖行星赤诚从黑天鹅和高可用的干系上作念了一个结论——黑天鹅是一个昂扬，是一个落幕，但高可用/异构系统，以及本事侧的才略，是对应的治理技能和方法，咱们是渴望通过这样的方法来镌汰，或者说为止黑天鹅事件对业务的影响时长和范围。

关于高可用才略的度量想象，廖行星赤诚归来了以下几个要害：RTO 还原时候目的；RPO 还原点目的；WRT 管事还原时候；MTD 最大可容忍停机时候。高可用才略的价值体现，如下图所示：

廖行星赤诚示意，他乡多活的才略是服务高可用的要害，在本事目的上主要不错分为以下几个维度。

DNS 转念。常见影响 DNS 转念的身分有 locallands 多出口、locallands 不援助 ECS、NS 不援助 ECS、NS 的 IP 库不准确等，由此带来的本事目的是需要或者保证大部分流量转念的准确性。

路由层流量纠偏。欺诈openresty流量纠编已毕，确保流量精准流入某一region。

逻辑层单位化开采。透顶单位化，确保region间无数据流动。

数据层数据同步。数据回文，一致性，数据摧残。

在不散漫切换方面，重心门径不错归来为以下几点：

1.多活章程中心下发禁写见知和禁写时候基线

2.数据库SDK收到禁写数据库写入和更新

3.双向复制器收到跳跃禁写时候基线不再复制

4.双向复制器上攻击制完成景色

5.多活章程中心下发流量切换见知

6.Nginx&网关层收到将流量切换到机房B并上报切换完成景色

7.多活章程中心下发取消禁写见知

廖行星赤诚先容说念，腾讯云在高可用才略开采方面作念了好多本事上的已毕管事，在路由层面上，API网关+SCF不错已毕复杂的流量染色场景；在接入层方面，CLB 具备就近接入、VIP 漂移的高可用才略；在逻辑层方面，腾讯云微服务平台 Tencent Service Framework（TSF）提供微服务全人命周期治理、服务可不雅测、成立治理、服务治理及业务容灾架构才略；在数据层方面，CDB&DTS 或者灵验已毕数据的一致性、数据回文等。

吻玉足

不雅点众议

精彩的共享收尾后，TVP 们还在线下张开了一场别开生面的小组商榷会，在场嘉宾分为三组针对三个高可用话题张开了商榷，并派出了三位小组代表（刘意、毛剑、大漠穷秋）作念要点归来。

关于体量较小的企业而言，是否有必要提前搭建高可用的容灾体系？

刘意：咱们这桌恰恰有创业者，他们公司跟 bilibili 有点肖似，皆是重 IT 的客户。关于肖似的小体量企业，不具备 bilibili 的业务体量时，是不需要重度发展高可用容灾体系的，更多不错用多云多活的架构来部署我方的业务系统。这样作念的自制是不错确保我方的业务在 A 云中发生故障时不错平滑地移动到 B 云，广泛也不错通过演练确保切换动作的丝滑教唆。还有一个自制即是不错欺诈两方云平台的老内容系去平衡老本，已毕降本增效。

毛剑：关于小体量企业而言，PaaS 平台的搭建确凿很花元气心灵。好多东说念主合计用了云就具备了高可用才略，其实否则，小企业仍旧需要懂 SRE 去主动培养高可用的坚贞。服务褂讪性的影响身分有好多，只是是研发东说念主员写的一个 bug，一样会对其酿成弗成臆度的影响。这背后需要一系列的技能去作念幸免，本质上是一个系统工程。小企业不错不建平台，不错只用云的才略，但一定要具备 SRE 的坚贞。

大漠穷秋：我职业糊口里经历过两次我方搞出来的故障，影响皆比较大，一次是在某电力系统公司搞挂了监控系统的库，另一次是在接办旧系统的爱护升级管事时优化了代码花样删除了鼓胀空行导致系统故障，这两次皆是在相对互联网而言较小的企业里。关于小企业而言，体量只是其中的一个身分，另外还需要去考量企业是否会在某个阶段一会儿获取爆发式的增长，比如最近很火爆的一些昂扬级的小游戏，判断增长的空间才有足够合理的提前搭建高可用容灾体系的必要。

面前繁密的冷备、热备、双活、多活、同城、他乡、多云等灾备决策中，怎么更好的采取贴合自身条目的高可用和容灾架构决策？

刘意：多云多活的决策中，bilibili 和喜马拉雅皆采取了搀和云的模式。大部分企业并不常碰到数据库爆炸一样的顶点情况，也不像银行业一定要他乡多活高规格的容灾体系，一般而言双活就能起到高可用的作用足够得志需求了。比较其他而言，提高 IT 团队的管控才略可能更为迫切。此外，要让业务在自建 IDC 和上云之间作念好采取，哪些中枢系统上云，哪些无谓，充分欺诈自建 IDC 数据的可靠性，确保业务跑得更快、更好。

毛剑：好多东说念主对系统的多活容灾有诬蔑，多活在本事上对时候、元气心灵的花费很大，但确凿莫得产生附涨价值，是以本事团队在作念多活决策之前一定要接洽到业务的 ROI。肖似交游型电商、金融行业，对他乡多活的需求会比较高，但大部分业务作念到同城双活就足够了。开采多活的中枢其实即是两点，第一是念念考出现停机问题时，业务损结怨干涉开采的资源之间比例是否合算；第二，因为一个机房放不下，用钱买资源的同期已毕多活才略。

大漠穷秋：并不是通盘的事故皆需要作念容灾，本事东说念主员照旧要去提前评估好业务和事故之间可能存在的磋磨。有些东西挂了就挂了，重启就能治理，巧合一定要用容灾的方式去作念开采。这背后一个是本事体系与东说念主员操作要领的问题，两者皆是迫切的影响身分。另一个问题即是性价比的问题，对好多中小团队来说，建容灾冗余的干涉广宽于事故发生时的亏蚀，老本关于中小企业而言即是最明锐的影响身分。

在「黑天鹅」事件发生，导致业务瘫痪时，四肢企业指挥者，怎么进行救急处理？

刘意：肖似删库的黑天鹅事件发生时，四肢云厂商而言应该在力所能及的范围内去匡助客户还原业务系统和要害数据，这是云厂商应尽的义务。从企业指挥者的角度看，起原应该在构建系统的时候就充分作念好业务的保险，然后充分欺诈里面的本事资源、外部云厂商的资源才略，去尽可能地救济业务亏蚀。

毛剑：四肢企业指挥者不要局限在本事侧的处理，更要从全局上看问题。其中从事件本人的公关角度来说，不错这样分：第一，吞并口径回报给来自 C 端客户的客诉；第二，同步 PR 部门的共事，在媒体层面上去作念危急公关；第三，通过 GR 等政府干系部门行止上报备同步。

本事侧处理时，起原不要慌，把磋磨东说念主员组织好，吞并事故协吞并回报的对接东说念主；第二，尽快见知其他部门事故的发生，在日常管事中也要多作念事故演练；第三，作念善事故的复盘，对事永诀东说念主，要领化进程和东说念主的问题。基于这些主张理念不错开采一个平台，咱们面前建的平台叫事件中心，保留事件发生前作念了什么，事中作念了什么，过后的复盘等等。

结语

线上服务的褂讪性对企业而言至关迫切，褂讪性差的服务在带给用户欠安体验的同期，致使可能给企业酿成径直的经济亏蚀。而影响线上服务褂讪性的身分又有好多，无论是业务研发东说念主员照旧云平台的本事东说念主员，皆在不断地捏续求索那提高高可用才略的可能，不断地靠拢『4个9』、『5个』的可用性极限。

TVP 从确立之初，所追求的用科技影响宇宙，让本事普惠全球，也跟这样追求极致的本事精神所一脉相传、相互衬映。TVP 们走进的是 B 站，走出来的却是更多高可用本事背后的念念考与践诺。

 曼谷 人妖