400-0715-088

当前位置:首页 > 新闻中心 > 行业动态
Cloudflare 因路由器装备过错:流量下降 50%、80 多个网站瘫痪
发布时间:2022-11-29 07:35:32 来源:澳网官网

  受影响的服务包含Cloudflare API和Cloudflare Recursive DNS,这两项服务都被标示为功能呈现降级。在Cloudflare处理网络流量的全球许多区域,状况页面显现数据在从头路由。

  Cloudflare首席执行官Matt Prince指出元凶巨恶是美国亚特兰大的一台路由器:

  他弥补道,毛病“好像在20分钟多一点的时间内影响了咱们约50%的流量。”

  因为Cloudflare为许多非商业和商业网站处理DNS服务和边际核算服务,因而时间短的服务中止当即引起了留意。

  处理一半互联网DNS服务的Cloudflare遭受“毛病”。许多网站和服务受影响。

  突发新闻:严重毛病导致网站保管、网络和互联网安全供给商Cloudflare瘫痪。毛病基本上已得到处理。80多个网站和运用呈现宕机。

  今日,咱们的主干网络呈现了一个装备过错,导致很多网站和Cloudflare服务呈现毛病,毛病持续了27分钟。咱们发现,咱们整个网络上的流量下降了约50%。因为咱们主干网的体系结构,这次毛病并没有影响整个Cloudflare网络,仅局限于某些区域。

  之所以呈现毛病,是因为咱们在处理从纽瓦克到芝加哥的主干网的一个网段存在的毫无相关的问题时,咱们的网络工程团队更新了亚特兰大一台路由器上的装备以缓解拥塞。该装备有一个过错,导致了咱们主干网上的一切流量通通被发送到亚特兰大。这很快使亚特兰大的那台路由器不堪重负,从而导致衔接到主干网的Cloudflare网络方位呈现了毛病。

  受影响的方位有圣何塞、达拉斯、西雅图、洛杉矶、芝加哥、华盛顿特区、里士满、纽瓦克、亚特兰大、伦敦、阿姆斯特丹、法兰克福、巴黎、斯德哥尔摩、莫斯科、圣彼得堡、圣保罗、库里蒂巴和阿雷格里港。其他方位持续正常运转。

  咱们为这次毛病深表歉意,现已对主干网装备进行了大局改变,避免毛病再次呈现。

  Cloudflare在咱们遍及全球的许多数据中心之间运营着主干网(backbone)。这个主干网是咱们的数据中心之间的一系列专用线路,用于数据中心之间更快速、更牢靠的途径。这些衔接让咱们得以在不经过公共互联网的状况下在不同数据中心之间传输流量。

  比如说,咱们运用该主干网来联络坐落纽约的一台网站原始服务器,经过咱们的专用主干网将恳求传输到加利福尼亚州圣何塞或远至法兰克福或圣保罗的当地。避免运用公共互联网的这个额定挑选能够带来更高的服务质量,因为这个专用网络可用来避免互联网拥塞点。凭借主干网,咱们能够在何处路由以及怎么路由互联网恳求和流量方面取得极大的控制权,比公共互联网供给的控制权大得多。

  首要,纽瓦克和芝加哥之间的主干网衔接呈现了问题,导致亚特兰大和华盛顿特区之间的主干网呈现拥塞。

  为了应对该问题,网络工程团队在亚特兰大进行了装备改变。进行改变后,毛病从21点12分开端。一旦工程团队了解到毛病,禁用了亚特兰大路由器,流量在21点39分从头开端正常传输。

  不久之后,咱们发现处理日志和衡量目标的其间一个中心数据中心呈现拥塞,导致一些日志被丢掉。在此期间,边际网络持续正常运转。

  20点25分:亚特兰大(ATL)和阿什本(IAD)之间的主干网呈现拥塞;

  21点12分至21点39分:亚特兰大(ATL)招引了来自整个主干网的流量;

  21点47分至22点10分:中心数据中心拥塞导致一些日志丢掉,边际网络持续运转;

  这儿经过Cloudflare的内部流量管理器东西直观地显现了毛病影响。顶部的赤色和橙域标明亚特兰大的CPU运用率已达到过载状况,而白域标明受影响的数据中心因不再处理流量而呈现CPU运用率下降至挨近零的状况。这是毛病期间。

  其他未受影响的数据中心在毛病期间其CPU运用率未呈现改变。这些数据中心在毛病期间一向呈现绿色,没有改变,标明晰这一点。

  因为亚特兰大呈现了主干网拥塞,网络工程团队决议删去亚特兰大的部分主干网流量。但不是从主干网删去亚特兰大路由,而是只要单单一行的改变开端将一切BGP路由走漏到主干网。

  该term设置了本地优先级,添加了一些集体(community),并承受与前缀列表匹配的路由。本地优先级是iBGP会话方面的一个传递特点(它会被转移到下一个BGP peer)。

  经过删去前缀列表条件,路由器被指令将其BGP路由通通发送到一切其他主干路由器,本地优先级增加到200。惋惜的是,其时,边际路由器从咱们的核算节点收到的本地路由其本地优先级为100。因为较高的本地优先级占上风,本来发送到本地核算节点的一切流量都改而发送到了亚特兰大核算节点。

  对咱们的主干BGP会话实施最大前缀约束——这会封闭亚特兰大的主干网,可是咱们的网络能够在没有主干网的状况下正常运转。此更改将在7月20日周一布置到位。

  更改本地服务器路由的BGP本地优先级。此更改将避免单单一个方位以相似方法招引其他方位的流量。这次毛病事情后,此更改已布置到位。

  咱们从未遇到过主干网呈现毛病的状况,咱们的团队敏捷做出了反响,在受影响的方位康复了服务,但这关于每个受影响的人/公司来说都是一段很苦楚的时期。咱们为毛病期间无法访问网站的客户和一切用户深表歉意。

  咱们现已对主干网装备进行了改变,以保证不会再次发生这种状况,进一步的改变会在周一持续进行。

返回上一页
澳网官网