라우터나 스위치가 10개 있는데 어떻게 구성하나요? (1 부)

몇 주 전에 누군가 나에게 환경에 10개 이상의 스위치와 라우터가 있는 경우 어떻게 구성해야 하는지 물었습니다. 좋은 질문입니다. 포트 보안, 포트 채널, STP, 라우팅 구성이 아니라, 단말 애플리케이션 서비스의 특성에 맞는 네트워크 아키텍처를 선택하는 것이 핵심입니다.

지난 10년 동안 클라우드 서비스의 확장성 요구 사항으로 인해 관련 솔루션의 급속한 개발이 촉진되었지만 데이터 센터의 일반적인 네트워크 토폴로지는 여전히 두 가지 유형으로 요약될 수 있습니다. 전통적인 3계층 네트워크 아키텍처 및 Leaf-Spine 2계층 네트워크 아키텍처입니다.

기존의 3계층 네트워크 아키텍처는 액세스 계층, 집합 계층(분배 계층이라고도 함), 코어 계층이라는 세 가지 스위치 계층으로 구성됩니다. 서버는 에지 레이어 액세스 스위치(종종 랙 상단 스위치 또는 TOR 스위치라고 함) 중 하나에 연결됩니다. 집계 레이어 스위치는 여러 액세스 레이어 스위치를 상호 연결합니다. 모든 집계 레이어 스위치는 코어 레이어 스위치를 통해 서로 연결됩니다. . 코어 레이어 스위치는 데이터 센터를 인터넷에 연결하는 역할도 담당합니다. 이 3계층 아키텍처를 채택하는 데 사용되는 기존 데이터 센터입니다.

아래 사진은 제가 최적화 설계에 참여한 수만 대의 서버로 구성된 기존 데이터센터 네트워크 아키텍처의 개략도입니다.

이 토폴로지에서는 일반적인 3개 계층(분배 라우터, 네트워크 파티션 집계 라우터, 서버 액세스 스위치) 외에도 코어 계층에 WAN 코어 백본 라우터, WAN 전송 라우터, WAN 최적화 가속기가 포함됩니다. , LAN 코어 라우터, 외부 초크 라우터, 인터넷 경계 라우터, 전송, 방화벽, 패킷 분석기 연결을 위한 네트워크 TAP. 네트워크 부하 분산 장치는 집계 계층에 배치됩니다. 장비 유지보수 및 관리를 위한 전용 OOB 액세스 계층도 있습니다.

3계층 아키텍처는 배포 및 진단이 쉽지만 점점 늘어나는 클라우드 컴퓨팅 요구 사항을 더 이상 충족할 수 없습니다. 3계층 아키텍처가 직면한 주요 문제로는 낮은 확장성, 낮은 내결함성, 내부 서버 간의 낮은 단면적 대역폭, 상위 계층의 초과 구독, 상위 수준 토폴로지에 사용되는 대형 모듈형 스위치의 매우 높은 비용 등이 있습니다.

저는 3-Tier 아키텍처에서 네트워크 분리 문제를 완화하기 위해 다음과 같은 방법을 사용하곤 했습니다.

(1) PVLAN: Private VLAN, 포트 격리라고도 합니다. 컴퓨터 네트워크 VLAN에 제한된 스위치 포트가 포함되어 있어 지정된 포트하고만 통신할 수 있는 기술입니다. 이는 백엔드 NFS 네트워크에서 일반적으로 사용됩니다.

(2), VRF 가상화 라우팅 테이블, 경로 격리에 사용됩니다.

(3), GRE 터널.

(4) 일부 오버레이 네트워크 캡슐화 프로토콜을 사용하고 이를 운영 체제 가상화와 결합하여 네트워크 분리를 달성합니다.

Leaf-Spine 네트워크 아키텍처는 기존 3계층 네트워크 아키텍처가 직면한 초과 구독과 내부 서버 간의 단면적 대역폭 문제를 해결합니다. 리프-스파인 네트워크 아키텍처는 지난 몇 년 동안 주요 클라우드 서비스 데이터 센터를 장악하기 시작했습니다. 리프-스파인 구조는 Clos 구조라고도 하며 각 리프 스위치(ToR 스위치)가 풀 메시 토폴로지에서 각 스파인 스위치에 연결됩니다. 이것은 2계층 Fat-tree 네트워크입니다. 이 아키텍처에는 리프 사이에 단 하나의 홉만 있으므로 지연과 병목 현상이 최소화됩니다. Spine 네트워크 확장은 필요에 따라 Spine 스위치를 추가하는 것만큼 간단합니다.

리프-스파인 아키텍처는 기존 STP 대신 맞춤형 주소 지정 체계와 라우팅 알고리즘을 사용합니다. 네트워크 스위치에서 사용 가능한 기능에 따라 리프-스파인 메시는 레이어 2 또는 레이어 3 기술을 사용하여 구현할 수 있습니다. 레이어 3 리프 스파인에서는 모든 링크가 라우팅되어야 하며 일반적으로 OSPF(Open Shortest Path First) 또는 ECMP(Equal Cost Multipath Routing)를 사용하는 BGP(Border Gateway Protocol) 동적 라우팅을 사용하여 구현됩니다. 레이어 2는 TRILL(Transparent Interconnection of Multiple Links) 또는 SPB, IEEE 802.1aq(Shortest Path Bridging)과 같은 루프 없는 이더넷 패브릭 기술을 사용합니다. 그 중 Cisco의 FabricPath와 Brocade의 Virtual Cluster Switching은 TRILL을 기반으로 개발된 프라이빗 데이터 플레인입니다. 코어 네트워크는 ECMP가 포함된 동적 라우팅 프로토콜을 사용하여 레이어 3을 통해 백본에 연결할 수도 있습니다. Huawei, Lenovo, Brocade, HP, Extreme Networks 및 기타 회사는 TRILL 또는 기타 Leaf-Spine 아키텍처 솔루션을 기반으로 한 제품을 보유하고 있습니다.

리프-스파인 구조의 장점은 다음과 같습니다.

(1) STP에 의해 차단되는 기존 네트워크의 중복 링크와 달리 모든 링크는 상호 연결에 사용됩니다.

(2) 내부 Leaf 사이의 모든 수평 통신은 등거리이므로 데이터 흐름 지연 시간이 결정됩니다.

(3) Underlay의 스위치 구성과 핵심 네트워크 구성은 고정되어 있으므로 Overlay 네트워크의 라우팅을 변경해도 핵심 네트워크를 변경할 필요가 없습니다.

(4) 제품 보안 영역을 가상으로 분리하여 VLAN 및 멀티 테넌트 보안을 확장할 수 있습니다.

(5) 인프라의 물리적 네트워크는 논리적 네트워크(오버레이 네트워크)와 분리될 수 있습니다.

리프-스파인 구조에는 다음과 같은 몇 가지 단점도 있습니다.

(1) 네트워크 스위치 수가 3계층 네트워크 아키텍처보다 훨씬 많습니다.

(2) 새 리프를 확장하려면 많은 수의 케이블이 필요하고 많은 수의 Spine 스위치 포트를 차지합니다.

(3) Spine 스위치 포트 수에 따라 연결할 수 있는 최대 리프 스위치 수가 결정되며, 이는 최대 총 호스트 수도 결정됩니다.

아래 사진은 제가 참여한 퍼블릭 클라우드 Leaf-Spine 솔루션의 개략적인 스케치입니다.

현대 데이터 센터 구축에서는 일반적으로 공장을 떠나기 전에 네트워크 장비, 서버 및 랙을 모듈화합니다. 리프-스파인 네트워크를 사용하는 데이터 센터의 경우 운송 캐비닛, 스파인 캐비닛, 패브릭 캐비닛, 서버 캐비닛 등 4가지 유형의 표준 엔지니어링 시스템이 공장에서 사전 조립됩니다. 리프 스위치는 서버와 마찬가지로 서버 캐비닛에 사전 조립되어 있으며 기본적으로 캐비닛 전원을 켜면 즉시 온라인으로 사용할 수 있습니다.

현재 세계의 주류 퍼블릭 클라우드는 기본적으로 Leaf-Spine 네트워크 아키텍처를 채택하고 있습니다. 그러나 다양한 퍼블릭 클라우드 서비스 제공업체의 리프-스파인 네트워크에서 언더레이 네트워크와 오버레이 네트워크가 사용하는 프로토콜과 솔루션은 매우 다릅니다. 예를 들어 VXLAN을 사용하여 리프-스파인 아키텍처를 기반으로 SDN 솔루션을 설계하거나 MPLS L3VPN을 사용하여 ECMP의 BGP 레이블 유니캐스트 언더레이 네트워크를 기반으로 또 다른 다중 테넌트 데이터 센터 SDN 솔루션을 구축할 수 있습니다.

2계층 데이터센터 네트워크 아키텍처에 대해 이야기한 후, 새로운 네트워크를 구축할 기회가 있다면 네트워크 아키텍처 솔루션을 선택하는 방법을 알아야 한다고 생각합니다.

여러분에게 친숙한 Leaf-Spine 네트워크 아키텍처 솔루션의 Underlay Network와 Overlay Network에서 사용하는 프로토콜에 대해 메시지를 남기고 이야기를 나누는 모든 분들을 환영합니다.

참조 자료:

(1), MPLS L3VPN을 사용하여 멀티 테넌트 데이터 센터 구축

(2), Cisco 데이터 센터 스파인 앤 리프 아키텍처: 디자인 개요 백서