관리되는 서비스 제공자(MSPs)들에게 있어서, 고성능 및 확장 가능한 네트워크 구축은 중요한 성공 요소입니다. 이전의 블로그 글에서 우리는 기본 네트워크 토폴로지 유형을 다루었고, 이번에는 서비스 제공자들에게 선호되는 더 복잡한 네트워크 토폴로지 유형을 살펴보겠습니다. MSP 데이터 센터에 대한 최상의 네트워크 토폴로지가 무엇이며 그 이유는 무엇인지에 대해 알아보기 위해 이 블로그 글을 읽어보세요.
전통적인 3-Tier 계층적 네트워크
소프트웨어 정의 네트워크가 보편화되기 전에, 데이터 센터의 네트워크는 계층적 트리 네트워크 토폴로지를 기반으로 구축되었습니다. 이 토폴로지는 세 가지 주요 계층으로 분할됩니다: 코어(core) 계층, 집계(aggregation) 또는 분배(distribution) 계층, 그리고 액세스(access) 계층입니다. 이 토폴로지에서 서버들은 액세스 계층의 스위치에 연결됩니다. 엣지 라우터들은 WAN(광대역 네트워크) 및 인터넷으로부터의 액세스를 제공하기 위해 코어에 연결됩니다. 이러한 라우터들은 아래의 구조에서 코어와 인터넷 사이에 위치합니다.
OSI(개방형 시스템 상호연결) 모델 관점에서, 네트워크를 데이터 링크 계층(L2)과 네트워크 계층(L3) 등으로 나누는데, 액세스-집계-코어 네트워크 토폴로지는 계층을 가로지르는 형태로 구성됩니다. 그래픽에서 볼 수 있습니다.
이 세 가지 계층을 차례로 살펴보겠습니다.
코어 계층
네트워크 코어(또는 코어 네트워크)는 전체 네트워크의 중심 구성 요소입니다. 주요 노드는 코어에 연결됩니다. 코어 네트워크는 일반적으로 망 상 네트워크 토폴로지를 기반으로 합니다. 여기서 모든 노드는 코어 내에서 다른 모든 노드에 연결됩니다(전체 망 토폴로지 유형). 네트워크 코어의 스위치와 라우터는 고속 연결로 상호 연결됩니다(백본 연결이라고도 함). 네트워크 코어에는 라우터가 사용되므로 코어 계층은 L3 트래픽으로 작동합니다.
분산/집계 계층
이는 3계층 네트워크 토폴로지의 하위 계층(접근 계층, L2에서 작동)에서 상위 계층인 네트워크 코어 계층(L3에서 일반적으로 작동)으로 상위 링크를 집계하는 중간 계층입니다. 분산 계층은 많은 수의 저속 포트를 소량의 고속 트렁크 포트와 결합합니다. 데이터가 접근 계층에서 전송될 때 이 네트워크 토폴로지의 분산/집계 계층에서 라우팅이 시작됩니다. 방화벽, 로드 밸런싱 및 기타 보안 구성은 집계 계층에 설정됩니다. 집계/분산 계층은 데이터 센터의 케이블링 구성을 줄이고 단순화하기 위해 사용됩니다. 집계 계층에 설치된 스위치는 메모리의 MAC 주소 테이블에 더 많은 MAC 주소를 저장해야 합니다. 접근 계층은 L2 트래픽으로 작동하는 반면, 분산 계층은 L2 및 L3 트래픽으로 작동합니다.
접근 계층
이 계층은 L2에서 작동하는 스위치로 구성됩니다. 서버 및 워크스테이션이 접속 계층 스위치에 연결됩니다. VLAN(가상 로컬 영역 네트워크)은 일반적으로 L2 브로드캐스트 도메인을 분리하여 브로드캐스트 트래픽을 줄이고 보안을 높이는 데 사용됩니다.
병목 현상을 피하기 위해 네트워크 코어에 가까운 곳에 더 두꺼운 링크를 사용합니다. 예를 들어, 서버는 10-Gbit/s 네트워크 인터페이스를 사용하여 접속 스위치에 연결되며, 접속 스위치는 10-Gbit/s 인터페이스를 사용하여 집계 스위치에 연결되며, 집계 계층의 스위치/라우터는 100-Gbit/s 링크를 통해 네트워크 코어 스위치/라우터에 연결됩니다. 이 경우 링크 집합을 사용하여 대역폭과 중복성을 증가시킬 수 있습니다. 서버에서의 모든 트래픽은 업링크로 전송됩니다. 이 네트워크 위상의 계층 구조 맨 위에는 ‘신의 상자’라는 지능형 네트워크 장비 세트가 있습니다. 신의 상자는 라우팅 및 모든 다른 서비스를 담당합니다. 계층 구조적 네트워크 위상을 사용하면 모듈식 네트워크를 생성할 수 있습니다.
이전 다이어그램에서 본 네트워크 위상에서 하나의 링크 장애는 네트워크 세그먼트의 장애로 이어집니다. 이러한 이유로 이 네트워크 위상 유형에는 각 네트워크 레이어에 대해 예약된 채널 및 중복성이 사용됩니다(다음 도식 참조). 하나의 장치 또는 링크의 장애는 성능 저하를 일으키지만 네트워크는 계속 작동합니다. 이러한 중복된 네트워크 위상은 일반적으로 STP(스패닝 트리 프로토콜)을 필요로 합니다.
유지보수. 이 3단계 네트워크 위상 유형의 맨 위에있는 일부 네트워크 장비를 연결해 소프트웨어를 업데이트하거나 기타 유지 보수 작업을 수행하면 네트워크 성능이 저하됩니다. 일부 서비스가 일시적으로 사용할 수 없습니다.
확장성. 서버에서 실행되는 서비스의 수가 매년 증가하고 트래픽 양도 그에 따라 증가하고 있습니다. 이러한 상황은 MSP 네트워크에서 네트워크 대역폭을 업그레이드하고 증가시키는 것을 필요로 합니다. 전통적인 데이터 센터에서 네트워크 대역폭을 증가시키는 것은 일반적으로 다음을 필요로 합니다:
- 링크 집합(LAG) 연결을 증가시키기
- 네트워크 카드 구매하기
- 네트워크 카드를 설치할 슬롯이 없는 경우, 새로운 서버나 관련 장비를 구매하기
데이터 센터의 새 모듈로서 새로운 서버 랙(랙 캐빈)을 추가해야 할 경우, 이 랙 및 해당 랙에 설치된 서버의 네트워크 대역폭을 증가시킬 수 있습니다. 이러한 유형의 네트워크 토폴로지는 STP와 MSTP(Multiple Spanning Tree Protocol)와 같은 L2 프로토콜 기능으로 인한 링크 예약 및 중복성의 높은 수준을 보장할 수 없습니다.
데이터 센터의 클래식한 세계 네트워크 토폴로지는 End of Row와 Top of Rack 디자인과 결합될 수 있다. Top of Rack 연결 방식이 더 인기가 있다. 이 이름은 각 랙의 메인 스위치에 서버와 스위치가 연결되기 때문에 사용된다. Top of Rack 스위치(ToR 스위치)는 MSP 네트워크의 상위 레벨 스위치/라우터에 연결된다. ToR 스위치는 사용자 엣지 스위치와 다르며, 다수의 추가 고속 업링크 포트(예: 10-Gbit/s 포트)와 서버를 연결하기 위한 많은 수의 포트를 갖고 있다. ToR 스위치는 장애 조치를 위해 쌍으로 설치되며, 스위치 유지 보수를 가능하게 한다. 이 ToR 연결 방식의 장점은 랙 내부와 랙 간 장치의 케이블 길이가 더 작다는 것이다. 다단계 계층형 네트워크 토폴로지의 액세스 스위치는 일반적으로 ToR 스위치로 사용된다.
트래픽 방향
이전에 설명한 단점들은 그다지 중요하지 않으며, 적절한 관리로 데이터 센터 네트워크는 성공적으로 작동할 수 있습니다. 네트워크의 일부에서 L2를 L3로 변경하면 일련의 문제를 해결하는 데 도움이 됩니다. 데이터 센터가 진화하고 응용 프로그램이 예전과 다르게 실행되는 방식과 관련된 다른 기능이 있습니다. 2000년대에는 응용 프로그램이 중앙 집중식 아키텍처를 사용하여 생성되었으며, 클라이언트-서버 아키텍처의 응용 프로그램은 주로 단일 서버에 위치했습니다. 따라서 우리의 다이어그램에서 사용자 요청은 네트워크의 상단에서 보내졌으며, 응용 프로그램에서 생성된 요청은 하위 서버 수준에서 다시 네트워크의 상단으로 보내졌습니다. 사용자 요청은 단일 호스트에서 처리되었습니다. 호스트 간의 수평(동쪽-서쪽) 트래픽은 최소화되었으며, 남-북 트래픽이 우세했습니다. 데이터 센터의 MSP 네트워크에 사용되는 계층적 다중 계층 전통적 네트워크 위상은 이러한 요구 사항을 충족합니다. 그러나 시간이 지나면서 응용 프로그램 개발 시 새로운 아키텍처가 선호되었습니다.
N-tier layered architecture. Application components are distributed across multiple tiers, for example, the logic tier, the presentation tier, and the data tier. Web applications that have multiple components require these components to run on different servers, for example, a web server, application server, and database server. Application components running on multiple servers interact with each other over a network.
마이크로서비스 아키텍처 는 응용 프로그램의 구성 요소(서비스)가 서로 연결된 별도로 논리적으로 격리된 컨테이너에서 실행되는 것을 가정합니다. 컨테이너는 클러스터 내의 다른 호스트에서 실행될 수 있습니다. 이 아키텍처는 매우 확장 가능하며 요즘에는 클라우드에서 널리 사용됩니다.
데이터 센터는 현재 빅 데이터, 대규모 데이터베이스, 분석, 컨텍스트 광고, 인공 지능 기반 애플리케이션 및 다른 소프트웨어를 운영하며, 이러한 소프트웨어는 여러 서버, 저장 장치 배열, 가상 머신 또는 컨테이너와의 상호 연결을 필요로 합니다. 응용 프로그램 구성 요소는 데이터 센터 내의 여러 서버 또는 가상 머신에 분산됩니다.
결과적으로, MSP 네트워크에서 동쪽-서쪽 트래픽이 남북 트래픽보다 더 많습니다. 데이터 센터 네트워크 내부 트래픽(데이터 센터 내부 트래픽)은 데이터 센터로 요청을 보내는 외부 사용자의 트래픽보다 더 많습니다. 데이터 센터에서 네트워크를 사용하는 내부 트래픽인 스토리지 시스템 간의 내부 트래픽, 데이터베이스 복제, 데이터 백업 및 기타 서비스 활동에 대해 잊지 마십시오.
다음 다이어그램에서는 지난 몇 년간 데이터 센터 내에서 MSP 네트워크 내의 내부 트래픽이 증가하는 그래픽 표현을 볼 수 있습니다. 추세는 데이터 센터 내부 트래픽이 들어오는/나가는 트래픽보다 더 많이 증가하고 있음을 보여줍니다.
전통적인 네트워크는 전통적인 계층적 세 단계 네트워크 토폴로지를 사용하여 신뢰할 수 있지만 가장 합리적인 방식으로 측면 트래픽 흐름에 적합하지 않습니다. 이는 L2 네트워킹과 남북 트래픽에 중점을 두었기 때문입니다.
클로스 네트워크 토폴로지
초기에는 1938년에 에드슨 어윈에 의해 Clos 네트워크가 발명되었습니다. 1953년에 Charles Clos는 교환기 통신 구조에 비해 통신을 더 합리적으로 사용하기 위해 전화 시스템에서 차단 없는 스위칭 네트워크를 사용하기로 결정했습니다. 저수준의 연결점, 입력 및 출력을 갖는 배열로 인해 연결 구조는 처음에는 어려워 보입니다. 그러나 6n^(3/2)-3n 공식에 따라 연결점 수가 적기 때문에 Clos 네트워크는 덜 복잡합니다. 이 사실은 36개의 연결 끝점부터 명확해집니다.
만약 m이 입력 스위치 수이고 n이 출력 스위치 수이면 Clos 네트워크의 차단 특성은 이 공식을 사용하여 계산됩니다. Clos 정리에 따르면, Clos 네트워크는 두 번째 단계 스위치의 수가 m ≥ 2n−1이면 엄격하게 차단되지 않습니다.
차단 네트워크는 비어 있는 입력 포트에서 비어 있는 출력 포트로의 통신 경로를 찾을 수 없는 네트워크입니다.
차단 없는 네트워크는 어떤 입력과 출력 포트를 연결할 수 있는 경로가 항상 존재하는 네트워크입니다. 차단 없는 네트워크는 추가적인 교환 단계를 추가함으로써 생성됩니다.
재배열 가능한 차단 없는 네트워크는 모든 입력 및 출력 포트를 연결할 수 있는 모든 가능한 경로를 재배열할 수 있는 네트워크입니다.
1990년대 말에는 통신 기술과 컴퓨터 네트워크의 발전으로 인해 Clos 네트워크의 개념이 다시 중요해졌습니다. 네트워크 패브릭에서 모든 노드가 서로 통신해야 하며 가능하면 모든 장치가 상호 연결된 전체 메시 토폴로지를 사용하지 않아야 합니다. 네트워크 장치를 상호 연결하기 위해 새로운 통신 계층이 추가되었습니다. 그 결과로 Clos 네트워크 개념이 새로운 형태로 부활되었습니다. 다음 이미지에서는 일반적인 3계층 Clos 네트워크의 구조를 볼 수 있습니다.
편의를 위해 Clos 네트워크의 모습을 대중적으로 사용되는 Leaf-Spine 구조로 변경하여 좌우측을 접는다면, 이 네트워크 토폴로지는 Leaf-Spine, Folded Clos, 그리고 3단계 Clos 네트워크로 알려져 있습니다(다음 이미지 참조).
스파인 레이어 스파인 스위치는 전체 메시 네트워크 토폴로지에서 모든 리프 스위치를 상호 연결하는 데 사용됩니다. 스파인 레이어는 전통적인 3계층 계층형 네트워크 토폴로지에서 사용되는 집계 계층을 어느 정도 대체하지만 직접적인 집계 계층과는 다릅니다. 스파인 레이어의 주요 역할은 리프 간의 데이터를 빠르게 전송하는 것입니다. 엔드포인트 디바이스는 스파인 스위치에 연결되지 않습니다.
리프 레이어 이 모델에서는 데이터 센터의 서버나 기타 엔드포인트 디바이스가 리프에 연결됩니다. 모든 리프는 모든 스파인에 연결됩니다. 결과적으로 모든 서버 간에 동일 대역폭을 가진 많은 네트워크 연결이 있습니다. 스파인과 리프 간에는 L3 연결이 있습니다(OSI 모델에서의 L3).
네트워크에서 출발지에서 목적지로 트래픽이 전송될 때, 호핑 수는 동일합니다 (예를 들어, 다음 계획에 있는 이중 리프-스파인 네트워크 내의 서버 간 데이터 전송에는 세 번의 호핑이 필요합니다). 지연 시간은 예측 가능하고 낮습니다. 네트워크 용량도 STP를 사용할 필요가 없기 때문에 증가합니다. 스위치 간의 중복 연결에 STP를 사용할 때, 한 번에 한 링크만 활성화될 수 있습니다.
리프-스파인 네트워크 토폴로지에서 Equal-Cost Multipath (ECMP) 라우팅 프로토콜을 사용하여 트래픽을 로드 밸런싱하고 네트워크 루프를 방지할 수 있습니다 (L3 네트워크 연결에 대해). BGP, OSPF, EIGRP, ISIS 프로토콜도 사용할 수 있습니다.
이 네트워크 개념은 멀티레이어 팻-트리 네트워크 토폴로지로도 불립니다. 이 아이디어는 트리의 상위 레이어(트리의 루트 근처)에서 병목 현상을 피하고 이러한 세그먼트에서 대역폭을 증가시키기 위해 추가 링크를 추가하는 것입니다. 결과적으로 루트 방향으로 링크 용량이 증가합니다. 팻 트리는 Clos 네트워크의 특수한 경우입니다. 세 단계 Clos 네트워크는 접힌 후 이중 리프-스파인 네트워크로 변환됩니다. 리프 스위치 또는 리프 엣지 스위치/라우터를 사용하여 외부 네트워크 및 다른 데이터 센터에 액세스할 수 있습니다.
리프-스파인 네트워크 토폴로지의 장점
리프-스파인 네트워크 토폴로지는 액세스-집계-코어 네트워크 토폴로지보다 여러 가지 이점을 제공합니다. 이러한 이점 집합은 데이터 센터에서 리프-스파인 네트워크 토폴로지 유형을 사용하는 이유입니다.
최적화된 연결. 네트워크 장치 간의 대역폭이 높은 링크는 동서 트래픽에 최적입니다. 사용되지 않는 링크는 없습니다(L2 대신 L3을 사용하므로). 높은 효율성을 위해 ECMP가 권장되며, STP는 필요하지 않습니다.
신뢰성. 한 장치의 고장 또는 한 링크의 연결 해제는 중대한 부정적인 결과와 단점을 초래하지 않습니다. 리프 스위치로 작동하는 ToR 스위치가 고장나면 해당 랙이 영향을 받습니다. 스파인 스위치가 고장나면 네트워크 대역폭이 저하되지만 전통적인 3단계 계층적 네트워크 토폴로지와 비교하여 그다지 크지 않습니다. 스파인-리프 토폴로지의 대역폭 저하는 1/n이며, 여기서 n은 스파인의 수입니다. 이 경우 계층적 토폴로지의 대역폭 저하율은 50%입니다.
높은 확장성. 스파인에 빈 포트가 있을 때까지 새로운 리프를 추가할 수 있습니다. 새로운 스파인을 추가하면 리프의 업링크를 증가시킬 수 있습니다. 외부 네트워크로의 대역폭을 늘리기 위해 엣지 스위치/라우터를 추가하세요. 트리 계층적 네트워크 토폴로지에서 대역폭을 늘리고 더 많은 서버를 연결하는 전통적인 접근 방식은 더 많은 포트가 있는 네트워크 카드, 더 빠른 네트워크 인터페이스를 갖춘 네트워크 장비, 일반적으로 더 강력한 하드웨어를 추가하는 것입니다. 이러한 전통적인 접근 방식을 scale up 또는 수직 확장성이라고 합니다.
데이터 센터 및 MSP 네트워크에서 리프-스파인 네트워크 토폴로지를 사용할 때, 추가적인 스파인 레이어를 추가할 수 있습니다. 이 접근 방식을 수평적 확장성 또는 스케일 아웃이라고 합니다. 일반적인 스위치/라우터와 같은 하나의 네트워크 장치를 추가함으로써 확장성을 선형적으로 증가시킬 수 있습니다.
유지 보수. 유지 보수 또는 교체를 위해 네트워크에서 척추를 쉽게 분리할 수 있습니다. 척추의 유지 보수 작업은 척추에 지능 기능이 없기 때문에 god boxes와 비교하여 위험하지 않으며, 분리 후 대역폭 감소도 최소입니다.
멀티티어 클로스 네트워크
이전 섹션에서 입력 스위치, 중간 스위치 및 출력 스위치 단계를 갖는 세 단계 클로스 네트워크를 설명했습니다. 입력 및 출력 단계의 장치가 데이터를 수신/전송하는 데 사용되므로 두 단계의 리프-척추 네트워크 토폴로지로 구성된 중간 라인을 사용하여 네트워크 계획을 접을 수 있습니다. 더 많은 단계를 추가하고 멀티티어 클로스 네트워크를 구축하여 이 네트워크에 더 많은 네트워크 장치를 연결할 수 있습니다. 이 경우 다섯 단계가 있습니다: 입력 스위치, 중간 스위치 1, 중간 스위치 2, 중간 스위치 3, 출력 스위치입니다.
다음 다이어그램에서는 파란색과 녹색 블록의 재배치 후 5단계 비차단 클로스 네트워크의 초기 구조를 볼 수 있습니다. 또한 접힌 리프-척추 뷰 또는 팻트리(4,3) 뷰도 있습니다(4개의 척추 스위치와 3개의 리프-척추 구성이 있기 때문입니다). 하지만 5단계 클로스 네트워크에 장치를 연결하는 방법을 단계별로 살펴보겠습니다. 5개 이상의 단계를 갖는 클로스 네트워크 토폴로지 유형은 일반적이지 않으며 실제로 사용되지 않습니다. 연결 수가 너무 많기 때문입니다.
초기 다섯 단계 클로스 네트워크의 첫 번째 도식을 시계방향으로 90도 회전하면 입력 스위치, 출력 스위치 및 중간 스위치 세 단계가 있는 전통적인 구성이 나옵니다. 이 도식의 중간 스위치를 통해 접힌 모습의 다섯 단계 클로스 네트워크의 접힌 모습을 그려보겠습니다.
도식을 접은 후에는 이러한 유형의 네트워크 토폴로지에 대한 접힌 뷰 또는 리프-스파인 뷰가 나옵니다 (아래 도식 참조). 포인트 오브 딜리버리(POD) 지점으로 작용하는 개별 4개의 그룹이 있습니다. POD는 데이터 센터를 구축하기 위한 범용 단위입니다. POD는 첫 번째 수준의 스파인에 연결됩니다. 데이터 센터를 확장하거나 서버/네트워크 장비를 추가해야 하는 경우, 새로운 POD를 추가하고 네트워크 패브릭에 연결하면 됩니다. 한 POD의 스파인은 다른 POD의 스파인에 두 번째 수준의 스파인을 통해 연결됩니다. 동시에 모든 L1 스파인이 모든 L2 스파인에 연결되지 않으며, 이들은 평면으로 나뉩니다.
다음 도식에는 Plane 0과 Plane 1이 있습니다. 이 개념은 스파인의 포트 수가 제한되어 있고, 완전히 연결된 네트워크 토폴로지를 만드는 것이 불가능한 경우에 사용됩니다. 다음 도식에서 각 스파인에는 4개의 포트 제한이 있습니다. 주요 아이디어에 따르면 블록되지 않는 클로스 네트워크는 동일한 요소(아래 도식에서 볼 수 있는 대로 4포트 스위치)를 기반으로 합니다.
처음 보면 클로스, 접힌 클로스, 리프-스파인 및 팻 트리와 같은 용어로 혼란스러울 수 있습니다. 이 용어들을 명확히 해보겠습니다.
클로스 또는 클로스 네트워크는 클로스 네트워크 토폴로지 유형의 이론적 기초를 다루는 용어입니다.
폴드드 클로스는 입력과 출력이 동일한 역할을하고 같은 위치에있는 클로스 네트워크의 더 편리한 표현입니다.
리프-스파인은 실제 데이터 센터에서 네트워크를 구축하는 데 사용되는 클로스 네트워크 구조를 기반으로 한 네트워크 토폴로지입니다. MSP 네트워크를 포함합니다.
펫 트리는 일반적으로 클로스 네트워크의 변형으로 언급됩니다. 이 용어는 가장 혼란스러운데, 일부 문서에서 펫 트리를 클래식 액세스-집계-코어 네트워크로 언급하기도합니다. 접힌 클로스 네트워크 토폴로지를 기반으로 한 것으로 언급하는 RFC 7938 문서를 참조하겠습니다.
계산
선택한 구성의 네트워크에 연결할 수있는 핵심 스위치, 엣지 스위치, 필요한 총 스위치 수 및 총 호스트 수를 계산할 수 있습니다. 여기에 사용되는 공식은 다음과 같습니다:
k is the number of ports in the switch
L is the number of levels in the leaf-spine (fat tree) network topology
네트워크를 구축하기 전에 계산해야하는 주요 매개 변수는 지원되는 호스트 수입니다. 펫 트리 구성은 FT(k, L)로 작성할 수 있습니다. 예를 들어, FT(32,3)는 32포트 스위치가있는 삼단계 펫 트리 네트워크입니다. 선택한 구성의 시각화 도표를 생성하는 데 사용할 수있는 무료 계산기를 사용할 수 있습니다.
만약 팻트리 네트워크 구조가 2단계이고 스위치 당 8개의 포트가 있다면, 네트워크에 32개의 호스트를 연결할 수 있습니다. 스위치 당 포트 수를 증가시키면, 지원되는 호스트 수는 512개로 증가합니다. 호스트의 연결 수는 각 스위치의 포트 수에 따라 달라집니다. 팻트리를 2단계(3단계 클로스 네트워크)로 유지하고 스위치 당 포트 수를 증가시키면, 스파인의 수가 상당히 증가합니다. 팻트리에 추가적인 단계를 추가하여 이 문제를 해결할 수 있습니다. 3단계 팻트리의 경우, 스위치 당 포트 수가 8개이면 128개의 호스트를 연결할 수 있습니다.
스위치 당 포트 수를 32개로 증가시키면, 이 네트워크 토폴로지를 사용하여 8192개의 호스트를 연결할 수 있습니다. 이 수는 5단계 클로스 네트워크의 경우 3단계 클로스 네트워크의 16배입니다. 데이터 센터에서 서버 랙의 제한 사항을 고려하여 서버와 네트워크 장비의 설치 계획을 세우십시오.
홀수 스테이지는 논블로킹 클로스 네트워크를 구축하는 데 사용됩니다(3, 5, 7 등). 2단계 클로스 네트워크는 논블로킹 연결과 여러 개의 스위치 간 연결을 제공하지 않습니다.
다음 다이어그램에서는 2단계 클로스 네트워크의 경우, 서버 1과 서버 2를 연결하는 전송 경로가 하나만 있는 것을 볼 수 있습니다. ¼의 포트만 연결되고, 다른 포트는 연결되지 않아 차단됩니다.
오버-서브스크립션 비율은 하위 레이어에서 상위 레이어로의 방향으로의 입력 대역폭 대비 출력 대역폭의 비율입니다. 오버-서브스크립션 비율은 일반적으로 2에서 4까지 다양합니다.
모든 다운링크 및 업링크 포트의 총 대역폭 속도가 스위치의 경우 같으면, 스위치는 오버서브스크립션되지 않으며 이 경우 병목 현상이 없습니다. 1:1 오버서브스크립션 비율이 이상적인 경우입니다. 적절한 속도와 포트 수를 가진 스위치를 구매하기 전에 다른 방향의 트래픽을 추정하십시오.
오버서브스크립션 비율이 1보다 높은 스위치는 종종 리프-스파인 네트워크 토폴로지의 리프 단계에서 사용됩니다. 비 오버서브스크립트 스위치는 스파인 단계에서 사용해야 합니다. 리프-스파인 네트워크 토폴로지 유형의 리프 단계에 있는 스위치는 일반적으로 ToR 스위치로 사용됩니다. 그러나 리프 스위치를 End of Row 스위치로 설치하는 것도 가능합니다.
필수적인 차이점
네트워크를 구축할 때 일부 결정은 네트워크의 배치에 영향을 미칩니다. 여기 네트워크 작동에 영향을 주는 일부 선택 사항입니다.
랙 상단 vs 행 끝
랙 상단 (ToR) 네트워크 연결 구성은 데이터 센터에서 한 개 또는 여러 개의 스위치가 각 랙에 설치되는 곳입니다. 짧은 패치 케이블을 사용하여 랙 내의 다른 네트워크 장비 및 서버와 랙 상단 스위치를 연결합니다. ToR 스위치는 일반적으로 상위 레벨의 스위치/라우터와 고속 업링크를 가지며 광케이블로 연결될 수 있습니다. 이 연결 구성을 MSP 네트워크에 사용할 때의 장점은 데이터 센터의 각 랙에서 두꺼운 케이블을 설치할 필요가 없다는 것입니다. ToR 구조를 사용할 때 데이터 센터에서의 케이블 사용이 더 합리적입니다. 이 경우, 케이블링에 덜 투자하고 케이블 관리가 더 좋습니다. 각 랙을 단일 모듈로 관리할 수 있으며 데이터 센터 내의 다른 랙에 영향을 주지 않습니다. 왜냐하면 한 랙에 있는 서버만 영향을 받기 때문입니다. 이 구조의 이름에도 불구하고, 각 랙의 중간 또는 바닥에 스위치를 설치할 수 있습니다.
행 끝 (EoR) 네트워크 연결 구성은 행 끝에 있는 서버 랙에 네트워크 장비가 있는 경우입니다. 해당 장비에는 행 내의 모든 서버 랙 및 다른 장치를 연결하는 공통 네트워크 스위치가 포함됩니다. EoR 서버 랙에 설치된 네트워크 장비에서 나오는 케이블은 각 랙에 장착된 패치 패널을 통해 행 내의 모든 네트워크 장치에 연결됩니다. 결과적으로, 한 행 내의 모든 네트워크 장치를 연결하기 위해 긴 케이블이 사용됩니다. 중복 네트워크 연결이 사용되는 경우, 케이블의 수도 증가합니다. 두꺼운 케이블 덩어리는 장비의 공기 흐름에 차단을 일으킬 수 있습니다.
서버 랙은 데이터 센터의 옆으로 나란히 배치됩니다. 한 줄에는 10개 또는 12개의 랙이 포함될 수 있습니다. 데이터 센터의 MSP 네트워크에서 EoR 연결 체계를 사용할 때 전체 줄은 단일 관리 단위로 간주됩니다. 이 경우 줄별 관리 모델이 사용됩니다. EoR 네트워크 연결 모델에서는 더 적은 개별 스위치가 필요합니다. EoR 스위치를 분리할 때 더 많은 장치가 영향을 받기 때문에 유연성이 낮습니다. 이름과는 상관없이 공통 스위치가있는 랙을 줄 가운데에 배치할 수 있습니다.
레이어 2 대 레이어 3 연결
네트워크 내의 연결을 결정하는 것은 신뢰성, 속도 및 비용과 함께 생성되는 토폴로지도 고려하는 계산입니다.
예를 들어, 세 개의 계층으로 구성된 Access-Aggregation-Core 네트워크 토폴로지와 Leaf-Spine 토폴로지에 대한 네트워크 세그먼트가 있습니다. 거기서 트래픽은 OSI 모델 L2와 L3에서 전송됩니다. 계층적 세 개의 네트워크에서는 액세스 계층이 L2에서 작동하고 분배 / 집계 계층이 L2 링크를 집계하고 L3 라우팅을 제공하며 핵심 네트워크 계층이 OSI 모델의 세 번째 계층에서 라우팅을 수행합니다. 다계층 Leaf-Spine 토폴로지의 네트워크는 VLAN 및 IP 라우팅 및 서브넷을 사용하여 구성할 수 있습니다.
L2 네트워크 장비는 L3 네트워크 장비보다 더 저렴하지만 데이터 센터의 MSP 네트워크에서 네트워크 장치를 연결하는 데 L2 네트워킹을 사용할 때 일부 단점이 있습니다. VLAN은 일반적으로 동일한 물리적 환경을 사용하여 네트워크를 논리적으로 분리하는 데 사용됩니다. VLAN의 최대 수는 4095입니다 (0, 4095, 1002-1005와 같은 일부 예약된 VLAN을 제외).
다른 단점은 이전에 언급한 대로 L2에서 STP를 사용할 때 여분의 링크를 사용할 수 없다는 것입니다. 이는 한 번에 하나의 링크만 활성화될 수 있기 때문에 모든 링크의 사용 가능 대역폭이 활용되지 않기 때문입니다. 그러면 STP가 적용된 L2 도메인이 커지면 잘못된 케이블링과 인간 에러에 의해 발생하는 문제의 확률이 높아지고, 문제 해결이 어려워집니다.
L3 네트워크 구성은 MSP 네트워크 및 데이터 센터 네트워크의 안정성과 확장성을 개선할 수 있게 합니다.
다음 네트워크 프로토콜은 L3 네트워크를 관리하고 트래픽을 경로 지정하는 데 도움이 됩니다.
BGP(Border Gateway Protocol)는 다이내믹 라우팅을 위한 프로토콜로서 많은 대규모 데이터 센터를 갖는 조직에서 표준으로 여겨지며 널리 사용됩니다. BGP는 매우 확장 가능하고 확장 가능하며 효율적인 프로토콜입니다.
ECMP(Equal Cost Multipath Routing)는 OSI 모델의 세 번째 층에서 메트릭에 의해 정의된 여러 최상의 경로를 사용하여 트래픽을 분산하는 네트워크 라우팅 기술입니다. 라우팅 프로토콜과 함께 사용되는 ECMP는 대규모 네트워크에서 로드 밸런싱을 위해 사용됩니다. BGP, EIGRP, IS-IS, OSPF를 포함한 대부분의 라우팅 프로토콜이 ECMP 기술을 지원합니다.
항상 더 진보된 네트워크 프로토콜을 사용하려고 노력하십시오. 그러나 네트워크에서 사용되는 프로토콜이 적을수록 네트워크 관리가 더 편리합니다.
NV 및 SDN을 위한 네트워크 토폴로지
가상 머신을 사용한 하드웨어 가상화 외에도 애플리케이션 중심적 접근 방식을 통한 네트워크 가상화도 인기를 끌고 있습니다. VMware NSX, OpenStack 네트워킹, Cisco ASI 등의 네트워크 가상화(NV) 솔루션은 물리 네트워크에서 동서 트래픽을 강력하게 활용하며, 이에 따라 잎-줄기 네트워크 토폴로지가 네트워크 가상화 솔루션에 적합합니다. 네트워크 가상화에 대해 더 알아보려면 VMware NSX에 대한 블로그 게시물을 읽어보세요.
효율적인 자원 사용, 유연성 및 중앙 집중식 관리를 위해 네트워크를 가상화하기 위해 소프트웨어 정의 네트워킹(SDN)이 사용됩니다. 가상화된 데이터 센터에서 네트워크에 연결된 가상 머신이 사용되는 환경에서 최적의 솔루션입니다. 가상 머신은 서버간에 이동할 수 있으므로 데이터 센터 내에서 동서 트래픽이 생성됩니다. SDN은 IaaS(인프라스트럭처 서비스)를 제공하는 MSP가 MSP 네트워크에 널리 사용됩니다.
소프트웨어 정의 네트워크를 구성하는 것은 동적 라우팅, 고정된 홉 수, 낮은 예측 가능한 지연 시간 및 데이터 센터 내 서버 간 통신을 위한 동서 트래픽 최적화와 같은 기초적인 잎-줄기 네트워크 토폴로지를 사용할 때 효과적입니다.
VXLAN
VXLAN(가상 확장 로컬 영역 네트워크)은 오버레이 네트워크에서 VLAN 대신 사용되는 개선된 네트워크 프로토콜입니다. VXLAN을 사용하면 전통적인 VLAN 제한 없이 L2 네트워크 연결성을 제공하기 위해 기본 L3 네트워크(L3 네트워크 언더레이)를 사용하여 L2 터널을 생성할 수 있습니다. VXLAN을 사용하면 L3 네트워크 위에 L2 네트워크를 구성할 수 있습니다. 가상 토폴로지는 기본 네트워크의 물리적 네트워크 토폴로지와 다를 수 있습니다.
VXLAN 프레임은 MAC-in-UDP 캡슐화 방식을 사용하여 IP 패킷으로 캡슐화됩니다. VNI는 VLAN ID의 동등물입니다. VNI의 최대 개수는 2^24로, 약 1600만입니다. VXLAN은 지리적으로 확장된 환경에서 L2 네트워크를 생성하는 데 사용됩니다. 예를 들어, 두 지리적으로 분산된 데이터 센터 간에 네트워크를 생성해야 할 때 사용됩니다.
VXLAN 및 네트워크 가상화를 사용하면 ToR 스위치의 MAC 주소 테이블 크기를 최적화할 수 있습니다. 이는 VM 및 관련된 L2 트래픽에서 사용되는 MAC 주소가 VXLAN을 사용하여 L2 오버레이 네트워크를 통해 전송되기 때문입니다. 이로 인해 물리적 스위치의 MAC 주소 테이블이 과부하되지 않습니다. 물리적 스위치의 MAC 주소 테이블은 스위치의 최대 사용 가능 테이블 용량을 초과하지 않습니다.
결론
전통적으로 데이터 센터의 네트워크는 클래식한 삼계층 접속-집계-코어 토폴로지를 사용하여 구축되었습니다. 진화하는 현대의 클라이언트-서버 및 분산 애플리케이션, 마이크로서비스 및 MSP 네트워크 내부의 동서 트래픽 원천이 되는 기타 소프트웨어를 고려할 때, Clos 네트워크 개념에 기반한 리프-스파인 네트워크 토폴로지가 현대 데이터 센터에서 선호되며 보다 일반적인 네트워크 토폴로지 중 하나입니다. 리프-스파인 네트워크 토폴로지는 대형 데이터 센터에 가장 적합한 네트워크 토폴로지로, 이러한 토폴로지는 매우 신뢰성 있고 확장 가능합니다. 데이터 센터에 네트워크를 설치하기 전에 트래픽 및 작업 부하를 계산하고 추정하십시오. 네트워크에서 백업 및 복제 트래픽과 같은 서비스 트래픽을 고려하십시오.
NAKIVO Backup & Replication은 VMware Cloud Director 작업부하, VMware VM, Hyper-V VM뿐만 아니라 물리적인 리눅스 및 윈도우 머신, 오라클 데이터베이스를 보호할 수 있는 강력한 가상 머신 백업 소프트웨어입니다. 인프라를 서비스로 제공하는 관리형 서비스 제공업체(IaaS), 백업 서비스(BaaS), 재해 복구 서비스(DRaaS)를 제공하는 MSP는 다중 테넌트 모드로 설치된 NAKIVO Backup & Replication을 사용할 수 있습니다. 다중 테넌시 설치 모드를 지원하는 MSP용 NAKIVO Backup & Replication의 무료 평가판을 다운로드하십시오.
Source:
https://www.nakivo.com/blog/msp-network-topology-for-beginners/