Сетевая топология MSP для начинающих

Для поставщиков управляемых услуг (MSP) создание высокопроизводительной и масштабируемой сети является ключевым фактором успеха. В предыдущем посте в блоге мы рассмотрели основные типы топологии сети, а в этом посте мы рассмотрим более сложные типы топологии сети для поставщиков услуг, включая те, которые предпочтительны для сетей MSP. Прочтите этот блог-пост, чтобы узнать, какая топология является лучшей для сети центра обработки данных MSP, и почему.

Традиционные трехуровневые иерархические сети

До того, как сети с программно определяемой структурой стали распространенными, сети в центрах обработки данных основывались на иерархической структуре древовидной топологии. Эта топология разбивается на три основных уровня: ядро, агрегация или распределение и доступ. В этой топологии серверы подключаются к коммутаторам в слое доступа. Краевые маршрутизаторы подключаются к ядру для обеспечения доступа к/из WAN (широкополосной сети) и Интернета. Эти маршрутизаторы расположены между ядром и Интернетом на схеме ниже.

С точки зрения модели OSI (модель взаимодействия открытых систем), которая делит сеть на уровни канала передачи данных (L2) и сетевого уровня (L3), среди прочего, топология сети Доступ-Агрегация-Ядро охватывает уровни, как показано на графике.

Давайте поочередно рассмотрим эти три уровня.

Ядерный уровень

Сетевое ядро (также называемое ядром сети) является центральным компонентом всей сети. Основные узлы подключены к ядру. Ядро сети обычно основано на топологии сети “полный мешок”, где все узлы подключены ко всем другим узлам внутри ядра. Коммутаторы и маршрутизаторы в сетевом ядре соединены высокоскоростными каналами связи (также называемыми магистральными соединениями). Поскольку в сетевом ядре используются маршрутизаторы, на уровне ядра работает трафик L3.

Уровень распределения/агрегации

Это средний уровень, используемый для агрегации восходящих каналов связи из нижнего уровня трехуровневой топологии сети (уровня доступа, который работает на уровне L2), к ядру сети (которое обычно работает на уровне L3) с использованием каналов связи большей пропускной способности. Уровень распределения комбинирует большое количество портов низкой скорости с небольшим количеством высокоскоростных магистральных портов. Маршрутизация начинается на уровне распределения/агрегации этой топологии сети, когда данные передаются с уровня доступа. На уровне агрегации устанавливаются настройки брандмауэра, балансировки нагрузки и других параметров безопасности. Уровень агрегации/распределения используется для упрощения и сокращения схемы кабельной инфраструктуры в центре обработки данных для более удобного управления. Установленные на уровне агрегации коммутаторы должны поддерживать большее количество MAC-адресов в таблице MAC-адресов в их памяти. В то время как уровень доступа работает с трафиком L2, уровень распределения работает с трафиком L2 и L3.

Уровень доступа

Этот уровень состоит из коммутаторов, которые работают на уровне L2. Серверы и рабочие станции подключены к коммутаторам уровня доступа. VLAN (виртуальные локальные сети) обычно используются для разделения L2 широковещательных доменов для снижения широковещательного трафика и повышения безопасности.

Чтобы избежать узких мест, более толстые каналы используются ближе к сетевому ядру. Например, серверы подключаются к коммутаторам доступа с использованием сетевых интерфейсов 10 Гбит/с, коммутаторы доступа подключаются к агрегационным коммутаторам с использованием интерфейсов 10 Гбит/с, а коммутаторы/маршрутизаторы агрегационного уровня подключаются к сетевым коммутаторам/маршрутизаторам через каналы 100 Гбит/с. В этом случае может использоваться объединение каналов для увеличения пропускной способности и избыточности. Весь трафик от серверов передается на верхние каналы. Существует набор интеллектуального сетевого оборудования, прозванных “божественными коробками”, расположенных в вершине иерархии этой сетевой топологии. Божественные коробки отвечают за маршрутизацию и все остальные службы. Иерархическая сетевая топология позволяет создавать модульные сети.

В сетевой топологии, представленной на предыдущей схеме, отказ одного канала приводит к отказу этого сегмента сети. По этой причине для этого типа сетевой топологии используются резервные каналы и избыточность на каждом уровне сети (см. следующую схему). Отказ одного устройства или канала вызывает снижение производительности, но сеть продолжает работать. Эта избыточная сетевая топология обычно требует протокола связующего дерева (Spanning Tree Protocol, STP).

Обслуживание. Если вы отключаете часть сетевого оборудования на вершине этой трехуровневой сетевой топологии для обновления программного обеспечения или выполнения других обслуживающих задач, производительность сети снижается. Некоторые службы могут временно недоступны.

Масштабируемость. Количество сервисов, работающих на серверах, растет каждый год, и объем трафика соответственно увеличивается. Эта ситуация требует обновления и увеличения пропускной способности сети в сети MSP. Увеличение пропускной способности сети в классическом центре обработки данных обычно требует следующего:

• Увеличение объединенных соединений (LAG)
• Покупка сетевых карт
• Если нет доступных слотов для установки сетевых карт, покупка новых серверов или связанного оборудования

Если вам необходимо добавить новый стойку для серверов (стоечный шкаф) в качестве нового модуля в вашем центре обработки данных, вы можете увеличить пропускную способность сети для этой стойки и установленных в ней серверов. Эти типы топологий сети не могут гарантировать высокий уровень резервирования и избыточности каналов из-за особенностей протоколов уровня L2, таких как STP и MSTP (Multiple Spanning Tree Protocol).

Классическая трехуровневая топология сети в центре обработки данных может быть объединена с дизайнами End of Row и Top of Rack. Схема подключения Top of Rack сейчас более популярна. Это название используется потому, что серверы и коммутаторы подключаются к основному коммутатору на каждой стойке. Коммутаторы Top of Rack (ToR) подключены к коммутаторам/маршрутизаторам более высоких уровней в сети MSP. Коммутаторы ToR отличаются от коммутаторов пользовательского края и имеют несколько дополнительных высокоскоростных портов вверх (например, порты 10 Гбит/с) и большое количество портов для подключения серверов. Коммутаторы ToR устанавливаются парами для обеспечения избыточности и возможности обслуживания коммутатора. Преимущества этой схемы подключения ToR заключаются в меньшей длине кабеля при подключении устройств в стойке и между стойками. Коммутаторы доступа многоуровневой иерархической топологии сети обычно используются в качестве коммутаторов ToR.

Направление трафика

Прежде всего, отметим, что уже было рассказано о недостатках, которые не слишком серьезны, и сеть центра данных может работать успешно с соответствующим управлением. Изменение L2 на L3 в части сети помогает решить ряд вопросов. Есть еще одна особенность, связанная с тем, как развивались datacenters и как сегодняшние приложения работают по-разному, чем нашли применение в 2000-х годах. В те времена приложения строились с использованием централизованной архитектуры, а приложения клиент-серверного типа были главным образом монолитными. Это意味着, что компоненты приложения могли находиться на одном сервере. Как следствие, в нашем Diagramme, запрос пользователя посылался сверху сети, а запрос, созданный приложением, посылался с нижнего уровня серверного уровня обратно вверх по сети. Запрос пользователя обрабатывался на одном хосте. Horizontal (восток-запад) трафик между хостами был минимальным, а север-юг трафик был в пользу. Hierarchical multitier традиционная сетевая топология, используемая для MSP сетей в datacenters, соответствует этим требованиям. However, с течением времени, новые архитектуры стали более предпочтительными при разработке приложений.

N-tier layered architecture. Application components are distributed across multiple tiers, for example, the logic tier, the presentation tier, and the data tier. Web applications that have multiple components require these components to run on different servers, for example, a web server, application server, and database server. Application components running on multiple servers interact with each other over a network.

Микросервисная архитектура предполагает, что компоненты приложения (сервисы) запущены в отдельных логически изолированных контейнерах, соединенных друг с другом через сеть. Контейнеры могут запускаться на различных хостах в кластерах. Эта архитектура обладает высокой skaliruûŝijoj и широко используется в облаках в настоящее время.

Кроме того, сейчас центры обработки данных работают сBig Data, большими базами данных, аналитикой, контекстной рекламой, приложениями на основе искусственного интеллекта и другим программным обеспечением, которым требуется взаимосвязь с множеством серверов, Storage Area Networks (САН), виртуальных машин или контейнеров. компоненты приложений распределены между несколькими серверами или виртуальными машинами в центре обработки данных.

В результате, востоко-западный трафик в сети MSP выше северо-южного трафика. Внутренний трафик в сети центра обработки данных (intra-DC трафик) выше трафика с/на внешнего пользователя, который отправляет запрос в центр обработки данных. Не забывайте о внутреннем трафике между системами хранения, репликация баз данных, резервное копирование данных и других служебных механизмах, использующих сеть в центре обработки данных.

На следующих диаграммах вы можете увидеть графическое представление роста внутреннего трафика в сетях MSP внутри центров обработки данных за последние несколько лет. Тенденция показывает, что intra-DC трафик рос больше, чем входной/выходной трафик.

Традиционные сети, построенные с использованием традиционной иерархической трёхуровневой сетевой топологии, надежны, но не адаптированы для бокового трафика в наиболее рациональном месте. Это связано с особой важностью L2-сетевой инфраструктуры и северо-южного трафика.

Топология Clos Network.

Изначально сеть Клоза была изобретена Эдсоном Эрвином в 1938 году. В 1953 году Чарльз Клоз решил использовать неблокирующие коммутационные сети в телефонных системах для более рационального использования коммуникаций по сравнению с схемой кроссбарной коммуникации. С массивами с низким количеством соединений, входов и выходов схема соединения кажется сложной на первый взгляд. Однако сеть Клоза менее сложна из-за меньшего количества точек подключения в соответствии с формулой: 6n^(3/2)-3n. Этот факт становится ясным, начиная с 36 конечных точек подключения.

Если m – количество входных переключателей, а n – количество выходных переключателей, то блокирующие характеристики сети Клоза рассчитываются с помощью формулы. Согласно теореме Клоза, сеть Клоза строго неблокирующая, если количество переключателей второго уровня m ≥ 2n−1.

Блокирующая сеть – это сеть, в которой невозможно найти коммуникационный путь от свободного входного порта к свободному выходному порту.

Неблокирующая сеть – это сеть, в которой всегда существует путь для подключения любого входного и выходного порта. Неблокирующие сети создаются добавлением дополнительного этапа коммутации.

Перестраиваемая неблокирующая сеть – это сеть, в которой все возможные пути для подключения всех входных и выходных портов могут быть перестроены.

В конце 1990-х годов, с развитием телекоммуникационных технологий и компьютерных сетей, концепция сетей Клоса стала снова актуальной. В сетевой ткани необходимо, чтобы все узлы обменивались информацией друг с другом и, если возможно, не использовали полностью связанную топологию полной сетки, когда все устройства взаимосвязаны. Для взаимодействия сетевых устройств добавлен новый уровень связи. В результате концепция сетей Клоса возродилась в новом воплощении. На следующем изображении вы можете увидеть типичную схему трехуровневой сети Клоса.

Давайте изменить представление о сети Клоса на широко используемое представление Leaf-Spine для большего удобства, свернув левую и правую стороны схемы. Эта топология сети известна как Leaf-Spine, Folded Clos и трехуровневая сеть Клоса (см. следующее изображение).

Уровень “спин” (spine). Спин-коммутаторы используются для соединения всех листовых коммутаторов в полной сетке топологии. Уровень “спин” частично заменяет агрегационный уровень, используемый в традиционной трехуровневой иерархической топологии сети. Но уровень “спин” не является прямым эквивалентом агрегационного уровня. Основная задача уровня “спин” – быстрая передача данных от одного листа к другому. Конечные устройства не подключаются к спин-коммутаторам.

Уровень “лист” (leaf). В этой модели серверы или другие конечные устройства в центре обработки данных подключаются к листам. Все листы подключены ко всем спинам. В результате между всеми серверами существует большое количество сетевых соединений с рав��ой пропускной способностью. Между спинами и листами существуют соединения уровня L3 (L3 в модели OSI).

При передаче трафика от источника к месту назначения в сети количество переходов одинаковое (например, для передачи данных между любыми серверами в двухуровневой сети с листовыми и позвоночными коммутаторами на следующей схеме требуется три перехода). Задержка предсказуемая и низкая. Также увеличивается пропускная способность сети, поскольку теперь нет необходимости использовать протокол STP. При использовании протокола STP для избыточных соединений между коммутаторами может быть активен только один линк в данный момент.

В топологии сети с листовыми и позвоночными коммутаторами можно использовать протокол маршрутизации Equal-Cost Multipath (ECMP) для балансировки трафика и предотвращения петель в сети (для L3-соединений). Также можно использовать протоколы BGP, OSPF, EIGRP, ISIS.

Эта концепция сети также называется многоуровневой топологией “толстого дерева”. Идея заключается в том, чтобы избежать узких мест в верхних слоях дерева (ближе к корню дерева) и добавить дополнительные линки для увеличения пропускной способности в этих сегментах. В результате пропускная способность линков растет в направлении к корню. “Толстое дерево” является особым случаем сети Клоз. Трехуровневая сеть Клоз преобразуется в двухуровневую сеть с листовыми и позвоночными коммутаторами после сворачивания. Листовые коммутаторы или роутеры могут использоваться для доступа к внешним сетям и другим центрам обработки данных.

Преимущества топологии сети с листовыми и позвоночными коммутаторами

Топология сети с листовыми и позвоночными коммутаторами ��редоставляет ряд преимуществ по сравнению с топологией с доступом-агрегацией-кором. Этот набор преимуществ является причиной использования такого типа топологии сети с листовыми и позвоночными коммутаторами в центре обработки данных.

Оптимизированные соединения. Ссылки с высокой пропускной способностью между сетевыми устройствами оптимальны для трафика восток-запад. Не используются незанятые ссылки (так как используется L3 вместо L2). Рекомендуется использование ECMP для достижения высокой эффективности, и STP не требуется.

Надежность. Отказ одного устройства или отключение одной ссылки не вызывает значительных негативных результатов и недостатков. Если отказывается коммутатор ToR, действующий как листовой коммутатор, это влияет на соответствующий стеллаж. Если отказывается межсетевой коммутатор, пропускная способность сети снижается, но не значительно по сравнению с традиционной трехуровневой иерархической топологией сети. Снижение пропускной способности для топологии “между стеблем и листом” составляет 1/n, где n – количество стеблей. В этом случае снижение пропускной способности для иерархической топологии составляет 50%.

Высокая масштабируемость. Вы можете добавлять новые листья, пока есть свободные порты на стеблях. Добавление новых стеблей позволяет увеличить верхние связи листьев. Добавьте периферийные коммутаторы/маршрутизаторы, чтобы увеличить пропускную способность к внешним сетям. Традиционный подход к увеличению пропускной способности и подключению большего количества серверов для трехуровневой иерархической топологии сети дерева заключается в добавлении большего количества сетевых карт с большим количеством портов, сетевого оборудования с более быстрыми сетевыми интерфейсами и более мощного оборудования в целом. Этот традиционный подход называется масштабирование вверх или вертикальная масштабируемость.

При использовании топологии сети стебель-лист в центрах обработки данных и для сетей MSP вы можете добавить дополнительный уровень стеблей. Этот подход называется горизонтальная масштабируемость или масштабирование в горизонтальном направлении. Добавление одного типичного сетевого устройства, такого как коммутатор/маршрутизатор, увеличивает масштабируемость линейным образом.

Техническое обслуживание. Вы легко можете отключить позвоночники от сети для обслуживания или замены. Задачи по обслуживанию на позвоночнике не так рискованы, как на головных устройствах, потому что на позвоночниках нет функционала интеллекта, и уменьшение пропускной способности минимально после отключения.

Многоуровневая сеть Clos

В предыдущем разделе я объяснил трехуровневую сеть Clos с этапами: входной коммутатор, средний коммутатор и выходной коммутатор. Поскольку устройства на входном и выходном этапах используются для приема/отправки данных, схему сети можно свернуть, используя среднюю линию, состоящую из двухуровневой топологии сети leaf-spine. Вы можете добавить больше этапов и построить многоуровневую сеть Clos, чтобы подключить больше сетевых устройств к этой сети. В этом случае у вас есть пять этапов: входной коммутатор, средний коммутатор 1, средний коммутатор 2, средний коммутатор 3, выходной коммутатор.

На следующей диаграмме вы можете увидеть начальную схему пятиуровневой неблокирующей сети Clos после перестановки синих и зеленых блоков. Также есть свернутый вид лист-позвоночника или вид толстого дерева (4,3) (потому что здесь 4 позвоночных коммутатора и 3 этапа в схеме лист-позвоночника), но давайте посмотрим, как пошагово подключить устройства к пятиуровневой сети Clos. Топология сети Clos с более чем 5 этапами не распространена и не используется на практике, потому что количество соединений слишком велико.

После того как вы повернете исходную схему пятиуровневой сети Клоза на 90 градусов по часовой стрелке, у вас будет традиционное представление с входными коммутаторами, выходными коммутаторами и тремя этапами средних коммутаторов. Давайте проведем линию сгиба через средние коммутаторы в центре схемы, чтобы получить сложенное представление пятиуровневой сети Клоза.

После сложения схемы вы получаете сложенное представление или вид “лист-позвоночник” таких типов топологий сетей (см. следующую схему). Есть 4 отдельные группы, действующие как точки доставки (POD). POD – универсальная единица для создания центров обработки данных. POD подключены к позвонкам первого уровня. Если вам нужно расширить свой центр обработки данных или добавить больше серверов/сетевого оборудования, просто добавьте новые POD и подключите их к сетевой ткани. Позвонки одного POD подключены к позвонкам других POD через позвонки второго уровня. В то же время не все позвонки L1 подключены ко всем позвонкам L2 и разделены по плоскостям.

На следующей схеме есть две плоскости – Плоскость 0 и Плоскость 1. Этот концепт используется из-за ограниченного количества портов на позвонках, и создание полностью связанной топологии сети в этом случае невозможно. На следующей схеме каждый позвонок имеет ограничение в 4 порта. Согласно основной идее, неблокирующая сеть Клоза основана на тех же элементах (4-портовые коммутаторы, как видно ниже).

На первый взгляд вы можете быть запутаны терминами, такими как Клоз, сложенный Клоз, лист-позвоночник и жирное дерево. Позвольте мне прояснить эти термины.

Клоз или сеть Клоза – это термин, который охватывает теоретическую основу типа топологии сети Клоза.

Свернутая схема Clos – это более удобное представление сети Clos, где входы и выходы имеют одну и ту же роль и находятся в одном месте.

Лист-позвоночник – это топология сети, основанная на схеме сети Clos, которая используется на практике в центрах обработки данных для построения сетей, включая сети MSP.

Толстое дерево обычно называется вариацией сети Clos. Этот термин является наиболее запутанным, потому что некоторые статьи упоминают толстое дерево как классическую сеть доступа-агрегации-ядро. Я ссылаюсь на документ RFC 7938, который говорит, что толстое дерево основано на топологии сети Clos.

Расчеты

Вы можете рассчитать количество основных коммутаторов, коммутаторов края, общее количество необходимых коммутаторов и общее количество хостов, которые могут быть подключены к сети выбранной конфигурации, используя формулы, где:

k is the number of ports in the switch

L is the number of levels in the leaf-spine (fat tree) network topology

Основным параметром для расчета перед построением вашей сети является количество поддерживаемых хостов. Конфигурацию толстого дерева можно записать как FT(k, L). Например, FT(32,3) – это сеть толстого дерева с тремя уровнями и коммутаторами на 32 порта. Вы можете использовать этот бесплатный калькулятор для сетей Clos, который также генерирует схему визуализации для выбранной конфигурации.

Вы можете вычислить, что если ваша сетевая схема “толстое дерево” имеет 2 уровня и 8 портов на коммутатор, то вы можете подключить 32 хоста к сети. Если вы увеличите количество портов на коммутаторе, количество поддерживаемых хостов увеличится до 512. Как видите, количество подключенных хостов зависит от количества портов на каждом коммутаторе. Если вы оставите “толстое дерево” с 2 уровнями (сеть Клоса с 3 ступенями) и увеличите количество портов на коммутаторе, количество позвонков значительно увеличивается. Вы можете решить эту проблему, добавив еще один уровень в “толстое дерево”. Для трехуровневого “толстого дерева” при 8 портах на коммутатор вы можете подключить 128 хостов.

Если вы увеличите количество портов на коммутаторе до 32, вы можете подключить 8192 хоста с использованием этой топологии сети. Это число для сети Клоса с 5 ступенями в 16 раз больше, чем для сети Клоса с 3 ступенями. Учитывайте ограничения стойки сервера при планировании схемы установки серверов и сетевого оборудования в центре обработки данных.

Нечетные числа ступеней используются для создания неблокирующих сетей Клоса (3, 5, 7 и т. д.). Двухступенчатая сеть Клоса не обеспечивает неблокирующую связность и множественные соединения между коммутаторами.

На следующей диаграмме видно, что в случае двухступенчатой сети Клоса есть только один путь передачи для соединения Сервер 1 и Сервер 2. Подключены только ¼ портов, остальные порты не подключены и они блокируют вас.

Коэффициент избыточности – это отношение входной пропускной способ��ости к выходной пропускной способности в направлении от нижних уровней к высшим уровням. Коэффициент избыточности обычно варьируется от 2 до 4.

Пример: Коммутатор имеет 48 портов 10 Гбит и 4 порта 40 Гбит для обратной связи. Общая пропускная способность каналов к серверам составляет 48×10=480 Гбит/с. Общая скорость обратной связи равна 4×40=160 Гбит/с. Отношение избыточности равно 480/160=4.

Если общая скорость пропускания одинакова для всех каналов коммутатора, то коммутатор не перегружен, и в этом случае нет узких мест. Отношение избыточности 1:1 является идеальным случаем. Оцените трафик в разных направлениях перед покупкой коммутаторов с соответствующей скоростью и количеством портов.

Коммутаторы, у которых отношение избыточности больше 1, часто используются на ступени листа в сетях с топологией “лист-спина”. Неперегруженные коммутаторы следует использовать на ступени спины. Коммутаторы на уровне листа в типе сетей “лист-спина” обычно используются в качестве коммутаторов ToR. Однако возможно установить коммутаторы листа в качестве коммутаторов End of Row.

Основные различия

При создании сети некоторые решения влияют на структуру сети. Вот несколько либо-либо решений, которые влияют на функционирование сети.

Top of Rack против End of Row

Схема подключения сети “Верх стойки” (ToR) в центре обработки данных заключается в том, что в каждой стойке устанавливается один или несколько коммутаторов. Для подключения коммутатора верхней части стойки к другому сетевому оборудованию и серверам внутри стойки используются короткие патч-кабели. Коммутаторы ToR обычно имеют высокоскоростные восходящие линии связи с коммутаторами/маршрутизаторами более высокого уровня и могут быть подключены с помощью оптоволоконных кабелей. Преимущество заключается в том, что при использовании этой схемы подключения для сети MSP вам не нужно устанавливать толстые пучки кабелей из каждой стойки в центре обработки данных. Использование кабелей в центре обработки данных более рационально при использовании схемы ToR. В этом случае вы тратите меньше на кабели и имеете лучшее управление кабелями. Вы можете управлять каждой стойкой как отдельным модулем, не затрагивая другие стойки в центре обработки данных, потому что серверы только в одной стойке затронуты. Несмотря на название схемы, вы можете установить коммутатор посередине или внизу каждой стойки.

Схема подключения сети “Конец ряда” (EoR) заключается в том, что стойка серверов в конце ряда содержит сетевое оборудование. Это оборудование включает общий сетевой коммутатор для подключения всех серверов и других устройств всех стоек серверов в ряду. Кабели от сетевого оборудования, установленного в стойке серверов EoR, подключаются к устройствам во всех стойках ряда с помощью патч-панелей, установленных в каждой стойке. В результате для подключения всего сетевого оборудования в ряд используются длинные кабели. Если используются избыточные сетевые соединения, количество кабелей также увеличивается. Толстые пучки кабелей могут блокировать доступ воздуха к оборудованию.

Стойки серверов обычно располагаются рядами рядом друг с другом в дата-центре. Один ряд может содержать, например, 10 или 12 стоек. Весь ряд считается единицей управления при использовании схемы подключения EoR для сети MSP в дата-центре. В этом случае используется модель управления по рядам. Меньше индивидуальных коммутаторов требуется в модели подключения сети EoR. Гибкость ниже, когда необходимо проводить обслуживание или обновление коммутаторов, потому что больше устройств задействовано при отключении коммутатора EoR. Несмотря на свое название, стойка с общим коммутатором (коммутаторами) может быть размещена в середине ряда.

Соединение уровня 2 и уровня 3

Решение о соединениях внутри сети является вычислением, включающим надежность, скорость и стоимость, а также создаваемую топологию.

Например, существуют сегменты сети для трехуровневой топологии сети Access-Aggregation-Core и топологии Leaf-Spine. Там трафик передается на уровне L2 и L3 модели OSI. В иерархической трехуровневой сети уровень доступа работает на уровне L2, уровень распределения/агрегации агрегирует связи L2 и обеспечивает маршрутизацию L3, сетевой уровень ядра выполняет маршрутизацию на третьем уровне модели OSI. Сеть многоуровневой топологии Leaf-Spine может быть настроена с использованием L2 с VLAN и L3 с IP-маршрутизацией и подсетями.

Сетевое оборудование уровня L2 более доступно, чем сетевое оборудование уровня L3, но есть некоторые недостатки при использовании L2-сетевых соединений для подключения сетевых устройств в сети MSP дата-центра. Обычно VLAN используется для логическо�� изоляции сетей, использующих одну физическую среду. Максимальное количество VLAN составляет 4095 (за вычетом некоторых зарезервированных VLAN, таких как 0, 4095, 1002-1005).

Еще одним недостатком, как уже упоминалось, является невозможность использования избыточных ссылок при использовании STP на уровне L2. Это связано с тем, что одновременно может быть активна только одна ссылка, и все доступные пропускные способности всех ссылок не используются. Таким образом, когда домен L2 с протоколом STP становится большим, вероятность возникновения проблем из-за неправильной разводки кабелей и человеческих ошибок увеличивается, и устранение неполадок становится сложным.

Конфигурация сети уровня L3 позволяет инженерам повысить стабильность и масштабируемость сети MSP и сетей центров обработки данных в целом.

Следующие сетевые протоколы помогают управлять сетью L3 и маршрутизировать трафик.

BGP (Border Gateway Protocol) — протокол динамической маршрутизации, широко используемый и считающийся стандартом во многих организациях с крупными центрами обработки данных. BGP является высокомасштабируемым, расширяемым и эффективным протоколом.

ECMP (Equal Cost Multipath Routing) — технология маршрутизации сети, используемая для распределения трафика с использованием нескольких лучших путей, определенных метриками на третьем уровне модели OSI. ECMP с протоколами маршрутизации используется для балансировки нагрузки в крупных сетях. Большинство протоколов маршрутизации, включая BGP, EIGRP, IS-IS, OSPF, поддерживают технологию ECMP.

Всегда старайтесь использовать более прогрессивные сетевые протоколы. Но помните, что чем меньше протоколов используется в сети, тем удобнее администрирование сети.

Топология сети для NV и SDN

Кроме аппаратной виртуализации и использования виртуальных машин, сетевая виртуализация с ориентированным на приложения подходом также стала популярной. Решения по сетевой виртуализации (NV), такие как VMware NSX, сетевые решения OpenStack и Cisco ASI, интенсивно используют востоко-западный трафик в физической сети, и топология сети “лист-стебель” подходит для сетевых виртуализационных решений по этой причине. Прочтите блог-пост о VMware NSX, чтобы узнать больше о сетевой виртуализации.

Программно-определяемая сеть (SDN) используется для виртуализации сетей для эффективного использования ресурсов, гибкости и централизованного управления. Это оптимальное решение в виртуализированном центре обработки данных, где используются виртуальные машины, подключенные к сети. Виртуальные машины могут мигрировать между серверами, создавая таким образом востоко-западный трафик внутри центра обработки данных. SDN широко используется для сетей MSP медиасервис-провайдерами, предоставляющими IaaS (инфраструктуру как услугу).

Настройка программно-определяемых сетей эффективна при использовании базовой топологии сети “лист-стебель” с динамической маршрутизацией, фиксированным числом переходов, низкой предсказуемой задержкой и оптимизацией востоко-западного трафика для коммуникации сервер-сервер в центре обработки данных.

VXLAN

VXLAN (Virtual eXtensible Local Area Network) – это улучшенный сетевой протокол, используемый вместо VLAN в оверлейных сетях. Для обеспечения L2 сетевого соединения без традиционных ограничений VLAN создаются L2 туннели с использованием основных сетей L3 (подложка сети L3). С VXLAN вы можете настроить L2 сеть поверх сети L3. Виртуальная топология может отличаться от физической топологии сети основной сети.

Фреймы VXLAN инкапсулируются в IP-пакеты с использованием схемы инкапсуляции MAC в UDP. VNI эквивалентен идентификатору VLAN. Максимальное количество VNI составляет 2^24, то есть около 16 миллионов. VXLAN используется для создания L2 сетей в географически растянутых средах, например, когда необходимо создать сеть на двух географически распределенных центрах обработки данных.

Использование VXLAN и виртуализации сети помогает оптимизировать размер таблицы MAC-адресов для коммутаторов ToR. Это происходит потому, что MAC-адреса, используемые ВМ и связанный L2 трафик, передаются через L2 оверлейную сеть с использованием VXLAN. Они не перегружают таблицы MAC физических коммутаторов. Таблицы MAC-адресов физических коммутаторов не превышают максимальной доступной емкости таблицы коммутаторов.

Заключение

Традиционно сети в центрах обработки данных строились с использованием классической трехуровневой топологии доступ-агрегация-ядро. Учитывая развивающиеся современные клиентско-серверные и распределенные приложения, микросервисы и другое программное обеспечение, которые являются источниками трафика внутри сетей MSP, топология сети “лист-позвоночник”, основанная на концепции сети Clos, предпочтительна в современных центрах обработки данных и является одной из наиболее распространенных сетевых топологий. Топология сети “лист-позвоночник” – лучшая сетевая топология для крупных центров обработки данных, потому что эта топология обладает высокой надежностью и масштабируемостью. Прежде чем устанавливать сеть в центре обработки данных, выполните расчеты и оцените сгенерированный трафик и рабочие нагрузки. Учтите трафик служб, таких как резервное копирование и трафик репликации, в сети.

NAKIVO Backup & Replication – мощное программное обеспечение для резервного копирования виртуальных машин, которое может защищать рабочие нагрузки VMware Cloud Director, виртуальные машины VMware, виртуальные машины Hyper-V, а также физические машины Linux и Windows, базы данных Oracle. Управляющие поставщики услуг, предоставляющие инфраструктуру как услугу (IaaS), резервное копирование как услугу (BaaS) и аварийное восстановление как услугу (DRaaS), могут использовать NAKIVO Backup & Replication, установленный в режиме многопользовательского доступа. Загрузите бесплатную пробную версию NAKIVO Backup & Replication для MSP, поддерживающую режим многопользовательской установки.