Voor managed serviceproviders (MSP’s) is het bouwen van een hoogwaardig en schaalbaar netwerk een hoeksteen van succes. In een eerdere blogpost hebben we de basisnetwerktopologieën behandeld, en in deze post onderzoeken we meer complexe netwerktopologieën voor serviceproviders, inclusief die de voorkeur hebben voor MSP-netwerken. Lees deze blogpost om te leren welke topologie de beste netwerktopologie is voor een MSP-datacenter, en waarom.
Traditionele 3-Tier Hiërarchische Netwerken
Voordat Software Defined Networks gangbaar werden, waren netwerken in datacenters gebaseerd op de hiërarchische boomnetwerktopologie. Deze topologie valt uiteen in drie primaire lagen: de kernlaag, de aggregatie- of distributielaag, en de toegangslaag. In deze topologie zijn servers verbonden met switches in de toegangslaag. Edge-routers zijn verbonden met de kern om toegang te bieden van/naar het WAN (wide area network) en internet. Deze routers bevinden zich tussen de kern en internet op het schema hieronder.
Wat betreft het OSI (Open Systems Interconnection) model, dat het netwerk verdeelt in onder andere een datalinklaag (L2) en netwerklaag (L3), overspant de Access-Aggregation-Core netwerktopologie lagen, zoals te zien is in de grafiek.
Laten we deze drie lagen eens nader bekijken.
Kernlaag
Het netwerkkern (ook wel het kernnetwerk genoemd) is het centrale component van het netwerk als geheel. Primaire knooppunten zijn verbonden met de kern. Het kernnetwerk is meestal gebaseerd op de mesh-netwerktopologie, waarbij alle knooppunten verbonden zijn met alle andere knooppunten binnen de kern (voor een volledige mesh-netwerktopologietype). Switches en routers in de netwerkkern zijn onderling verbonden met hoge snelheid links (die ook wel backbone-verbindingen worden genoemd). Omdat routers worden gebruikt in de netwerkkern, werkt de kernlaag met L3-verkeer.
Verspreidings-/aggregatielaag
Dit is een tussenlaag die wordt gebruikt om uplinks van de onderliggende laag van de drie-laags netwerktopologie (de toegangslaag, die werkt op L2) te aggregeren naar de netwerkkernlaag (die meestal werkt op L3) door gebruik te maken van hogere bandbreedte links. De distributie-laag combineert een groot aantal lage-snelheidspoorten met een klein aantal hoge-snelheidstrunkpoorten. Routing begint op de verspreidings-/aggregatielaag van deze netwerktopologie wanneer gegevens worden overgedragen van de toegangslaag. De firewall, load balancing en andere beveiligingsconfiguraties worden ingesteld op de aggregatielaag. De aggregatie-/distributielaag wordt gebruikt om het bekabelingsschema in het datacenter te verminderen en te vereenvoudigen voor gemakkelijker beheer. Switches die zijn geïnstalleerd op de aggregatielaag moeten ondersteuning bieden voor het opslaan van meer MAC-adressen in de MAC-adrestabel in hun geheugen. Terwijl de toegangslaag werkt met L2-verkeer, werkt de distributielaag met L2- en L3-verkeer.
Toegangslaag
Deze laag bestaat uit switches die op L2 werken. Servers en werkstations zijn verbonden met de toegangslaagswitches. VLAN’s (virtuele lokale netwerken) worden meestal gebruikt om L2-uitzendingsdomeinen te scheiden om de uitzendingsverkeer te verminderen en de beveiliging te verhogen.
Om verstoppingen te vermijden, worden dikkere verbindingen gebruikt dichter bij de netwerkkern. Bijvoorbeeld, servers zijn verbonden met toegangsswitches door gebruik te maken van 10-Gbit/s netwerkinterfaces, toegangsswitches zijn verbonden met de aggregatieswitches door gebruik te maken van 10-Gbit/s interfaces, en switches/routers van de aggregatielaag zijn verbonden met netwerkkernswitches/routers via 100-Gbit/s verbindingen. In dit geval kan linkaggregatie worden gebruikt om de bandbreedte en redundantie te vergroten. Alle verkeer van servers wordt overgedragen naar uplinks. Er is een set intelligente netwerkapparatuur, bijgenaamd ‘god boxes’, geplaatst bovenaan de hiërarchie van deze netwerktopologie. God boxes zijn verantwoordelijk voor routering en alle andere services. De hiërarchische netwerktopologie maakt het mogelijk om een modulair netwerk te creëren.
In de netwerktopologie die te zien is in het vorige diagram, leidt het falen van één link tot het falen van dat segment van het netwerk. Om deze reden worden gereserveerde kanalen en redundantie gebruikt voor dit netwerktopologietype (zie het volgende schema) op elk netwerklaag. Het falen van één apparaat of link veroorzaakt prestatievermindering, maar het netwerk blijft werken. Deze redundante netwerktopologie vereist meestal STP (Spanning Tree Protocol).
Onderhoud. Als u een deel van de netwerkapparatuur op de top van dit 3-laagse netwerktopologietype loskoppelt om software bij te werken of andere onderhoudstaken uit te voeren, degradeert de netwerkprestatie. Sommige services kunnen tijdelijk niet beschikbaar zijn.
Schaalbaarheid. Het aantal services dat op servers draait, groeit elk jaar en de hoeveelheid verkeer neemt dienovereenkomstig toe. Deze situatie vereist het upgraden en vergroten van de netwerkbandbreedte in het MSP-netwerk. Het vergroten van de netwerkbandbreedte in een klassiek datacenter vereiste meestal het volgende:
- Het vergroten van linkaggregatie (LAG) verbindingen
- Het kopen van netwerkkaarten
- Als er geen slots beschikbaar zijn voor het installeren van netwerkkaarten, het kopen van nieuwe servers of gerelateerde apparatuur
Als u een nieuwe serverrack (rackkast) moet toevoegen als een nieuwe module in uw datacenter, kunt u de netwerkbandbreedte naar dit rack en de servers die in dit rack zijn geïnstalleerd, vergroten. Dit soort netwerktopologieën kunnen geen hoog niveau van linkreservering en redundantie garanderen als gevolg van L2-protocolkenmerken zoals STP en MSTP (Multiple Spanning Tree Protocol).
De klassieke drie-laagse netwerktopologie in een datacenter kan worden gecombineerd met End of Row en Top of Rack-ontwerpen. Het Top of Rack-aansluitingsschema is momenteel populairder. Deze naam wordt gebruikt omdat servers en switches worden aangesloten op de hoofdswitch op elke rack. Top of Rack-switches (ToR-switches) zijn verbonden met switches/routers van hogere niveaus in het MSP-netwerk. ToR-switches zijn verschillend van eindgebruikerswisselaars en hebben meerdere extra high-speed uplink-poorten (bijvoorbeeld 10-Gbit/s-poorten) en een hoog aantal poorten om servers aan te verbinden. ToR-switches worden in paren geïnstalleerd voor redundantie en om switch-onderhoud mogelijk te maken. De voordelen van dit ToR-aansluitingsschema zijn de kleinere kabel lengte bij het aansluiten van apparaten in een rack en tussen racks. Access-switches van de meertierige hiërarchische netwerktopologie worden doorgaans gebruikt als ToR-switches.
Verkeersrichting
De eerder uitgelegde nadelen zijn niet al te kritiek, en een datacenter netwerk kan succesvol werken met adequaat beheer. Het veranderen van L2 naar L3 in een deel van het netwerk helpt een reeks problemen op te lossen. Er is nog een kenmerk met betrekking tot hoe datacenters zijn geëvolueerd en hoe applicaties tegenwoordig anders draaien dan vroeger. In de jaren 2000 werden applicaties gemaakt met behulp van een gecentraliseerde architectuur, en applicaties van de client-server architectuur waren voornamelijk monolithisch. Dit betekent dat de componenten van een applicatie zich op een enkele server konden bevinden. Als gevolg daarvan werd in ons diagram het verzoek van de gebruiker van de bovenkant van het netwerk verzonden, en het verzoek dat door de applicatie werd gegenereerd, werd van het onderste serverniveau terug naar de bovenkant van het netwerk verzonden. Het verzoek van de gebruiker werd op een enkele host afgehandeld. Horizontaal (oost-west) verkeer tussen hosts was minimaal, en noord-zuid verkeer had de voorkeur. De hiërarchische meerlaagse traditionele netwerktopologie die werd gebruikt voor MSP-netwerken in datacenters, voldoet aan deze eisen. Echter, in de loop van de tijd werden nieuwe architecturen begunstigd bij het ontwikkelen van applicaties.
N-tier layered architecture. Application components are distributed across multiple tiers, for example, the logic tier, the presentation tier, and the data tier. Web applications that have multiple components require these components to run on different servers, for example, a web server, application server, and database server. Application components running on multiple servers interact with each other over a network.
Microservices-architectuur veronderstelt dat de componenten van een applicatie (services) draaien in aparte logisch geïsoleerde containers die met elkaar verbonden zijn via een netwerk. Containers kunnen draaien op verschillende hosts in clusters. Deze architectuur is zeer schaalbaar en wordt tegenwoordig veel gebruikt in clouds.
Datacenters werken nu met Big Data, grote databases, analyses, contextadvertenties, toepassingen gebaseerd op kunstmatige intelligentie en andere software die verbinding vereist met meerdere servers, opslagarrays, virtuele machines of containers. Toepassingsonderdelen zijn verdeeld over meerdere servers of VM’s in het datacenter.
Als gevolg hiervan is het oost-west verkeer hoger dan het noord-zuid verkeer in het MSP-netwerk. Intern verkeer in een datacenternetwerk (intra-DC verkeer) is hoger dan het verkeer van/naar een externe gebruiker die een verzoek naar het datacenter stuurt. Vergeet niet het interne verkeer tussen opslagsystemen, database-replicatie, gegevensback-up en andere serviceactiviteiten die het netwerk gebruiken in een datacenter.
Op de volgende diagrammen kunt u de grafische weergave zien van groeiend intern verkeer in MSP-netwerken binnen datacenters in de afgelopen jaren. De trend laat zien dat intra-DC-verkeer meer groeit dan inkomend/uitgaand verkeer.
Traditionele netwerken, gebouwd met behulp van de traditionele hiërarchische drie-laagse netwerktopologie, zijn betrouwbaar maar niet aangepast voor laterale verkeersstromen op de meest rationele manier. Dit komt door de nadruk op L2-netwerken en noord-zuid verkeer.
Sluitnetwerk-topologie
Aanvankelijk werd het Clos-netwerk uitgevonden door Edson Erwin in 1938. In 1953 besloot Charles Clos om niet-blokkerende schakelnetwerken te gebruiken in telefoonsystemen voor een meer rationeel gebruik van communicatie in vergelijking met het kruisschakelingschema. Met arrays met een laag aantal interconnects, inputs en outputs lijkt het verbindingsplan op het eerste gezicht moeilijk. Het Clos-netwerk is echter minder complex vanwege een lager aantal verbindingspunten volgens de formule: 6n^(3/2)-3n. Dit feit wordt duidelijk vanaf 36 verbindingspunten.
Als m het aantal invoerschakelaars is en n het aantal uitvoerschakelaars, worden de blokkeringskenmerken van het Clos-netwerk berekend met behulp van de formule. Volgens de Clos-stelling is een Clos-netwerk strikt niet-blokkerend als het aantal schakelaars van de tweede fase m ≥ 2n−1.
Het blokkerende netwerk is een netwerk waarin het onmogelijk is om een communicatiepad te vinden van een vrije invoerpoort naar een vrije uitvoerpoort.
Het niet-blokkerende netwerk is het netwerk waarin altijd een pad bestaat om elke invoer- en uitvoerpoort met elkaar te verbinden. Niet-blokkerende netwerken worden gecreëerd door een extra omschakelingsfase toe te voegen.
Het herschikbare niet-blokkerende netwerk is het netwerk waarin alle mogelijke paden om alle invoer- en uitvoerpoorten met elkaar te verbinden kunnen worden herschikt.
Aan het einde van de jaren 1990, met de evolutie van telecommunicatietechnologieën en computernetwerken, werd het concept van Clos-netwerken opnieuw relevant. Er is behoefte aan alle knooppunten om met elkaar te communiceren in het netwerkweefsel en, indien mogelijk, niet de volledige mesh-topologie te gebruiken wanneer alle apparaten met elkaar verbonden zijn. Er werd een nieuwe communicatielaag toegevoegd voor het verbinden van netwerkapparaten. Als gevolg hiervan werd het concept van het Clos-netwerk nieuw leven ingeblazen in een nieuwe gedaante. Op de volgende afbeelding zie je een typisch schema van het Clos-netwerk.
Laten we de weergave van het Clos-netwerk aanpassen naar de veelgebruikte Leaf-Spine-weergave voor meer gemak door de linker- en rechterzijden van het schema in te klappen. Deze netwerktopologie staat bekend als Leaf-Spine, Folded Clos en 3-stage Clos-netwerk (zie de volgende afbeelding).
De spine-laag. Spine-switches worden gebruikt om alle leaf-switches met elkaar te verbinden in de volledige mesh-netwerktopologie. De spine-laag vervangt, tot op zekere hoogte, de aggregatielaag die wordt gebruikt in de traditionele drie-laags hiërarchische netwerktopologie. Maar de spine-laag is geen direct equivalent van de aggregatielaag. De belangrijkste taak van de spine-laag is het snel overbrengen van gegevens van de ene leaf naar de andere. Eindapparaten zijn niet verbonden met spine-switches.
De leaf-laag. In dit model zijn servers of andere eindapparaten in het datacenter verbonden met leaves. Alle leaves zijn verbonden met alle spines. Als gevolg hiervan zijn er een groot aantal netwerkverbindingen met gelijke bandbreedte tussen alle servers. Er zijn L3-verbindingen tussen spines en leaves (L3 in het OSI-model).
Wanneer verkeer van bron naar bestemming in het netwerk wordt verzonden, is het aantal hops hetzelfde (bijvoorbeeld, drie hops zijn nodig om gegevens over te dragen tussen alle servers binnen het tweelagenblad-nerfnetwerk op het volgende schema). De latentie is voorspelbaar en laag. De netwerkcapaciteit is ook verhoogd omdat er nu geen behoefte is aan het gebruik van STP. Wanneer STP wordt gebruikt voor redundante verbindingen tussen switches, kan slechts één link tegelijk actief zijn.
In de blad-nerfnetwerktopologie kan het Equal-Cost Multipath (ECMP) routeprotocol worden gebruikt om het verkeer in balans te brengen en netwerkloops te voorkomen (voor L3-netwerkverbindingen). BGP, OSPF, EIGRP, ISIS-protocollen kunnen ook worden gebruikt.
Dit netwerkconcept wordt ook wel de meerlaagse fat-tree netwerktopologie genoemd. Het idee is om knelpunten in de bovenste lagen van de boom (dicht bij de wortel van de boom) te vermijden en extra verbindingen toe te voegen om de bandbreedte op deze segmenten te vergroten. Hierdoor groeit de koppelingscapaciteit naar de wortel toe. De fat tree is een bijzonder geval van het Clos-netwerk. Het drie-laags Clos-netwerk wordt getransformeerd naar een tweelaags blad-nerfnetwerk na het vouwen. Bladschakelaars of bladrandschakelaars/routers kunnen worden gebruikt om toegang te krijgen tot externe netwerken en andere datacenters.
Voordelen van de blad-nerfnetwerktopologie
De blad-nerfnetwerktopologie biedt een reeks voordelen ten opzichte van de toegangs-aggregatie-kernnetwerktopologie. Deze reeks voordelen is de reden om het type blad-nerfnetwerktopologie te gebruiken in een datacenter.
Geoptimaliseerde verbindingen. Koppelingen met een hoge bandbreedte tussen netwerkapparaten zijn optimaal voor oost-west verkeer. Er zijn geen ongebruikte koppelingen (aangezien L3 wordt gebruikt in plaats van L2). ECMP wordt aanbevolen voor een hoge efficiëntie, en STP is niet nodig.
Betrouwbaarheid. Het uitvallen van één apparaat of het verbreken van één verbinding veroorzaakt geen significante negatieve resultaten en nadelen. Als de ToR-switch die als leaf-switch fungeert uitvalt, is het overeenkomstige rack getroffen. Als een spine-switch uitvalt, degradeert de netwerkbandbreedte maar niet significant vergeleken met de traditionele 3-laags hiërarchische netwerktopologie. Bandbreedtedegradatie voor de spine-leaf-topologie is 1/n, waar n het aantal spines is. Bandbreedtedegradatie voor de hiërarchische topologie is in dit geval 50%.
Hoge schaalbaarheid. U kunt nieuwe leaves toevoegen totdat u vrije poorten op spines heeft. Het toevoegen van nieuwe spines maakt het mogelijk om de uplinks van leaves te vergroten. Voeg edge-switches/routers toe om de bandbreedte naar externe netwerken te vergroten. De traditionele aanpak om bandbreedte te vergroten en meer servers aan te sluiten voor de hiërarchische netwerktopologie met drie lagen is het toevoegen van meer netwerkkaarten met meer poorten, netwerkapparatuur met snellere netwerkinterfaces en over het algemeen krachtigere hardware. Deze traditionele aanpak wordt opwaarts schalen of verticale schaalbaarheid genoemd.
Bij het gebruik van de leaf-spine-netwerktopologie in datacenters en voor MSP-netwerken kunt u een extra laag van spines toevoegen. Deze aanpak wordt horizontale schaalbaarheid of uitgebreid schalen genoemd. Het toevoegen van één typisch netwerkapparaat zoals een switch/router vergroot de schaalbaarheid op een lineaire manier.
Meerlagen Clos-netwerk
In het vorige gedeelte heb ik het drie-traps Clos-netwerk uitgelegd met de trappen: Invoerschakelaar, Middenschakelaar en Uitvoerschakelaar. Omdat apparaten op de invoer- en uitvoertrappen worden gebruikt om gegevens te ontvangen/verzenden, kan het netwerkschema worden gevouwen door een middellijn te gebruiken die bestaat uit een tweekoppige blad-wervel-netwerktopologie. U kunt meer trappen toevoegen en het meerlagen Clos-netwerk bouwen om meer netwerkapparaten op dit netwerk aan te sluiten. In dit geval heeft u vijf trappen: Invoerschakelaar, Middenschakelaar 1, Middenschakelaar 2, Middenschakelaar 3, Uitvoerschakelaar.
Op het volgende diagram ziet u het initiële schema van het vijftraps niet-blokkerende Clos-netwerk na de herschikking van de blauwe en groene blokken. Er is ook het gevouwen blad-wervelbeeld of het dikke boom (4,3) beeld (omdat er 4 wervelschakelaars en 3 trappen op het blad-wervelschema staan), maar laten we stap voor stap kijken hoe apparaten worden aangesloten op het 5-traps Clos-netwerk. Een Clos-netwerktopologietype met meer dan 5 trappen is niet gebruikelijk en wordt niet in de praktijk gebruikt omdat het aantal verbindingen te groot is.
Na het 90 graden met de klok mee draaien van het oorspronkelijke schema van het vijftraps Clos-netwerk, krijg je het traditionele beeld met invoerschakelaars, uitvoerschakelaars en drie fasen van de middelste schakelaars. Laten we een vouwlijn trekken via de middelste schakelaars in het midden van het schema om het gevouwen beeld van het vijftraps Clos-netwerk te maken.
Na het vouwen van het schema krijg je het gevouwen beeld of het blad-spinebeeld van dit type netwerktopologieën (zie het volgende schema). Er zijn 4 individuele groepen die optreden als punten van levering (POD’s). De POD is de universele eenheid voor het bouwen van datacenters. POD’s zijn verbonden met de spines van het eerste niveau. Als je je datacenter moet uitbreiden of meer servers/netwerkapparatuur wilt toevoegen, voeg dan nieuwe POD’s toe en verbind ze met het netwerk. De spines van één POD zijn verbonden met de spines van andere POD’s via spines van het tweede niveau. Tegelijkertijd zijn niet alle L1-spines verbonden met alle L2-spines, en ze zijn verdeeld over vlakken.
Er zijn twee vlakken – Vlak 0 en Vlak 1 op het volgende schema. Dit concept wordt gebruikt vanwege het beperkte aantal poorten op spines, en het creëren van een volledig verbonden netwerktopologie is in dit geval niet mogelijk. In het volgende schema heeft elke spine een limiet van 4 poorten. Volgens het hoofdidee is het niet-blokkerende Clos-netwerk gebaseerd op dezelfde elementen (4-poorts schakelaars, zoals hieronder te zien).
Op het eerste gezicht kun je in de war raken door termen als Clos, gevouwen Clos, blad-spine en fat tree. Laat me deze termen verduidelijken.
Clos of Clos-netwerk is de term die de theoretische basis van het Clos-netwerktopologietype omvat.
Folded Clos is een handigere representatie van het Clos-netwerk, waarbij invoer en uitvoer dezelfde rol hebben en zich op dezelfde plaats bevinden.
Leaf-spine is een netwerktopologie gebaseerd op het Clos-netwerkschema dat in de praktijk wordt gebruikt in datacenters om netwerken op te bouwen, inclusief MSP-netwerken.
Fat tree wordt meestal beschouwd als een variatie op het Clos-netwerk. Deze term is het verwarrendst omdat sommige artikelen de fat tree noemen als het klassieke toegangs-aggregatie-kernnetwerk. Ik verwijs naar document RFC 7938 dat zegt dat de fat tree gebaseerd is op de gevouwen Clos-netwerktopologie.
Berekeningen
Je kunt het aantal kernschakelaars, randapparatuurschakelaars, totale benodigde schakelaars en het totale aantal hosts dat kan worden aangesloten op het netwerk van de geselecteerde configuratie berekenen met behulp van formules waarbij:
k is the number of ports in the switch
L is the number of levels in the leaf-spine (fat tree) network topology
Het belangrijkste parameter om te berekenen voordat je je netwerk gaat bouwen is het aantal ondersteunde hosts. De fat-treeconfiguratie kan worden geschreven als FT(k, L). Bijvoorbeeld, FT(32,3) is een fat-tree-netwerk met drie niveaus met schakelaars van 32 poorten. Je kunt deze gratis calculator gebruiken voor Clos-netwerken die ook het visualisatieschema genereert voor de geselecteerde configuratie.
Je kunt berekenen dat als je fat-tree netwerkschema 2 niveaus heeft en 8 poorten per switch, je 32 hosts aan het netwerk kunt aansluiten. Als je het aantal poorten per switch verhoogt, wordt het aantal ondersteunde hosts verhoogd naar 512. Zoals je kunt zien, hangt het aantal verbonden hosts af van het aantal poorten op elke switch. Als je de fat tree op 2 niveaus laat (het 3-staps Clos-netwerk) en het aantal poorten per switch verhoogt, neemt het aantal spines aanzienlijk toe. Je kunt dit probleem oplossen door nog een niveau aan de fat tree toe te voegen. Voor een fat tree van drie niveaus, als het aantal poorten per switch 8 is, kun je 128 hosts aansluiten.
Als je het aantal poorten per switch verhoogt naar 32, kun je met deze netwerktopologie 8192 hosts aansluiten. Dit aantal voor het 5-staps Clos-netwerk is 16 keer meer dan dat voor het 3-staps Clos-netwerk. Houd rekening met de beperkingen van het serverrack wanneer je het installatieschema van servers en netwerkapparatuur in het datacenter plant.
Oneven aantallen stappen worden gebruikt om niet-blokkerende Clos-netwerken op te bouwen (3, 5, 7, enz.). Het 2-staps Clos-netwerk biedt geen niet-blokkerende connectiviteit en meerdere verbindingen tussen switches.
In het volgende diagram kun je zien dat in het geval van het twee-staps Clos-netwerk er slechts één transmissiepad is om Server 1 en Server 2 te verbinden. Slechts ¼ poorten zijn verbonden, andere poorten zijn niet verbonden en ze blokkeren je.
De over-subscriptieverhouding is de verhouding tussen invoerbandbreedte en uitvoerbandbreedte in de richting van lagere lagen naar hogere lagen. De over-subscriptieverhouding varieert meestal van 2 tot 4.
Een switch heeft 48 10-Gbit poorten en 4 40-Gbit uplink poorten. De totale bandbreedte van downlinks naar servers is 48×10=480 Gbit/s. De totale snelheid van uplinks is 4×40=160 Gbit/s. De oversubscriptieverhouding is 480/160=4.
Als de totale bandsnelheid gelijk is voor alle downlink- en uplink-poorten van de switch, is de switch niet overschreven en zijn er in dit geval geen knelpunten. Een overschrijvingsverhouding van 1:1 is het ideale geval. Schat het verkeer in verschillende richtingen in voordat u switches koopt met de juiste snelheid en het aantal poorten.
Switches met een overschrijvingsverhouding hoger dan 1 worden vaak gebruikt op het leaf-stage in netwerken van de leaf-spine-netwerktopologie. Niet-overschreven switches moeten worden gebruikt op het spine-stage. Switches op het leaf-niveau in het type leaf-spine-netwerktopologie worden meestal gebruikt als ToR-switches. Het is echter mogelijk om leaf-switches te installeren als End of Row-switches.
Essentiële verschillen
Bij het maken van een netwerk beïnvloeden sommige beslissingen de lay-out van het netwerk. Hier zijn enkele keuzes die het functioneren van het netwerk beïnvloeden.
Top of Rack vs End of Row
De **Top of Rack** (ToR) netwerkverbindingsschema in een datacenter is waar één of meerdere switches in elke rack zijn geïnstalleerd. Korte patchkabels worden gebruikt om de switch bovenaan het rack te verbinden met andere netwerkapparatuur en servers binnen het rack. ToR-switches hebben meestal snelle uplinks naar de switches/routers van het hogere niveau en kunnen worden verbonden met glasvezelkabels. Het voordeel is dat wanneer dit verbindingschema wordt gebruikt voor een MSP-netwerk, je geen dikke bundel kabels vanuit elk rack in het datacenter hoeft te installeren. Het kabelgebruik in het datacenter is rationeler bij gebruik van het ToR-schema. In dit geval geef je minder uit aan bekabeling en heb je een beter kabelbeheer. Je kunt elk rack beheren als een enkele module zonder andere racks in een datacenter te beïnvloeden, omdat alleen servers in één rack worden beïnvloed. Ondanks de naam van het schema kun je een switch in het midden of onderaan elk rack monteren.
Het **End of Row** (EoR) netwerkverbindingsschema is wanneer een serverrack aan het einde van de rij netwerkapparatuur bevat. De apparatuur omvat een gemeenschappelijke netwerkswitch om alle servers en andere apparaten van alle serverracks in de rij te verbinden. Kabels van netwerkapparatuur geïnstalleerd in het EoR-serverrack zijn verbonden met apparaten in alle racks van de rij door gebruik te maken van patchpanelen die in elk rack zijn gemonteerd. Als gevolg hiervan worden lange kabels gebruikt om alle netwerkapparaten in een rij te verbinden. Als er redundante netwerkverbindingen worden gebruikt, neemt ook het aantal kabels toe. Dikke bundels kabels kunnen de luchttoevoer naar de apparatuur blokkeren.
Serverracks staan meestal naast elkaar in rijen in een datacenter. Een rij kan bijvoorbeeld 10 of 12 racks bevatten. De hele rij wordt beschouwd als een enkele beheerseenheid bij het gebruik van het EoR-verbindingsschema voor het MSP-netwerk in een datacenter. Het per rij managementmodel wordt in dit geval gebruikt. Er zijn minder individuele switches nodig in het EoR-netwerkverbindingmodel. De flexibiliteit is lager wanneer u onderhoud moet uitvoeren of switches moet upgraden omdat meer apparaten worden beïnvloed wanneer een EoR-switch wordt losgekoppeld. Ondanks zijn naam kan een rack met een gemeenschappelijke switch (switches) in het midden van de rij worden geplaatst.
Laag 2 vs. Laag 3 Verbinding
Het beslissen over de verbindingen binnen een netwerk is een berekening die betrouwbaarheid, snelheid en kosten omvat, evenals de topologie die wordt gecreëerd.
Bijvoorbeeld zijn er netwerksegmenten voor de drie-laags Access-Aggregatie-Kern netwerktopologie en Leaf-Spine topologie. Daar wordt het verkeer overgedragen op het OSI-model L2 en L3. In het hiërarchische drie-laags netwerk werkt de toegangslaag op L2, de distributie/aggregatielaag aggregateert L2-verbindingen en biedt L3-routering, de kernnetwerklagen voeren routering uit op de derde laag van het OSI-model. Het netwerk van de meerlaagse Leaf-Spine-topologie kan worden geconfigureerd door L2 te gebruiken met VLAN’s en L3 met IP-routering en subnetten.
L2 netwerkapparatuur is goedkoper dan L3 netwerkapparatuur, maar er zijn enkele nadelen bij het gebruik van L2-netwerken om netwerkapparaten in het MSP-netwerk van een datacenter met elkaar te verbinden. VLAN wordt meestal gebruikt om netwerken logisch te isoleren met behulp van dezelfde fysieke omgeving. Het maximale aantal VLAN’s is 4095 (min enkele gereserveerde VLAN’s zoals 0, 4095, 1002-1005).
Een ander nadeel, zoals eerder vermeld, is het onvermogen om overbodige links te gebruiken wanneer STP wordt gebruikt op L2. Dit komt doordat slechts één link tegelijk actief kan zijn, en de beschikbare bandbreedte van alle links niet wordt benut. Wanneer het L2-domein met STP groot wordt, neemt de kans op problemen veroorzaakt door onjuiste bekabeling en menselijke fouten toe, en wordt het oplossen van problemen moeilijk.
Een L3-netwerkconfiguratie stelt ingenieurs in staat om de stabiliteit en schaalbaarheid van het MSP-netwerk en datacenter-netwerken in het algemeen te verbeteren.
De volgende netwerkprotocollen helpen u bij het beheren van het L3-netwerk en het routeren van verkeer.
BGP (Border Gateway Protocol) is een protocol voor dynamisch routeren dat veel wordt gebruikt en wordt beschouwd als de standaard in veel organisaties met grootschalige datacenters. BGP is een zeer schaalbaar, uitbreidbaar en efficiënt protocol.
ECMP (Equal Cost Multipath Routing) is een netwerkroutingtechnologie die wordt gebruikt om verkeer te verdelen door gebruik te maken van meerdere beste paden die worden gedefinieerd door metrieken op de derde laag van het OSI-model. ECMP met routeringsprotocollen wordt gebruikt voor load balancing in grote netwerken. De meeste routeringsprotocollen, waaronder BGP, EIGRP, IS-IS, OSPF, ondersteunen ECMP-technologie.
Probeer altijd de meer progressieve netwerkprotocollen te gebruiken. Maar onthoud dat hoe minder protocollen er in het netwerk worden gebruikt, hoe handiger het netwerkbeheer is.
Netwerktopologie voor NV en SDN
Naast hardwarevirtualisatie en het gebruik van virtuele machines, is ook netwerkvirtualisatie met een applicatiegerichte benadering populair geworden. Oplossingen voor netwerkvirtualisatie (NV), zoals VMware NSX, OpenStack-netwerken en Cisco ASI, maken intensief gebruik van east-west-verkeer in het fysieke netwerk, en een leaf-spine netwerktopologie is om deze reden geschikt voor netwerkvirtualisatieoplossingen. Lees de blogpost over VMware NSX voor meer informatie over netwerkvirtualisatie.
Software-Defined Networking (SDN) wordt gebruikt om netwerken te virtualiseren voor een efficiënt gebruik van resources, flexibiliteit en centralisatie van het beheer. Dit is een optimale oplossing in een gevirtualiseerd datacenter waar virtuele machines die zijn aangesloten op het netwerk, worden gebruikt. Virtuele machines kunnen migreren tussen servers, waardoor east-west-verkeer binnen het datacenter ontstaat. SDN wordt veel gebruikt voor MSP-netwerken door MSP’s die IaaS (Infrastructure as a Service) aanbieden.
Het configureren van software-gedefinieerde netwerken is effectief bij het gebruik van de onderliggende leaf-spine netwerktopologie met dynamische routing, een vast aantal hops, lage voorspelbare latentie en optimalisatie van east-west-verkeer voor server-to-server communicatie in een datacenter.
VXLAN
VXLAN (Virtual eXtensible Local Area Network) is een verbeterd netwerkprotocol dat wordt gebruikt in plaats van VLAN’s in overlay-netwerken. L2-tunnels worden gemaakt door gebruik te maken van de onderliggende L3-netwerken (L3-netwerkoverlay) om L2-netwerkconnectiviteit te bieden zonder de traditionele VLAN-beperkingen. Met VXLAN kunt u het L2-netwerk configureren over het L3-netwerk. De virtuele topologie kan verschillen van de fysieke netwerktopologie van het onderliggende netwerk.
VXLAN-frames worden geëncapsuleerd in IP-pakketten door gebruik te maken van het MAC-in-UDP-encapsulatieschema. VNI is het equivalent van VLAN-ID. Het maximale aantal VNI is 2^24, dat wil zeggen ongeveer 16 miljoen. VXLAN wordt gebruikt om L2-netwerken te creëren in geografisch uitgestrekte omgevingen, bijvoorbeeld wanneer u een netwerk moet creëren over twee geografisch verspreide datacenters.
Het gebruik van VXLAN en netwerkvirtualisatie helpt de grootte van de MAC-adrestabel voor ToR-switches te optimaliseren. Dit komt doordat MAC-adressen die worden gebruikt door VM’s en gerelateerd L2-verkeer worden overgedragen via het L2-overlaynetwerk door gebruik te maken van VXLAN. Ze belasten de MAC-tabellen van fysieke switches niet. MAC-adrestabellen van fysieke switches overschrijden niet de maximale beschikbare tabelcapaciteit van de switches.
Conclusie
Traditioneel werden netwerken in datacenters gebouwd door gebruik te maken van de klassieke topologie van drie lagen: toegang-aggregatie-kern. Gezien de evoluerende moderne client-server en gedistribueerde toepassingen, microservices en andere software die bronnen zijn van oost-west verkeer binnen MSP-netwerken, wordt de blad-nerf netwerktopologie, gebaseerd op het Clos-netwerkconcept, verkozen in moderne datacenters en is het een van de meer voorkomende netwerktopologieën. De blad-nerf netwerktopologie is de beste netwerktopologie voor grote datacenters omdat deze topologie zeer betrouwbaar en schaalbaar is. Voordat u een netwerk in een datacenter installeert, maakt u de berekeningen en schat u het gegenereerde verkeer en de workloads in. Houd rekening met servicetraffic zoals back-up- en replicatieverkeer in het netwerk.
NAKIVO Backup & Replication is krachtige software voor virtuele machineback-up die VMware Cloud Director-workloads, VMware VM’s, Hyper-V VM’s, evenals fysieke Linux- en Windows-machines, Oracle-databases kan beschermen. Beheerde serviceproviders die infrastructuur als een service (IaaS), back-up als een service (BaaS) en rampenherstel als een service (DRaaS) aanbieden, kunnen NAKIVO Backup & Replication installeren in de multi-tenant-modus. Download de gratis proefversie van NAKIVO Backup & Replication voor MSP’s die de installatiemodus met meerdere tenants ondersteunt.
Source:
https://www.nakivo.com/blog/msp-network-topology-for-beginners/