Opgave CCDP - Datacenter design
Contents
Generel opbygning
I de fleste tilfælde, vil et datacenter i et large enterprise netværk bestå af et tree-tier design. Dette består af et access, aggregation- og core layer. I small eller medium enterprise datacenters vil man typpisk have et two-tier med lag 3 access forbundet til en collapsed core (core og aggregation layer). Three-tier vs. Two-tier design afhænger af størrlsen af datacenteret eller antal hosts forbundet til access-laget. Et three-tier design er mere scallerbart til større netværk mens two-tier er ideelt til mindre netværk. En udvidelse af datacenteret til tage udgangspunkt i aggregationlaget. Uden et datacenter corelag, vil en udvidelse medføre flere uplinkporte til campus core. Et three-tier design er derfor anbefalet. Man opbygger et datacenter efter servernes funktion. Server med samme funktion eller på samme VLAN sidder ofte på samme switch-par i accesslaget. Med dette opnår vi så få VLAN som muligt i access-laget og hurtigere konvergeringstid i lag 2 delen af datacenteret.
Three-tier design
Core
High-speed packet switching ind og ud af datacenteret. Forbundet til campus core og datacenter aggregation laget. Der skal være en 1:1 mellem campus core og datacenter core.
Aggregation
Kan sammenlignes med distributionlaget i campus. Det er her vi foretager polici-based distribution. Aggregationlaget har følgende funktioner: Spanning-tree processing Redundant default gateway for lag 2 Service module integration (dette kræver minimum en Catalyst 6500 series switch): • Firewall • Load balancing • Content switching • Secure sockets layer (SSL) offload • Intrusion detection (IDS) • Netværksanalyse
Access
Fysisk forbindelse for hosts/server/clusters i datacenteret.
Lag 2 vs. Lag 3 i accesslaget Man opbygger accesslaget efter servernes funktion. Der er forskellige fordele ved brug af enten lag 2 eller 3: • Lag 2: o Mulighed for NIC teaming og lag 2 naboskab over et større område (ALB – Adaptive load balancing) o Supportere High-availability clustering o Udbrede VLAN udover accesslaget • Lag 3: o NIC teaming kan der benyttes SFT – Switch fault tolerance. Den ene port er aktiv mens den anden er i standby o Bedre håndtering af loops o Hurtigere konvergering af netværket o Minimere broadcast-domains, som medfører større stabilitet
Routing protokol
Det anbefales at der benyttes OSPF eller EIGRP i lag 3 i datacenteret. Der skal være load-balancing mellem campus-core og core aggregation laget i DC ved at bruge Cisco Express Farwarding (CEF) (side 182 afsnit 3) En option er at bruge layer 3 IP plus layer 4 port-based CEF load-balance. Dette giver en bedre fordeling idet det præsentere flere informationer til CEF-algoritmen. CLI-kommando: ”mls ip cef load full” EIGRP har en hurtigere konvergeringstid end OSPF. (side 103) (EIGRP/OSPF side 101 og 108)
Huskenotes ved brug af OSPF (side 182)
• Ved 10 Gigabit Ehternet sættes ”auto-cost reference-bandwidth 10000” . OSPF har en default reference på 100Mbit/s til en cost på 1
• Brug loopback interfaces til at definere router ID. Dette simplificere troubleshooting
• Brug ”passive-interface default” og brug ”no passive-interface” kun på de interfaces, som er med i routing-processen
• Brug OSPF authentication for at undgå udvedkommende.
• Tune OSPF timers med ”timers throttle spf” for at opnå sub-second konvergeringstid
Huskenotes ved brug af EIGRP (side 184)
• Lav en default summary route ind i DC-laget (retning mod aggregation laget) med ”ip summary-address eigrp”
• Summarize datacenter subnets i aggregation laget (retning mod DC core) med ”ip summary-address eigrp”
• Brug ”passive-interface default” og brug ”no passive-interface” kun på de interfaces, som er med i routing-processen
Default-gateway
Huskenotes ved redundant default-gateway (side 186)
• HSRP er den mest udbredte protokol i et enterprise datacenter. • Cisco anbefaler ikke flere end 500 HSRP instanser pga. CPU ressourcer. • 1 sek. hello og 3 sek. Holdtime
STP design (side 187)
• RPVST+ anbefales i forhold til MST pga. hurtigere konvergeringstid. • Root guard på aggregation porte med retning mod access laget. • Loop guard på access porte med retning mod aggregation laget. • Loop guard mellem aggregation switche. • BPDU guard på access porte med retning mod hosts/servere. • ULDL er globalt enabled,
Løsning
Vi har designet et three-tier funktionsopbygget datacenter. Billedet ovenover er blot en logisk opbygningen af netværket. Vi har lavet de 3 grupperinger af serverne med WLC, CUCM og DATA. Ud fra netværkets størrelse, har vi medtaget et corelag i tilfælde af udvidelse i aggregationslaget. Corelaget gør netværket mere skalerbart.
Core
Corelagets funktion er hurtig switching mellem aggregationlaget og campus core.
Aggregation
Aggregationlaget er modulopbygget og fungerer som policy-based distribution. Det anbefales at bruge en Catalyst 6500 series switch i aggregation laget. På hver aggregation-switch er der behov for følgende moduler:
• 2 stk. 48 ports switchmoduler
• Intrusion detection (IDS)
• Firewall
• Network analysis
IDS benyttes til at fange evt. uautoriseret data-/servertilgang. Firewall bruges til at kontrollere og filtrere tilgang mellem VLAN og servere. Etherchannels bundles på tværs af de 2 switchmoduler. Mod corelaget er der etherchannels. Mod accesslaget er der 1 link pr. aggregation switch til 1 funktionsopdelt switchblok.
Access
Der er taget udgangpunkt i et Layer 2 Looped Square design, hvor der er lag 2 i accesslaget. Denne model tillader aktiv/aktiv på servicemoduler i aggrationslaget. I aggrationslaget er der en HSRP-instans pr. VLAN, hvor VLANs fordeles lige over par af aggretionsswitche som HSRP aktive og standby.
Spanning tree
Der benyttes RPVST+ som spanning-tree protokol. Denne protokol anbefales af cisco til brug i et datacenter. Der vil kun være de VLANS ude i accesslaget, som der er behov for. Dette forbedrer konvergeringstiden i accesslaget. I takt med den lige fordeling af aktive og standby HSRP-instanser pr. VLAN, skal RPVST+ være root primary og secondary på samme VLANs. Der skal være et link mellem de 2 funktionsopdelte switche. Dette link bliver lukket af spanning-tree og tages i brug, hvis ét af uplinkene til aggregationlaget fejler.
Routingsprotokol
MANGLER
IP-scheme (Datacenter = 10.128.0.0/10)
Vi grupperer hver type af server i hver sin switchblock med hvert sit subnet (role-based addressing) (side 89 midt). 2. Octet er skabsnummer eller nummer på lag 3 switch. 3. Octet er VLAN-nr. 4. Octet er hosts. (side 90 for ”tommelfingerregel”) LAG3 switche • 10.128.0.0 / 16 DCcore1 • 10.129.0.0 / 16 DCcore1 • 10.130.0.0 / 16 DCagg1 • 10.131.0.0 / 16 DCagg2 • 10.132.0.0 / 16 CUCMswitch1 • 10.133.0.0 / 16 CUCMswitch2
VLAN • 10.130.10.0 / 24 WLC • 10.130.20.0 / 24 DATA1 • 10.130.30.0 / 24 .. • 10.130.40.0 / 24 ..
• 10.132.10.0 / 24 VOICE
Point-to-point • 10.191.255.0 / 30 DCcore1 Campus core1 • 10.191.255.4 / 30 DCcore1 Campus core2 • 10.191.255.8 / 30 DCcore1 DCagg1 • 10.191.255.12 / 30 DCcore1 DCagg2 • 10.191.255.16 / 30 DCcore2 Campus core1 • 10.191.255.20 / 30 DCcore2 Campus core2 • 10.191.255.24 / 30 DCcore2 DCagg1 • 10.191.255.28 / 30 DCcore2 DCagg2 • 10.191.255.32 / 30 DCagg1 CUCMswitch1 • 10.191.255.36 / 30 DCagg2 CUCMswitch2
Fordel for globale ACL og i edge (side 90 nederst)
Uddrag fra konfigurationer
Etherchannel
Lag 3
DCcore1# configure terminal DCcore1(config)#interface port-channel 1 DCcore1(config-if)# ip address 10.191.255.1 255.255.255.252 DCcore1(config-if)# switchport trunk encap dot1q DCcore1(config-if)# switchport mode trunk DCcore1(config-if)# exit
DCcore1(config)# interface range gigabitethernet 0/1 - 2 DCcore1(config-if-range)# channel-group group 1 mode desirable DCcore1(config-if-range)# no shutdown DCcore1(config-if-range)# end
Lag 2
DCagg1# configure terminal DCagg1(config)# interface range fastethernet 0/1 - 2 DCagg1(config-if)# channel-group group 1 mode desirable DCagg1(config-if)# exit
DCagg1(config)#interface port-channel 1 DCagg1(config-if)# switchport mode trunk DCagg1(config-if)# exit
Load balance
DCcore1(config)# port-channel load-balance {src-mac | dst-mac | src-dst-mac | src-ip | dst-ip |src-dst-ip}
HSRP
Eksempel med VLAN 10 og 20. DCagg1 er default-gateway for VLAN 10 og DCagg2 er default-gateway for VLAN 20. DCagg1# configure terminal DCagg1(config)# interface Vlan 10 DCagg1(config-if)# description WLC DCagg1(config-if)# ip address 10.130.10.1 255.255.255.0 DCagg1(config-if)# standby 10 ip 10.130.10.254 DCagg1(config-if)# standby 10 preempt DCagg1(config-if)# standby 10 track GigabitEthernet <slot/port to DCcore1> DCagg1(config-if)# standby 10 track GigabitEthernet <slot/port to DCcore2> DCagg1(config-if)# end
DCagg1# configure terminal DCagg1(config)# interface Vlan 20 DCagg1(config-if)# description DATA DCagg1(config-if)# ip address 10.130.20.1 255.255.255.0 DCagg1(config-if)# standby 20 ip 10.130.20.254 DCagg1(config-if)# standby 20 track GigabitEthernet <slot/port to DCcore1> DCagg1(config-if)# standby 20 track GigabitEthernet <slot/port to DCcore2>
DCagg2# configure terminal
DCagg2(config)# interface Vlan 10
DCagg2(config-if)# description WLC
DCagg2(config-if)# ip address 10.130.10.2 255.255.255.0
DCagg2(config-if)# standby 10 ip 10.130.10.254
DCagg2(config-if)# standby 10 track GigabitEthernet <slot/port to DCcore1>
DCagg2(config-if)# standby 10 track GigabitEthernet <slot/port to DCcore2>
DCagg2(config-if)# end
DCagg2# configure terminal DCagg2(config)# interface Vlan 20 DCagg2(config-if)# description DATA DCagg2(config-if)# ip address 10.130.20.2 255.255.255.0 DCagg2(config-if)# standby 20 ip 10.130.20.254 DCagg2(config-if)# standby 20 preempt DCagg2(config-if)# standby 20 track GigabitEthernet <slot/port to DCcore1> DCagg2(config-if)# standby 20 track GigabitEthernet <slot/port to DCcore2>