Difference between revisions of "Cluster der kan alt"
From Teknologisk videncenter
(→Lab environment på lokale maskiner) |
|||
| Line 1: | Line 1: | ||
| − | {{TOCright}} | + | {{TOCright}} |
| − | |||
| − | |||
| − | = | + | = Introduktion = |
| − | |||
| − | =Mål= | + | At udvikle et [[Ubuntu]] cluster installationsmetode og implementere den fysisk således at programmer kan afvikles. |
| − | *En master | + | |
| − | *minimum to noder | + | = metode = |
| − | *automatiseret installation af noder. (Så godt som muligt) | + | |
| − | *automatiseret oprettelse af brugere [[LDAP]] eller [[NIS Ubuntu|NIS]] | + | Installationsmetoden udvikles på [[ESXi]] og implementeres på de fysiske servere. |
| − | *[[MPI]] | + | |
| + | = Mål = | ||
| + | |||
| + | *En master | ||
| + | *minimum to noder | ||
| + | *automatiseret installation af noder. (Så godt som muligt) | ||
| + | *automatiseret oprettelse af brugere [[LDAP]] eller [[NIS Ubuntu|NIS]] | ||
| + | *[[MPI]] | ||
== Lab environment på lokale maskiner == | == Lab environment på lokale maskiner == | ||
| Line 19: | Line 23: | ||
Lab environment er bygget op omkring VMware Workstation som virtualiseringsplatform og Ubuntu-Server 12.04.3 64Bit (ubuntu-12.04.3-server-amd64.iso) som cluster og nodes OS. | Lab environment er bygget op omkring VMware Workstation som virtualiseringsplatform og Ubuntu-Server 12.04.3 64Bit (ubuntu-12.04.3-server-amd64.iso) som cluster og nodes OS. | ||
| − | Denne guide viser hvordan man opbygger et virtuelt Linux/Ubuntu cluster environment, som så senere kan implementeres på det fysiske cluster. | + | Denne guide viser hvordan man opbygger et virtuelt Linux/Ubuntu cluster environment, som så senere kan implementeres på det fysiske cluster. |
| − | ==Udvikling fase 1== | + | == Udvikling fase 1 == |
| − | #Installer [[ESXi]] | + | |
| − | #[[/Ubuntu Master|Installer Ubuntu Master]] | + | #Installer [[ESXi]] |
| − | #[[/DHCP server|Installer og konfigurer DHCP server]] | + | #[[/Ubuntu Master|Installer Ubuntu Master]] |
| − | #[[/DNS Server|Installer og konfigurer DNS server]] | + | #[[/DHCP server|Installer og konfigurer DHCP server]] |
| − | #[[/Routning og NAT|Routening og NAT gennem Master]] | + | #[[/DNS Server|Installer og konfigurer DNS server]] |
| − | #[[/LDAP eller NIS| LDAP eller NIS til user login på noder]] | + | #[[/Routning og NAT|Routening og NAT gennem Master]] |
| − | #[[/Tilføjelse af ny klient| Tilføjelse af ny klient]] | + | #[[/LDAP eller NIS|LDAP eller NIS til user login på noder]] |
| − | #[[/PXE installation af noder|PXE installation af noder]] | + | #[[/Tilføjelse af ny klient|Tilføjelse af ny klient]] |
| − | #[[/NFS Server | NFS Server til netværk shares ]] | + | #[[/PXE installation af noder|PXE installation af noder]] |
| − | #[[/apt-cacher installation|apt-cacher installation]] | + | #[[/NFS Server|NFS Server til netværk shares ]] |
| − | #[[/Auto SSH | Auto SSH login på noder uden at skrive pass]] | + | #[[/apt-cacher installation|apt-cacher installation]] |
| − | #[[/Kickstart fil til installation af noder|Kickstart fil til installation af noder]] | + | #[[/Auto SSH|Auto SSH login på noder uden at skrive pass]] |
| − | #[[/Overvågning med MRTG|Overvågning med MRTG]] | + | #[[/Kickstart fil til installation af noder|Kickstart fil til installation af noder]] |
| − | #[[/dsh|Distributed Shell dsh]] | + | #[[/Overvågning med MRTG|Overvågning med MRTG]] |
| − | #[[/mpi|Installation af openMPI og MPICH]] | + | #[[/dsh|Distributed Shell dsh]] |
| − | #[[ | + | #[[/mpi|Installation af openMPI og MPICH]] |
| − | #[[InfiniBand]] | + | #[[Installation af OpenCV]] |
| − | === Test af head installation på fysisk maskine=== | + | #[[InfiniBand]] |
| − | #[[/Installation af head node|Installation af head node]] | + | |
| − | #[[/Installation af CUDA|Installation af CUDA]] | + | === Test af head installation på fysisk maskine === |
| + | |||
| + | #[[/Installation af head node|Installation af head node]] | ||
| + | #[[/Installation af CUDA|Installation af CUDA]] | ||
#[http://www.raben.com/content/opencv-installation-ubuntu-1204 Installation of OpenCV] | #[http://www.raben.com/content/opencv-installation-ubuntu-1204 Installation of OpenCV] | ||
| − | ==Udvikling fase 2== | + | == Udvikling fase 2 == |
| + | |||
#Tilpasning af SW og konfigurationsfiler til noder | #Tilpasning af SW og konfigurationsfiler til noder | ||
| − | ==Udvikling fase 3== | + | |
| + | == Udvikling fase 3 == | ||
| + | |||
#Installation af [[SAN]] | #Installation af [[SAN]] | ||
| − | ==Udvikling fase 4== | + | |
| + | == Udvikling fase 4 == | ||
| + | |||
#Installation af fysiske maskiner | #Installation af fysiske maskiner | ||
| − | =Netværk= | + | |
| − | *Qlogic switch | + | = Netværk = |
| − | **Telnet eller http: til 172.16.4.11 (username '''admin''' password '''adminpass''') | + | |
| − | *3550 Gb switch | + | *Qlogic switch |
| + | **Telnet eller http: til 172.16.4.11 (username '''admin''' password '''adminpass''') | ||
| + | *3550 Gb switch | ||
**Telnet til 172.16.4.88 password '''cisco''' | **Telnet til 172.16.4.88 password '''cisco''' | ||
| − | |||
| − | |||
| − | |||
| − | |||
| − | |||
| − | |||
| − | |||
| − | |||
| − | |||
| − | |||
| − | |||
| − | =Links= | + | = Hastighed = |
| − | *[[Weekend Projekt - Test Cluster]] | + | |
| − | *[[NIS Ubuntu]] | + | Infinibands hastighed er 4.38 Gbits/sec |
| − | *[http://coen.boisestate.edu/ece/files/2013/05/Rasp.-Pi.pdf RPi Cluster] - | + | |
| + | = Harddisk partitionering = | ||
| + | |||
| + | På det rigtige cluster er partitioneringen lavet som følger: | ||
| + | |||
| + | ;/ | ||
| + | :ext4 5GB | ||
| + | ;/tmp | ||
| + | :ext4 10GB | ||
| + | ;/var | ||
| + | :ext4 15GB | ||
| + | ;/boot | ||
| + | :ext4 2GB | ||
| + | ;/usr | ||
| + | :ext4 50GB | ||
| + | ;swap | ||
| + | :swap 2xRAM | ||
| + | ;/home | ||
| + | :ext4 resterende plads - 10GB | ||
| + | |||
| + | = Links = | ||
| + | |||
| + | *[[Weekend Projekt - Test Cluster]] | ||
| + | *[[NIS Ubuntu]] | ||
| + | *[http://coen.boisestate.edu/ece/files/2013/05/Rasp.-Pi.pdf RPi Cluster] -> [http://www.youtube.com/watch?v=i_r3z1jYHAc YouTube Video] | ||
| + | |||
[[Category:Cluster]] | [[Category:Cluster]] | ||
Revision as of 17:19, 31 October 2013
Introduktion
At udvikle et Ubuntu cluster installationsmetode og implementere den fysisk således at programmer kan afvikles.
metode
Installationsmetoden udvikles på ESXi og implementeres på de fysiske servere.
Mål
- En master
- minimum to noder
- automatiseret installation af noder. (Så godt som muligt)
- automatiseret oprettelse af brugere LDAP eller NIS
- MPI
Lab environment på lokale maskiner
OPDATE EFTERÅRET 2013 Under udvikling
Lab environment er bygget op omkring VMware Workstation som virtualiseringsplatform og Ubuntu-Server 12.04.3 64Bit (ubuntu-12.04.3-server-amd64.iso) som cluster og nodes OS.
Denne guide viser hvordan man opbygger et virtuelt Linux/Ubuntu cluster environment, som så senere kan implementeres på det fysiske cluster.
Udvikling fase 1
- Installer ESXi
- Installer Ubuntu Master
- Installer og konfigurer DHCP server
- Installer og konfigurer DNS server
- Routening og NAT gennem Master
- LDAP eller NIS til user login på noder
- Tilføjelse af ny klient
- PXE installation af noder
- NFS Server til netværk shares
- apt-cacher installation
- Auto SSH login på noder uden at skrive pass
- Kickstart fil til installation af noder
- Overvågning med MRTG
- Distributed Shell dsh
- Installation af openMPI og MPICH
- Installation af OpenCV
- InfiniBand
Test af head installation på fysisk maskine
Udvikling fase 2
- Tilpasning af SW og konfigurationsfiler til noder
Udvikling fase 3
- Installation af SAN
Udvikling fase 4
- Installation af fysiske maskiner
Netværk
- Qlogic switch
- Telnet eller http: til 172.16.4.11 (username admin password adminpass)
- 3550 Gb switch
- Telnet til 172.16.4.88 password cisco
Hastighed
Infinibands hastighed er 4.38 Gbits/sec
Harddisk partitionering
På det rigtige cluster er partitioneringen lavet som følger:
- /
- ext4 5GB
- /tmp
- ext4 10GB
- /var
- ext4 15GB
- /boot
- ext4 2GB
- /usr
- ext4 50GB
- swap
- swap 2xRAM
- /home
- ext4 resterende plads - 10GB