Difference between revisions of "Cluster der kan alt"
m (→Test af head installation på fysisk maskine) |
(→Test af head installation på fysisk maskine) |
||
(56 intermediate revisions by 5 users not shown) | |||
Line 1: | Line 1: | ||
− | {{TOCright}} | + | {{TOCright}} |
− | |||
− | |||
− | = | + | = Introduktion = |
− | |||
− | =Mål= | + | At udvikle et [[Ubuntu]] cluster installationsmetode og implementere den fysisk således at programmer kan afvikles. |
− | *En master | + | |
− | *minimum to noder | + | = metode = |
− | *automatiseret installation af noder. (Så godt som muligt) | + | |
− | *automatiseret oprettelse af brugere [[LDAP]] eller [[NIS Ubuntu|NIS]] | + | Installationsmetoden udvikles på [[ESXi]] og implementeres på de fysiske servere. |
− | *[[MPI]] | + | |
− | ==Udvikling fase 1== | + | = Mål = |
− | #Installer [[ESXi]] | + | |
− | #[[/Ubuntu Master|Installer Ubuntu Master]] | + | *En master |
− | #[[/DHCP server|Installer og konfigurer DHCP server]] | + | *minimum to noder |
− | #[[/DNS Server|Installer og konfigurer DNS server]] | + | *automatiseret installation af noder. (Så godt som muligt) |
− | #[[/Routning og NAT|Routening og NAT gennem Master]] | + | *automatiseret oprettelse af brugere [[LDAP]] eller [[NIS Ubuntu|NIS]] |
− | #[[/LDAP eller NIS| LDAP eller NIS til user login på noder]] | + | *[[MPI]] |
− | #[[/PXE installation af noder|PXE installation af noder]] | + | |
− | #[[/NFS Server | NFS Server til netværk shares ]] | + | ==Lab environment on local PC== |
− | #[[/apt-cacher installation|apt-cacher installation]] | + | |
− | #[[/Auto SSH | Auto SSH login på noder uden at skrive pass]] | + | '''LAST UPDATE AUTUMN 2014 (pre-course edits)''' Comments, corrections and additions welcome! :-) |
− | #[[/Kickstart fil til installation af noder|Kickstart fil til installation af noder]] | + | |
− | #[[/Overvågning med MRTG|Overvågning med MRTG]] | + | This lab environment is build upon the virtual platform VMware Workstation and Ubuntu-Server 14.04.1 64Bit (ubuntu-14.04.1-server-amd64.iso) as cluster and nodes OS. Ubuntu server can be downloaded [http://www.ubuntu.com/download/server| here] |
− | #[[/dsh|Distributed Shell dsh]] | + | |
− | #[[/mpi|Installation af openMPI og MPICH]] | + | This guide will guide you though how to build a virtual Linux/Ubuntu cluster lab environment on your local machine. This environment can later be implemented on the real cluster. |
− | #[[InfiniBand]] | + | |
− | === Test af head installation på fysisk maskine=== | + | *[[/Oprettelse af master og nodes maskiner|Create master and nodes machine]] |
− | #[[/Installation af head node|Installation af head node]] | + | '''Master installation and configuration''' |
− | #[[/Installation af CUDA|Installation af CUDA]] | + | #[[/Installation af master|Install master]] |
− | #[http://www.raben.com/content/opencv-installation-ubuntu-1204 Installation | + | #[[/Install DHCP server|Install and configure DHCP server]] |
+ | #[[/Install DNS server|Install and configure DNS server]] | ||
+ | #[[/Routing NAT and NIS|Configure Routing, NAT and NIS]] | ||
+ | #[[/PXE and Kickstart|PXE and Kickstart configuration]] | ||
+ | #[[/Configure NFS server, Apt cacher and SSH auto login|Install and configure NFS server, apt-cacher and SSH auto login]] | ||
+ | #[[/Multi Router Traffic Grapher|Install and configure Multi Router Traffic Grapher - MRTG]] - doesn't work properly | ||
+ | #[[/DSH and MPI|Install and configure DSH and OpenMPI]] | ||
+ | #[[/OpenCV|Install and configure OpenCV]] | ||
+ | '''Nodes installation and configuration''' | ||
+ | |||
+ | == Udvikling fase 1 == | ||
+ | |||
+ | #Installer [[ESXi]] | ||
+ | #[[/Ubuntu Master|Installer Ubuntu Master]] | ||
+ | #[[/DHCP server|Installer og konfigurer DHCP server]] | ||
+ | #[[/DNS Server|Installer og konfigurer DNS server]] | ||
+ | #[[/Routning og NAT|Routening og NAT gennem Master]] | ||
+ | #[[/LDAP eller NIS|LDAP eller NIS til user login på noder]] | ||
+ | #[[/Tilføjelse af ny klient|Tilføjelse af ny klient]] | ||
+ | #[[/PXE installation af noder|PXE installation af noder]] | ||
+ | #[[/NFS Server|NFS Server til netværk shares ]] | ||
+ | #[[/apt-cacher installation|apt-cacher installation]] | ||
+ | #[[/Auto SSH|Auto SSH login på noder uden at skrive pass]] | ||
+ | #[[/Kickstart fil til installation af noder|Kickstart fil til installation af noder]] | ||
+ | #[[/Overvågning med MRTG|Overvågning med MRTG]] | ||
+ | #[[/dsh|Distributed Shell dsh]] | ||
+ | #[[/mpi|Installation af openMPI og MPICH]] | ||
+ | #[[Installation af OpenCV]] | ||
+ | #[[InfiniBand]] | ||
+ | |||
+ | === Test af head installation på fysisk maskine === | ||
+ | |||
+ | #[[/Installation af head node|Installation af head node]] | ||
+ | #[[/Installation af CUDA|Installation/testing af CUDA]] | ||
+ | #[http://www.raben.com/content/opencv-installation-ubuntu-1204 Installation af OpenCV] | ||
+ | #[[/makefile script |Makefile]] | ||
+ | |||
+ | == Udvikling fase 2 == | ||
− | |||
#Tilpasning af SW og konfigurationsfiler til noder | #Tilpasning af SW og konfigurationsfiler til noder | ||
− | ==Udvikling fase 3== | + | |
+ | == Udvikling fase 3 == | ||
+ | |||
#Installation af [[SAN]] | #Installation af [[SAN]] | ||
− | ==Udvikling fase 4== | + | |
+ | == Udvikling fase 4 == | ||
+ | |||
#Installation af fysiske maskiner | #Installation af fysiske maskiner | ||
− | =Netværk= | + | |
− | *Qlogic switch | + | = Netværk = |
− | **Telnet eller http: til 172.16.4.11 (username '''admin''' password '''adminpass''') | + | |
− | *3550 Gb switch | + | *Qlogic switch |
+ | **Telnet eller http: til 172.16.4.11 (username '''admin''' password '''adminpass''') | ||
+ | *3550 Gb switch | ||
**Telnet til 172.16.4.88 password '''cisco''' | **Telnet til 172.16.4.88 password '''cisco''' | ||
− | |||
− | |||
− | |||
− | |||
− | |||
− | |||
− | |||
− | |||
− | |||
− | |||
− | |||
− | =Links= | + | = Hastighed = |
− | *[[Weekend Projekt - Test Cluster]] | + | |
− | *[[NIS Ubuntu]] | + | Infinibands hastighed er 4.38 Gbits/sec |
+ | |||
+ | = Harddisk partitionering = | ||
+ | |||
+ | På det rigtige cluster er partitioneringen lavet som følger: | ||
+ | |||
+ | ;/ | ||
+ | :ext4 5GB | ||
+ | ;/tmp | ||
+ | :ext4 10GB | ||
+ | ;/var | ||
+ | :ext4 15GB | ||
+ | ;/boot | ||
+ | :ext4 2GB | ||
+ | ;/usr | ||
+ | :ext4 50GB | ||
+ | ;swap | ||
+ | :swap 2xRAM | ||
+ | ;/home | ||
+ | :ext4 resterende plads - 10GB | ||
+ | |||
+ | = Links = | ||
+ | |||
+ | *[[Weekend Projekt - Test Cluster]] | ||
+ | *[[NIS Ubuntu]] | ||
+ | *[http://coen.boisestate.edu/ece/files/2013/05/Rasp.-Pi.pdf RPi Cluster] -> [http://www.youtube.com/watch?v=i_r3z1jYHAc YouTube Video] | ||
+ | |||
[[Category:Cluster]] | [[Category:Cluster]] |
Latest revision as of 10:52, 4 November 2014
Introduktion
At udvikle et Ubuntu cluster installationsmetode og implementere den fysisk således at programmer kan afvikles.
metode
Installationsmetoden udvikles på ESXi og implementeres på de fysiske servere.
Mål
- En master
- minimum to noder
- automatiseret installation af noder. (Så godt som muligt)
- automatiseret oprettelse af brugere LDAP eller NIS
- MPI
Lab environment on local PC
LAST UPDATE AUTUMN 2014 (pre-course edits) Comments, corrections and additions welcome! :-)
This lab environment is build upon the virtual platform VMware Workstation and Ubuntu-Server 14.04.1 64Bit (ubuntu-14.04.1-server-amd64.iso) as cluster and nodes OS. Ubuntu server can be downloaded here
This guide will guide you though how to build a virtual Linux/Ubuntu cluster lab environment on your local machine. This environment can later be implemented on the real cluster.
Master installation and configuration
- Install master
- Install and configure DHCP server
- Install and configure DNS server
- Configure Routing, NAT and NIS
- PXE and Kickstart configuration
- Install and configure NFS server, apt-cacher and SSH auto login
- Install and configure Multi Router Traffic Grapher - MRTG - doesn't work properly
- Install and configure DSH and OpenMPI
- Install and configure OpenCV
Nodes installation and configuration
Udvikling fase 1
- Installer ESXi
- Installer Ubuntu Master
- Installer og konfigurer DHCP server
- Installer og konfigurer DNS server
- Routening og NAT gennem Master
- LDAP eller NIS til user login på noder
- Tilføjelse af ny klient
- PXE installation af noder
- NFS Server til netværk shares
- apt-cacher installation
- Auto SSH login på noder uden at skrive pass
- Kickstart fil til installation af noder
- Overvågning med MRTG
- Distributed Shell dsh
- Installation af openMPI og MPICH
- Installation af OpenCV
- InfiniBand
Test af head installation på fysisk maskine
Udvikling fase 2
- Tilpasning af SW og konfigurationsfiler til noder
Udvikling fase 3
- Installation af SAN
Udvikling fase 4
- Installation af fysiske maskiner
Netværk
- Qlogic switch
- Telnet eller http: til 172.16.4.11 (username admin password adminpass)
- 3550 Gb switch
- Telnet til 172.16.4.88 password cisco
Hastighed
Infinibands hastighed er 4.38 Gbits/sec
Harddisk partitionering
På det rigtige cluster er partitioneringen lavet som følger:
- /
- ext4 5GB
- /tmp
- ext4 10GB
- /var
- ext4 15GB
- /boot
- ext4 2GB
- /usr
- ext4 50GB
- swap
- swap 2xRAM
- /home
- ext4 resterende plads - 10GB