Latest revision as of 10:52, 4 November 2014

Introduktion

At udvikle et Ubuntu cluster installationsmetode og implementere den fysisk således at programmer kan afvikles.

metode

Installationsmetoden udvikles på ESXi og implementeres på de fysiske servere.

Mål

• En master
• minimum to noder
• automatiseret installation af noder. (Så godt som muligt)
• automatiseret oprettelse af brugere LDAP eller NIS
• MPI

Lab environment on local PC

LAST UPDATE AUTUMN 2014 (pre-course edits) Comments, corrections and additions welcome! :-)

This lab environment is build upon the virtual platform VMware Workstation and Ubuntu-Server 14.04.1 64Bit (ubuntu-14.04.1-server-amd64.iso) as cluster and nodes OS. Ubuntu server can be downloaded here

This guide will guide you though how to build a virtual Linux/Ubuntu cluster lab environment on your local machine. This environment can later be implemented on the real cluster.

• Create master and nodes machine

Master installation and configuration

1. Install master
2. Install and configure DHCP server
3. Install and configure DNS server
4. Configure Routing, NAT and NIS
5. PXE and Kickstart configuration
6. Install and configure NFS server, apt-cacher and SSH auto login
7. Install and configure Multi Router Traffic Grapher - MRTG - doesn't work properly
8. Install and configure DSH and OpenMPI
9. Install and configure OpenCV

Nodes installation and configuration

Udvikling fase 1

1. Installer ESXi
2. Installer Ubuntu Master
3. Installer og konfigurer DHCP server
4. Installer og konfigurer DNS server
5. Routening og NAT gennem Master
6. LDAP eller NIS til user login på noder
7. Tilføjelse af ny klient
8. PXE installation af noder
9. NFS Server til netværk shares
10. apt-cacher installation
11. Auto SSH login på noder uden at skrive pass
12. Kickstart fil til installation af noder
13. Overvågning med MRTG
14. Distributed Shell dsh
15. Installation af openMPI og MPICH
16. Installation af OpenCV
17. InfiniBand

Test af head installation på fysisk maskine

1. Installation af head node
2. Installation/testing af CUDA
3. Installation af OpenCV
4. Makefile

Udvikling fase 2

1. Tilpasning af SW og konfigurationsfiler til noder

Udvikling fase 3

1. Installation af SAN

Udvikling fase 4

1. Installation af fysiske maskiner

Netværk

• Qlogic switch
  • Telnet eller http: til 172.16.4.11 (username admin password adminpass)
• 3550 Gb switch
  • Telnet til 172.16.4.88 password cisco

Hastighed

Infinibands hastighed er 4.38 Gbits/sec

Harddisk partitionering

På det rigtige cluster er partitioneringen lavet som følger:

/

ext4 5GB

/tmp

ext4 10GB

/var

ext4 15GB

/boot

ext4 2GB

/usr

ext4 50GB

swap

swap 2xRAM

/home

ext4 resterende plads - 10GB

Links

• Weekend Projekt - Test Cluster
• NIS Ubuntu
• RPi Cluster -> YouTube Video