Table of Contents

Storage

Użytkownicy klastra Eden mają możliwość przechowywania swoich danych w kilku różnych miejscach. W zależności od swoich potrzeb i rodzaju przechowywanych danych należy wybrać najlepsze dla siebie miejsce.

Katalogi domowe użytkowników

Podstawowym miejscem składowania danych jest katalog /home2/<grupa>/<login>. Katalog ten jest punktem montowania petabajtowej macierzy DDN złożonej z dysków HDD. Jest on uwspólniony na wszystkich hostach dgx-[1-4] oraz na hoście dostępowym eden. Jest to standardowe miejsce składowania danych wykorzystywanych podczas obliczeń, które dzięki temu, że jest widoczne na każdym z komputerów jest bardzo wygodne.

Średnia prędkość zapisu
1 plik rozmiaru 1 GiB 669,2 MiB/s
1000 plików rozmiaru 512 B 721,4 kiB/s

Wewnętrzne dyski w DGX-ach

Każdy z dgx-ów posiada 4 dyski NVME złączone w jeden wolumin logiczny RAID 0. Wolumin ten na dgx-ach jest dostępny pod ścieżką /raid oraz dodatkowo jest eksportowany poprzez NFS do hosta dostępowego eden, gdzie widoczny jest pod ścieżką: /mnt/workspace/dgx-[1-4]. Przestrzeń ta nie jest uwspólniona. Każdy DGX “widzi” tylko swoje własne dyski. Użytkownik jest samodzielnie odpowiedzialny za ewentualną synchronizację zawartości tych dysków o ile jego zadanie wymaga takowej do realizacji. Zaletą korzystania z tych dysków jest istotnie większa prędkość w porównaniu do katalogów domowych. Zaleca się korzystanie z tej przestrzeni gdy zadanie realizuje dużą liczbę operacji dyskowych i wydajność magazynu danych może stać się “wąskim gardłem”. Jest to również dobre miejsce do zapisu danych cząstkowych w zadaniach nie wymagających synchronizacji pomiędzy węzłami.

Średnia prędkość zapisu
1 plik rozmiaru 1 GiB 1,3 GiB/s
1000 plików rozmiaru 512 B 4,1 MiB/s

Przestrzeń Scratch

Macierz dyskowa oprócz puli dysków HDD posiada pulę 24 dysków NVME o łącznej pojemności 332.6 TiB włażoną w kontroler SFA400NVXE. Przestrzeń ta charakteryzuje się lekko szybszym czasem dostępu w porównaniu do puli dysków HDD. Pula ta jest widoczna jako jeden wolumin logiczny pod ścieżką /scratch zarówno na hoście dostępowym jak i na dgx-ach. Należy ją traktować jako przestrzeń tymczasową używaną wyłącznie na czas obliczeń.

Średnia prędkość zapisu
1 plik rozmiaru 1 GiB 684,7 MiB/s
1000 plików rozmiaru 512 B 735,5 kiB/s

Uwagi dotyczące testu

Podane wartości prędkości zapisu danych pochodzą z uproszczonego testu programem dd. Rzeczywiste prędkości zależą od wielu czynników takich jak zapis/odczyt sekwencyjny lub losowy, rozmiar i liczba plików, stopień zrównoleglenia, liczba klientów, stopie wysycenia sieci, itp. W różnych warunkach rzeczywiste parametry I/O mogą znacznie odbiegać od podanych wartości.

Polecenia testujące:

 dd if=/dev/zero of=<target> bs=1G count=1 oflag=sync      # 1 plik 1 GiB
 dd if=/dev/zero of=<target> bs=512 count=1000 oflag=sync  # 1000 plików 512 B