Výpočetní cluster a úložiště Botanického ústavu & MetaCentra

Uživatelské nástroje

Nástroje pro tento web


cs:prace

Zpět na Botanický ústav & MetaCentrum, využití výpočetního výkonu.

Práce na clusteru

:!: Základní informace o práci v MetaCentru jsou na jeho wiki. Než se pustíte do práce na MetaCentru, přečtěte si dokumentaci a naučte se pracovat v linuxové příkazové řádce. :!:

Na MetaCentru (včetně našeho clusteru) se pracuje v linuxové příkazové řádce (uživatel se přihlašuje přes SSH), noví uživatelé se s ní musí seznámit. Uživatel si připraví skript provádějící výpočet, který spustí pomocí příkazu qsub.

Chce-li uživatel spustit úlohu explicitně na průhonickém clusteru, musí k příkazu qsub přidat parametr -q ibot, popřípadě i -l cluster=carex, -l cluster=draba nebo -l cluster=vinca nebo jinou specifikaci, kterou lze nastavit v plánovači. Např.:

spusteni_ulohy.sh
# Přihlášení na čelní uzel
ssh UZIVATEL@tilia.ibot.cas.cz
# Příprava úlohy...
# ...a její spuštění:
qsub ... -q ibot ...
qsub ... -l select=...:cluster=carex -l -q ibot ...
qsub ... -l select=...:cluster=draba -l -q ibot ...
qsub ... -l select=...:cluster=vinca -l -q ibot ...
qsub -l walltime=1:0:0 -q ibot -l select=1:ncpus=4:mem=4gb:scratch_local=1gb -m abe skript.sh

Všechny stroje podporují hyperthreading, nicméně plánovací systém rezervuje jen fyzická jádra. Chce-li uživatel využít hyperthreading, musí si rezervovat celý uzel, tedy něco jako:

hypperthreading.sh
qsub -l walltime=1:0:0 -q ibot -l select=1:ncpus=8:mem=500gb:scratch_local=5100gb:hyperthreading=True:cluster=carex -l place=exclhost -m abe skript.sh
qsub -l walltime=1:0:0 -q ibot -l select=1:ncpus=80:mem=1500gb:scratch_local=5100gb:hyperthreading=True:cluster=draba -l place=exclhost -m abe skript.sh
qsub -l walltime=1:0:0 -q ibot -l select=1:ncpus=16:mem=500gb:scratch_local=5100gb:hyperthreading=True:cluster=vinca -l place=exclhost -m abe skript.sh

Důležité jsou parametry hyperthreading=True a -l place=exclhost, což rezervuje celý stroj. Plánovací systém potom nehlídá překročení zdrojů CPU a uživatel může využít hyperthreading bez omezení.

Uživatelé bez dostatečných znalostí práce v linuxové příkazové řádce by měli začít studiem, např. Kurzem práce v příkazové řádce Linuxu nejen pro MetaCentrum Vojtěcha Zeiska.


Dále vizte přístup k výpočetnímu clusteru Botanického ústavu pro zaměstnance a spolupracovníky BÚ.

cs/prace.txt · Poslední úprava: 2020/08/18 09:59 autor: Vojtěch Zeisek