Výpočetní cluster a úložiště Botanického ústavu & MetaCentra

Uživatelské nástroje

Nástroje pro tento web


cs:prace

Toto je starší verze dokumentu!


Práce na clusteru

Na MetaCentru (včetně našeho clusteru) se pracuje v linuxové příkazové řádce (uživatel se přihlašuje přes SSH), noví uživatelé se s ní musí seznámit. Uživatel si připraví skript provádějící výpočet, který spustí pomocí příkazu qsub. Chce-li uživatel spustit úlohu explicitně na průhonickém clusteru, musí k příkazu qsub přidat parametr -q ibot, popřípadě i -l cluster=carex, -l cluster=draba nebo -l cluster=vinca nebo jinou specifikaci, kterou lze nastavit v plánovači. Např.:

spusteni_ulohy.sh
# Přihlášení na čelní uzel
ssh UZIVATEL@tilia.ibot.cas.cz
# Příprava úlohy...
# ...a její spuštění:
qsub ... -q ibot ...
qsub ... -q ibot -l cluster=carex ...
qsub ... -q ibot -l cluster=draba ...
qsub ... -q ibot -l cluster=vinca ...
qsub -l walltime=1:0:0 -q ibot -l \
  select=1:ncpus=4:mem=4gb:scratch_local=1gb \
  -m abe skript.sh

Všechny stroje podporují hyperthreading, nicméně plánovací systém rezervuje jen fyzická jádra. Chce-li uživatel využít hyperthreading, musí si rezervovat celý uzel, tedy něco jako:

hypperthreading.sh
qsub -l walltime=1:0:0 -q ibot -l select=1:ncpus=8:mem=500gb:scratch_local=5100gb:hyperthreading=True:cluster=carex -l place=exclhost -m abe skript.sh
qsub -l walltime=1:0:0 -q ibot -l select=1:ncpus=80:mem=1500gb:scratch_local=5100gb:hyperthreading=True:cluster=draba -l place=exclhost -m abe skript.sh
qsub -l walltime=1:0:0 -q ibot -l select=1:ncpus=16:mem=500gb:scratch_local=5100gb:hyperthreading=True:cluster=vince -l place=exclhost -m abe skript.sh

Důležité jsou parametry hyperthreading=True a -l place=exclhost, což rezervuje celý stroj. Plánovací systém potom nehlídá překročení zdrojů CPU a uživatel může využít hyperthreading bez omezení.

Uživatelé bez dostatečných znalostí práce v linuxové příkazové řádce by měli začít studiem, např. Kurzem práce v příkazové řádce Linuxu nejen pro MetaCentrum Vojtěcha Zeiska.

cs/prace.1591614926.txt.gz · Poslední úprava: 2020/06/08 11:15 autor: Vojtěch Zeisek