Logo

Výpočetní cluster Botanického ústavu AV ČR

English

Botanický ústav AV ČR, v.v.i provozuje v Průhonicích v rámci MetaCentra CESNETu vlastní výpočetní cluster a datové úložiště. Pro jejich použití je potřeba, aby uživatel byl členem MetaCentra.

Menu

Novinky

MetaCentrum

Botanický ústav & MetaCentrum, využití výpočetního výkonu

Uživatelem MetaCentra může být každý akademický pracovník nebo student českých výzkumných institucí. Noví uživatelé musí vyplnit přihlášku a používat výpočetní zdroje výhradně v souladu s pravidly využití. Zaměstnanci Botanického ústavu mají na svém průhonickém clusteru vyšší prioritu a jejich úlohy jsou spouštěny přednostně. Tito uživatelé se musí přihlásit do skupiny ibot. Členství zajistí prioritní přístup k průhonickému clusteru a možnost využití průhonického datového úložiště. Chcete-li se stát členy skupiny ibot, kontaktujte správce.

Přihlášení na člení uzel tilia.

Na MetaCentru (včetně našeho clusteru) se pracuje v linuxové příkazové řádce, noví uživatelé se s ní musí seznámit. Uživatel si připraví skript provádějící výpočet, který spustí pomocí příkazu qsub. Chce-li uživatel spustit úlohu explicitně na průhonickém clusteru, musí k příkazu qsub přidat parametr -q ibot, popřípadě i -l cluster=carex nebo -l cluster=draba nebo jinou specifikaci, kterou lze nastavit v plánovači (např. něco jako qsub -l walltime=1:0:0 -q ibot -l select=1:ncpus=4:mem=4gb:scratch_local=1gb -m abe skript.sh).

Všechny stroje podporují hyperthreading, nicméně plánovací systém rezervuje jen fyzická jádra. Chce-li uživatel využít hyperthreading, musí si rezervovat celý uzel, tedy něco jako qsub -l walltime=1:0:0 -q ibot -l select=1:ncpus=8:mem=500gb:scratch_local=1600gb:hyperthreading=True:cluster=carex -l place=exclhost -m abe skript.sh nebo qsub -l walltime=1:0:0 -q ibot -l select=1:ncpus=80:mem=1500gb:scratch_local=1600gb:hyperthreading=True:cluster=draba -l place=exclhost -m abe skript.sh. Plánovací systém potom nehlídá překročení zdrojů CPU a uživatel může využít hyperthreading bez omezení.

Uživatelé bez dostatečných znalostí práce v linuxové příkazové řádce by měli začít studiem, např. Kurzem práce v příkazové řádce Linuxu nejen pro MetaCentrum Vojtěcha Zeiska.

Přístup k výpočetnímu clusteru Botanického ústavu pro zaměstnance a spolupracovníky BÚ

  1. Vyplňte přihlášku do MetaCentra (můžete se přihlásit pod libovolnou institucí, ne nutně jen BÚ).
  2. Přihlaste se do skupiny ibotkontaktujte správce (pro zaměstnance a spolupracovníky BÚ — jejich úlohy se na průhonickém clusteru budou spouštět s vyšší prioritou). Členství ve skupině není nutné, jen dává uživateli vyšší prioritu.
  3. Úlohy můžete připravovat (ale není to nutné) na čelním uzlu tilia.ibot.cas.cz (alias tilia.metacentrum.cz).
  4. Data můžete uložit (ale není to nutné) na průhonickém datovém úložišti /storage/pruhonice1-ibot/.
  5. Při spouštění úlohy přidejte k příkazu qsub parametr -q ibot — úloha se spustí na průhonickém clusteru. Např. qsub -l walltime=1:0:0 -q ibot -l select=1:ncpus=1:mem=1gb:scratch_local=1gb -m abe skript.sh.

Pro zaměstnance a studenty ostatních institucí platí stejná pravidlapostupy jako pro jakékoliv jiné uzly MetaCentra, lze spouštět libovolné aplikace.

Přihlášení do infrastruktury MetaCentra

Veškerá přihlášení do infrastruktury MetaCentra, včetně přihlášky (dále např. ownCloud nebo FileSender) používají EduID:

Přihlašování přes EduID.

Po nalezení a vybrání Botanického ústavu je uživatel přesměrován na stránku, kde se přihlásí svým ústavním jménem a heslem. Používají se jméno a heslo pro VERSO (ne pro doménu):

Přihlašování pomocí VERSa Botanického ústavu AV ČR.

Pokud uživatel z Botanického ústavu nemá jméno a heslo do VERSa, musí si na https://praha.verso.eis.cas.cz/ nechat zaslat zapomenuté heslo (obrázek níže; pomocí ústavního mailu nebo osobního čísla). Po získání jména a hesla se může přihlásit pomocí obrazovky výše.

Přihlášení do VERSa.

Datové úložiště

BÚ disponuje datovým úložištěm o celkové čisté kapacitě téměř 180 TB, které je určené primárně pro potřeby zaměstnanců a spolupracovníků BÚ, pro výpočty na průhonickém clusteru a k archivaci dat. Výchozí uživatelská kvóta je pro členy skupiny ibot je 2 TB. V případě potřeby lze vytvářet sdílené složky, kam budou mít přístup jen vybraní uživatelé. Úložiště je zálohováno v infrastruktuře CESNETu. Zájemci o zvýšení kvóty nebo sdílenou složku musí kontaktovat správce.

Přístup na datové úložiště

K datovému poli se přistupuje skrz libovolný uzel MetaCentra, kde se data nachází ve složce /storage/pruhonice1-ibot/ a domovské adresáře jsou ve složce /storage/pruhonice1-ibot/home/. K datovému úložišti se také lze připojit přímo přes protokoly SFTP (pomocí libovolného klienta, např. FileZilly), SCP nebo SSHFS na adrese tilia-nfs.ibot.cas.cz (alias storage-pruhonice1-ibot.metacentrum.cz).

FileZilla

Sdílené složky

Sdílené složky se nachází na úložišti ve složce /storage/pruhonice1-ibot/shared/SKUPINOVA_SLOZKA/ přístupné ze všech čelních i výpočetních uzlů MetaCentra. Pro každou sdílenou složku je k dispozici UNIXová skupina spravovaná v Perunovi. Správcem skupiny může být jakýkoliv uživatel. Přihlašuje se jménem a heslem do MetaCentra, klikne na "Group Manager", "Select Group", "Select VO: MetaCentrum" a vybere příslušnou skupinu, jejíž členy chce správce skupiny spravovat.

Všechny soubory, ať už ve sdílených složkách, anebo v domovských adresářích, se počítají do souborové kóty daného uživatele (sdílené složky nemají vlastní kvótu). Uživatel může v případě potřeby požádat o navýšení kvóty.

Soubory nově vytvořeném v adresáři /storage/pruhonice1-ibot/shared/SKUPINOVA_SLOZKA/ mají automaticky přiděleného skupinového vlastníka SKUPINA. Pokud by se tak nestalo, musí uživatel změnit skupinového vlastníka pomocí chgrp -R SKUPINA /storage/pruhonice1-ibot/shared/SKUPINOVA_SLOZKA nebo obdobného příkazu. Poté je nutné změnit práva tak, aby byla data přístupná výhradně pro členy skupiny, a sice příkazy typu find /storage/pruhonice1-ibot/shared/SKUPINOVA_SLOZKA/ -type d -exec chmod 770 '{}' \; pro adresáře a find /storage/pruhonice1-ibot/shared/SKUPINOVA_SLOZKA/ -type f -exec chmod 660 '{}' \; pro soubory. Kvůli bezpečnosti souborů a nutnosti jejich sdílení musí uživatel dobře rozumět unixovým právům! Špatné nastavení práv může vést až ke ztrátě dat (např. jako důsledek špatně fungujícího skriptu jiného uživatele). Zároveň je nutné práva nastavit tak, aby s daty mohli manipulovat ostatní členové skupiny. Tyto operace lze provést i v grafických SFTP klientech (FileZilla, WinSCP apod.), nicméně v příkazové řádce to je jednodušší a rychlejší. V případě problémů se obracejte na správce.

Přehled hardware

Kompletní rack s veškerým vybavením.

Vybavení bylo pořízeno v roce 2019 za pomoci dotace od Akademie věd ČR.

HPC uzly

Uzly draba1, draba2 a draba3.

Tyto tři uzly (draba1, draba2draba3) jsou určeny primárně pro výpočty s Apache HadoopSpark a jiné náročné úlohy využívající masivní paralelizaci. Každý ze tří uzlů je vybaven 4 CPU Intel Xeon Gold 6230 (4x 20 jader (4x 40 vláken), 2,1 GHz, turbo 3,9 GHz), 1536 GB RAM a 1920 GB NVMe disk (RAID 0). V případě zájmu o výpočty s využitím Hadoop a Spark kontaktujte Yanna JK Bertranda.

Výpočetní uzly carex1 až carex6.

Standardní výpočetní uzly

Každý z šesti uzlů (carex1 až carex6) je vybaven 1 CPU AMD EPYC Naples 7261 (8 jader (16 vláken), 2,5 GHz, turbo 2,9 GHz), 512 GB RAM a 1920 GB NVMe disk (RAID 0). Lze na nich spouštět libovolné úlohy.

Virtualizační servery, na kterých běží čelní uzel, databázový server, některé výpočetní uzly a další speciální servery.

Datové úložiště

Souborový server a diskové pole.

Cluster disponuje diskovým polem QSAN XCubeSAN s 21 14 TB 7200RPM SAS3 disky a SSD cache (SW Qcache COQ SSD-C a 2x SSD PAH WUSTR6440ASS200). Pole je zpřístupněné skrz souborový server tilia-nfs.ibot.cas.cz (storage-pruhonice1-ibot.metacentrum.cz) s procesorem AMD EPYC Naples 7401P (24 jader, 2 GHz, turbo 3 GHz), 128 GB RAM a 1920 GB NVMe disk (RAID 0).

Čelní uzel

Je vybaven 4 vCPU, 2,4 GHz, 8 GB RAM a 50 GB SSD disk. Používá se jako každý jiný čelní uzel MetaCentra. Je přístupný všem uživatelům MetaCentra. Jeho použití je výhodné zvláště při práci s daty uloženými na průhonickém datovém úložišti a/nebo spouštění úloh na průhonickém clusteru. Je dostupný na adrese tilia.ibot.cas.cz (alias tilia.metacentrum.cz) a domovské adresáře jsou ve složce /storage/pruhonice1-ibot/home/ na datovém úložišti.

Databázový server

Je vybaven 8 vCPU, 2,4 GHz, 32 GB RAM a 60 GB SSD disk. Slouží primárně pro provoz NoSQL databází Neo4jMongoDB využívaných při práci s Apache HadoopSpark na HPC uzlech, a pro další speciální aplikace.

Virtualizační servery, na kterých běží čelní uzel, databázový server a další speciální servery.

Správci a podpora

Události týkající se clusteru (odstávky, semináře, apod.) jsou vidět ve veřejném kalendáři (ICS).

E-mailová konference a komunikace

K dispozici je e-mailová konference (archív) [cluster-ibot (zavináč) metacentrum (tečka) cz], jejíž členové jsou všichni členové skupiny ibot (členství v konferenci je automatické, využívá primární e-mailové adresy, se kterými jsou uživatelé registrování v MetaCentru; heslo je stejné jako do MetaCentra). Slouží k oznamování novinek ohledně clusteru i k diskuzi mezi uživateli. Veškeré požadavky na správce clusteru směřujte na e-mail [cluster (zavináč) ibot (tečka) cas (tečka) cz]. Události týkající se clusteru (odstávky, semináře, apod.) jsou vidět ve veřejném kalendáři (ICS).

Kalendář clusteru lze v ústavním webmailu přidat po kliknutí na kalendář, přidání kalendáře z adresáře a vyhledáním jména cluster. Bude se pak zobrazovat mezi dalšími kalendáři uživatele.

Přidání kalendáře clusteru.