Výpočetní cluster a úložiště Botanického ústavu & MetaCentra

Uživatelské nástroje

Nástroje pro tento web


cs:datove-uloziste

Datové úložiště

BÚ disponuje datovým úložištěm o celkové čisté kapacitě téměř 180 TB, které je určené primárně pro potřeby zaměstnanců a spolupracovníků BÚ, pro výpočty na průhonickém clusteru a k archivaci dat. Výchozí uživatelská kvóta je pro členy skupiny ibot je 2 TB (7 GB pro ostatní). V případě potřeby lze vytvářet sdílené složky, kam budou mít přístup jen vybraní uživatelé. Úložiště je zálohováno v infrastruktuře CESNETu. Zájemci o zvýšení kvóty nebo sdílenou složku musí kontaktovat správce.

Přístup na datové úložiště

K datovému poli se přistupuje skrz libovolný uzel MetaCentra, kde se data nachází ve složce /storage/pruhonice1-ibot/ a domovské adresáře jsou ve složce /storage/pruhonice1-ibot/home/.

K datovému úložišti se také lze připojit přímo přes protokoly SFTP (pomocí libovolného klienta, např. FileZilly), SCP nebo SSHFS na adrese tilia-nfs.ibot.cas.cz (alias storage-pruhonice1-ibot.metacentrum.cz). Podrobnější instrukce MetaCentra.

Grafičtí klienty

Použijte FileZillu, WinSCP, apod. a zadejte:

  • Hostitel (cílový server): storage-pruhonice1-ibot.metacentrum.cz nebo tilia-nfs.ibot.cas.cz
  • Port: 22
  • Protokol: SFTP, SCP, SSH2
  • Jméno a heslo do MetaCentra. :-)

Použití FileZilly

Přístup přes příkazovou řádku

pristup.sh
# Kopírování souborů na a z úložiště
scp -r lokalni/soubory UZIVATEL@tilia-nfs.ibot.cas.cz:~/slozka/serveru/
scp -r UZIVATEL@tilia-nfs.ibot.cas.cz:~/serverove/soubory slozka/notebooku/

Sdílené složky

Sdílené složky se nachází na úložišti ve složce /storage/pruhonice1-ibot/shared/SKUPINOVA_SLOZKA/ přístupné ze všech čelních i výpočetních uzlů MetaCentra. Pro každou sdílenou složku je k dispozici UNIXová skupina spravovaná v Perunovi. Správcem skupiny může být jakýkoliv uživatel. Přihlašuje se jménem a heslem do MetaCentra, klikne na „Group Manager“, „Select Group“, „Select VO: MetaCentrum“ a vybere příslušnou skupinu, jejíž členy chce správce skupiny spravovat.

Všechny soubory, ať už ve sdílených složkách, anebo v domovských adresářích, se počítají do souborové kóty daného uživatele (sdílené složky nemají vlastní kvótu). Uživatel může v případě potřeby požádat o navýšení kvóty.

Soubory nově vytvořeném v adresáři /storage/pruhonice1-ibot/shared/SKUPINOVA_SLOZKA/ mají automaticky přiděleného skupinového vlastníka SKUPINA. Pokud by se tak nestalo, musí uživatel změnit skupinového vlastníka. Poté je nutné změnit práva tak, aby byla data přístupná výhradně pro členy skupiny, a sice příkazy typu:

prava.sh
# Změna skupinového vlastníka
chgrp -R SKUPINA /storage/pruhonice1-ibot/shared/SKUPINOVA_SLOZKA
# Změna práv složek
find /storage/pruhonice1-ibot/shared/SKUPINOVA_SLOZKA/ -type d -exec chmod 770 '{}' \;
# Změna práv souborů
find /storage/pruhonice1-ibot/shared/SKUPINOVA_SLOZKA/ -type f -exec chmod 660 '{}' \;

Kvůli bezpečnosti souborů a nutnosti jejich sdílení musí uživatel dobře rozumět unixovým právům! Špatné nastavení práv může vést až ke ztrátě dat (např. jako důsledek špatně fungujícího skriptu jiného uživatele). Zároveň je nutné práva nastavit tak, aby s daty mohli manipulovat ostatní členové skupiny. Tyto operace lze provést i v grafických SFTP klientech (FileZilla, WinSCP apod.), nicméně v příkazové řádce to je jednodušší a rychlejší. V případě problémů se obracejte na správce.

cs/datove-uloziste.txt · Poslední úprava: 2020/09/10 13:29 autor: Vojtěch Zeisek