Výpočetní cluster a úložiště Botanického ústavu & MetaCentra

Uživatelské nástroje

Nástroje pro tento web


cs:datove-uloziste

Rozdíly

Zde můžete vidět rozdíly mezi vybranou verzí a aktuální verzí dané stránky.

Odkaz na výstup diff

Obě strany předchozí revizePředchozí verze
Následující verze
Předchozí verze
cs:datove-uloziste [2020/06/08 13:44] – [Datové úložiště] Vojtěch Zeisekcs:datove-uloziste [2023/06/27 09:27] (aktuální) – [Přístup na datové úložiště] Vojtěch Zeisek
Řádek 1: Řádek 1:
 ====== Datové úložiště ====== ====== Datové úložiště ======
  
-BÚ disponuje [[cs:hw:uloziste|datovým úložištěm]] o celkové čisté kapacitě téměř 180 TB, které je určené primárně pro potřeby zaměstnanců a spolupracovníků BÚ, pro výpočty na průhonickém clusteru a k archivaci dat. Výchozí uživatelská kvóta je pro členy skupiny ''ibot'' je **2 TB**. V případě potřeby lze vytvářet sdílené složky, kam budou mít přístup jen vybraní uživatelé. Úložiště je zálohováno v [[https://www.cesnet.cz/sluzby/datova-uloziste/|infrastruktuře CESNETu]]. Zájemci o zvýšení kvóty nebo sdílenou složku musí kontaktovat [[cs:spravci-podpora|správce]].+BÚ disponuje [[cs:hw:uloziste|datovým úložištěm]] o celkové čisté kapacitě téměř 180 TB, které je určené primárně pro potřeby zaměstnanců a spolupracovníků BÚ, pro výpočty na průhonickém clusteru a k archivaci dat. Výchozí uživatelská kvóta je pro členy skupiny ''ibot'' je **2 TB** (7 GB pro ostatní). V případě potřeby lze vytvářet sdílené složky, kam budou mít přístup jen vybraní uživatelé. Úložiště je zálohováno v [[https://www.cesnet.cz/sluzby/datova-uloziste/|infrastruktuře CESNETu]]. Zájemci o zvýšení kvóty nebo sdílenou složku musí kontaktovat [[cs:spravci-podpora|správce]].
  
 ===== Přístup na datové úložiště ===== ===== Přístup na datové úložiště =====
  
-K datovému poli se přistupuje **skrz libovolný uzel MetaCentra**, kde se data nachází ve složce ''/auto/pruhonice1-ibot/'' a domovské adresáře jsou ve složce ''/auto/pruhonice1-ibot/home/''. K datovému úložišti se také lze připojit přímo přes protokoly ''SFTP'' (pomocí libovolného klienta, např. [[https://filezilla-project.org/|FileZilly]]), ''SCP'' nebo ''SSHFS'' na adrese ''tilia-nfs.ibot.cas.cz'' (alias ''storage-pruhonice1-ibot.metacentrum.cz'').+K datovému poli se přistupuje **skrz libovolný uzel MetaCentra**, kde se data nachází ve složce ''/storage/pruhonice1-ibot/'' a domovské adresáře jsou ve složce ''/storage/pruhonice1-ibot/home/''. 
 + 
 +K datovému úložišti se také lze připojit přímo přes protokoly ''SFTP'' (pomocí libovolného klienta, např. [[https://filezilla-project.org/|FileZilly]]), ''SCP'' nebo ''SSHFS'' na adrese ''tilia-nfs.ibot.cas.cz'' (alias ''storage-pruhonice1-ibot.metacentrum.cz''). Podrobnější [[https://docs.metacentrum.cz/data/data-within/|instrukce MetaCentra]].
  
 ==== Grafičtí klienty ==== ==== Grafičtí klienty ====
Řádek 11: Řádek 13:
 Použijte [[https://filezilla-project.org/|FileZillu]], [[https://winscp.net/eng/docs/lang:cs|WinSCP]], apod. a zadejte: Použijte [[https://filezilla-project.org/|FileZillu]], [[https://winscp.net/eng/docs/lang:cs|WinSCP]], apod. a zadejte:
  
-  * Hostitel (cílový server): ''tilia-nfs.ibot.cas.cz''+  * Hostitel (cílový server): ''storage-pruhonice1-ibot.metacentrum.cz'' nebo ''tilia-nfs.ibot.cas.cz''
   * Port: ''22''   * Port: ''22''
   * Protokol: ''SFTP'', ''SCP'', ''SSH2''   * Protokol: ''SFTP'', ''SCP'', ''SSH2''
Řádek 28: Řádek 30:
 ===== Sdílené složky ===== ===== Sdílené složky =====
  
-Sdílené složky se nachází na úložišti ve složce ''/auto/pruhonice1-ibot/shared/SKUPINOVA_SLOZKA/'' přístupné ze všech čelních i výpočetních uzlů MetaCentra. Pro každou sdílenou složku je k dispozici UNIXová skupina spravovaná v [[https://perun.metacentrum.cz/|Perunovi]]. Správcem skupiny může být jakýkoliv uživatel. Přihlašuje se jménem a heslem do MetaCentra, klikne na "Group Manager", "Select Group", "Select VO: MetaCentrum" a vybere příslušnou skupinu, jejíž členy chce správce skupiny spravovat.+Sdílené složky se nachází na úložišti ve složce ''/storage/pruhonice1-ibot/shared/SKUPINOVA_SLOZKA/'' přístupné ze všech čelních i výpočetních uzlů MetaCentra. Pro každou sdílenou složku je k dispozici UNIXová skupina spravovaná v [[https://perun.metacentrum.cz/|Perunovi]]. Správcem skupiny může být jakýkoliv uživatel. Přihlašuje se jménem a heslem do MetaCentra, klikne na "Group Manager", "Select Group", "Select VO: MetaCentrum" a vybere příslušnou skupinu, jejíž členy chce správce skupiny spravovat.
  
 Všechny soubory, ať už ve sdílených složkách, anebo v domovských adresářích, se počítají do souborové kóty daného uživatele (sdílené složky nemají vlastní kvótu). Uživatel může v případě potřeby [[cs:spravci-podpora|požádat]] o navýšení kvóty. Všechny soubory, ať už ve sdílených složkách, anebo v domovských adresářích, se počítají do souborové kóty daného uživatele (sdílené složky nemají vlastní kvótu). Uživatel může v případě potřeby [[cs:spravci-podpora|požádat]] o navýšení kvóty.
  
-Soubory nově vytvořeném v adresáři ''/auto/pruhonice1-ibot/shared/SKUPINOVA_SLOZKA/'' mají automaticky přiděleného skupinového vlastníka ''SKUPINA''. Pokud by se tak nestalo, musí uživatel změnit skupinového vlastníka. Poté je nutné změnit práva tak, aby byla data přístupná výhradně pro členy skupiny, a sice příkazy typu:+Soubory nově vytvořeném v adresáři ''/storage/pruhonice1-ibot/shared/SKUPINOVA_SLOZKA/'' mají automaticky přiděleného skupinového vlastníka ''SKUPINA''. Pokud by se tak nestalo, musí uživatel změnit skupinového vlastníka. Poté je nutné změnit práva tak, aby byla data přístupná výhradně pro členy skupiny, a sice příkazy typu:
  
 <code bash prava.sh> <code bash prava.sh>
 # Změna skupinového vlastníka # Změna skupinového vlastníka
-chgrp -R SKUPINA /auto/pruhonice1-ibot/shared/SKUPINOVA_SLOZKA+chgrp -R SKUPINA /storage/pruhonice1-ibot/shared/SKUPINOVA_SLOZKA
 # Změna práv složek # Změna práv složek
-find /auto/pruhonice1-ibot/shared/SKUPINOVA_SLOZKA/ -type d -exec chmod 770 '{}' \;+find /storage/pruhonice1-ibot/shared/SKUPINOVA_SLOZKA/ -type d -exec chmod 770 '{}' \;
 # Změna práv souborů # Změna práv souborů
-find /auto/pruhonice1-ibot/shared/SKUPINOVA_SLOZKA/ -type f -exec chmod 660 '{}' \;+find /storage/pruhonice1-ibot/shared/SKUPINOVA_SLOZKA/ -type f -exec chmod 660 '{}' \;
 </code> </code>
  
 Kvůli bezpečnosti souborů a nutnosti jejich sdílení musí uživatel dobře rozumět unixovým právům! Špatné nastavení práv může vést až ke ztrátě dat (např. jako důsledek špatně fungujícího skriptu jiného uživatele). Zároveň je nutné práva nastavit tak, aby s daty mohli manipulovat ostatní členové skupiny. Tyto operace lze provést i v grafických SFTP klientech (FileZilla, WinSCP apod.), nicméně v příkazové řádce to je jednodušší a rychlejší. V případě problémů se obracejte na [[cs:spravci-podpora|správce]]. Kvůli bezpečnosti souborů a nutnosti jejich sdílení musí uživatel dobře rozumět unixovým právům! Špatné nastavení práv může vést až ke ztrátě dat (např. jako důsledek špatně fungujícího skriptu jiného uživatele). Zároveň je nutné práva nastavit tak, aby s daty mohli manipulovat ostatní členové skupiny. Tyto operace lze provést i v grafických SFTP klientech (FileZilla, WinSCP apod.), nicméně v příkazové řádce to je jednodušší a rychlejší. V případě problémů se obracejte na [[cs:spravci-podpora|správce]].
  
cs/datove-uloziste.1591623894.txt.gz · Poslední úprava: 2020/06/08 13:44 autor: Vojtěch Zeisek