Permanente und temporäre Dateien

Home-Verzeichnis

Nur Dateien, die Sie länger benötigen, sollten in Ihrem Home-Verzeichnis liegen. Die Home-Verzeichnisse befinden sich in /bwfs/home/hd. Physikalisch liegen die Daten auf dem bwGRiD Speichersystem in Mannheim. Die Homes auf dem Login-Server sind mit den Homes auf den Compute-Nodes identisch. Also sollten Sie exakt denselben Dateinamen und Verzeichnisnamen auf dem Login-Server und auf den Compute-Nodes verwenden, um auf eine Datei zuzugreifen.

Für das Home-Verzeichnis gibt es kein Backup. Der Plattenplatz pro Benutzer ist auf 100 GB beschränkt.

Scratch-Verzeichnis

Temporäre Daten können in Workspaces im Scratch-Verzeichnis /bfws/scratch gespeichert werden. Einen neuen Workspace erzeugen Sie mit dem Kommando

ws_allocate workspacename days

Dabei steht days für die Laufzeit des Workspaces in Tagen. Der maximale Wert für days ist 60. Mit

ws_extend workspacename days

kann die Laufzeit eines bestehenden Workspaces auf den ursprünglichen Wert zurückgesetzt (ohne Angabe von days) oder auf einen anderen Wert gesetzt werden (mit Angabe von days). Nach Ablauf der Laufzeit wird ein Workspace automatisch gelöscht. Mit

ws_release workspacename

können Sie einen Workspace vor Ablauf seiner Laufzeit löschen.

Weitere wichtige Kommandos sind

ws_list

das die Verzeichnisse und die Restlaufzeiten Ihrer Workspaces auflistet, und

ws_find workspacename

das den Pfad zu einem bestimmten Workspace ausgibt.

Das Scratch-Verzeichnis liegt auf dem bwGRiD Speichersystem in Heidelberg. Genauso wie das Home-Verzeichnis sind auch die Workspaces auf dem Login-Server identisch mit denen auf den Compute-Nodes. Es empfiehlt sich, Jobs von einem Workspace aus zu starten und große Datenmengen dort zu speichern. Der Plattenplatz in den Workspaces ist nicht beschränkt.

Verzeichnis /tmp

Jeder Knoten besitzt auf der internen Festplatte sein eigenes /tmp-Verzeichnis mit 120 GB Speicherplatz, der für temporäre Daten während der Job-Laufzeit verwendet werden kann. Die Daten in diesem Verzeichnis werden nach Beendigung eines Jobs gelöscht.

Das /tmp-Verzeichnis auf dem Login-Server sollte nicht benutzt werden.

Überblick

Verzeichnis Zugriff Verwendung Speicherplatz ingesamt Backup
/bwfs/home/hd vom Login-Server und von allen Knoten für permanente Daten bis 100 GB 32 TB nein
/bwfs/scratch vom Login-Server und von allen Knoten für Daten in Workspaces 32 TB nein
/tmp nur vom jeweiligen Knoten für Daten während der Job-Laufzeit 120 GB nein

Wichtiger Hinweis

Die bwGRiD Speichersysteme sind mit dem parallelen Filesystem Lustre ausgestattet, das für einen schnellen Datei-Zugriff optimiert ist. Die dadurch bedingte Komplexität der Speichersysteme hat jedoch eine verminderte Stabilität zur Folge und es muss mit Ausfällen gerechnet werden. Wir empfehlen deshalb, Ergebnisse möglichst zeitnah auszuwerten und wichtige Dateien an anderer Stelle zu sichern.

Verantwortlich: Sabine Richling
Letzte Änderung: 01.04.2014