Permanente und temporäre Dateien
Home-Verzeichnis
Nur Dateien, die Sie länger benötigen, sollten in Ihrem Home-Verzeichnis liegen. Die Home-Verzeichnisse befinden sich in /bwfs/home/hd. Physikalisch liegen die Daten auf dem bwGRiD Speichersystem in Mannheim. Die Homes auf dem Login-Server sind mit den Homes auf den Compute-Nodes identisch. Also sollten Sie exakt denselben Dateinamen und Verzeichnisnamen auf dem Login-Server und auf den Compute-Nodes verwenden, um auf eine Datei zuzugreifen.
Für das Home-Verzeichnis gibt es kein Backup. Der Plattenplatz pro Benutzer ist auf 100 GB beschränkt.
Scratch-Verzeichnis
Temporäre Daten können in Workspaces im Scratch-Verzeichnis /bfws/scratch gespeichert werden. Einen neuen Workspace erzeugen Sie mit dem Kommando
ws_allocate workspacename days
Dabei steht days für die Laufzeit des Workspaces in Tagen. Der maximale Wert für days ist 60. Mit
ws_extend workspacename days
kann die Laufzeit eines bestehenden Workspaces auf den ursprünglichen Wert zurückgesetzt (ohne Angabe von days) oder auf einen anderen Wert gesetzt werden (mit Angabe von days). Nach Ablauf der Laufzeit wird ein Workspace automatisch gelöscht. Mit
ws_release workspacename
können Sie einen Workspace vor Ablauf seiner Laufzeit löschen.
Weitere wichtige Kommandos sind
ws_list
das die Verzeichnisse und die Restlaufzeiten Ihrer Workspaces auflistet, und
ws_find workspacename
das den Pfad zu einem bestimmten Workspace ausgibt.
Das Scratch-Verzeichnis liegt auf dem bwGRiD Speichersystem in Heidelberg. Genauso wie das Home-Verzeichnis sind auch die Workspaces auf dem Login-Server identisch mit denen auf den Compute-Nodes. Es empfiehlt sich, Jobs von einem Workspace aus zu starten und große Datenmengen dort zu speichern. Der Plattenplatz in den Workspaces ist nicht beschränkt.
Verzeichnis /tmp
Jeder Knoten besitzt auf der internen Festplatte sein eigenes /tmp-Verzeichnis mit 120 GB Speicherplatz, der für temporäre Daten während der Job-Laufzeit verwendet werden kann. Die Daten in diesem Verzeichnis werden nach Beendigung eines Jobs gelöscht.
Das /tmp-Verzeichnis auf dem Login-Server sollte nicht benutzt werden.
Überblick
| Verzeichnis | Zugriff | Verwendung | Speicherplatz ingesamt | Backup |
|---|---|---|---|---|
/bwfs/home/hd |
vom Login-Server und von allen Knoten | für permanente Daten bis 100 GB | 32 TB | nein |
/bwfs/scratch |
vom Login-Server und von allen Knoten | für Daten in Workspaces | 32 TB | nein |
/tmp |
nur vom jeweiligen Knoten | für Daten während der Job-Laufzeit | 120 GB | nein |
Wichtiger Hinweis
Die bwGRiD Speichersysteme sind mit dem parallelen Filesystem Lustre ausgestattet, das für einen schnellen Datei-Zugriff optimiert ist. Die dadurch bedingte Komplexität der Speichersysteme hat jedoch eine verminderte Stabilität zur Folge und es muss mit Ausfällen gerechnet werden. Wir empfehlen deshalb, Ergebnisse möglichst zeitnah auszuwerten und wichtige Dateien an anderer Stelle zu sichern.