FAQ
↵
- Über den Dienst
- Übermittlung von Daten
- Funktionen und Einschränkungen
- Ich habe mich mit einem SFTP-Client angemeldet, kann aber keine Daten in meinem Heimatverzeichnis speichern. Woran liegt das?
- Wie viele Kopien der Daten werden erstellt und wo werden sie gespeichert?
- Wie lange bleiben die Daten im Archiv?
- Wie kann ich sicherstellen, dass sich meine Daten nicht verändert haben? Unterstützen Sie Prüfsummen?
- Kann ich Prüfsummen sehen?
- Wie viele Daten kann ich speichern?
- Systemweite Grenzen
- Zukünftige Funktionen
- Sicherheit
- Hilfe
- Registrierung und Zugang
- Wo kann ich mich für den Dienst registrieren?
- Ich habe mich registriert, aber die Anmeldung schlägt fehl. Woran liegt das?
- Ich habe mein Passwort verloren. Wie kann ich ein neues erhalten?
- Warum brauche ich ein anderes Passwort für das Archiv? Kann ich dasjenige verwenden, das ich zu Hause benutze - Institution
- Tipps für die Nutzung
- Ich habe einen Vorschlag zur Verbesserung. Wie hoch ist der Preis, wenn meine Idee umgesetzt wird?
- Haben Sie Empfehlungen für die Größe der Dateien?
- Nehmen viele kleine Dateien mehr Platz weg als eine einzige große Datei?
- Der Zugriff auf meine Daten dauert sehr lange oder mein Client stößt auf eine Zeitüberschreitung. Und warum?
- Ich habe [eine Datei | einige Dateien | ein Verzeichnis | meine Dateien] gelöscht. Kann ich die verlorenen Daten wiederherstellen?
- Fehler beim Übertragen von Daten
Über den Dienst
Wer sind die vorgesehenen Benutzer?
Mitarbeiter des KIT, der Hochschulen und Institutionen in Baden-Württemberg
Was hat es mit dem bw im Namen auf sich bwData Archive
bw steht für Baden-Württemberg, das Bundesland, in dem sich das KIT befindet. Die Anfangsinvestitionen und der Aufbau des Dienstes wurden durch das Ministerium für Wissenschaft, Forschung und Kunst Baden-Württembergs gefördert. Der Name bwDataArchiv sollte eigentlich selbsterklärend sein, bis auf das fehlende 'e' in Archiv. Der englische Name der Marke bwDataArchiv ist RDA, das Forschungsdatenarchiv (mit e :-)), aber Sie finden den Namen bwDataArchiv (mit e :-)) sowie einen Namen für den Dienst (der Projektname war ohne 'e').
Der Dienst bietet drei Servicemodelle an. Ihre Heimatorganisation kann sich um einen Vertrag mit bwDataArchive bewerben. Die Heimatorganisation entscheidet selbst, wer Zugriff auf die Daten hat und diese speichern darf. Hochschulen in Baden-Württemberg haben in der Regel einen IDP, der die Berechtigung zur Nutzung des Archivs weitergibt (idp-Service-Modell). Organisationen außerhalb des BWIDM-Verbundes benennen einen Administrator, der über ein erweitertes Administrationsportal Benutzer zur Registrierung für den Dienst einladen kann (admin-service-model). Ein drittes Betriebsmodell ist das sa-service-Modell, bei dem ein einziges Dienstkonto (sa) einer Organisation oder eines Projekts verwendet wird, um einer Anwendung zu ermöglichen, Daten im Archiv zu speichern. Das Projekt RADAR verwendet dieses Modell.
Übermittlung von Daten
Welche Protokolle werden unterstützt?
Die Dienste unterstützen sftp für das Hochladen und Herunterladen. Siehe https://www.rda.kit.edu/speichern.php
Funktionen und Einschränkungen
Ihr Heimatverzeichnis ist schreibgeschützt und enthält mindestens das Verzeichnis private. Um Daten zu speichern, wechseln Sie in das Verzeichnis private. In Zukunft werden weitere Verzeichnisse in Ihrem Home-Verzeichnis sichtbar sein, z. B. ein Verzeichnis public für offene Daten.
Wie viele Kopien der Daten werden erstellt und wo werden sie gespeichert?
Alle Daten im bwDataArchive haben mindestens 2 Kopien. Die Daten werden auf die Festplatte verschoben und von dort aus auf Bandstationen dupliziert. Bandbibliotheken gibt es in zwei Rechenzentren in CN sowie in CS.
Wie lange bleiben die Daten im Archiv?
Die reguläre Aufbewahrungszeit für Dateien im bwDataArchiv beträgt zehn Jahre. Nach Ablauf dieser zehn Jahre löscht bwDataArchive Ihre Daten. Eine Warnmeldung wird 6 Monate vorher an die registrierten Mailadressen verschickt. (Dies ist wohl der wichtigste Grund, mindestens eine der beiden möglichen Mailadressen aktuell zu halten). Setzen Sie sich mindestens drei Monate im Voraus mit uns in Verbindung, um die Aufbewahrungszeit zu verlängern. Wenn Sie die Zusammenarbeit mit bwDataArchive beenden wollen oder Ihre Daten nicht mehr benötigt werden, können Sie Ihre Daten selbst löschen.
Wir speichern für jede Datei eine MD5-Prüfsumme. Wenn die Datei gelesen wird, wird die Prüfsumme neu gebildet und mit der gespeicherten Prüfsumme verglichen. Wenn es keine Übereinstimmung gibt, wird die Datei dem Benutzer nicht zugestellt. Für detaillierte Informationen s. https://www.rda.kit.edu/img/FAQ-bwDataArchiv Data Protection - V2.pdf
Auch auf einer grundlegenderen Ebene werden die Daten auf der Festplatte und auf dem Band mit Prüfsummen geschützt.
Um eine Prüfsumme zu erstellen, befolgen Sie bitte folgende Schritte:
- Melden Sie sich über die bwDataArchive Webschnittstelle an: https://www.rda.kit.edu/bwDA/
- Fordern Sie eine Prüfsumme über die Option 'Prüfsumme' an.
Derzeit kann die Prüfsummenabfrage nur für einzelne Dateien vorgenommen werden. Die Datei muss sich in Ihrem Home-Verzeichnis befinden. Nachdem die Datei auf dem Band gespeichert wurde, kann die Prüfsumme generiert werden. Ihre Anfrage sollte den vollständigen Datei- und Pfadnamen enthalten (z.B. /private/myFolderName/myFileName).
Für weitere Hilfe wenden Sie sich bitte an support-bwarchiv∂lists.kit.edu.
Wie viele Daten kann ich speichern?
Die Menge der Daten, die Sie speichern können, hängt von der Vereinbarung zwischen Ihrer Heimatorganisation und dem bwDataArchive Service ab. Ihre Organisation erhält die Abrechnungsdaten und ist für die Mengenbegrenzung verantwortlich. Der Dienst selbst nimmt aus folgenden Gründen keine Kontingentierung vor
- Übertragungen können mehrere Stunden oder länger dauern. Beim Überschreiten der Quotengrenze schlagen anstehende Übertragungen unerwartet fehl. Bei großen Übertragungen, die Tausende von Dateien umfassen, wird es schnell unmöglich zu erkennen, welche Datei übertragen wurde, welche Datei noch zur Übertragung ansteht
- Die Auswahl der Daten und die Entscheidung, welche Datei archiviert werden soll und welche verworfen werden kann, ist mühsam und kann mehr Zeit und Kosten in Anspruch nehmen, als dem Forscher zugemutet werden kann.
Nur für KIT-Mitglieder: Link zur IT-Basisumgebung
Wir empfehlen Dateigrößen im GB-Bereich files for best performance (z.B. als TAR, ZIP, RAR etc., vor dem Upload). Verwenden Sie möglichst keine Dateien < 100 MB. Das Abrufen vieler kleiner Dateien dauert viel länger als das von wenigen großen Dateien.
maximale Dateigröße: 600 GB
maximale Aufbewahrungszeit: 10 Jahre
maximale Anzahl von Dateien: 10^12
maximaler Durchsatz (GridFTP): ~1000 MB/s
maximaler Durchsatz (sftp, single stream): ~70 MB/s
empfohlene minimale Dateigröße: 100 MB
Zukünftige Funktionen
Wir arbeiten hart daran, die folgenden Wünsche zu implementieren.
tbd
Sicherheit
Die Daten zum und vom Forschungsdatenarchiv werden mit 2048 RSA-Schlüsseln verschlüsselt. Dies gewährleistet eine sichere Kommunikation und schützt vor Lauschangriffen. Außerdem garantiert die Verschlüsselung, dass die Daten, die im Archiv ankommen, mit den Daten übereinstimmen, die an das Archiv gesendet wurden. Der verschlüsselte Kanal funktioniert wie ein 2048-Bit-Fehlererkennungssystem. Vor der ersten Kommunikation zwischen Hosts ist ein Schlüsselaustausch erforderlich. Der SSH-Initialisierungsprozess erzeugt einen Fingerabdruck, mit dem der Client die Authentizität des Servers überprüfen kann.
Hilfe
Ich habe eine Frage. An wen kann ich mich wenden?
Unterstützung und Hilfe https://www.rda.kit.edu/help.php
Wenden Sie sich bitte per eMail an die bwDataArchive-Administratoren oder, wenn Sie Anwender aus BW sind, alternativ über das Support-Portal Baden-Württemberg https://bw-support.scc.kit.edu/. Schildern Sie Ihr Problem und was Sie getan haben und fügen Sie z.B. einige Screenshots hinzu.
Registrierung und Zugang
Wo kann ich mich für den Dienst registrieren?
Besuchen Sie https://www.rda.kit.edu/bwDA
Ich habe mich registriert, aber die Anmeldung schlägt fehl. Woran liegt das?
Vielleicht wurde der Registrierungsvorgang nicht vollständig abgeschlossen. Dies kann aufgrund von Netzwerkfehlern oder unerwartetem Browserverhalten passieren. Rufen Sie https://bwidm.scc.kit.edu/user/index.xhtml auf, melden Sie sich mit Ihren Anmeldedaten an und heben Sie die Registrierung beim Dienst auf. Registrieren Sie sich dann erneut. Sie erhalten eine E-Mail, nachdem Sie sich erfolgreich registriert haben.
Ich habe mein Passwort verloren. Wie kann ich ein neues erhalten?
Melden Sie sich mit Shibboleth an(https://www.rda.kit.edu/bwDA/shibbLogin.php), klicken Sie auf "Konto verwalten" und ändern Sie Ihr Passwort.
Die Daten bleiben mindestens 10 Jahre im Archiv gespeichert. In dieser Zeit können Sie die Organisation verlassen haben, Ihr Konto dort verloren haben, aber Ihre Daten sind immer noch archiviert und nur mit dem archivspezifischen Konto zugänglich. Natürlich können Sie der Einfachheit halber dasselbe Passwort verwenden, was aber aus Sicherheitsgründen nicht empfohlen wird.
Tipps für die Nutzung
Ich habe einen Vorschlag zur Verbesserung. Wie hoch ist der Preis, wenn meine Idee umgesetzt wird?
Sie werden auf den bwDataArchive Hall of Fame Seiten genannt und haben Anspruch auf 10 Jahre 1 TB kostenlosen Speicherplatz.
Haben Sie Empfehlungen für die Größe der Dateien?
Die Objekte, die Sie speichern, sollten so groß wie möglich sein. Aber "was ist groß?", werden Sie sich fragen. Denken Sie daran, dass Ihre Daten auf Band gespeichert sind. Der Zugriff auf die Daten erfordert Zeit zum Auffinden, Aufwickeln und Positionieren. Aktuelle Bandlaufwerke können zwar mit Geschwindigkeiten von über 300 MB/s lesen, aber wenn die Dateien kleiner werden, nimmt die Positionierungszeit überhand. Wenn Sie also problemlos Dateien von mehreren GigaBytes erstellen können, tun Sie dies bitte. Das System akzeptiert Dateien bis zu 600 GB, aber das Hoch- und Herunterladen von 600 GB nimmt eine beträchtliche Zeit in Anspruch. Andererseits fasst das System (HPSS) kleinere Dateien in größeren Verbänden zusammen, um das Schreiben zu beschleunigen. Wir empfehlen jedoch NICHT, viele kleine Dateien zu schreiben, da das Zurücklesen dieser Dateien viel länger dauern kann als bei einer zusammengefassten tar-Datei.
Nehmen viele kleine Dateien mehr Platz weg als eine einzige große Datei?
Ja, auf der Festplatte, nicht auf dem Band. Das Archivsystem (HPSS) legt Dateien auf der Festplatte zwischen, bevor es sie auf ein Band überträgt. Um die Geschwindigkeit beim IO aufrechtzuerhalten, haben Festplatten feste Größenzuweisungen. Die Software des Dateisystems, das den Speicherplatz auf der Festplatte verwaltet, bestimmt die Zuweisungen. Da es auf dem Band kein Dateisystem gibt, wird für eine große Datei derselbe Platz verwendet wie für 10 Dateien, die jeweils ein Zehntel der Größe der großen Datei haben. Die Antwort auf die Frage lautet also: Nachdem die Daten auf das Band migriert worden sind, nehmen die kleinen Dateien nicht mehr Platz in Anspruch. (Ich berücksichtige nicht, dass jede Datei auf dem Band einen kleinen Header von einigen Bytes hat. Daher nehmen viele sehr kleine Dateien immer noch mehr Platz auf dem Band ein als der entsprechende Inhalt einer großen Datei. HPSS fasst kleine Dateien zu größeren Objekten zusammen, daher ist die Frage akademisch). Wir raten davon ab, viele kleine Dateien zu schreiben (siehe oben).
Lange Antwortzeiten können mehrere Gründe haben:
- Sind Ihre Daten vor langer Zeit gespeichert worden? Dann befinden sie sich wahrscheinlich nicht mehr auf der Festplatte und müssen vom Band kopiert werden. Dies kann je nach dem aktuellen Datenaufkommen im Archiv bis zu mehreren Minuten (oder sogar Stunden) dauern.
- Das Abrufen vieler kleiner Dateien dauert viel länger als das von wenigen großen Dateien. Wir können keine Zugriffszeiten für Dateien < 100 MB garantieren und empfehlen Dateien in GB-Größe, um die beste Leistung zu erzielen.
- Etwas ist kaputt (aber wir reparieren es).
Direkte Antwort: Nein.
Fehler beim Übertragen von Daten
Bitte überprüfen Sie Folgendes:
- Haben Sie Leseberechtigung für die Dateien, die Sie übertragen möchten?
- symbolische Links können auf Dateien verweisen, für die Sie keine Leseberechtigung haben
- sind Sie in das private Verzeichnis gewechselt. Ihr Heimatverzeichnis ist schreibgeschützt!