Hinweis

Rclone erhält regelmäßig Updates vom Hersteller. Die Anleitungen werden dementsprechend getestet und an den aktuellen Stand angepasst. Bitte halten Sie auch Ihr Tool mit folgendem Befehl aktuell: rclone selfupdate

Bei Unstimmigkeiten in der Anleitung, achten Sie auf die einzelnen Schritte und nicht auf die Auswahloptionen. Bei Fragen kontaktieren Sie das IT-ServiceDesk.

Rclone erhält regelmäßig Updates vom Hersteller. Die Anleitungen werden dementsprechend getestet und an den aktuellen Stand angepasst. Bitte halten Sie auch Ihr Tool mit folgendem Befehl aktuell: rclone selfupdate.

Bei Unstimmigkeiten in der Anleitung, achten Sie bitte auf die einzelnen Schritte und nicht auf die Auswahloptionen. Bei Fragen kontaktieren Sie das IT-ServiceDesk.

Um sich mit einem s3-Client zu einem Bucket aus dem DigitalArchiv zu verbinden, benötigen Sie:

• Für IPv4-only Systeme:
  • Servername: https://digitalarchiv.hcp-carl-s3.dasi.rwth-aachen.de
  • Port: 8483
• Für IPv6-only Systeme
  • Servername. https://digitalarchiv.hcp-carl-s3.dasi.rwth-aachen.de
  • Port:443
• Für IP DualStack 
  • Servername https://digitalarchiv.hcp-carl-s3.dasi.rwth-aachen.de
  • Port :443
• Access Key
• Secret Key
• Bucket Name

Den Endpunkt können Sie auf der Infoseite des Datenprojekts einsehen. Dies erhalten Sie von den Admins des entsprechenden Datenprojektes in SeviRe, zu jenem Ihr s3-Bucket zugehörig ist.

Wenn Sie die Verbindung über rclone herstellen möchten, sind folgende Schritte notwendig:

1. Download
2. Installation und Konfiguration
3. Dateien hochladen
4. Multithread
5. Dateien herunterladen

Download

Laden Sie die Clientsoftware rclone herunter: https://rclone.org/downloads/
Rclone ist eine einzelne ausführbare Datei (rclone oder rclone.exe unter Windows), die Sie als Zip-Archiv herunterladen und an einem Ort Ihrer Wahl entpacken können.

Installation und Konfiguration

Schritt 1
Rufen Sie die Kommandozeile auf. Dazu geben Sie entweder cmd in die Windows-Suchleiste ein und bestätige mit Enter oder Sie nutzen den Windows-Key + R und tippen dann cmd ein und bestätigen mit Enter.

Schritt 2
Rufen Sie nun über die Kommandozeile das Verzeichnis auf, in dem Sie die rclone-Datei abgelegt haben.

Hinweis: 

• Das Verzeichnis wechseln Sie mit dem Befehl cd<Pfad> beispielsweise:  cd C:\OrdnerA\Ordner1\rclone\ 
• Zu beachten ist hier, dass CMD keine UNC-Pfade unterstützt, z. B.: "Downloads", "Dokumente", etc.. Stellen Sie daher bitte sicher, dass sich der heruntergeladene rclone Ordner lokal auf dem Rechner befindet und der korrekte Pfad dorthin angegeben wird.

Schritt 3
Um die Konfiguration von rclone zu starten und einen Remote-Access zum Object Storage erstellen, führen Sie das Kommando rclone config aus.

Zum Beispiel: C:\Program Files\rclone-v1.57.0-windows-amd64>rclone config

Schritt 4
Folgen Sie anschließend den Konfigurationsschritten. 

Hinweis: Die Kommandos können je nach rclone-Version leicht abweichen, achten Sie daher in den folgenden Schritten weniger auf die eingegebene Nummer, sondern darauf, was ausgewählt werden soll.

1. Drücken Sie die Taste n, um ein neues Remote zu erstellen.
   
    
2. Wählen Sie einen Namen für Ihr Digitalarchiv, z. B. Test_Bucket.
   
    
3. Wählen Sie unter Storage type die Option 4: Amazon S3 Compliant.
   
    
4. Wählen Sie unter S3 Provider Option 1: Amazon Web Services (AWS) S3 aus.
   
    
5. Wählen Sie unter Credentials Option 1: false aus.
   
    
6. Tragen Sie im Feld access_key_id den Access Key ein.
   
    
7. Tragen Sie im Feld secret_access_key den Secret Access Key ein.
   
    
8. Wäheln Sie unter Region Option 2: Us East aus.
   
    
9. Geben Sie im Feld endpoint folgenden Wert ein:
   https://digitalarchiv.hcp-carl-s3.dasi.rwth-aachen.de:8483 (IPv4 only)
   oder
   https://digitalarchiv.hcp-carl-s3.dasi.rwth-aachen.de:443 (DualStack/IPv6 only).
   
   
    
10. Nehmen Sie bei location_constraint keine Eingabe vor und überspringen Sie den Schritt mit der Enter-Taste.
    
     
11. Wählen Sie unter ACL Option 1: (Owner gets FULL_CONTROL.) aus.
    
     
12. Bei server_side_encryption ist keine Eingabe erforderlich. Überspringen Sie den Schritt mit der Enter-Taste.
    
     
13. Bei sse_kmskey_id ist keine Eingabe erdorderlich. Überspringen Sie den Schritt mit der Enter-Taste.
    
     
14. Bei storage_class ist keine Eingabe erforderlich. Bestätigen Sie den Schritt mit der Enter-Taste.
    
     
15. Drücken Sie bei Edit advanced config?
    y) Yes: für Erweiterte Konfigurationen
    n) No für default 
    
     
16. Bestätigen Sie die Konfiguration mit y.
    
     
17. Drücken Sie q um die Konfiguration zu beenden.

Mit dem letzten Befehl beenden Sie die Konfiguration und haben nun eine Verbindung zu Ihrem Bucket erstellt.

Dateien hochladen

Ausgangspunkt: Rufen Sie über die Kommandozeile das Verzeichnis auf, in dem Sie die Software-Datei abgelegt haben und führen Sie das Kommando rclone copy aus.

1. Generisch: 

rclone copy --s3-no-check-bucket <Dateipfad> <RemoteName:Bucketname>\

1. Konkret:

rclone copy --s3-no-check-bucket C:\testfile_MyDigitalarchiv:ABC-1234567\

• Mit mehr Ausgaben:

rclone copy --s3-no-check-bucket C:\testfile_MyDigitalarchiv:ABC-1234567\ -v

Multithread

Rclone bietet die Möglichkeit eines Multithread Up-/Downloads.

Hinweis: Bei der Unterteilung ist die Größe der Abschnitte abhängig von der Auslastung und Ausstattung des Servers. In den folgenden Beispielen haben wir uns für eine Größe von 4 MB entschieden. Davon abhängig ist dann ebenso die Angabe der --s3-upload-concurrency. 

• Generisch:

rclone copy --s3-no-check-bucket [Datei] [RemoteName]:[Bucketname] \ --multi-thread-cutoff [Abschnittsgröße] --multi-thread-streams [Größe] --s3-upload-concurrency [Größe]

• Konkret:

rclone copy --s3-no-check-bucket testfile MyDigiatlarchiv:ABC-1234567 \ --multi-thread-cutoff 4M --multi-thread-streams 4 --s3-upload-concurrency 4

• Mit mehr Ausgaben:

rclone copy --s3-no-check-bucket testfile MyDigiatlarchiv:ABC-1234567 \ --multi-thread-cutoff 4M --multi-thread-streams 4 --s3-upload-concurrency 4 -v

Dateien herunterladen

Zum Herunterladen von Objekten geben Sie zuerst ihren Bucketname an und dann den Ort, in dem Sie ihr Objekt speichern wollen.

• Generisch

rclone copy "<RemoteName>:<Bucketname>/<Objektpfad>" "<Speicherort>" 

• Konkret

rclone copy "<RemoteName>:<Bucketname>/<Objektpfad>" "<Speicherort>" 

• Mit mehr Ausgaben

rclone copy "MyDigitalarchiv:ABC-1234567/dateiname" "Lokaler Ordnerpfad" -v