Um sich mit einem s3-Client zu einem Bucket aus dem DigitalArchiv zu verbinden, benötigen Sie

• Für IPv4-only Systeme:
  • Servername: https://digitalarchiv.hcp-carl-s3.dasi.rwth-aachen.de
  • Port: 8483
• Für IPv6-only Systeme
  • Servername. https://digitalarchiv.hcp-carl-s3.dasi.rwth-aachen.de
  • Port:443
• Für IP DualStack 
  • Servername https://digitalarchiv.hcp-carl-s3.dasi.rwth-aachen.de
  • Port :443
• Access Key
• Secret Key
• Bucket Name

Den Endpunkt können Sie auf der Infoseite des Datenprojekts einsehen. Dies erhalten Sie von den Admins des entsprechenden Datenprojektes in SeviRe, zu jenem Ihr s3-Bucket zugehörig ist.

Wenn Sie die Verbindung über rclone herstellen möchten, sind folgende Schritte notwendig:

1. Download
2. Installation und Konfiguration
3. Dateien hochladen
4. Multithread
5. Dateien herunterladen

Download

Laden Sie die Clientsoftware rclone herunter: https://rclone.org/downloads/
Rclone ist eine einzelne ausführbare Datei (rclone oder rclone.exe unter Windows), die Sie als Zip-Archiv herunterladen und an einem Ort Ihrer Wahl entpacken können.

Installation und Konfiguration

Schritt 1

Rufen Sie die Kommandozeile auf. Dazu geben Sie entweder "cmd" in die Windows-Suchleiste ein und bestätige mit Enter oder Sie nutzen den Windows-Key + "R" und tippen dann "cmd" ein und bestätigen mit Enter.

Schritt 2

Rufen Sie nun über die Kommandozeile das Verzeichnis auf, in dem Sie die rclone-Datei abgelegt haben.

Hinweis: 

• Das Verzeichnis wechseln Sie mit dem Befehl cd<Pfad> beispielsweise:  cd C:\OrdnerA\Ordner1\rclone\ 
• Zu beachten ist hier, dass CMD keine UNC-Pfade unterstützt (Beispiele: "Downloads", "Dokumente",...). Stellen Sie daher bitte sicher, dass sich der heruntergeladene rclone Ordner lokal auf dem Rechner befindet und der korrekte Pfad dorthin angegeben wird.

Schritt 3

Um die Konfiguration von rclone zu starten und einen Remote-Access zum Object Storage erstellen, führen Sie das Kommando rclone config aus.

Zum Beispiel: C:\Program Files\rclone-v1.57.0-windows-amd64>rclone config

Schritt 4

Folgen Sie anschließend den Konfigurationsschritten. 

Hinweis: Die Kommandos können je nach rclone-Version leicht abweichen, achten Sie daher in den folgenden Schritten weniger auf die eingegebene Nummer, sondern darauf, was ausgewählt werden soll.

# New remote

-> n

# Name (=RemoteName)

-> frei wählbar  (Hier bietet es sich an einen Namen zu wählen, der dem gewählten Namen bei Ihrem Datenprojekt in Sevire entspricht)

# Storage type

-> (Amazon S3 Compliant Storage Providers including AWS, Alibaba, Ceph, Digital Ocean, Dreamhost, IBM COS, Minio, SeaweedFS, and Tencent COS)

# Provider

-> any other S3 compatible provider

# credentials

-> 1 (Enter AWS credentials in the next step.)

# access_key_id

-> [Access Key]  (zugehörig zu Ihrem Bucket auf SeviRe)

# secret_access_key

-> [Secret Access Key] (zugehörig zu Ihrem Bucket auf SeviRe)

# region

-> 2 (other-v4-signature)

# endpoint

-> https://digitalarchiv.s3.fds.rwth-aachen.de:9021

# location_constraint

-> Tragen Sie nichts ein und drücken Sie Enter

# ACL

-> 1 (Owner gets FULL_CONTROL.)

# server_side_encryption 

-> Tragen Sie nichts ein und drücken Sie Enter

# sse_kmskey_id

-> Tragen Sie nichts ein und drücken Sie Enter

# advanced config

-> n (No)

# okay?

-> y (Yes, this is ok)

# quit

-> q

Mit dem letzten Befehl beenden Sie die Konfiguration und haben nun eine Verbindung zu Ihrem Bucket erstellt.

Dateien hochladen

Ausgangspunkt: Rufen Sie über die Kommandozeile das Verzeichnis auf, in dem Sie die Software-Datei abgelegt haben und führen Sie das Kommando rclone copy aus.

• Generisch:

rclone copy --s3-no-check-bucket [Datei (-pfad)] [RemoteName]:[Bucketname]\

• Konkret:

rclone copy --s3-no-check-bucket testfile MyDigiatlarchiv:ABC-1234567\

• Mit mehr Ausgaben:

rclone copy --s3-no-check-bucket testfile MyDigiatlarchiv:ABC-1234567\ -v

Multithread

Rclone bietet die Möglichkeit eines Multithread Up-/Downloads.

Hinweis: Bei der Unterteilung ist die Größe der Abschnitte abhängig von der Auslastung und Ausstattung des Servers. In den folgenden Beispielen haben wir uns für eine Größe von 4 MB entschieden. Davon abhängig ist dann ebenso die Angabe der --s3-upload-concurrency. 

• Generisch:

rclone copy --s3-no-check-bucket [Datei] [RemoteName]:[Bucketname] \ --multi-thread-cutoff [Abschnittsgröße] --multi-thread-streams [Größe] --s3-upload-concurrency [Größe]

• Konkret:

rclone copy --s3-no-check-bucket testfile MyDigiatlarchiv:ABC-1234567 \ --multi-thread-cutoff 4M --multi-thread-streams 4 --s3-upload-concurrency 4

• Mit mehr Ausgaben:

rclone copy --s3-no-check-bucket testfile MyDigiatlarchiv:ABC-1234567 \ --multi-thread-cutoff 4M --multi-thread-streams 4 --s3-upload-concurrency 4 -v

Dateien herunterladen

Zum Herunterladen von Objekten geben Sie zuerst ihren Bucketname an und dann den Ort, in dem Sie ihr Objekt speichern wollen.

• Generisch

rclone copy [RemoteName]:[Bucketname]\[Objekt, welches Sie herunterladen wollen] [Speicherort]\

• Konkret

rclone copy MyDigiatlarchiv:ABC-1234567\testfile C:\Downloads\

• Mit mehr Ausgaben

rclone copy MyDigiatlarchiv:ABC-1234567\testfile C:\Downloads\ -v