Um sich mit einem s3-Client zu einem Bucket aus dem DigitalArchiv zu verbinden, benötigen Sie

• alt ECS: Endpoint: https://digitalarchiv.s3.fds.rwth-aachen.de:9021
• neu HCP: Endpoint: https://digitalarchiv.hcp-carl.dasi.rwth-aachen.de:443
• Access Key
• Secret Key
• Bucket Name

Den Endpunkt (ECS oder HCP) können Sie auf der Infoseite des Datenprojekts einsehen. Dies erhalten Sie von den Admins des entsprechenden Datenprojektes in SeviRe, zu jenem Ihr s3-Bucket zugehörig ist.

1. Download

Laden Sie die Clientsoftware rclone herunter: https://rclone.org/downloads/
Rclone ist eine einzelne ausführbare Datei (rclone oder rclone.exe unter Windows), die Sie als Zip-Archiv herunterladen und an einem Ort Ihrer Wahl entpacken können.

2. Installation und Konfiguration

Rufen Sie die Kommandozeile auf. Dazu geben Sie entweder "cmd" in die Windows-Suchleiste ein und bestätige mit Enter oder Sie nutzen den Windows-Key + "R" und tippen dann "cmd" ein und bestätigen mit Enter.

Rufen Sie nun über die Kommandozeile das Verzeichnis auf, in dem Sie die rclone-Datei abgelegt haben.

Hinweis: 

• Das Verzeichnis wechseln Sie mit dem Befehl cd<Pfad> beispielsweise:  cd C:\OrdnerA\Ordner1\rclone\ 
• Zu beachten ist hier, dass CMD keine UNC-Pfade unterstützt (Beispiele: "Downloads", "Dokumente",...). Stellen Sie daher bitte sicher, dass sich der heruntergeladene rclone Ordner lokal auf dem Rechner befindet und der korrekte Pfad dorthin angegeben wird.

Führen Sie das Kommando rclone config aus.

Zum Beispiel: C:\Program Files\rclone-v1.57.0-windows-amd64>rclone config

So starten Sie die Konfiguration von rclone und können einen Remote-Access zum Object Storage erstellen. 

Folgen Sie anschließend den Konfigurationsschritten. 

Hinweis: Die Kommandos können je nach rclone-Version leicht abweichen, achten Sie daher in den folgenden Schritten weniger auf die eingegebene Nummer, sondern darauf, was ausgewählt werden soll.

# New remote

-> n

# Name (=RemoteName)

-> frei wählbar  (Hier bietet es sich an einen Namen zu wählen, der dem gewählten Namen bei Ihrem Datenprojekt in Sevire entspricht)

# Storage type

-> (Amazon S3 Compliant Storage Providers including AWS, Alibaba, Ceph, Digital Ocean, Dreamhost, IBM COS, Minio, SeaweedFS, and Tencent COS)

# Provider

-> any other S3 compatible provider

# credentials

-> 1 (Enter AWS credentials in the next step.)

# access_key_id

-> [Access Key]  (zugehörig zu Ihrem Bucket auf SeviRe)

# secret_access_key

-> [Secret Access Key] (zugehörig zu Ihrem Bucket auf SeviRe)

# region

-> 2 (other-v4-signature)

# endpoint

-> https://digitalarchiv.s3.fds.rwth-aachen.de:9021

# location_constraint

-> Tragen Sie nichts ein und drücken Sie Enter

# ACL

-> 1 (Owner gets FULL_CONTROL.)

# server_side_encryption 

-> Tragen Sie nichts ein und drücken Sie Enter

# sse_kmskey_id

-> Tragen Sie nichts ein und drücken Sie Enter

# advanced config

-> n (No)

# okay?

-> y (Yes, this is ok)

# quit

-> q

Hiermit beenden Sie die Konfiguration und haben nun eine Verbindung zu Ihrem Bucket erstellt.

3. Dateien hochladen

Ausgangspunkt: Rufen Sie über die Kommandozeile das Verzeichnis auf, in dem Sie die Software-Datei abgelegt haben und führen Sie das Kommando rclone copy aus.

• Generisch:

rclone copy --s3-no-check-bucket [Datei (-pfad)] [RemoteName]:[Bucketname]\

• Konkret:

rclone copy --s3-no-check-bucket testfile MyDigiatlarchiv:ABC-1234567\

• Mit mehr Ausgaben:

rclone copy --s3-no-check-bucket testfile MyDigiatlarchiv:ABC-1234567\ -v

4. Multithread

Rclone bietet die Möglichkeit eines Multithread Up-/Downloads.

Hinweis: Bei der Unterteilung ist die Größe der Abschnitte abhängig von der Auslastung und Ausstattung des Servers. In den folgenden Beispielen haben wir uns für eine Größe von 4 MB entschieden. Davon abhängig ist dann ebenso die Angabe der --s3-upload-concurrency. 

• Generisch:

rclone copy --s3-no-check-bucket [Datei] [RemoteName]:[Bucketname] \ --multi-thread-cutoff [Abschnittsgröße] --multi-thread-streams [Größe] --s3-upload-concurrency [Größe]

• Konkret:

rclone copy --s3-no-check-bucket testfile MyDigiatlarchiv:ABC-1234567 \ --multi-thread-cutoff 4M --multi-thread-streams 4 --s3-upload-concurrency 4

• Mit mehr Ausgaben:

rclone copy --s3-no-check-bucket testfile MyDigiatlarchiv:ABC-1234567 \ --multi-thread-cutoff 4M --multi-thread-streams 4 --s3-upload-concurrency 4 -v

5. Dateien herunterladen

Zum Herunterladen von Objekten geben Sie zuerst ihren Bucketname an und dann den Ort, in dem Sie ihr Objekt speichern wollen.

• Generisch

rclone copy [RemoteName]:[Bucketname]\[Objekt, welches Sie herunterladen wollen] [Speicherort]\

• Konkret

rclone copy MyDigiatlarchiv:ABC-1234567\testfile C:\Downloads\

• Mit mehr Ausgaben

rclone copy MyDigiatlarchiv:ABC-1234567\testfile C:\Downloads\ -v