s3fs - Online nel cloud

PROGRAMMA:

NOME

S3FS - File system basato su FUSE supportato da Amazon S3

SINOSSI

montaggio
s3fs secchio[:/percorso] punto di montaggio [opzioni]

smontaggio
umount punto di montaggio

utilità modo ( rimuovere sospeso multiparte caricamento oggetti )
s3fs -u benna

DESCRIZIONE

s3fs è un filesystem FUSE che consente di montare un bucket Amazon S3 come locale
file system. Memorizza i file in modo nativo e trasparente in S3 (cioè puoi usare altri
programmi per accedere agli stessi file).

AUTENTICAZIONE

Il file della password s3fs ha questo formato (usa questo formato se hai solo un set di
credenziali):
accessKeyId:segretoAccessKey

Se si dispone di più di un set di credenziali, viene riconosciuta anche questa sintassi:
nome secchio:accessKeyId:segretoAccessKey

I file di password possono essere archiviati in due posizioni:
/etc/passwd-s3fs ,
$HOME/.passwd-s3fs ,

VERSIONI

generale Opzioni
-h --Aiuto
aiuto per la stampa

--versione
versione stampata

-f Opzione FUSE in primo piano: non eseguire come demone.

-s Opzione FUSE singlethreaded (disabilita il funzionamento multi-thread)

Mount Opzioni
Tutte le opzioni di s3fs devono essere fornite nella forma in cui "opt" è:
=

-o default_acl (default="privato")
l'acl predefinito predefinito da applicare a tutti gli oggetti S3 scritti, ad esempio "public-read".
Tutti i file creati avranno questo acl preconfezionato. Tutti i file aggiornati avranno anche questo
acl in scatola applicato!

-o tentativi (predefinito = "2")
numero di volte per riprovare una transazione S3 non riuscita.

-o use_cache (default="" che significa disabilitato)
cartella locale da utilizzare per la cache dei file locali.

-o del_cache - elimina la cache dei file locali
elimina la cache dei file locali all'avvio e all'uscita di s3fs.

-o storage_class (l'impostazione predefinita è standard)
store oggetto con la classe di archiviazione specificata. questa opzione sostituisce la vecchia opzione
use_rrs. Valori possibili: standard, standard_ia e ridondanza_ridotta.

-o use_rrs (l'impostazione predefinita è disabilita)
utilizzare l'archiviazione a ridondanza ridotta di Amazon. questa opzione non può essere specificata con
use_sse. (può specificare use_rrs=1 per la vecchia versione) questa opzione è stata sostituita da
nuova opzione storage_class.

-o use_sse (l'impostazione predefinita è disabilita)
Specifica tre tipi di crittografia server-sito di Amazon: SSE-S3, SSE-C o SSE-KMS. SSE-
S3 utilizza chiavi di crittografia gestite da Amazon S3, SSE-C utilizza la crittografia fornita dal cliente
chiavi e SSE-KMS utilizza la chiave principale che gestisci in AWS KMS. Puoi specificare
"use_sse" o "use_sse=1" abilita il tipo SSE-S3 (use_sse=1 è il vecchio parametro di tipo).
Caso di impostazione SSE-C, puoi specificare "use_sse=custom", "use_sse=custom:
percorso file chiave>" o "use_sse= "(soltanto
specificato è un parametro di vecchio tipo). Puoi usare "c" per abbreviare "personalizzato". l'usanza
il file chiave deve essere 600 autorizzazioni. Il file può avere alcune righe, ogni riga è una
Tasto SSE-C. La prima riga del file viene utilizzata come chiavi di crittografia fornite dal cliente per
caricare e modificare le intestazioni, ecc. Se ci sono alcune chiavi dopo la prima riga, quelle
vengono utilizzati oggetti di download che sono crittografati da una chiave non prima. Così che tu possa
mantieni tutte le chiavi SSE-C in un file, ovvero la cronologia delle chiavi SSE-C. Se specifichi
"custom"("c") senza percorso file, è necessario impostare la chiave personalizzata tramite l'opzione load_sse_c o
Ambiente AWSSSECKEYS. (L'ambiente AWSSSECKEYS ha alcune chiavi SSE-C con ":"
separatore.) Questa opzione viene utilizzata per decidere il tipo di SSE. In modo che se non lo fai
vuoi crittografare un oggetto al momento del caricamento, ma devi decrittografare l'oggetto crittografato su
scaricando, puoi usare l'opzione load_sse_c invece di questa opzione. Per impostare SSE-
KMS, specifica "use_sse=kmsid" o "use_sse=kmsid: ". Puoi usare "k" per
breve "kmsid". Se specifichi il tipo SSE-KMS con il tuo in AWS KMS, tu
può impostarlo dopo "kmsid:"(o "k:"). Se specifichi solo "kmsid"("k"), devi
imposta l'ambiente AWSSSEKMSID quale valore è . Devi stare attento
che non è possibile utilizzare l'ID KMS che non è la stessa regione EC2.

-o load_sse_c - specifica le chiavi SSE-C
Specificare il percorso del file delle chiavi di crittografia personalizzato per la decrittografia su
scaricamento. Se utilizzi la chiave di crittografia personalizzata durante il caricamento,
specificare con "use_sse=custom". Il file ha molte righe, una riga significa una custom
chiave. In modo da poter conservare tutte le chiavi SSE-C in un file, ovvero la cronologia delle chiavi SSE-C.
L'ambiente AWSSSECKEYS è uguale al contenuto di questo file.

-o passwd_file (default="")
specificare il percorso del file della password, che ha la precedenza su
password in $HOME/.passwd-s3fs e /etc/passwd-s3fs

-o ahbe_conf (default="" che significa disabilitato)
Questa opzione specifica il percorso del file di configurazione quale file è l'HTTP aggiuntivo
intestazione per estensione del file (oggetto).
Il formato del file di configurazione è il seguente:
-----------
riga = [suffisso file] intestazione HTTP [valori HTTP]
suffisso file = suffisso file(oggetto), se questo campo è vuoto, significa "*"(tutti
oggetto).
Intestazione HTTP = nome dell'intestazione HTTP aggiuntiva
Valori HTTP = valore dell'intestazione HTTP aggiuntivo
-----------
Esempio:
-----------
.gz Codifica del contenuto gzip
.Z Comprimere la codifica del contenuto
X-S3FS-MYHTTPHEAD miovalore
-----------
Un file di configurazione di esempio viene caricato nella directory "test". Se specifichi questo
opzione per impostare l'intestazione HTTP "Content-Encoding", fare attenzione a RFC 2616.

-o public_bucket (default="" che significa disabilitato)
monta in modo anonimo un bucket pubblico quando impostato su 1, ignora $HOME/.passwd-s3fs e
File /etc/passwd-s3fs.

-o connect_timeout (predefinito = "300" secondi)
tempo di attendere la connessione prima di arrendersi.

-o readwrite_timeout (default="60" secondi)
tempo di attesa tra l'attività di lettura/scrittura prima di arrendersi.

-o max_stat_cache_size (default = "1000" voci (circa 4 MB))
numero massimo di voci nella cache delle statistiche

-o stat_cache_expire (l'impostazione predefinita è nessuna scadenza)
specificare il tempo di scadenza (secondi) per le voci nella cache delle statistiche

-o enable_noobj_cache (l'impostazione predefinita è disabilita)
abilitare le voci della cache per l'oggetto che non esiste. s3fs deve sempre controllare
se il file (o la sottodirectory) esiste sotto l'oggetto (percorso) quando s3fs fa qualcosa
comando, poiché s3fs ha riconosciuto una directory che non esiste e contiene file
o sottodirectory sotto se stessa. Aumenta la richiesta di ListBucket e rende
prestazioni pessime. Puoi specificare questa opzione per le prestazioni, s3fs memorizza in
stat cache che l'oggetto (file o directory) non esiste.

-o no_check_certificate (per impostazione predefinita questa opzione è disabilitata)
non controllare il certificato ssl. il certificato del server non verrà confrontato con il
autorità di certificazione disponibili.

-o nodnscache - disabilita la cache DNS.
s3fs utilizza sempre la cache DNS, questa opzione disabilita la cache DNS.

-o nosscache - disabilita la cache della sessione ssl.
s3fs utilizza sempre la cache di sessione ssl, questa opzione disabilita la cache di sessione ssl.

-o multireq_max (default="20")
numero massimo di richieste parallele per l'elenco degli oggetti.

-o parallel_count (predefinito = "5")
numero di richieste parallele per il caricamento di oggetti di grandi dimensioni. s3fs caricamenti di grandi dimensioni
object (predefinito: oltre 20 MB) tramite richiesta post multiparte e invia richieste parallele.
Questa opzione limita il conteggio delle richieste parallele che s3fs richiede contemporaneamente. è
necessario impostare questo valore in funzione di una CPU e di una banda di rete. Questa opzione è
ritardo all'opzione fd_page_size e la influenza.

-o fd_page_size(default="52428800"(50MB))
numero di dimensioni della pagina di gestione interna per ogni descrittore di file. Per ritardato
lettura e scrittura di s3fs, s3fs gestisce le pagine separate dall'oggetto.
Ogni pagina ha uno stato che i dati sono già caricati (o non ancora caricati). Questo
l'opzione non dovrebbe essere modificata quando non si hanno problemi con le prestazioni. Questo
il valore viene modificato automaticamente da parallel_count e multipart_size
valori (fd_page_size value = parallel_count * multipart_size).

-o multipart_size(default="10"(10MB))
numero di una dimensione della parte nella richiesta di caricamento in più parti. La dimensione predefinita è
10MB(10485760byte), questo valore è la dimensione minima. Specificare il numero di MB e oltre
10 (MB). Questa opzione è successiva all'opzione fd_page_size e la influenza.

-o URL (predefinito="http://s3.amazonaws.com")
imposta l'URL da utilizzare per accedere ad Amazon S3. Se vuoi usare HTTPS, puoi impostare
url=https://s3.amazonaws.com

-o endpoint (default="us-east-1")
imposta l'endpoint da utilizzare. Se questa opzione non è specificata, s3fs usa "us-east-1"
regione come impostazione predefinita. Se s3fs non è riuscito a connettersi alla regione specificata da
questa opzione, s3fs non può essere eseguito. Ma se non specifichi questa opzione e se tu
impossibile connettersi con la regione predefinita, s3fs tenterà di connettersi automaticamente
all'altra regione. Quindi s3fs può conoscere il nome corretto della regione, perché s3fs può
trovalo in un errore dal server S3.

-o sigv2 (l'impostazione predefinita è la versione della firma 4)
imposta la firma delle richieste AWS cantando Signature Version 2.

-o mp_umask (il valore predefinito è "0000")
imposta umask per la directory del punto di montaggio. Se l'opzione allow_other non è impostata, s3fs
consente l'accesso al punto di montaggio solo al proprietario. Nel caso opposto s3fs
consente l'accesso a tutti gli utenti come impostazione predefinita. Ma se imposti allow_other con
questa opzione, puoi controllare i permessi di autorizzazione del punto di montaggio da questo
opzione come umask.

-o nomultipart - disabilita i caricamenti multipart

-o enable_content_md5 (l'impostazione predefinita è disabilita)
verifica dei dati caricati senza multipart per intestazione content-md5. Abilita per inviare
Intestazione "Contenuto-MD5" durante il caricamento di un oggetto senza pubblicazione in più parti. Se questo
l'opzione è abilitata, ha alcune influenze sulle prestazioni di s3fs durante il caricamento
piccolo oggetto. Poiché s3fs controlla sempre MD5 durante il caricamento di oggetti di grandi dimensioni, questo
l'opzione non ha effetto su oggetti di grandi dimensioni.

-o iam_role (l'impostazione predefinita è nessun ruolo)
imposta il ruolo IAM che fornirà le credenziali dai metadati dell'istanza.

-o noxmlns - disabilita la registrazione dello spazio dei nomi xml.
disabilitare la registrazione dello spazio dei nomi xml per la risposta di ListBucketResult e
ListVersionsResult ecc. Lo spazio dei nomi predefinito viene cercato da
"http://s3.amazonaws.com/doc/2006-03-01". Questa opzione non dovrebbe essere specificata ora,
perché s3fs cerca automaticamente xmlns dopo v1.66.

-o nocopyapi - per l'archiviazione di altri oggetti di compatibilità incompleta.
Per un'archiviazione di oggetti distribuita che sia compatibile con l'API S3 senza PUT(copy
api). Se imposti questa opzione, s3fs non usa PUT con "x-amz-copy-source"(copy
api). Poiché il traffico aumenta 2-3 volte con questa opzione, non lo consigliamo
Questo.

-o norenameapi - per l'archiviazione di altri oggetti di compatibilità incompleta.
Per un'archiviazione di oggetti distribuita che sia compatibile con l'API S3 senza PUT(copy
api). Questa opzione è un sottoinsieme dell'opzione nocopyapi. L'opzione nocopyapi no
usa copy-api per tutti i comandi (es. chmod, chown, touch, mv, ecc.), ma questa opzione
non usa copy-api solo per rinominare il comando (es. mv). Se questa opzione è specificata
con nocopapi, s3fs lo ignora.

-o use_path_request_style (usa lo stile di chiamata API legacy)
Abilita la compatibilità con le API di tipo S3 che non supportano la richiesta dell'host virtuale
style, utilizzando il vecchio stile di richiesta del percorso.

-o dbglevel (default = "crit")
Imposta il livello del messaggio di debug. imposta il valore come crit (critico), err (errore),
warn(avviso), info(informazioni) a livello di debug. il livello di debug predefinito è critico.
Se s3fs viene eseguito con l'opzione "-d", il livello di debug è impostato come informazione. Quando s3fs cattura
il segnale SIGUSR2, il livello di debug è bumpup.

-o curldbg - inserisce il messaggio di debug curl
Inserisci il messaggio di debug da libcurl quando questa opzione è specificata.

FUSIBILE/SUPPORTO VERSIONI

Sono supportate la maggior parte delle opzioni di montaggio generiche descritte in 'man mount' (ro, rw, suid,
nosuid, dev, nodev, exec, noexec, atime, noatime, sync async, dirsync). I file system sono
montato con '-onodev,nosuid' per impostazione predefinita, che può essere sovrascritto solo da un privilegiato
utente.

Esistono molte opzioni di montaggio specifiche per FUSE che possono essere specificate. ad esempio allow_other. Vedere
il FUSE README per il set completo.

NOTE

Dimensione massima del file = 64 GB (limitata da s3fs, non da Amazon).

Se abilitato tramite l'opzione "use_cache", s3fs mantiene automaticamente una cache locale dei file
nella cartella specificata da use_cache. Ogni volta che s3fs ha bisogno di leggere o scrivere un file su S3,
prima scarica l'intero file localmente nella cartella specificata da use_cache e
opera su di esso. Quando viene chiamato fuse_release(), s3fs ricaricherà il file su S3 se
è stato cambiato. s3fs utilizza i checksum md5 per ridurre al minimo i download da S3.

La cartella specificata da use_cache è solo una cache locale. Può essere cancellato in qualsiasi momento.
s3fs lo ricostruisce su richiesta.

La memorizzazione nella cache dei file locali funziona calcolando e confrontando i checksum md5 (intestazione HTTP ETag).

leve s3fs /etc/mime.tipi per "indovinare" il tipo di contenuto "corretto" in base al nome del file
estensione. Ciò significa che puoi copiare un sito Web su S3 e pubblicarlo direttamente da S3
con i tipi di contenuto corretti!

Usa s3fs online utilizzando i servizi onworks.net