s3fs - Online sa Cloud

PROGRAMA:

NAME

S3FS - FUSE-based na file system na sinusuportahan ng Amazon S3

SINOPSIS

kabitan
s3fs balde[:/path] Mount point [mga pagpipilian]

unmounting
umount Mount point

kagamitan paraan ( alisin nagambala maraming bahagi mag-upload bagay )
s3fs -u balde

DESCRIPTION

Ang s3fs ay isang FUSE filesystem na nagbibigay-daan sa iyong mag-mount ng Amazon S3 bucket bilang lokal
filesystem. Nag-iimbak ito ng mga file nang native at transparent sa S3 (ibig sabihin, maaari kang gumamit ng iba
mga programa upang ma-access ang parehong mga file).

Awtoridad

Ang s3fs password file ay may ganitong format (gamitin ang format na ito kung mayroon ka lamang isang set ng
mga kredensyal):
accessKeyId:secretAccessKey

Kung mayroon kang higit sa isang hanay ng mga kredensyal, kinikilala din ang syntax na ito:
bucketName:accessKeyId:secretAccessKey

Maaaring iimbak ang mga file ng password sa dalawang lokasyon:
/etc/passwd-s3fs [0640]
$HOME/.passwd-s3fs [0600]

Opsyon

pangkalahatan pagpipilian
-h - Tumulong
tulong sa pag-print

--bersyon
bersyon ng pag-print

-f FUSE foreground na opsyon - huwag tumakbo bilang daemon.

-s FUSE singlethreaded na opsyon (hindi pinapagana ang multi-threaded na operasyon)

Mount pagpipilian
Ang lahat ng mga opsyon sa s3fs ay dapat ibigay sa form kung saan ang "opt" ay:
=

-o default_acl (default="private")
ang default na canned acl na ilalapat sa lahat ng nakasulat na S3 object, hal, "public-read".
Ang anumang nilikha na mga file ay magkakaroon ng de-latang acl na ito. Ang anumang na-update na mga file ay magkakaroon din nito
inilapat ang de-latang acl!

-o muling subukan (default="2")
ilang beses upang muling subukan ang isang nabigong transaksyon sa S3.

-o use_cache (default="" na nangangahulugang hindi pinagana)
lokal na folder na gagamitin para sa lokal na file cache.

-o del_cache - tanggalin ang cache ng lokal na file
tanggalin ang cache ng lokal na file kapag nagsimula at lumabas ang s3fs.

-o storage_class (standard ang default)
mag-imbak ng bagay na may tinukoy na klase ng imbakan. pinapalitan ng opsyong ito ang lumang opsyon
use_rrs. Mga posibleng value: standard, standard_ia, at reduced_redundancy.

-o use_rrs (default ay hindi paganahin)
gamitin ang Pinababang Imbakan ng Redundancy ng Amazon. ang pagpipiliang ito ay hindi maaaring tukuyin sa
use_sse. (maaaring tukuyin ang use_rrs=1 para sa lumang bersyon) ang opsyong ito ay pinalitan ng
bagong storage_class na opsyon.

-o use_sse (default ay hindi paganahin)
Tukuyin ang tatlong uri ng Server-Site Encryption ng Amazon: SSE-S3, SSE-C o SSE-KMS. SSE-
Gumagamit ang S3 ng mga key ng pag-encrypt na pinamamahalaan ng Amazon S3, gumagamit ang SSE-C ng pag-encrypt na ibinigay ng customer
key, at ginagamit ng SSE-KMS ang master key na pinamamahalaan mo sa AWS KMS. Maaari mong tukuyin
Ang "use_sse" o "use_sse=1" ay nagbibigay-daan sa uri ng SSE-S3 (use_sse=1 ay lumang uri ng parameter).
Kaso ng pagtatakda ng SSE-C, maaari mong tukuyin ang "use_sse=custom", "use_sse=custom:
key file path>" o "use_sse= "(lamang
ang tinukoy ay lumang uri ng parameter). Maaari mong gamitin ang "c" para sa maikling "custom". Ang kinaugalian
dapat na 600 ang pahintulot ng key file. Ang file ay maaaring magkaroon ng ilang linya, bawat linya ay isa
SSE-C key. Ang unang linya sa file ay ginagamit bilang Customer-Provided Encryption Keys para sa
pag-upload at pagpapalit ng mga header atbp. Kung mayroong ilang mga susi pagkatapos ng unang linya, iyon
ay ginagamit sa pag-download ng bagay na naka-encrypt ng hindi unang key. So yun, kaya mo
panatilihin ang lahat ng SSE-C key sa file, iyon ay SSE-C key history. Kung tinukoy mo
"custom"("c") na walang file path, kailangan mong magtakda ng custom na key sa pamamagitan ng load_sse_c na opsyon o
AWSSSECKEYS environment.(AWSSSECKEYS environment ay may ilang SSE-C key na may ":"
separator.) Ginagamit ang opsyong ito upang magpasya sa uri ng SSE. Kaya na kung hindi mo gagawin
gusto mong i-encrypt ang isang bagay sa pag-upload, ngunit kailangan mong i-decrypt ang naka-encrypt na bagay sa
sa pag-download, maaari mong gamitin ang opsyon na load_sse_c sa halip na ang opsyong ito. Para sa pagtatakda ng SSE-
KMS, tukuyin ang "use_sse=kmsid" o "use_sse=kmsid: ". Maaari mong gamitin ang "k" para sa
maikling "kmsid". Kung hindi mo tinukoy ang uri ng SSE-KMS sa iyong sa AWS KMS, ikaw
maaaring itakda ito pagkatapos ng "kmsid:"(o "k:"). Kung "kmsid"("k") lang ang tinukoy mo, kailangan mo
itakda ang AWSSSEKMSID environment kung aling halaga ang . Dapat kang mag-ingat sa
na hindi mo magagamit ang KMS id na hindi parehong rehiyon ng EC2.

-o load_sse_c - tukuyin ang mga SSE-C key
Tukuyin ang custom-provided na encryption keys file path para sa pag-decrypt sa
dunloading. Kung gagamitin mo ang custom-provided na encryption key sa pag-upload, ikaw
tukuyin gamit ang "use_sse=custom". Ang file ay may maraming linya, ang isang linya ay nangangahulugang isang pasadya
susi. Upang mapanatili mo ang lahat ng SSE-C key sa file, iyon ay SSE-C key history.
Ang kapaligiran ng AWSSSECKEYS ay kapareho ng mga nilalaman ng file na ito.

-o passwd_file (default="")
tukuyin ang landas patungo sa file ng password, na mas inuuna kaysa sa
password sa $HOME/.passwd-s3fs at /etc/passwd-s3fs

-o ahbe_conf (default="" na nangangahulugang hindi pinagana)
Tinutukoy ng opsyong ito ang path ng configuration file kung aling file ang karagdagang HTTP
header ayon sa extension ng file(object).
Ang format ng configuration file ay nasa ibaba:
-----------
line = [file suffix] HTTP-header [HTTP-values]
file suffix = file(object) suffix, kung walang laman ang field na ito, ibig sabihin ay "*"(lahat
bagay).
HTTP-header = karagdagang pangalan ng header ng HTTP
HTTP-values ​​= karagdagang HTTP header value
-----------
Halimbawa:
-----------
.gz Content-Encoding gzip
.Z Content-Encoding compress
X-S3FS-MYHTTPHEAD myvalue
-----------
Ang isang sample na configuration file ay na-upload sa "test" na direktoryo. Kung tinukoy mo ito
opsyon para sa set na "Content-Encoding" HTTP header, mangyaring mag-ingat para sa RFC 2616.

-o public_bucket (default="" na nangangahulugang hindi pinagana)
hindi nagpapakilalang mag-mount ng pampublikong bucket kapag nakatakda sa 1, binabalewala ang $HOME/.passwd-s3fs at
/etc/passwd-s3fs file.

-o connect_timeout (default="300" segundo)
oras na maghintay ng koneksyon bago sumuko.

-o readwrite_timeout (default="60" segundo)
oras na maghintay sa pagitan ng aktibidad sa pagbasa/pagsusulat bago sumuko.

-o max_stat_cache_size (default="1000" na mga entry (mga 4MB))
maximum na bilang ng mga entry sa stat cache

-o stat_cache_expire (default ay walang expire)
tukuyin ang expire time(segundo) para sa mga entry sa stat cache

-o enable_noobj_cache (default ay hindi paganahin)
paganahin ang mga entry sa cache para sa bagay na hindi umiiral. Laging kailangang suriin ng s3fs
kung ang file (o sub directory) ay umiiral sa ilalim ng object(path) kapag may ginagawa ang s3fs
command, dahil nakilala ng s3fs ang isang direktoryo na wala at may mga file
o mga sub directory sa ilalim mismo nito. Pinapataas nito ang kahilingan at ginagawa ng ListBucket
masama ang performance. Maaari mong tukuyin ang pagpipiliang ito para sa pagganap, s3fs memorizes in
stat cache na ang bagay (file o direktoryo) ay hindi umiiral.

-o no_check_certificate (bilang default ay hindi pinagana ang opsyong ito)
huwag suriin ang ssl certificate. hindi susuriin ang sertipiko ng server laban sa
magagamit na mga awtoridad ng sertipiko.

-o nodnscache - huwag paganahin ang cache ng dns.
Ang s3fs ay palaging gumagamit ng dns cache, ang pagpipiliang ito ay ginagawang hindi paganahin ang dns cache.

-o nosscache - huwag paganahin ang ssl session cache.
Ang s3fs ay palaging gumagamit ng ssl session cache, ang pagpipiliang ito ay ginagawang hindi paganahin ang ssl session cache.

-o multireq_max (default="20")
maximum na bilang ng parallel na kahilingan para sa listahan ng mga bagay.

-o parallel_count (default="5")
bilang ng parallel na kahilingan para sa pag-upload ng malalaking bagay. Malaki ang pag-upload ng s3fs
object(default:over 20MB) sa pamamagitan ng multipart post request, at nagpapadala ng mga parallel na kahilingan.
Nililimitahan ng opsyong ito ang parallel request count na hinihiling ng s3fs nang sabay-sabay. Ito ay
kinakailangan upang itakda ang halagang ito depende sa isang CPU at isang network band. Ang pagpipiliang ito ay
na-late sa opsyong fd_page_size at naaapektuhan ito.

-o fd_page_size(default="52428800"(50MB))
bilang ng panloob na laki ng pahina ng pamamahala para sa bawat descriptor ng file. Para maantala
pagbabasa at pagsusulat ng s3fs, pinamamahalaan ng s3fs ang mga pahina na nakahiwalay sa object.
Ang bawat pahina ay may katayuan na ang data ay na-load na (o hindi pa na-load). Ito
hindi dapat baguhin ang opsyon kapag wala kang problema sa performance. Ito
ang halaga ay awtomatikong binago ng parallel_count at multipart_size
values(fd_page_size value = parallel_count * multipart_size).

-o multipart_size(default="10"(10MB))
bilang ng isang sukat ng bahagi sa kahilingan sa pag-upload ng maraming bahagi. Ang default na laki ay
10MB(10485760byte), ang halagang ito ay pinakamababang laki. Tukuyin ang bilang ng MB at higit pa
10(MB). Ang pagpipiliang ito ay huli sa pagpipiliang fd_page_size at nakakaapekto ito.

-o url (default="http://s3.amazonaws.com")
itinakda ang url na gagamitin upang ma-access ang Amazon S3. Kung gusto mong gumamit ng HTTPS, maaari mong itakda
url=https://s3.amazonaws.com

-o endpoint (default="us-east-1")
nagtatakda ng endpoint na gagamitin. Kung hindi tinukoy ang opsyong ito, ginagamit ng s3fs ang "us-east-1"
rehiyon bilang default. Kung hindi makakonekta ang s3fs sa rehiyong tinukoy ni
ang pagpipiliang ito, hindi maaaring tumakbo ang s3fs. Ngunit kung hindi mo tinukoy ang pagpipiliang ito, at kung ikaw
hindi makakonekta sa default na rehiyon, muling susubukan ng s3fs na awtomatikong kumonekta
sa kabilang rehiyon. Kaya maaaring malaman ng s3fs ang tamang pangalan ng rehiyon, dahil kaya ng s3fs
hanapin ito sa isang error mula sa S3 server.

-o sigv2 (default ay lagda bersyon 4)
nagtatakda ng pagpirma ng mga kahilingan sa AWS sa pamamagitan ng pag-awit ng Signature Version 2.

-o mp_umask (default ay "0000")
nagtatakda ng umask para sa direktoryo ng mount point. Kung ang allow_other na opsyon ay hindi nakatakda, s3fs
nagbibigay-daan lamang sa may-ari ng access sa mount point. Sa kabaligtaran ng kaso s3fs
nagbibigay-daan sa access sa lahat ng user bilang default. Ngunit kung itinakda mo ang allow_other na may
sa pagpipiliang ito, maaari mong kontrolin ang mga pahintulot ng pahintulot ng mount point sa pamamagitan nito
opsyon tulad ng umask.

-o nomultipart - huwag paganahin ang mga pag-upload ng maraming bahagi

-o enable_content_md5 ( default ay hindi paganahin )
pag-verify ng na-upload na data nang walang multipart sa pamamagitan ng content-md5 header. Paganahin ang magpadala
"Content-MD5" header kapag nag-a-upload ng object nang walang multipart na pag-post. Kung ito
pinagana ang opsyon, mayroon itong ilang impluwensya sa pagganap ng s3fs kapag nag-a-upload
maliit na bagay. Dahil palaging sinusuri ng s3fs ang MD5 kapag nag-a-upload ng malaking bagay, ito
ang opsyon ay hindi nakakaapekto sa malaking bagay.

-o iam_role ( default ay walang tungkulin )
itakda ang IAM Role na magbibigay ng mga kredensyal mula sa meta-data ng instance.

-o noxmlns - huwag paganahin ang pagrerehistro ng puwang ng pangalan ng xml.
huwag paganahin ang pagrerehistro ng xml name space para sa tugon ng ListBucketResult at
ListVersionsResult atbp. Ang default na puwang ng pangalan ay hinahanap mula sa
"http://s3.amazonaws.com/doc/2006-03-01". Ang opsyong ito ay hindi dapat tukuyin ngayon,
dahil ang s3fs ay awtomatikong naghahanap ng xmlns pagkatapos ng v1.66.

-o nocopyapi - para sa iba pang hindi kumpletong compatibility na imbakan ng object.
Para sa isang distributed object storage na compatibility S3 API na walang PUT(copy
api). Kung itinakda mo ang opsyong ito, ang s3fs ay hindi gumagamit ng PUT na may "x-amz-copy-source"(kopya
api). Dahil ang trapiko ay tumataas ng 2-3 beses sa pamamagitan ng opsyong ito, hindi namin inirerekomenda
na ito.

-o norenameapi - para sa iba pang hindi kumpletong compatibility na imbakan ng bagay.
Para sa isang distributed object storage na compatibility S3 API na walang PUT(copy
api). Ang opsyong ito ay isang subset ng nocopyapi na opsyon. Ang opsyon na nocopyapi ay hindi
gumamit ng copy-api para sa lahat ng command (hal. chmod, chown, touch, mv, atbp), ngunit ang opsyong ito
ay hindi gumagamit ng copy-api para lamang sa utos na palitan ang pangalan (hal. mv). Kung ang pagpipiliang ito ay tinukoy
sa nocopapi, hindi pinapansin ng s3fs.

-o use_path_request_style (gumamit ng legacy API na istilo ng pagtawag)
I-enable ang compatibility sa mga S3-like na API na hindi sumusuporta sa virtual-host na kahilingan
estilo, sa pamamagitan ng paggamit ng mas lumang istilo ng kahilingan sa landas.

-o dbglevel (default="crit")
Itakda ang antas ng mensahe sa pag-debug. itakda ang halaga bilang crit(kritikal), err(error),
babala (babala), impormasyon (impormasyon) sa antas ng pag-debug. Ang default na antas ng pag-debug ay kritikal.
Kung tumakbo ang s3fs gamit ang "-d" na opsyon, ang antas ng debug ay nakatakdang impormasyon. Kapag nahuli ang s3fs
ang signal na SIGUSR2, ang antas ng debug ay bumpup.

-o curldbg - ilagay ang mensahe ng curl debug
Ilagay ang mensahe ng debug mula sa libcurl kapag tinukoy ang opsyong ito.

FUSE/MOUNT Opsyon

Karamihan sa mga generic na opsyon sa pag-mount na inilarawan sa 'man mount' ay sinusuportahan (ro, rw, suid,
nosuid, dev, nodev, exec, noexec, atime, noatime, sync async, dirsync). Ang mga filesystem ay
naka-mount sa '-onodev,nosuid' bilang default, na maaari lamang ma-override ng isang may pribilehiyo
user.

Mayroong maraming FUSE partikular na mga opsyon sa pag-mount na maaaring tukuyin. hal allow_other. Tingnan mo
ang FUSE README para sa buong set.

NOTA

Pinakamataas na laki ng file=64GB (limitado ng s3fs, hindi Amazon).

Kung pinagana sa pamamagitan ng opsyong "use_cache", awtomatikong pinapanatili ng s3fs ang isang lokal na cache ng mga file
sa folder na tinukoy ng use_cache. Sa tuwing kailangan ng s3fs na magbasa o magsulat ng file sa S3,
una nitong dina-download ang buong file nang lokal sa folder na tinukoy ng use_cache at
nagpapatakbo dito. Kapag tinawag ang fuse_release(), muling ia-upload ng s3fs ang file sa S3 kung ito
ay nabago. Gumagamit ang s3fs ng mga md5 checksum para mabawasan ang mga pag-download mula sa S3.

Ang folder na tinukoy ng use_cache ay isang lokal na cache lamang. Maaari itong tanggalin anumang oras.
Binubuo ito ng s3fs kapag hinihiling.

Gumagana ang local file caching sa pamamagitan ng pagkalkula at paghahambing ng mga md5 checksum (ETag HTTP header).

Nakikinabang ang s3fs /etc/mime.types upang "hulaan" ang "tama" na uri ng nilalaman batay sa pangalan ng file
extension. Nangangahulugan ito na maaari mong kopyahin ang isang website sa S3 at ihatid ito nang direkta mula sa S3
na may tamang mga uri ng nilalaman!

Gumamit ng s3fs online gamit ang mga serbisyo ng onworks.net