s3fs - クラウドでオンライン

プログラム：

NAME

S3FS - Amazon S3 がサポートする FUSE ベースのファイル システム

SYNOPSIS

取り付け
s3fs バケット[:/パス] マウントポイント [オプション]

アンマウント
umount マウントポイント

ユーティリティ モード ( 削除します 中断された マルチパート アップロード オブジェクト )
s3fs -u バケット

DESCRIPTION

s3fs は、Amazon S3 バケットをローカルとしてマウントできる FUSE ファイルシステムです。
ファイルシステム。 ファイルを S3 にネイティブかつ透過的に保存します (つまり、他のファイルを使用できます)。
同じファイルにアクセスするためのプログラム)。

認証

s3fs パスワード ファイルの形式は次のとおりです (パスワードのセットが XNUMX つしかない場合は、この形式を使用します)。
資格）：
アクセスキー ID:シークレットアクセスキー

資格情報のセットが複数ある場合は、次の構文も認識されます。
バケット名:アクセスキー ID:シークレットアクセスキー

パスワード ファイルは、次の XNUMX つの場所に保存できます。
/etc/passwd-s3fs 【0640]
$HOME/.passwd-s3fs 【0600]

OPTIONS

一般的な オプション
-h - 助けて
ヘルプの印刷

- バージョン
印刷版

-f FUSE フォアグラウンド オプション - デーモンとして実行しないでください。

-s FUSE シングルスレッド オプション (マルチスレッド操作を無効にします)

mount オプション
すべての s3fs オプションは、「opt」が次の形式で指定されている必要があります。
=

-o default_acl (デフォルト="プライベート")
書き込まれたすべての S3 オブジェクトに適用される既定の既定の acl (例: "public-read")。
作成されたファイルには、この既定の ACL が含まれます。 更新されたファイルにもこれがあります
缶詰ACL適用！

-o 再試行 (デフォルト = "2")
失敗した S3 トランザクションを再試行する回数。

-o use_cache (無効を意味する default="")
ローカル ファイル キャッシュに使用するローカル フォルダー。

-o del_cache - ローカル ファイル キャッシュを削除する
s3fs の起動時と終了時にローカル ファイル キャッシュを削除します。

-o storage_class (デフォルトは標準)
指定されたストレージ クラスのオブジェクトを格納します。 このオプションは古いオプションを置き換えます
use_rrs. 可能な値: standard、standard_ia、reduced_redundancy。

-o use_rrs (デフォルトは無効)
Amazon の削減冗長ストレージを使用します。 このオプションは指定できません
use_sse. (古いバージョンでは use_rrs=1 を指定できます) このオプションは
新しい storage_class オプション。

-o use_sse (デフォルトは無効)
SSE-S3、SSE-C、または SSE-KMS の XNUMX 種類の Amazon のサーバー サイト暗号化を指定します。 SSE-
S3 は Amazon S3 が管理する暗号化キーを使用し、SSE-C は顧客提供の暗号化を使用します
キーであり、SSE-KMS は AWS KMS で管理するマスター キーを使用します。 指定できます
"use_sse" または "use_sse=1" は、SSE-S3 タイプを有効にします (use_sse=1 は古いタイプ パラメータです)。
SSE-C を設定する場合、「use_sse=custom」、「use_sse=custom」を指定できます。
キー ファイル パス>" または "use_sse= "（それだけ
指定されているのは古い型のパラメーターです)。 「カスタム」の略で「c」を使用できます。 習慣
キー ファイルは 600 パーミッションである必要があります。 ファイルにはいくつかの行を含めることができます。各行は XNUMX 行です
SSE-C キー。 ファイルの最初の行は、顧客提供の暗号化キーとして使用されます。
ヘッダーのアップロードと変更など。最初の行の後にいくつかのキーがある場合、それら
最初のキー以外で暗号化されたダウンロード オブジェクトが使用されます。 そのため、次のことができます
すべての SSE-C キーをファイルに保存します。つまり、SSE-C キーの履歴です。 指定すれば
"custom"("c") にファイル パスを指定しない場合、load_sse_c オプションでカスタム キーを設定するか、
AWSSSECKEYS 環境。(AWSSSECKEYS 環境には、「:」を含む SSE-C キーがいくつかあります。
このオプションは、SSE タイプを決定するために使用されます。 そうしないと
アップロード時にオブジェクトを暗号化したいが、暗号化されたオブジェクトを復号化する必要がある
ダウンロードする場合、このオプションの代わりに load_sse_c オプションを使用できます。 SSE-の設定について
KMS では、「use_sse=kmsid」または「use_sse=kmsid: ". "k" を使用できます
短い「kmsid」。 SSE-KMS タイプをAWS KMS では、
「kmsid:」(または「k:」) の後に設定できます。 "kmsid"("k") のみを指定する場合は、
値が AWSSSEKMSID 環境を設定します. 気をつけなければならないこと
同じ EC2 リージョンではない KMS ID は使用できません。

-o load_sse_c - SSE-C キーを指定する
で復号化するためのカスタム提供の暗号化キー ファイル パスを指定します。
ダウンロード中。 アップロード時にカスタム提供の暗号化キーを使用すると、
「use_sse=custom」で指定します。 ファイルには多くの行があり、XNUMX 行は XNUMX つのカスタムを意味します
鍵。 すべての SSE-C キーをファイルに保持できるようにするため、それが SSE-C キー履歴です。
AWSSSECKEYS 環境はこのファイルの内容と同じです。

-o passwd_file (デフォルト="")
パスワードファイルへのパスを指定します。
$HOME/.passwd-s3fs および /etc/passwd-s3fs のパスワード

-o ahbe_conf (default="" は無効を意味します)
このオプションは、追加の HTTP ファイルである構成ファイルのパスを指定します。
ファイル（オブジェクト）拡張子によるヘッダー。
構成ファイルの形式は次のとおりです。
-----------
line = [ファイル サフィックス] HTTP ヘッダー [HTTP 値]
file suffix = file(object) suffix。このフィールドが空の場合、「*」(すべて
オブジェクト)。
HTTP-header = 追加の HTTP ヘッダー名
HTTP-values = 追加の HTTP ヘッダー値
-----------
サンプル：
-----------
.gz コンテンツ エンコーディング gzip
.Z Content-Encoding 圧縮
X-S3FS-MYHTTPHEAD myvalue
-----------
サンプルの設定ファイルが「test」ディレクトリにアップロードされています。 これを指定すると
"Content-Encoding" HTTP ヘッダーを設定するためのオプションは、RFC 2616 に注意してください。

-o public_bucket (default="" は無効を意味します)
1 に設定するとパブリック バケットを匿名でマウントし、$HOME/.passwd-s3fs を無視し、
/etc/passwd-s3fs ファイル。

-o connect_timeout (デフォルト = "300" 秒)
あきらめる前に接続を待つ時間。

-o readwrite_timeout (デフォルト = "60" 秒)
あきらめる前に読み取り/書き込みアクティビティ間で待機する時間。

-o max_stat_cache_size (default="1000" エントリ (約 4MB))
統計キャッシュ内のエントリの最大数

-o stat_cache_expire (デフォルトは無期限)
統計キャッシュ内のエントリの有効期限 (秒) を指定します

-o enable_noobj_cache (デフォルトは無効)
存在しないオブジェクトのキャッシュ エントリを有効にします。 s3fs は常にチェックする必要があります
s3fs が何らかの処理を行うときに、オブジェクト (パス) の下にファイル (またはサブディレクトリ) が存在するかどうか
コマンド、s3fs が存在しないディレクトリを認識し、ファイルがあるため
またはそれ自体の下のサブディレクトリ。 ListBucket リクエストを増やして作る
性能悪い。 パフォーマンスのためにこのオプションを指定できます。s3fs は
オブジェクト (ファイルまたはディレクトリ) が存在しないことを示す stat キャッシュ。

-o no_check_certificate (デフォルトでは、このオプションは無効になっています)
SSL 証明書をチェックしません。 サーバー証明書は、
利用可能な認証局。

-o nodnscache - DNS キャッシュを無効にします。
s3fs は常に dns キャッシュを使用します。このオプションは dns キャッシュを無効にします。

-o nosscache - SSL セッション キャッシュを無効にします。
s3fs は常に ssl セッション キャッシュを使用します。このオプションは、ssl セッション キャッシュを無効にします。

-o multireq_max (デフォルト = "20")
オブジェクトを一覧表示するための並列リクエストの最大数。

-o parallel_count (デフォルト = "5")
Big Object をアップロードするための並列リクエストの数。 s3fs アップロードのサイズが大きい
マルチパート ポスト リクエストでオブジェクト (デフォルト: 20MB 以上) を送信し、並列リクエストを送信します。
このオプションは、s3fs が一度にリクエストする並列リクエスト数を制限します。 それは
CPU やネットワーク帯域に応じて、この値を設定する必要があります。 このオプションは
fd_page_size オプションに関連し、それに影響します。

-o fd_page_size(default="52428800"(50MB))
各ファイル記述子の内部管理ページ サイズの数。 遅延の場合
s3fs による読み込みと書き込み、s3fs はオブジェクトとは別のページを管理します。
各ページには、データが既にロードされている (またはまだロードされていない) ステータスがあります。 これ
パフォーマンスに問題がない場合は、オプションを変更しないでください。 これ
値は、parallel_count と multipart_size によって自動的に変更されます
値 (fd_page_size 値 = parallel_count * multipart_size)。

-o multipart_size(default="10"(10MB))
マルチパート アップロード リクエストの XNUMX つのパート サイズの数。 デフォルトのサイズは
10MB(10485760byte)、この値は最小サイズです。 MB以上の数値を指定
10(メガバイト)。 このオプションは fd_page_size オプションと関連しており、それに影響します。

-o URL (デフォルト =http://s3.amazonaws.com")
Amazon S3 へのアクセスに使用する URL を設定します。 HTTPS を使用する場合は、設定できます。
URL=https://s3.amazonaws.com

-o エンドポイント (デフォルト = "us-east-1")
使用するエンドポイントを設定します。 このオプションが指定されていない場合、s3fs は「us-east-1」を使用します。
デフォルトとしてリージョン。 s3fs が指定されたリージョンに接続できなかった場合
このオプションでは、s3fs を実行できませんでした。 ただし、このオプションを指定しないと、
デフォルトのリージョンに接続できない場合、s3fs は自動的に接続を再試行します
他の地域へ。 したがって、s3fs は正しいリージョン名を知ることができます。
S3サーバーからのエラーでそれを見つけてください。

-o sigv2 (デフォルトは署名バージョン 4)
署名バージョン 2 を使用して署名 AWS リクエストを設定します。

-o mp_umask (デフォルトは「0000」)
マウント ポイント ディレクトリの umask を設定します。 allow_other オプションが設定されていない場合、s3fs
所有者のみにマウント ポイントへのアクセスを許可します。 逆の場合 s3fs
デフォルトでは、すべてのユーザーにアクセスを許可します。 しかし、 allow_other を設定すると
このオプションを使用すると、マウント ポイントのパーミッションを制御できます。
umask のようなオプション。

-o nomultipart - マルチパートアップロードを無効にする

-o enable_content_md5 (デフォルトは無効)
content-md5 ヘッダーによるマルチパートなしでアップロードされたデータを検証します。 送信可能
マルチパート投稿なしでオブジェクトをアップロードするときの「Content-MD5」ヘッダー。 これなら
オプションを有効にすると、アップロード時の s3fs のパフォーマンスに影響します。
小さな物体。 大きなオブジェクトをアップロードするとき、s3fs は常に MD5 をチェックするため、これは
オプションはラージ オブジェクトには影響しません。

-o iam_role (デフォルトはロールなし)
インスタンスのメタデータから認証情報を提供する IAM ロールを設定します。

-o noxmlns - xml 名前空間の登録を無効にします。
ListBucketResult の応答に対する xml 名前空間の登録を無効にし、
ListVersionsResult など。デフォルトの名前空間はから検索されます
"http://s3.amazonaws.com/doc/2006-03-01"。このオプションは現在指定しないでください。
v3 以降、s1.66fs は自動的に xmlns を検索するためです。

-o nocopyapi - その他の不完全な互換性オブジェクト ストレージ用。
PUT(copy) なしの互換 S3 API である分散オブジェクト ストレージ
API)。 このオプションを設定すると、s3fs は「x-amz-copy-source」(copy
API)。 このオプションではトラフィックが 2 ～ 3 倍になるため、お勧めしません


-o norenameapi - その他の不完全な互換性オブジェクト ストレージ用。
PUT(copy) なしの互換 S3 API である分散オブジェクト ストレージ
API)。 このオプションは、nocopyapi オプションのサブセットです。 nocopyapi オプションは
すべてのコマンド (chmod、chown、touch、mv など) には copy-api を使用しますが、このオプションは
名前の変更コマンド (例: mv) のみに copy-api を使用しません。 このオプションを指定した場合
nocopapi を使用すると、s3fs はそれを無視します。

-o use_path_request_style (従来の API 呼び出しスタイルを使用)
仮想ホスト要求をサポートしない S3 のような API との互換性を有効にする
古いパス要求スタイルを使用して、スタイル。

-o dbglevel (デフォルト = "クリティカル")
デバッグ メッセージ レベルを設定します。 値を crit(クリティカル)、err(エラー)、
warn(警告)、info(情報)からデバッグレベルまで。 デフォルトのデバッグ レベルは重要です。
「-d」オプションでs3fsを実行すると、デバッグレベルが設定された情報になります。 s3fsがキャッチするとき
シグナル SIGUSR2、デバッグ レベルはバンプアップです。

-o curldbg - curl デバッグ メッセージを出力する
このオプションを指定すると、libcurl からのデバッグ メッセージを置きます。

ヒューズ/マウント OPTIONS

「man mount」で説明されている一般的なマウント オプションのほとんどがサポートされています (ro、rw、suid、
nosuid、dev、nodev、exec、noexec、atime、noatime、sync async、dirsync)。 ファイルシステムは
デフォルトで「-onodev,nosuid」でマウントされ、特権によってのみオーバーライドできます
ユーザー。

指定できる FUSE 固有のマウント オプションは多数あります。 たとえば、allow_other。 見る
フルセットの FUSE README。

注意事項

最大ファイル サイズ = 64 GB (Amazon ではなく s3fs によって制限されます)。

「use_cache」オプションで有効にすると、s3fs はファイルのローカル キャッシュを自動的に維持します。
use_cache で指定されたフォルダー内。 s3fs が S3 上のファイルを読み書きする必要があるときはいつでも、
まず、use_cache で指定されたフォルダーにファイル全体をローカルにダウンロードし、
その上で動作します。 fuse_release() が呼び出されると、s3fs はファイルを S3 に再アップロードします。
変更されました。 s3fs は md5 チェックサムを使用して、S3 からのダウンロードを最小限に抑えます。

use_cache で指定されたフォルダーは単なるローカル キャッシュです。 いつでも削除できます。
s3fs はオンデマンドで再構築します。

ローカル ファイル キャッシュは、md5 チェックサム (ETag HTTP ヘッダー) を計算して比較することによって機能します。

s3fs の活用 /etc/mime.types ファイル名に基づいて「正しい」コンテンツタイプを「推測」する
拡大。 これは、Web サイトを S3 にコピーして、S3 から直接提供できることを意味します。
正しいコンテンツタイプで！

onworks.net サービスを使用してオンラインで s3fs を使用する