s3fs - מקוון בענן

תָכְנִית:

שֵׁם

S3FS - מערכת קבצים מבוססת FUSE מגובה על ידי Amazon S3

תַקצִיר

הַרכָּבָה
s3fs דלי[:/נתיב] נקודת הר [אפשרויות]

ביטול הרכבה
אומונט נקודת הר

תועלת מצב ( להסיר נקטע מרובה חלקים העלאה אובייקטים )
s3fs -u דלי

תיאור

s3fs היא מערכת קבצים FUSE המאפשרת לך לעלות דלי של אמזון S3 בתור מקומי
מערכת קבצים. הוא מאחסן קבצים באופן מקורי ושקוף ב-S3 (כלומר, אתה יכול להשתמש באחר
תוכניות לגישה לאותם קבצים).

אישור

לקובץ הסיסמה s3fs יש פורמט זה (השתמש בפורמט זה אם יש לך רק סט אחד של
תעודות):
accessKeyId:מפתח גישה סודי

אם יש לך יותר מסט אחד של אישורים, התחביר הזה מזוהה גם:
bucketName:accessKeyId:מפתח גישה סודי

ניתן לאחסן קובצי סיסמאות בשני מקומות:
/etc/passwd-s3fs [0640]
$HOME/.passwd-s3fs [0600]

אפשרויות

כללי אפשרויות
-h - עזרה
עזרה בהדפסה

--גִרְסָה
גרסה מודפסת

-f אפשרות FUSE בחזית - אל תפעל כדמון.

-s אפשרות FUSE עם חוטים בודדים (משבית את פעולת ריבוי ההליכים)

הר אפשרויות
כל האפשרויות s3fs חייבות לתת בצורה שבה "opt" הוא:
=

-o default_acl (default="private")
ברירת המחדל של ה-ACL המיועד להחלה על כל אובייקטי S3 הכתובים, למשל, "קריאה ציבורית".
לכל קובץ שנוצר יהיה ה-acl המשומר הזה. לכל קבצים מעודכנים יהיה גם את זה
ACL משומר!

-o ניסיונות חוזרים (ברירת מחדל = "2")
מספר הפעמים כדי לנסות שוב עסקת S3 שנכשלה.

-o use_cache (default="" שפירושו מושבת)
תיקיה מקומית לשימוש עבור מטמון קבצים מקומי.

-o del_cache - מחק מטמון קבצים מקומי
מחק מטמון קבצים מקומי כאשר s3fs מתחיל ויוצא.

-o storage_class (ברירת המחדל היא סטנדרטית)
חנות אובייקט עם מחלקת אחסון שצוינה. אפשרות זו מחליפה את האפשרות הישנה
use_rrs. ערכים אפשריים: standard, standard_ia ו-redundancy מופחת.

-o use_rrs (ברירת המחדל היא disable)
השתמש ב-Reduced Redundancy Storage של אמזון. לא ניתן לציין אפשרות זו עם
use_sse. (יכול לציין use_rrs=1 עבור גרסה ישנה) אפשרות זו הוחלפה על ידי
אפשרות מחלקת אחסון חדשה.

-o use_sse (ברירת המחדל היא disable)
ציין שלושה סוגים של הצפנת שרת-אתר של אמזון: SSE-S3, SSE-C או SSE-KMS. SSE-
S3 משתמש במפתחות הצפנה מנוהלים של Amazon S3, SSE-C משתמש בהצפנה שסופקה על ידי הלקוח
מפתחות, ו-SSE-KMS משתמש במפתח הראשי שאתה מנהל ב-AWS KMS. אתה יכול לציין
"use_sse" או "use_sse=1" מאפשרים סוג SSE-S3 (use_sse=1 הוא פרמטר מסוג ישן).
במקרה של הגדרת SSE-C, אתה יכול לציין "use_sse=custom", "use_sse=custom:
נתיב קובץ מפתח>" או "use_sse= "(רק
שצוין הוא פרמטר מסוג ישן). אתה יכול להשתמש ב-"c" בקיצור "מותאם אישית". המנהג
קובץ המפתח חייב להיות 600 הרשאות. הקובץ יכול לכלול כמה שורות, כל שורה היא אחת
מפתח SSE-C. השורה הראשונה בקובץ משמשת כמפתחות הצפנה שסופקו על ידי הלקוח עבור
העלאה ושינוי כותרות וכו'. אם יש כמה מפתחות אחרי השורה הראשונה, אלה
משמשים להורדת אובייקטים המוצפנים על ידי מפתח לא ראשון. כך שאתה יכול
שמור את כל מפתחות SSE-C בקובץ, כלומר היסטוריית מפתחות SSE-C. אם תפרט
"custom"("c") ללא נתיב קובץ, עליך להגדיר מפתח מותאם אישית לפי אפשרות load_sse_c או
סביבת AWSSSECKEYS.(בסביבה AWSSSECKEYS יש כמה מפתחות SSE-C עם ":"
מפריד.) אפשרות זו משמשת כדי להחליט על סוג ה-SSE. כך שאם לא
רוצה להצפין אובייקט בהעלאה, אבל אתה צריך לפענח אובייקט מוצפן ב
הורדה, אתה יכול להשתמש באפשרות load_sse_c במקום אפשרות זו. להגדרת SSE-
KMS, ציין "use_sse=kmsid" או "use_sse=kmsid: ". אתה יכול להשתמש ב-"k" עבור
קצר "kmsid". אם אתה סן ציין סוג SSE-KMS עם שלך ב-AWS KMS, אתה
יכול להגדיר אותו אחרי "kmsid:"(או "k:"). אם אתה מציין רק "kmsid"("k"), אתה צריך
הגדר סביבת AWSSSEKMSID איזה ערך הוא . אתה חייב להיות זהיר לגבי
שאינך יכול להשתמש במזהה KMS שאינו אותו אזור EC2.

-o load_sse_c - ציין מפתחות SSE-C
ציין את נתיב הקובץ של מפתחות ההצפנה לפענוח ב-
הורדה. אם אתה משתמש במפתח ההצפנה המותאם אישית בעת ההעלאה, אתה
ציין עם "use_sse=custom". לקובץ יש שורות רבות, שורה אחת פירושה מותאם אישית אחד
מַפְתֵחַ. כדי שתוכל לשמור את כל מפתחות SSE-C בקובץ, כלומר היסטוריית מפתחות SSE-C.
סביבת AWSSSECKEYS זהה לתוכן הקובץ הזה.

-o passwd_file (default="")
ציין את הנתיב לקובץ הסיסמה, שיש לו עדיפות על פני ה-
סיסמה ב-$HOME/.passwd-s3fs ו-/etc/passwd-s3fs

-o ahbe_conf (ברירת מחדל ="" שפירושה מושבת)
אפשרות זו מציינת את נתיב קובץ התצורה אשר הקובץ הוא ה-HTTP הנוסף
כותרת לפי סיומת קובץ (אובייקט).
פורמט קובץ התצורה הוא להלן:
-----------
שורה = [סיומת קובץ] כותרת HTTP [ערכים של HTTP]
סיומת קובץ = סיומת file(object), אם שדה זה ריק, זה אומר "*"(הכל
לְהִתְנַגֵד).
HTTP-header = שם כותרת HTTP נוסף
HTTP-values ​​= ערך נוסף של כותרת HTTP
-----------
לדוגמה:
-----------
‎.gz קידוד תוכן gzip
.Z דחיסה של קידוד תוכן
X-S3FS-MYHTTPHEAD myvalue
-----------
קובץ תצורה לדוגמה מועלה בספריית "בדיקה". אם אתה מציין זאת
אפשרות להגדרת כותרת HTTP "קידוד תוכן", אנא הקפידו על RFC 2616.

-o public_bucket (ברירת מחדל ="" שפירושה מושבת)
העלה אנונימית דלי ציבורי כאשר הוא מוגדר ל-1, מתעלם מה-$HOME/.passwd-s3fs ו-
קבצי /etc/passwd-s3fs.

-o connect_timeout (default="300" שניות)
זמן לחכות לחיבור לפני לוותר.

-o readwrite_timeout (default="60" שניות)
זמן לחכות בין פעילות קריאה/כתיבה לפני מוותרים.

-o max_stat_cache_size (ברירת מחדל = "1000" ערכים (בערך 4MB))
המספר המרבי של ערכים במטמון הסטטיסטי

-o stat_cache_expire (ברירת המחדל היא ללא תוקף)
ציין זמן תפוגה (שניות) עבור ערכים במטמון הסטטיסטי

-o enable_noobj_cache (ברירת המחדל היא disable)
אפשר ערכי מטמון עבור האובייקט שאינו קיים. s3fs תמיד צריך לבדוק
האם הקובץ (או ספריית המשנה) קיים תחת אובייקט (נתיב) כאשר s3fs עושה חלק
הפקודה, מכיוון ש-s3fs זיהה ספרייה שאינה קיימת ויש בה קבצים
או ספריות משנה תחת עצמו. זה מגדיל את בקשת ListBucket ועושה
ביצועים גרועים. אתה יכול לציין אפשרות זו עבור ביצועים, s3fs משנן
מטמון סטטי שהאובייקט (קובץ או ספרייה) אינו קיים.

-o no_check_certificate (כברירת מחדל אפשרות זו מושבתת)
אל תבדוק אישור ssl. אישור השרת לא ייבדק מול ה
רשויות אישורים זמינות.

-o nodnscache - השבת מטמון dns.
s3fs תמיד משתמש ב-dns cache, אפשרות זו הופכת את dns cache לבלתי זמין.

-o nosscache - השבת מטמון הפעלה של SSL.
s3fs משתמש תמיד ב-ssl session cache, אפשרות זו הופכת את ssl session cache לבלתי זמין.

-o multireq_max (default="20")
המספר המרבי של בקשות מקבילות לרישום אובייקטים.

-o parallel_count (default="5")
מספר הבקשות המקבילות להעלאת אובייקטים גדולים. העלאות s3fs גדולות
אובייקט (ברירת מחדל: מעל 20MB) על ידי בקשת פוסט מרובה חלקים, ושולח בקשות מקבילות.
אפשרות זו מגבילה את ספירת הבקשות המקבילות אשר s3fs מבקשות בבת אחת. זה
הכרחי כדי להגדיר ערך זה בהתאם למעבד ולפס רשת. אפשרות זו היא
מאוחר לאפשרות fd_page_size ומשפיע עליה.

-o fd_page_size(default="52428800"(50MB))
מספר גודל עמוד הניהול הפנימי עבור כל מתאר קובץ. עבור מתעכב
קריאה וכתיבה על ידי s3fs, s3fs מנהל עמודים המופרדים מהאובייקט.
לכל עמוד יש סטטוס שהנתונים כבר נטענו (או שעדיין לא נטענו). זֶה
אין לשנות את האפשרות כאשר אין לך בעיה בביצועים. זֶה
הערך משתנה אוטומטית על ידי parallel_count ו-multipart_size
values(fd_page_size value = parallel_count * multipart_size).

-o multipart_size(default="10"(10MB))
מספר של גודל חלק אחד בבקשת העלאה מרובה חלקים. גודל ברירת המחדל הוא
10MB(10485760 בייט), ערך זה הוא גודל מינימלי. ציין מספר של MB ומעלה
10(MB). אפשרות זו מאחרת לאפשרות fd_page_size ומשפיעה עליה.

-o כתובת אתר (ברירת מחדל="http://s3.amazonaws.com")
מגדיר את כתובת האתר לשימוש כדי לגשת לאמזון S3. אם אתה רוצה להשתמש ב-HTTPS, אתה יכול להגדיר
url=https://s3.amazonaws.com

-o נקודת קצה (default="us-east-1")
מגדיר את נקודת הקצה לשימוש. אם אפשרות זו לא צוינה, s3fs משתמש ב-"us-east-1"
אזור כברירת מחדל. אם ה-s3fs לא הצליח להתחבר לאזור שצוין על ידי
אפשרות זו, s3fs לא יכול היה לפעול. אבל אם לא תציין אפשרות זו, ואם אתה
לא יכול להתחבר לאזור ברירת המחדל, s3fs ינסה שוב להתחבר אוטומטית
לאזור השני. אז s3fs יכול לדעת את שם האזור הנכון, כי s3fs יכול
מצא אותו בשגיאה משרת S3.

-o sigv2 (ברירת המחדל היא גרסה 4 של חתימה)
מגדיר חתימה על בקשות AWS על ידי sing Signature גרסה 2.

-o mp_umask (ברירת המחדל היא "0000")
מגדיר umask עבור ספריית נקודת ההרכבה. אם האפשרות allow_other לא מוגדרת, s3fs
מאפשר גישה לנקודת ההרכבה רק לבעלים. במקרה ההפוך s3fs
מאפשר גישה לכל המשתמשים כברירת מחדל. אבל אם תגדיר את allow_other עם
אפשרות זו, אתה יכול לשלוט בהרשאות ההרשאות של נקודת ההרכבה על ידי זה
אפשרות כמו umask.

-o nomultipart - השבת העלאות מרובי חלק

-o enable_content_md5 (ברירת המחדל היא disable)
אימות נתונים שהועלו ללא ריבוי חלקים על ידי כותרת content-md5. אפשר לשלוח
כותרת "Content-MD5" בעת העלאת אובייקט ללא פרסום מרובה חלקים. אם זה
האפשרות מופעלת, יש לה כמה השפעות על ביצועים של s3fs בעת העלאה
חפץ קטן. מכיוון ש-s3fs תמיד בודק MD5 בעת העלאת אובייקט גדול, זה
האפשרות אינה משפיעה על אובייקט גדול.

-o iam_role (ברירת המחדל היא לא תפקיד)
הגדר את תפקיד IAM שיספק את האישורים מהמטא-נתונים של המופע.

-o noxmlns - השבת את מרחב ה-xml של רישום.
בטל רישום מרחב שם XML עבור תגובה של ListBucketResult ו
ListVersionsResult וכו'. מרחב שמות ברירת המחדל נבדק
"http://s3.amazonaws.com/doc/2006-03-01". אין לציין אפשרות זו כעת,
כי s3fs מחפש xmlns באופן אוטומטי לאחר v1.66.

-o nocopyapi - לאחסון אובייקטי תאימות לא שלם אחר.
עבור אחסון אובייקטים מבוזר שהוא תאימות S3 API ללא PUT(copy
API). אם תגדיר אפשרות זו, s3fs לא תשתמש ב-PUT עם "x-amz-copy-source"(copy
API). מכיוון שהתנועה גדלה פי 2-3 על ידי אפשרות זו, אנו לא ממליצים
זֶה.

-o norenameapi - לאחסון אובייקטי תאימות לא שלם אחר.
עבור אחסון אובייקטים מבוזר שהוא תאימות S3 API ללא PUT(copy
API). אפשרות זו היא תת-קבוצה של אפשרות nocopyapi. אפשרות nocopyapi לא
השתמש ב-Copy-api עבור כל הפקודות (למשל chmod, chown, touch, mv וכו'), אבל אפשרות זו
אינו משתמש ב-copy-api רק עבור פקודה שינוי שם (לדוגמה mv). אם אפשרות זו צוינה
עם nocopapi, ה-s3fs מתעלם מזה.

-o use_path_request_style (השתמש בסגנון קריאת API מדור קודם)
הפעל תאימות עם ממשקי API דמויי S3 שאינם תומכים בבקשת המארח הוירטואלי
סגנון, באמצעות סגנון בקשת הנתיב הישן יותר.

-o dbglevel (default="crit")
הגדר את רמת הודעת ניפוי הבאגים. הגדר ערך כקריט(קריטי), שגיאה(שגיאה),
אזהרה (אזהרה), מידע (מידע) לרמת ניפוי באגים. רמת ניפוי באגים כברירת מחדל היא קריטית.
אם s3fs פועל עם אפשרות "-d", רמת ניפוי הבאגים מוגדרת כמידע. כאשר s3fs תופס
האות SIGUSR2, רמת ניפוי הבאגים היא bumpup.

-o curldbg - הודעת ניפוי באגים של curl
שים את הודעת ניפוי הבאגים מ-libcurl כאשר אפשרות זו מצוינת.

נתיך/מוצב אפשרויות

רוב אפשרויות ההרכבה הגנריות המתוארות ב-'man mount' נתמכות (ro, rw, suid,
nosuid, dev, nodev, exec, noexec, atime, noatime, sync async, dirsync). מערכות קבצים הן
מותקן עם '-onodev,nosuid' כברירת מחדל, אשר ניתן לעקוף רק על ידי מיוחס
המשתמש.

ישנן הרבה אפשרויות הרכבה ספציפיות ל-FUSE שניתן לציין. למשל לאפשר_אחר. לִרְאוֹת
ה-FUSE README עבור הסט המלא.

אורים

גודל קובץ מקסימלי=64GB (מוגבל על ידי s3fs, לא אמזון).

אם מופעלת באמצעות אפשרות "use_cache", s3fs שומר אוטומטית על מטמון מקומי של קבצים
בתיקייה שצוינה על ידי use_cache. בכל פעם ש-s3fs צריך לקרוא או לכתוב קובץ ב-S3,
זה מוריד תחילה את כל הקובץ באופן מקומי לתיקיה שצוינה על ידי use_cache ו
פועל על זה. כאשר קוראים ל-fuse_release(), s3fs יעלה מחדש את הקובץ ל-S3 אם הוא
שונה. s3fs משתמש בסכימי בדיקה של md5 כדי למזער הורדות מ-S3.

התיקיה שצוינה על ידי use_cache היא רק מטמון מקומי. ניתן למחוק אותו בכל עת.
s3fs בונה אותו מחדש לפי דרישה.

שמירת קבצים מקומית במטמון פועלת על ידי חישוב והשוואה של סכימי בדיקה של md5 (כותרת HTTP של ETag).

s3fs ממנפים /etc/mime.types כדי "לנחש" את סוג התוכן "הנכון" בהתבסס על שם הקובץ
סיומת. זה אומר שאתה יכול להעתיק אתר ל-S3 ולהגיש אותו ישירות מ-S3
עם סוגי תוכן נכונים!

השתמש ב-s3fs באופן מקוון באמצעות שירותי onworks.net