lit-3.6 - מקוון בענן

תָכְנִית:

שֵׁם

lit - LLVM Integrated Tester

תַקצִיר

מיטה [אפשרויות] [בדיקות]

תיאור

מיטה הוא כלי נייד לביצוע חבילות בדיקה בסגנון LLVM ו-Clang, המסכם את שלהן
תוצאות, ומתן אינדיקציה לכשלים. מיטה נועד להיות קל משקל
כלי בדיקה עם ממשק משתמש פשוט ככל האפשר.

מיטה יש להפעיל עם אחד או יותר בדיקות להפעלה שצוין בשורת הפקודה. מבחנים יכולים
להיות קבצי בדיקה בודדים או ספריות לחיפוש בדיקות (ראה מבחן גילוי).

כל בדיקה שצוינה תתבצע (ככל הנראה במקביל) ולאחר שכל הבדיקות יתבצעו
הופעל מיטה ידפיס מידע מסכם על מספר המבחנים שעברו או נכשלו
(ראה מבחן סטָטוּס תוצאות). מיטה התוכנית תפעל עם קוד יציאה שאינו אפס אם קיים
מבחנים נכשלים.

כברירת מחדל מיטה ישתמש בתצוגת התקדמות תמציתית וידפיס רק תקציר
מידע על כשלים בבדיקה. לִרְאוֹת תפוקה אפשרויות עבור אפשרויות שליטה על מיטה
תצוגת התקדמות ופלט.

מיטה כולל גם מספר אפשרויות לשליטה על אופן ביצוע הבדיקות (ספציפי
התכונות עשויות להיות תלויות בפורמט הבדיקה המסוים). לִרְאוֹת ביצוע אפשרויות במשך יותר
מידע.

לבסוף, מיטה תומך גם באפשרויות נוספות להפעלת תת-קבוצה של האפשרויות בלבד
שצוין בשורת הפקודה, ראה בחירת אפשרויות לקבלת מידע נוסף.

משתמשים המעוניינים ב מיטה אדריכלות או עיצוב א מיטה יישום בדיקות צריך
לִרְאוֹת מוּאָר תשתיות.

כללי אפשרויות

-ח, - עזרה
תראה את ה מיטה הודעת עזרה.

-j N, --threads=N
הפעלה N בדיקות במקביל. כברירת מחדל, זה נבחר אוטומטית כדי להתאים את
מספר המעבדים הזמינים שזוהו.

--config-prefix=NAME
חיפוש שֵׁם.cfg ו שֵׁם.site.cfg מתי חיפוש ל מבחן סוויטות, במקום of
lit.cfg ו lit.site.cfg.

--param שם --param שם = VALUE
הוסף פרמטר המוגדר על ידי המשתמש שֵׁם עם הנתון ערך (או המחרוזת הריקה אם לא
נָתוּן). המשמעות והשימוש של פרמטרים אלה תלויים בחבילת הבדיקה.

תפוקה אפשרויות

-q, --שֶׁקֶט
דיכוי כל פלט למעט כשלים בבדיקה.

-ס, --תַמצִיתִי
הצג פחות פלט, למשל אל תראה מידע על מבחנים שעוברים.

-ב, --מִלוּלִי
הצג מידע נוסף על כשלים בבדיקה, למשל את כל פלט הבדיקה במקום זאת
רק על תוצאת הבדיקה.

--אין-התקדמות-סרגל
אל תשתמש בסרגל ההתקדמות המבוסס על קללות.

--הצג-לא נתמך
הצג את השמות של בדיקות שאינן נתמכות.

--show-xfail
הצג את שמות המבחנים שהיו צפויים להיכשל.

ביצוע אפשרויות

--path=PATH
ציין תוספת נתיב לשימוש בעת חיפוש קובצי הפעלה בבדיקות.

--vg הפעל בדיקות בודדות תחת valgrind (באמצעות כלי memcheck). ה
--error-exitcode טיעון עבור valgrind משמש כך כישלונות valgrind יגרמו
התוכנית לצאת עם מצב שאינו אפס.

כאשר אפשרות זו מופעלת, מיטה יספק גם אוטומטית "ולגרינד"
תכונה שניתן להשתמש בה כדי להשבית באופן מותנה (או לצפות לכשל ב) מסוימות
בדיקות.

--vg-arg=ARG
מתי --vg משמש, ציין ארגומנט נוסף למעבר אליו ולגרינד עצמו.

--vg-דליפה
מתי --vg בשימוש, אפשר בדיקות דליפות זיכרון. כאשר אפשרות זו מופעלת, מיטה
יספק גם אוטומטית "vg_leak" תכונה שניתן להשתמש בה
להשבית באופן מותנה (או לצפות לכישלון) בבדיקות מסוימות.

--מבחני זמן
עקוב אחר זמן הקיר שלוקח לביצוע בדיקות בודדות וכולל את התוצאות
פלט הסיכום. זה שימושי כדי לקבוע אילו בדיקות בחבילת בדיקות
לקחת את מירב הזמן לביצוע. שימו לב שהאפשרות הזו שימושית ביותר עם -j 1.

בחירת אפשרויות

--max-tests=N
לרוץ לכל היותר N בדיקות ולאחר מכן להפסיק.

--max-time=N
להוציא לכל היותר N שניות (בערך) להפעיל בדיקות ולאחר מכן להפסיק.

--לְעַרְבֵּב
הפעל את הבדיקות בסדר אקראי.

נוֹסָף אפשרויות

--לנפות
הפעלה מיטה במצב ניפוי באגים, עבור ניפוי בעיות תצורה ו מיטה עצמו.

--שואו-סוויטות
רשום את חבילות הבדיקה שהתגלו וצא.

--הצג-מבחנים
רשום את כל הבדיקות שהתגלו וצא.

יְצִיאָה סטָטוּס

מיטה ייצא עם קוד יציאה של 1 אם יש תוצאות FAIL או XPASS. אחרת,
הוא ייצא עם המצב 0. קודי יציאה אחרים משמשים לכשלים שאינם קשורים לבדיקה
(לדוגמה שגיאת משתמש או שגיאת תוכנית פנימית).

מבחן גילוי

התשומות עברו ל מיטה יכול להיות בדיקות בודדות, או ספריות שלמות או
היררכיות של בדיקות להרצה. מתי מיטה מופעל, הדבר הראשון שהוא עושה הוא להמיר את
קלט לרשימה מלאה של בדיקות להפעלה כחלק מהן מבחן תגלית.

ב מיטה מודל, כל מבחן חייב להתקיים בתוך חלק מבחן מערכת. מיטה פותר את התשומות
שצוין בשורת הפקודה כדי לבדוק חבילות על ידי חיפוש כלפי מעלה מנתיב הקלט
עד שהוא מוצא א lit.cfg or lit.site.cfg קוֹבֶץ. קבצים אלה משמשים גם כסמן של מבחן
סוויטות וכקובצי תצורה אשר מיטה עומס על מנת להבין כיצד למצוא ו
הפעל את הבדיקות בתוך חבילת הבדיקה.

פעם מיטה מיפת את הקלטים לחבילות בדיקה, הוא חוצה את רשימת הכניסות שהוסיפו
בדיקות לקבצים בודדים וחיפוש רקורסיבי אחר בדיקות בספריות.

התנהגות זו מקלה על ציון תת-קבוצת בדיקות להפעלה, ועדיין מאפשרת את
תצורת חבילת בדיקות כדי לשלוט בדיוק כיצד בדיקות מתפרשות. בנוסף, מיטה
תמיד מזהה בדיקות לפי חבילת הבדיקות שבהן הם נמצאים, והנתיב היחסי שלהם בתוך
חבילת בדיקות. עבור פרויקטים מוגדרים כהלכה, זה מאפשר מיטה לספק נוח
ותמיכה גמישה לבנייה מחוץ לעץ.

מבחן סטָטוּס תוצאות

כל בדיקה מניבה בסופו של דבר אחת משש התוצאות הבאות:

PASS
המבחן הצליח.

XFAIL
המבחן נכשל, אבל זה צפוי. זה משמש עבור פורמטי בדיקה המאפשרים
מציין שבדיקה לא עובדת כרגע, אבל רוצה להשאיר אותה בחבילת הבדיקה.

XPASS
המבחן הצליח, אך היה צפוי להיכשל. זה משמש עבור בדיקות שהיו
שצוין כצפוי להיכשל, אך כעת הם מצליחים (בדרך כלל בגלל התכונה
הבדיקה הייתה שבורה ותוקנה).

FAIL
המבחן נכשל.

לא פתור
לא ניתן היה לקבוע את תוצאת הבדיקה. לדוגמה, זה מתרחש כאשר הבדיקה יכולה
לא יופעל, הבדיקה עצמה לא חוקית, או שהבדיקה נקטעה.

לא נתמך
הבדיקה אינה נתמכת בסביבה זו. זה משמש על ידי פורמטי בדיקה שיכולים
לדווח על בדיקות לא נתמכות.

בהתאם לפורמט הבדיקה, בדיקות עשויות להפיק מידע נוסף על מצבן
(בדרך כלל רק לכשלים). ראה את תפוקה אפשרויות למידע נוסף.

מוּאָר תשתיות

סעיף זה מתאר את מיטה בדיקת ארכיטקטורה עבור משתמשים המעוניינים ליצור חדש
מיטה בדיקת יישום, או הרחבת יישום קיים.

מיטה proper היא בעיקר תשתית לגילוי והרצה של בדיקות שרירותיות, ו
לחשוף ממשק נוח אחד לבדיקות אלו. מיטה עצמו לא יודע לרוץ
בדיקות, אלא ההיגיון הזה מוגדר על ידי מבחן סוויטות.

מבחן סוויטות
כפי שתואר ב מבחן גילוי, בדיקות תמיד ממוקמות בתוך a מבחן מערכת. חבילות בדיקה
משמשים להגדרת פורמט המבחנים שהם מכילים, ההיגיון למציאת אותם מבחנים,
וכל מידע נוסף להפעלת הבדיקות.

מיטה מזהה חבילות בדיקה כספריות המכילות lit.cfg or lit.site.cfg קבצים (ראה
גם --config-prefix). חבילות בדיקה מתגלות בתחילה על ידי חיפוש רקורסיבי למעלה
היררכיית הספריות של כל קבצי הקלט שהועברו בשורת הפקודה. אתה יכול להשתמש
--שואו-סוויטות כדי להציג את חבילות הבדיקה שהתגלו בעת ההפעלה.

ברגע שמתגלה חבילת בדיקה, קובץ התצורה שלה נטען. קבצי התצורה עצמם הם
מודולי Python שיבוצעו. כאשר קובץ התצורה מבוצע, שניים חשובים
משתנים גלובליים מוגדרים מראש:

lit_config
הגלובלי מיטה אובייקט תצורה (א LitConfig מופע), שמגדיר את המובנה
בדיקת פורמטים, פרמטרי תצורה גלובליים ושגרות עוזרות אחרות עבור
הטמעת תצורות בדיקה.

config
זהו אובייקט התצורה (א TestingConfig מופע) עבור חבילת הבדיקה, שבה
קובץ התצורה צפוי להתאכלס. המשתנים הבאים זמינים גם ב-
config אובייקט, שחלקם חייבים להיות מוגדרים על ידי התצורה ואחרים הם אופציונליים או
מוגדר מראש:

שם [נדרש] שם חבילת הבדיקות, לשימוש בדוחות ואבחון.

test_format [נדרש] אובייקט פורמט הבדיקה אשר ישמש לגילוי והרצה
בדיקות בחבילת הבדיקות. בדרך כלל זה יהיה פורמט בדיקה מובנה הזמין מ
מה היא lit.פורמטים מודול.

test_source_root נתיב מערכת הקבצים לשורש חבילת הבדיקה. עבור בנייה מחוץ לכיוון
זו הספרייה שתיסרק לבדיקות.

test_exec_root עבור בנייה מחוץ ל-dir, הנתיב לחבילת הבדיקה השורש בתוך האובייקט
מַדרִיך. זה המקום שבו יערכו בדיקות ויוצבו קבצי פלט זמניים.

סביבה מילון המייצג את הסביבה לשימוש בעת ביצוע בדיקות ב
הסוויטה.

סיומות בעד מיטה בדיקת פורמטים הסורקים ספריות לבדיקות, משתנה זה הוא רשימה
של סיומות לזיהוי קובצי בדיקה. בשימוש ע"י: ShTest.

החלפות בעד מיטה פורמטי בדיקה המחליפים משתנים בסקריפט בדיקה, ה
רשימת ההחלפות שיש לבצע. בשימוש ע"י: ShTest.

אינו נתמך סמן ספרייה לא נתמכת, כל הבדיקות בתוכה ידווחו כ
אינו נתמך. בשימוש ע"י: ShTest.

הורה תצורת האב, זהו אובייקט התצורה של הספרייה המכילה
חבילת הבדיקה, או אין.

שורש תצורת השורש. זה העליון ביותר מיטה תצורה בפרויקט.

תקלה בצינור בדרך כלל בדיקה באמצעות צינור מעטפת נכשלת אם אחת מהפקודות על הצינור
לְהִכָּשֵׁל. אם זה לא רצוי, הגדרת משתנה זה ל-false גורמת לבדיקה להיכשל בלבד
אם הפקודה האחרונה בצינור נכשלת.

מבחן גילוי
ברגע שחבילות הבדיקה יאותרו, מיטה חוצה באופן רקורסיבי את ספריית המקור (בהמשך
test_source_root) מחפש מבחנים. מתי מיטה נכנס לספריית משנה, הוא בודק תחילה
ראה אם ​​חבילת בדיקה מקוננת מוגדרת בספרייה זו. אם כן, הוא טוען את חבילת הבדיקות הזו
באופן רקורסיבי, אחרת הוא יוצר תצורת בדיקה מקומית עבור הספרייה (ראה מקומי
תְצוּרָה קבצים).

בדיקות מזוהות לפי חבילת הבדיקות שבהן הם כלולים והנתיב היחסי
בתוך הסוויטה ההיא. שים לב שהנתיב היחסי עשוי שלא להתייחס לקובץ בפועל בדיסק;
פורמטים מסוימים של בדיקה (כגון GoogleTest) מגדירים "בדיקות וירטואליות" שיש להן נתיב ש
מכיל גם את הנתיב לקובץ הבדיקה בפועל וגם תת נתיב לזיהוי הבדיקה הוירטואלית.

מקומי תְצוּרָה קבצים
מתי מיטה טוען תת-ספרייה בחבילת בדיקה, הוא יוצר תצורת בדיקה מקומית
על ידי שיבוט התצורה עבור כיוון האב --- השורש של תצורה זו
שרשרת תמיד תהיה חבילת מבחן. לאחר שיבוט תצורת הבדיקה מיטה בודק א
lit.local.cfg קובץ בספריית המשנה. אם קיים, קובץ זה ייטען ויכול להיות
משמש להתמחות התצורה עבור כל ספרייה בודדת. מתקן זה יכול להיות
משמש להגדרת ספריות משנה של בדיקות אופציונליות, או לשינוי תצורה אחרת
פרמטרים --- למשל, כדי לשנות את פורמט הבדיקה, או הסיומות המזהות את הבדיקה
קבצים.

מבחן לָרוּץ תפוקה פורמט
השמיים מיטה הפלט לריצת בדיקה תואם את הסכימה הבאה, הן בקצרה והן במילים
מצבים (אם כי במצב קצר לא יוצגו קווי PASS). סכימה זו נבחרה
שיהיה קל יחסית לנתח בצורה מהימנה על ידי מכונה (לדוגמה ביומן buildbot
גרידה), וליצירת כלים אחרים.

כל תוצאת בדיקה צפויה להופיע בשורה התואמת:

: ( )

איפה הוא תוצאת בדיקה סטנדרטית כגון PASS, FAIL, XFAIL, XPASS,
לא נפתר, או לא נתמך. קודי תוצאות הביצועים של IMPROVED ו-REGRESSED הם
גם מותר.

השמיים <מבחן שם> השדה יכול להיות מורכב ממחרוזת שרירותית שאינה מכילה שורה חדשה.

השמיים <התקדמות מידע> ניתן להשתמש בשדה כדי לדווח על מידע על התקדמות כגון (1/300) או
יכול להיות ריק, אבל גם כשהם ריק, יש צורך בסוגריים.

כל תוצאת בדיקה עשויה לכלול מידע יומן נוסף (רב שורות) בהמשך
פורמט:

בדיקה '( )'
... הודעת יומן ...


איפה <מבחן שם> צריך להיות השם של בדיקה שדווחה קודם לכן, < יומן מתווה> הוא
מחרוזת של תווים "*". at הכי פחות אורך ארבעה תווים (האורך המומלץ הוא 20), ו
<נגרר מתווה> הוא מחרוזת שרירותית (לא מנותחת).

להלן דוגמה לפלט של ריצת מבחן המורכב מארבעה בדיקות A, B, C ו-
D, והודעת יומן עבור מבחן C שנכשל:

PASS: A (1 מתוך 4)
PASS: B (2 מתוך 4)
נכשל: C (3 מתוך 4)
******************** מבחן 'ג' נכשל ********************
מבחן 'C' נכשל כתוצאה מקוד יציאה 1.
********************
PASS: D (4 מתוך 4)

מוּאָר דוגמא בדיקות
השמיים מיטה ההפצה מכילה מספר יישומים לדוגמה של חבילות בדיקה ב-
בדיקות לדוגמה במדריך.

השתמש ב-lit-3.6 באינטרנט באמצעות שירותי onworks.net