lit-3.5 - クラウドでオンライン

プログラム：

NAME

点灯 - LLVM統合テスター

SYNOPSIS

リット [オプション] [テスト]

DESCRIPTION

リット は、LLVM および Clang スタイルのテスト スイートを実行するためのポータブル ツールであり、それらのテスト スイートを要約したものです。
結果を表示し、失敗の兆候を提供します。 リット 軽量になるように設計されています
可能な限りシンプルなユーザー インターフェイスを備えたテスト ツール。

リット XNUMX つ以上で実行する必要があります テスト コマンドラインで指定して実行します。 テストでできること
テストを検索するための個別のテスト ファイルまたはディレクトリのいずれかになります (「 テスト 発見).

指定された各テストは (場合によっては並行して) 実行され、すべてのテストが完了すると、
実行されました リット 成功または失敗したテストの数に関する概要情報を出力します。
（参照してください テスト ステータス 結果）。 ザ リット プログラムは、ゼロ以外の終了コードがあれば実行されます。
テストは失敗します。

デフォルトでは リット 簡潔な進行状況表示を使用し、概要のみを出力します。
テストの失敗に関する情報。 見る 出力 OPTIONS を制御するオプションについては、 リット
進行状況の表示と出力。

リット テストの実行方法を制御するためのオプションも多数含まれています (特定の
機能は特定のテスト形式に依存する場合があります)。 見る 実行 OPTIONS 詳細については、
情報を表示します。

最後に、 リット オプションのサブセットのみを実行するための追加オプションもサポートします
コマンドラインで指定します。を参照してください。 SELECTION OPTIONS をご覧ください。

に興味のあるユーザーは、 リット 建築とか設計とか リット テストの実装は次のとおりです
LIT インフラ.

全般的な OPTIONS

-NS、 - 助けて
表示します リット ヘルプメッセージ。

-j N, --スレッド=N
ラン N 並行してテストします。 デフォルトでは、これは、
検出された使用可能な CPU の数。

--config-prefix=名前
検索する NAME.cfgの と NAME.site.cfg いつ 検索 for test スイート、 を取得する必要がある者 of
点灯.cfg と lit.site.cfg.

--パラメータ 名前、 --パラメータ 名前=値
ユーザー定義パラメータを追加する NAME 与えられた VALUE (そうでない場合は空の文字列
与えられました）。 これらのパラメータの意味と使用法はテスト スイートによって異なります。

出力 OPTIONS

-NS、 - 静かな
テスト失敗以外の出力を抑制します。

-s、 --簡潔な
表示する出力を減らします。たとえば、合格したテストに関する情報を表示しません。

-v、 -詳細
テストの失敗に関する詳細情報を表示します。たとえば、代わりにテスト出力全体を表示します。
テスト結果だけです。

--進行状況バーなし
Curses ベースのプログレスバーを使用しないでください。

実行 OPTIONS

--path=パス
追加の指定 パス テストで実行可能ファイルを検索するときに使用します。

--vg valgrind で個別のテストを実行します (memcheck ツールを使用)。 の
--エラー終了コード valgrind の引数は、valgrind の失敗が原因で使用されるように使用されます。
プログラムはゼロ以外のステータスで終了します。

このオプションを有効にすると、 リット も自動的に提供されます。バルグラインド"
特定の機能を条件付きで無効にする (または失敗を予期する) ために使用できる機能
テスト。

--vg-arg=ARG
日時 --vg を使用する場合は、渡す追加の引数を指定します バルグラインド そのもの。

--vg-leak
日時 --vg を使用する場合は、メモリ リーク チェックを有効にします。 このオプションを有効にすると、 リット
も自動的に提供されます。vg_leak」に使用できる機能
特定のテストを条件付きで無効にする (または失敗を予期する)。

--time-tests
個々のテストの実行にかかった時間を追跡し、結果を含めます。
概要出力。 これは、テスト スイート内のどのテストを決定するのに役立ちます
実行に最も時間がかかります。 このオプションは次の場合に最も役立ちます。 -j 1.

SELECTION OPTIONS

--max-tests=N
せいぜい実行する N テストしてから終了します。

--max-time=N
せいぜい支出する N (およそ) 秒でテストを実行してから終了します。

- シャッフル
テストをランダムな順序で実行します。

付加 OPTIONS

- デバッグ
ラン リット デバッグ モードでは、設定の問題をデバッグするため、 リット そのもの。

--ショースイート
検出されたテスト スイートを一覧表示して終了します。

--show-tests
検出されたすべてのテストをリストして終了します。

EXIT ステータス

リット 結果が FAIL または XPASS の場合、終了コード 1 で終了します。 さもないと、
ステータス 0 で終了します。他の終了コードは、テストに関連しない失敗に使用されます。
(ユーザーエラーや内部プログラムエラーなど)。

テスト 発見

に渡される入力 リット 個々のテスト、ディレクトリ全体、または
実行するテストの階層。 いつ リット 起動すると、最初に変換されます。
の一部として実行するテストの完全なリストへの入力 test 発見.

リット モデルでは、すべてのテストが何らかの内部に存在する必要があります。 test スイート. リット 入力を解決します
コマンドラインで指定して、入力パスから上向きに検索してスイートをテストします
が見つかるまで 点灯.cfg or lit.site.cfg ファイル。 これらのファイルはテストのマーカーとして機能します
スイートおよび構成ファイルとして リット 検索方法を理解するためにロードします。
テスト スイート内でテストを実行します。

Once リット 入力をテスト スイートにマッピングしました。追加する入力のリストを走査します。
個々のファイルをテストし、ディレクトリ内のテストを再帰的に検索します。

この動作により、実行するテストのサブセットを簡単に指定できると同時に、
テスト スイートの構成を使用して、テストの解釈方法を正確に制御します。 加えて、 リット
テストは常に、テストが含まれるテスト スイートと、テスト内の相対パスによって識別されます。
テストスイート。 適切に構成されたプロジェクトの場合、これにより、 リット 便利なものを提供する
ツリー外のビルドに対する柔軟なサポート。

テスト ステータス 結果

各テストは最終的に次の XNUMX つの結果のいずれかを生成します。

パス
テストは成功しました。

XFAIL
テストは失敗しましたが、それは想定内のことです。 これは、次のことを可能にするテスト形式に使用されます。
テストが現在機能していないが、テスト スイートに残しておきたいことを指定します。

XPASS
テストは成功しましたが、失敗することが予想されていました。 これは、次のテストに使用されます。
失敗することが予想されるように指定されていましたが、現在は成功しています (通常、機能
テストは壊れていたので修正されました)。

フェイル
テストは失敗しました。

未解決
テスト結果は判定できませんでした。 たとえば、これはテストが次のような場合に発生します。
実行できないか、テスト自体が無効であるか、テストが中断されました。

サポートされていません
この環境ではテストはサポートされていません。 これは、次のようなテスト形式で使用されます。
サポートされていないテストを報告します。

テスト形式によっては、テストによってステータスに関する追加情報が生成される場合があります。
(通常は失敗のみ)。 を参照してください。 出力 OPTIONS 詳細については、セクションを参照してください。

LIT インフラ

このセクションでは、 リット 新しいものを作成することに興味があるユーザー向けのテスト アーキテクチャ
リット 実装をテストするか、既存の実装を拡張します。

リット proper は主に、任意のテストを検出して実行するためのインフラストラクチャです。
これらのテストに単一の便利なインターフェイスを公開します。 リット それ自体が走り方を知りません
テストではなく、このロジックは次のように定義されます。 test スイートルーム.

テスト スイート
に記載のように テスト 発見、テストは常に test スイート。 テストスイート
含まれるテストの形式、それらのテストを見つけるためのロジックを定義するのに役立ちます。
およびテストを実行するための追加情報。

リット テスト スイートを以下を含むディレクトリとして識別します。 点灯.cfg or lit.site.cfg ファイル（を参照）
また --config-prefix）。 テスト スイートは最初に再帰的に検索して検出されます。
コマンドラインで渡されるすべての入力ファイルのディレクトリ階層。 使用できます
--ショースイート 起動時に検出されたテスト スイートを表示します。

テスト スイートが検出されると、その構成ファイルがロードされます。 設定ファイル自体は
実行される Python モジュール。 構成ファイルを実行すると、XNUMX つの重要なことが行われます。
グローバル変数は事前に定義されています。

リット
グローバル リット 構成オブジェクト ( LitConfig インスタンス)、組み込みを定義します
テスト形式、グローバル構成パラメータ、およびその他のヘルパー ルーチン
テスト構成を実装します。

設定
これは構成オブジェクト ( テスト構成 インスタンス）テスト スイートの場合、
config ファイルにデータが取り込まれることが期待されます。 次の変数も使用できます。
設定 オブジェクト。その一部は構成によって設定する必要があり、その他はオプションです。
事前定義:

名 [必要] レポートと診断で使用するテスト スイートの名前。

テスト形式 [必要] 検出および実行に使用されるテスト形式オブジェクト
テストスイート内のテスト。 通常、これは次から入手可能な組み込みのテスト形式になります。
　 点灯フォーマット モジュールを開きます。

テストソースルート テスト スイート ルートへのファイル システム パス。 ディレクトリ外のビルドの場合
これは、テストのためにスキャンされるディレクトリです。

テスト実行ルート ディレクトリ外ビルドの場合、オブジェクト内のテスト スイート ルートへのパス
ディレクトリ。 ここでテストが実行され、一時出力ファイルが配置されます。

環境 テストを実行するときに使用する環境を表す辞書。
スイート。

接尾辞 リット テスト用にディレクトリをスキャンするテスト形式。この変数はリストです
テストファイルを識別するためのサフィックス。 によって使われた： ShTest.

置換 リット テスト スクリプトに変数を代入するテスト形式、
実行する置換のリスト。 によって使われた： ShTest.

サポートされていない サポートされていないディレクトリをマークすると、そのディレクトリ内のすべてのテストが次のようにレポートされます。
サポートされていません。 によって使われた： ShTest.

親 親構成。これは、以下を含むディレクトリの構成オブジェクトです。
テストスイート、または「なし」。

ルート ルート構成。 これが一番上です リット プロジェクト内の設定。

クローン 設定は実際にはテストスイート内のサブディレクトリごとに複製され、
ディレクトリごとにローカル設定を許可します。 クローン 変数を設定できる
設定が複製されるたびに呼び出されるPython関数（
サブディレクトリ）。関数は1つの引数を取る：（XNUMX）親
（２）新しい構成（ クローン 機能は一般的に
（3）スキャン対象の新しいディレクトリへのテストパス。

パイプの失敗 通常、シェル パイプを使用したテストは、パイプ上のコマンドのいずれかが実行された場合に失敗します。
失敗。 これが望ましくない場合は、この変数を false に設定すると、テストは失敗するだけになります
パイプ内の最後のコマンドが失敗した場合。

テスト 発見
テストスイートが見つかったら、 リット ソースディレクトリを再帰的に走査します（以下に続きます）
テストソースルート) テストを探しています。 いつ リット サブディレクトリに入ると、最初に次のことがチェックされます。
ネストされたテスト スイートがそのディレクトリに定義されているかどうかを確認します。 そうであれば、そのテストスイートをロードします
再帰的に、それ以外の場合は、ディレクトリのローカル テスト構成をインスタンス化します (「 LOCAL
CONFIGURATION ファイル).

テストは、テストが含まれるテスト スイートと相対パスによって識別されます。
そのスイートの中。 相対パスはディスク上の実際のファイルを参照しない場合があることに注意してください。
一部のテスト形式 (例: Google テスト) パスを持つ「仮想テスト」を定義します。
実際のテスト ファイルへのパスと、仮想テストを識別するためのサブパスの両方が含まれます。

LOCAL CONFIGURATION ファイル
日時 リット テスト スイート内のサブディレクトリをロードし、ローカル テスト構成をインスタンス化します。
親方向の設定を複製することにより --- この設定のルート
チェーンは常にテスト スイートになります。 テスト構成の複製が完了したら リット をチェックします
lit.local.cfg サブディレクトリ内のファイル。 存在する場合、このファイルはロードされ、
個々のディレクトリごとに構成を特殊化するために使用されます。 この施設は、
オプションのテストのサブディレクトリを定義したり、他の構成を変更したりするために使用されます
パラメータ --- たとえば、テスト形式やテストを識別するサフィックスを変更します。
ファイル。

テスト RUN 出力 FORMAT
この リット テスト実行の出力は、簡潔および詳細の両方で次のスキーマに準拠します。
(ただし、ショート モードでは PASS ラインは表示されません)。 このスキーマが選択されました
マシンによる確実な解析が比較的簡単であること (たとえば、buildbot ログ)
スクレイピング)、および生成する他のツール用。

各テスト結果は、以下に一致する行に表示されることが期待されます。

: ( )

コラボレー PASS、FAIL、XFAIL、XPASS などの標準的なテスト結果です。
未解決、または未サポート。 IMPROVED と REGRESSED のパフォーマンス結果コードは次のとおりです。
も許可されます。

この <テスト 名前> フィールドには、改行を含まない任意の文字列を含めることができます。

この <進捗状況 情報> フィールドは、(1/300) や
空にすることもできますが、空の場合でも括弧が必要です。

各テスト結果には、次の追加の (複数行の) ログ情報が含まれる場合があります。
フォーマット：

テスト '（ ）」
...ログメッセージ ...


コラボレー <テスト 名前> 前に報告されたテストの名前である必要があります。 <ログ デリニエーター> 　
「*」文字の文字列 at 最低 長さは 20 文字 (推奨される長さは XNUMX)、および
<末尾 デリニエーター> は任意の (解析されていない) 文字列です。

以下は、XNUMX つのテスト A、B、C、およびテストで構成されるテスト実行出力の例です。
D、および失敗したテストのログ メッセージ C:

パス: A (1/4)
パス: B (2/4)
不合格: C (3/4)
******************** テスト 'C' が失敗しました ********************
テスト「C」は終了コード 1 の結果失敗しました。
********************
パス: D (4/4)

LIT 実施例 TESTS
この リット ディストリビューションには、テスト スイートの実装例がいくつか含まれています。
例テスト ディレクトリにあります。

onworks.net サービスを使用してオンラインで lit-3.5 を使用する