テスト
デスクトップでは ワークスペースツール → テスト、モバイルでは ツール → テスト を開き、 プロジェクトを選択します。テスト画面はプロジェクトのテストファイルをテキストとして読み取り、 見つかったすべてのテストを、フォルダー、ファイル、テスト名、各テストの周辺のコードとともに表示します。 読み取り時に、何かを実行、インポート、インストールすることはありません。テストが実行されるのは、実行を選んだときだけです。
ページ上部には、テストの状態を示すステータス行と 2 枚のカードがあります。単体テスト と 回帰テスト のカードには、 それぞれ最新の実行で成功したテストの数、失敗したテストや不安定なテスト、最近の実行、実行 ボタンが表示されます。 その下にある 1 本のタブバーには、単体テスト、回帰テスト、統合・E2E、 チェック(Lint、型、ビルド、検証スクリプト)、履歴 が並びます。
プロジェクトの状態を確かめる
カードの上にあるステータス行は、テストの最新の結果から、まず答えを示します。
- テストがまだ一度も実行されていない間は、まだ確認されていません と表示されます。テストを一度実行すると、プロジェクトの状態がわかります。
- 失敗しているテストがあると、その数と 失敗を表示 が表示されます。これを選ぶと、失敗したテストが 失敗 で絞り込まれた状態で開きます。保護していたバグが再び現れた場合は、その回帰テストが先頭に来ます。
- 不安定なテスト(いったん失敗し、再試行で成功したテスト)があると、その数と 不安定なテストを表示 が表示されます。
- それ以外の場合は、成功したテストの数、まだ実行されていないテストの数、最後の実行が終わった時刻が表示されます。
数には、単体テスト、統合テストとエンドツーエンドテスト、チェックが含まれます。 回帰テストはこれらと同じテストを使うため、二重には数えられません。
ステータス行には、自動実行 ボタンの横に、次回の自動実行 とその日時、または 自動実行はオフ も表示されます。 前回の自動実行を開始できなかった場合は、その理由も示されます。
テストを確認する
各タブでは、テストファイルがフォルダーごとにまとめられています。フォルダーを開くとファイルが表示され、 ファイルを選択すると、そのテストが右側(スマートフォンでは専用の画面)に、失敗したテストから順に表示されます。 失敗したテストには、テストランナーが報告した期待値と実際の値、および失敗した行の周辺にある現在のコードが表示されます。 失敗、不安定、未実行 で絞り込むことも、ファイル名やフォルダー名で検索することもできます。
一度も実行されていないテストには 未実行 と表示されます。失敗したテストがある間、 成功率のリングが 100% を示すことはありません。状態は色だけでなく、必ずアイコンと言葉で示されます。
テスト画面はファイルを自動的に分類します。分類先は、単体テスト、統合テストとエンドツーエンドテスト
(e2e、integration、routes、api などのフォルダー、Playwright のファイル、Web シナリオ)、チェックです。
チェックには、Lint、型、ビルドに加えて、プロジェクトの検証スクリプトが含まれます。contrast:ui-check や tabs:guard のように、名前に接尾辞が付いたスクリプトも対象です。
フォルダーの分類が誤っている場合は、その ⋯ メニューを開き、
単体テストに移動 または 統合・E2E に移動 を選びます。
テストを実行する
ユニットテストを実行、回帰テストを実行、フォルダーやファイルの実行ボタン、 または詳細にある ファイルを実行 を選びます。事前の設定は必要ありません。 テスト画面は、プロジェクトでそれらのファイルをすでに実行しているスクリプト(そのオプションも維持します)、 またはテストランナーの既定のコマンドからコマンドを作成し、保存して開始します。 実行レポートが開き、進行状況と 停止 が表示されます。アプリを閉じても実行は止まらず、結果はインスタンスに保持されます。
テストのまとまりの実行中は、上部のステータス行に進み具合が表示され、実行中の実行を開き直す 進行状況を表示 と、まとまり全体を止める 停止 が並びます。待機中の実行は開始されません。テストを離れて戻っても、進行状況はそのまま残ります。まとまりが終わるまで ユニットテストを実行 は 実行中… と表示されるため、2 回目のクリックで同じテストが二重に始まることはありません。インスタンスにテストツールがない場合(たとえば pytest)、そのツールのテストだけが未開始となり、ほかのテストは実行されます。
保存したコマンドは引き続き編集できます。⋯ → コマンドを編集 で、実行ファイル、引数、レベル、 前提条件、サービス、テストデータ、制限時間を変更できます。
同時に実行するテストファイルの数を選ぶ
ステータス行の横にある 同時に実行するテストファイル で、プロジェクトのテストファイルを同時にいくつ実行するかを設定します。既定の 自動 では、各テストツール独自の設定がそのまま使われます。インスタンスのプロセッサ数までの数値を選ぶと、手動でも自動でも、プロジェクトの各実行で同時に実行されるファイルはその数までになります。Node、Vitest、Jest、Playwright はこの数に従い、ほかのテストツールは独自の設定を保ちます。このとき、プロジェクトの実行は 1 つずつ順番に行われます。すでに開始した実行は、開始時の数を保ちます。
テストは常にインスタンスより低いプロセッサ優先度で実行されるため、実行中も会話やアプリの応答性が保たれます。この設定を変更できるのはご自身だけです。アプリ内のアシスタントは依頼に応じて確認または変更できますが、プロジェクトの会話が変更することはありません。
テストをスケジュールに沿って実行する
ステータス行の横にある 自動実行 を選ぶと、プロジェクトのテストを独自のスケジュールで実行できます。 スケジュールはプロジェクトごとに 1 つです。
- テストを自動で実行:スケジュールのオンとオフを切り替えます。
- 繰り返し:毎時、毎日、平日、毎週、毎月、またはカスタムの cron 式から選びます。実行の間隔は 15 分以上空ける必要があります。
- タイムゾーン:スケジュールの基準となるタイムゾーンです。表示用のタイムゾーンが最初に提案されます。後から表示用のタイムゾーンを変えても、保存済みのスケジュールはずれません。
- 実行する内容:単体テスト、回帰テスト、統合・E2E、チェック から 1 つ以上選びます。
- 通知:失敗したときだけ(既定)では、成功した実行は通知されませんが、失敗した実行、中断された実行、確認が必要な実行は引き続き通知されます。実行のたびに では毎回通知されます。
- 見逃した実行:予定の時刻にインスタンスが停止していた場合、インスタンスの再開時に 1 回実行(既定)では、見逃した回数にかかわらず、1 回だけ実行して取り戻します。見逃した実行をスキップ では、見逃した分は実行せず、次の予定時刻を待ちます。
自動実行は通常の実行と同じです。カードとステータス行を更新し、レポートとともに 履歴 に表示されます。 前回の自動実行と重なることはありません。メモリが逼迫しているときや更新中は、待機して最長 2 時間まで再試行します。失敗として数えられることはありません。 前回の自動実行がまだ続いていた、プロジェクトの確認が必要、実行するものがなかったなどの理由で自動実行を開始できなかった場合は、ステータス行にその理由が表示され、次の予定時刻からいつもどおり続行します。 実行するものがない種類のテストがあっても、ほかの種類は止まりません。更新や復元の後、自動実行は自動的に再開します。その間に見逃した時刻は、見逃した実行 の選択に従って扱われます。
スケジュールを設定できるのはご自身だけです。アプリ内のアシスタントは、依頼に応じてスケジュールを確認または変更できます。プロジェクトの会話はスケジュールを読み取れますが、作成や変更は一切行いません。
テストを作成する
右上の 新しいテスト を選び、次のいずれかを選択します。
- AI でテストを作成:動作を説明すると、AI がテストを提案し、保存前にご自身で確認します。ご自身で実行するまで、何も実行されません。
- 修正した不具合を保護:その不具合を検出するテストから回帰テストを作成します。
- Webシナリオ:内蔵ブラウザーでクリックして確認する手順です。
- テストコマンドを追加:
npm testなど、プロジェクトの既存のスクリプトです。
テストを編集する
ファイルを選択し、自分で変更するには エディターで開く を、 このファイルとテストについて新しい会話を開くには AI で編集 を選びます(送信するまで何も送られません)。 テストが失敗した場合、AI で修正 は失敗を再現してコードを修正し、同じテストと回帰テストを再実行します。 回帰テストの テストを編集 では、その回帰テストを保護するテストを追加または削除できます。
回帰テストを実行する
コレクションに名前を付け、保護する動作やバグを説明して、保存済みのスイート、ケース、 シナリオの正確なリビジョンを選択します。単体、統合、API、E2E のテストを、 ソースを複製せずに同じコレクションへまとめられます。Lint、型チェック、ビルドは別のチェックです。
保存してから、そのリビジョンを明示的に実行します。全体の選択と部分的な選択は 区別して表示されます。重複する項目は一度だけ実行され、競合するリビジョンや空の選択は 拒否されます。後からコレクションを編集しても、実行時に記録した構成は変わりません。
コレクションはインスタンスの非公開状態として保存され、Git で管理するためのエクスポート機能はありません。 既存のプロジェクトのテストファイルと、明示的にエクスポートしたシナリオのソースは通常どおりバージョン管理できます。
修正されたテストは回帰テストになる
どのプロジェクトでも、バグの修正が確かめられた時点で、そのバグは保護されます。誰かがリストを管理する必要はありません。 失敗していたテストがコードの変更後に成功すると、テスト画面はそのテストを回帰テストにします。
- テストが修正済みと見なされるのは、ある実行のすべての試行で成功し、かつプロジェクトの直前 5 回の実行における最新の結果が、別のコードでの失敗だった場合です。再試行後の成功や、コードが変わっていない状態での成功は、修正とは見なされません。
- 修正されたファイルごとに、回帰テストが 1 つ作られます。名前は最初に修正されたテストに由来し、そのファイルだけを、プロジェクトのスクリプトのオプションで実行します。保護する動作には、修正されたテストが一覧表示されます。
- 1 回の実行で 5 つを超えるファイルが修正された場合は、何も保護されません。一度にそれほど多く修正されるのは、通常はバグが直ったからではなく、環境が修復されたためです。
- すでに回帰テストで保護されているファイルは、そのまま残ります。
作成されても、何も実行されません。次の回帰テストの実行(手動でも自動でも)に含まれます。ほかの回帰テストと同じように編集や削除ができます。
参照実行を選んで比較する
保存済みの実行をコレクションの参照実行に選び、別の実行と比較します。 参照は比較の基準であり、実行ソースを選ぶ第三のモードではありません。 成功した実行に自動で置き換わることはありません。
参照には、空でなく全件を観測したアサーション、既知の期待値、 分離したデータ、完全な来歴が必要です。失敗している基準実行でも、既存の失敗を識別できます。 部分的な結果、インポートした結果、スキップ、不安定な結果、不完全な証拠は参照に使えません。
比較では、新たな回帰、既存の失敗、修正、追加、削除、スキップ、 未実行のケース、不安定な結果を区別します。期待値の変更と、設定、データ、ランタイム、対象の 互換性も示します。部分実行で見つからないケースを、削除されたとは扱いません。 比較の証拠が完全でも、失敗を含む場合があります。完全であることと成功したことは別です。
Web シナリオを追加する
シナリオの動作、対象、データ、前提条件、手順、アサーション、後片付けを編集します。 安定したロール、ラベル、テスト ID、テキストのロケーターを使ってください。クリック操作を自動記録する機能ではありません。
例えば、タスクアプリの永続化を次の手順で検証できます。
- 専用のテストデータを使ってアプリケーションを開きます。
- 新規タスクの入力欄に既知のタイトルを入力し、追加操作を選びます。
- タスクが表示されることをアサートし、完了にします。
- ページを再読み込みします。
- 同じタスクが引き続き表示され、チェック済みであることをアサートします。
シナリオを保存してから実行してください。テストソースを保存 は別の明示的な操作です。 生成されたテストソースを保持する、プロジェクトからの相対ファイルパスを選びます。 既存のファイルのバイト列が異なる場合、エクスポートは拒否されます。エクスポートしたファイルを編集すると、 対応付けが無効になり、再実行がブロックされます。シナリオのリビジョンとソースの対応付けを確認し、 並行して行われた作業を上書きしないでください。以前の証拠は履歴として残ります。 テストの準備によって、通常のアプリケーションの起動、停止、有効化を変更することはありません。
統合ブラウザーは一時的な Chromium コンテキストを使い、service workers をブロックします。 オフラインや PWA の動作、Safari、Firefox、Android/iOS ネイティブの動作、実機の 性能を検証したことにはなりません。現在の対象とソースの対応関係が確定できない場合もあります。 その場合、ブラウザーのアサーションが成功すると 成功 と表示され、その事実は 詳細 に記載されますが、完全な検証や、全体の参照として利用できる結果にはなりません。 スクリーンショットは証拠です。ビジュアル回帰の判定には、実行したアサーションと 明示的に管理する画像の基準が必要です。
失敗を調べ、証拠を保持する
実行のレポートは、まず答えを示します。成功、失敗、不安定、または答えが ない理由を説明する一文に加え、実行したものの名前、テスト数、所要時間、日時を表示します。 失敗したテストが最初に並び、エンジンが提供した場合は期待値と受け取った値も表示されます。 ログを表示 でログが開き、詳細 には注記(実行中に変更されたファイル、プロジェクト自身の データを使ったテスト)、保存されたファイル、実行の仕方、別の実行との比較がまとまっています。 ログと一覧には上限があり、ページ分割されます。切り詰めも明示されます。
コマンドの成功、テストの判定、レポートの完全性、来歴は別々の情報です。 利用可能なレポートがない終了コードゼロは、コマンドの成功だけを示します。ケースがゼロ件の場合、 レポート、認証、依存関係が不足する場合、スキップや中断がある場合は検証済みになりません。 失敗後に成功した試行は 不安定 として扱い、両方の試行を保持します。
テスト機能が保持したキャプチャ、トレース、レポートは、元のブラウザーセッションが終了しても残ります。 ダウンロードにはインスタンスへの認証が必要です。実行可能な HTML/SVG は添付ファイルとして ダウンロードされ、レポートとして実行されません。証拠の欠落や破損は明示されます。 ソースを開くと現在のプロジェクトファイルに解決されますが、そのバイト列が過去のテストと 一致する保証はありません。後の編集で以前の結果が書き換わることはありません。
停止 は所有する子プロセスの終了を待ち、無関係なアプリケーションや 会話を保持します。後片付けが拒否された場合も、その状態が表示されます。画面を閉じる、ネットワークを失う、 クライアントをバックグラウンドにする、といった操作で実行が停止することはありません。再接続したら、 その実行の正確なレポートを開いてください。インスタンスの再起動時、継続を証明できない実行は中断として扱われ、 コマンドが自動で再実行されることはありません。実行一覧と通知から、 保存されたテスト結果を開けます。
バグを継続的に検証できる動作に変える
再現 → 赤のテストを保持 → コードを修正 → 同じ期待値で緑 → 回帰コレクションを再実行 という流れを保ってください。再実行すると、関連付けられた新しい記録が作成されます。 アサーションの変更、削除、弱体化によって、欠陥が自動で解決済みになることはありません。
自分でテストを書くことも、動作を説明 から編集可能な単体テストやシナリオの 提案を作ることもできます。既存の Harness、Model、Effort とアカウントのコントロールを選びます。 具体的なアサーション、ファイル、データ、前提条件を確認し、未回答の質問を埋めてから、 レビュー準備完了と明示的に指定して保存してください。 生成、保存、実行は別々の操作です。レビュー済みの単体テストの提案を保存すると、 プロジェクトのテストファイルが書き込まれます。シナリオの保存では定義が保存され、 必要に応じたソースのエクスポートは別の操作です。提案には実行済みの判定はありません。 ソースが変わった場合、保存前に再レビューが必要になることがあります。
AI で修正 は、正確な失敗を、再現、確認可能な修正の会話、 新しい検証へと関連付けます。再現がない場合、期待値が変わった場合、回帰テストの証拠が 不完全な場合は明示されます。モデルの説明がアサーションに代わることはありません。 ローカルテストにはモデルは不要です。任意で利用する AI には、既存のプロバイダーの 使用量、料金、クォータの管理が適用されます。費用が分からない場合は不明であり、ゼロではありません。 使用量の集計を参照してください。Ship や公開処理が呼び出されることはありません。
検証済みのエンジンと前提条件
以下の正確なバージョンは、Node 22.22.2/22.23.2 を使った Linux のソース環境で検証されています。 依存関係は事前に必要です。テスト機能がインストールや更新を行うことはありません。バージョン範囲の互換性を示すものではありません。
| エンジン | ケースと対象を指定した再実行 | カバレッジと制限 |
|---|---|---|
| Node test runner 22.22.2 / 22.23.2 | 構造化されたケース、フック、skipped/todo。現在の Node 実行ファイルを直接使います。正確なケース単位の再実行や再試行履歴には対応していません。 | 実測範囲を明記したネイティブの行、分岐、関数カバレッジ。カバレッジのメタデータは 128 ファイル、64 KiB までです。 |
| Vitest 4.1.10 | エントリーポイントを直接使います。監督下でのケース収集後に、保持したケースを正確に選択できます。試行には再試行も残ります。 | カバレッジと期待される失敗による成否の反転は未検証です。ライフサイクルのラッパーや、証拠プラグインを保持できない設定は拒否されます。 |
| Jest 30.2.0 | 固定したファイル内の一意な完全名を使います。コマンドごとに 1 ケースを選択し、複数ケースでは上限付きの複数コマンドを使います。 | カバレッジのインポートはありません。曖昧な名前、プリセット、複数プロジェクトや TypeScript の設定、カスタムランナーは拒否されます。 |
| pytest 8.4.2 / CPython 3.10.12 | 仮想環境の Python -m pytest を直接使います。正確なノード識別子と setup/call/teardown を扱います。 |
カバレッジ、ラッパー、分散実行、再試行プラグインは未検証です。pytest がなくても自動修復されません。 |
| Playwright Test 1.63.0 | プロジェクトにインストール済みのランナーを使います。プロジェクトや繰り返しの識別子、再試行、添付ファイルを扱います。正確なケース単位の再実行には対応していません。 | カバレッジと期待される失敗による成否の反転には対応していません。プロジェクトのブラウザーポリシーは、統合ブラウザーとは別です。 |
| カスタムコマンド / JUnit | ケース情報を持たないコマンドの結果、または上限付きのレポートが実際に提供したケースを扱います。正確なケース単位の再実行には対応していません。 | カバレッジ、件数、再試行の意味を推測しません。未対応の XML 形式は無効または不完全なままです。 |
カスタムの JUnit コマンドは、その実行の新しいレポートを非公開の実行レポート用ディレクトリへ
書き込む必要があります。TEST_REPORT_PATH / TEST_REPORT_DIR、または明示的な引数トークン
{{TEST_REPORT_PATH}} / {{TEST_REPORT_DIR}} を使ってください。ワークスペースに残る古いレポートでは、
新しい実行を検証できません。外部 XML は API/アクション tests.importJUnit から
インポートできますが、現在の画面にインポートボタンはありません。
インポートした件数だけでは、ローカル実行、現在の来歴、参照としての適格性は証明されません。
Linux 上の実行は検証済みです。Windows 向けのプロセス所有権管理の実装はありますが、ネイティブ Windows 上の 実行は未検証です。macOS インスタンス上の実行は現在サポートしていません。 macOS クライアントから、対応するリモートインスタンスを操作することはできます。 Android/iOS の画面が利用できても、ネイティブアプリの自動テストを検証したことにはなりません。 ソース、正確なペイロード、非公開のインストール済み候補、実際に配信されたクライアント、公開リリース、 実機の証拠は別々です。どれか一つの証拠が、他も証明するわけではありません。
会話から使うツール
通常の、権限のあるプロジェクト会話では、5 つの MCP ツールと対応する CLI コマンドを使えます。
aircode_tests_catalog / catalog、aircode_tests_describe / describe、
aircode_tests_run / run、aircode_tests_status / status、
aircode_tests_open / open です。変更操作の前にスキーマを確認してください。
aircode-tests catalog
aircode-tests describe --input '{"action":"tests.launchUnits"}'
aircode-tests run --input '{"action":"tests.units","input":{}}'
単体スイートには tests.launchUnits、正確なコレクションには tests.launchRegression を使い、
返されたスコープとリビジョンの固定値、およびスキーマの明示的なキーを指定します。
プロジェクトはセッションのケイパビリティから提供されるため、project フィールドを加えないでください。
--input - は標準入力から上限付きの JSON を受け取ります。status には
{scopeId,ownerKind,ownerId} を渡します。open には同じ識別情報、またはテスト画面を開くための {} を渡します。
返された openPath は変更しないでください。MCP では同じ引数を、
対応する aircode_tests_* ツールに渡します。AI 向けドキュメントも参照してください。
会話からの実行では、検出で認識されたレシピとサービスだけを利用できます。 認識されたプロジェクトのスクリプトを使うか、所有者用の画面からカスタムコマンドを実行してください。
応答を受け取れなかった場合は状態を確認し、同一の操作を明示的に再試行する際に 同じキーと入力 を再利用します。 状態の読み取りによって作業が再実行されることはありません。Planning モードと読み取り専用の セッションでは書き込みできません。ツールの権限が期限切れまたは取り消された場合は、通常の手順で会話を再開する必要があります。 これらのツールは汎用シェルや証拠の公開転送の権限を与えません。 拒否を回避するためにストアを編集したり、認証情報を捏造したりしないでください。
保存先と拒否への対処
定義、参照、変更されない実行の事実は、インスタンスの非公開のテスト用 SQLite ドメインに保存されます。 大きなログ、キャプチャ、トレースは、非公開の付随ファイルとして保存されます。 データベースのバックアップだけでは、それらのバイト列は含まれません。整合性のあるインスタンスのバックアップと 一緒に付随ファイルも保存してください。稼働中の WAL データベースをコピーしてバックアップにしてはいけません。 固有の証拠と主要な証拠は既定で保持されます。明示的に削除できるのは、冗長性を検証した完了済み実行の添付ファイルだけです。 固有の証拠を一括削除する処理はありません。 検出した秘密情報は伏せ字にされるか、保存が拒否されます。ただし、フィルターが任意のログ、画像、アーカイブ、 プロジェクトデータの中の秘密情報をすべて識別できるわけではありません。
| 拒否または注意が必要な状態 | 次の操作 |
|---|---|
| 単体スイートがない / コレクションが空 | スイートを分類して保存するか、正確なコレクションメンバーを追加します。 |
| エンジンがない、または未対応 | 実行ファイル、インストール済みの依存関係、検証済みバージョンを確認します。適切であれば、制限を明示したカスタムコマンドを使います。 |
| データが分離されていない / ソースが不確か | レポートには成功と表示され、その事実は詳細に記載されます。このような実行を参照にするには、先に専用のフィクスチャを用意します。 |
| 対象を指定した再実行が使えない | 選択全体を再実行するか、保存されたレポートを確認します。 |
| ソースが変わった / 参照が不完全 | 現在のソース、期待値、互換性を確認し、適切な新しい選択や基準を明示的に選びます。 |
| キュー、メモリ、ディスク、クォータによる延期 | 指摘されたリソースの制約を解消し、新しい実行や再開を明示的に要求します。リセット時刻や再試行を勝手に決めることはありません。 |
| 後片付けが拒否された / 証拠がない | 保存された理由と証拠を確認します。テストを再実行したり、非公開の状態を手動で削除したりせず、利用可能な証拠の復旧機能を使います。 |