本文
実査を始めてから「この聞き方では意味が伝わらない」「想定外の回答が続き、分岐を足したい」と分かることがあります。直すこと自体が問題なのではありません。危険なのは、変更前後の回答を同じ条件で集めたように扱い、差が生活者の違いなのか質問の違いなのか追えなくなることです。
CoeSignal(株式会社TechWorkerが提供するAIインタビュープラットフォーム)のようなAIモデレート型でも、質問文、前置き、分岐条件、深掘り方針が変われば測定条件は変わります。本稿では、変更を止めるのではなく、何を、なぜ、いつ変え、どの回答が影響を受けるかを台帳に残す実務を整理します。
質問変更が比較を壊す理由
AAPORは、時系列の変化を測る場合、質問文や前後の文脈の変更が回答差を生む可能性を指摘しています[1]。会話型調査はサーベイと同じではありませんが、「同じテーマを聞いた」だけで同条件とは言えない点は共通します。たとえば「困ったことはありますか」を「最も困った場面を具体的に教えてください」へ変えると、後者は出来事の想起を強く求めます。回答が長くなっても、対象者の体験が豊かになったとは限りません。
質的研究の報告基準SRQRとCOREQは、使用した質問ガイドやデータ収集手段、調査中の変更を透明に示すことを求めます[2][3]。企業調査にそのまま法的義務として適用するものではありませんが、判断根拠を第三者がたどれる最低線として有用です。
変更前に残す七つの列
変更台帳は、少なくとも次の七列で作ります。
| 列 | 記録する内容 |
|---|---|
| 版 | v1、v2など、実査結果と結べる識別子 |
| 有効時刻 | 新版を使い始めた日時 |
| 変更箇所 | 質問文、説明、分岐、深掘り条件 |
| 変更理由 | 理解不能、誘導、負担、欠落など観察した問題 |
| 判断者 | 提案者と承認者を分ける |
| 影響範囲 | 対象者、回答番号、比較指標、分析テーマ |
| 分析上の扱い | 旧版と新版を分ける、再接触する、参考値にする |
恒常的な手順変更と、偶発的な逸脱を区別し、日付付きで保管する考え方は、HHSの研究手順に関する勧告にも見られます[4]。臨床研究の規制を市場調査へ持ち込むのではなく、変更を黙って上書きしないという原則だけを借ります。
すぐ直す変更と、止めて判断する変更
誤字、壊れたリンク、明白な表示不具合は、対象者への意味が変わらないことを確認して修正できます。一方、主要質問の意味、回答選択肢、分岐対象、同意説明、センシティブ情報の扱いが変わる場合は、実査を一度止めて影響を評価します。
FDAが示すICH E6(R3)は臨床試験向けですが、手順変更が妥当性を損なわないよう事前に許容範囲と改訂を管理する考え方を示します[5]。AIインタビューでも「変更してよい範囲」を実査前に決めておくと、現場の思いつきによる版の乱立を防げます。
変更前後を一つの母集団に戻さない
新版へ切り替えた後、旧版の回答を消したり、新版だけを正しい回答として扱ったりしません。まず版ごとに回答を分け、質問の意味と対象者構成が比較可能かを確認します。比較できなければ、全体件数を一つに足すのではなく「v1で得た仮説」「v2で追加確認した仮説」として報告します。
ICC/ESOMAR Code 2025は、AIを用いる調査について方法、品質管理、限界、人の監督を依頼者へ説明する考え方を示します[6]。NISTの生成AIプロファイルも、ライフサイクル全体で記録・評価・管理する枠組みを取ります[7]。重要なのは、AIが自動で変えたか人が変えたかにかかわらず、最終的な調査設計の責任主体を曖昧にしないことです。
最初に作るのは「変更しない理由」ではなく変更台帳
パイロットで全ての問題を見つけることはできません。だからこそ、実査中の修正を禁止するより、変更を検知し、影響を限定し、分析時に版へ戻れる仕組みを先に作ります。質問の改善速度と結果の説明可能性を両立させることが、AIインタビューの運用品質です。
変更レビューの具体例
たとえば、10件実施後に「利用をやめた理由」が抽象的すぎると分かったとします。すぐに全員へ「料金が高かったからですか」と追加すると誘導が入り、前半と後半を単純比較できません。まず「具体的にどの場面で、何と比較してやめましたか」のように特定理由を示さない新版を作り、変更理由を「出来事の不足」と記録します。前半10件は旧版、以後は新版として保持し、料金、機能、手間などの分類は回答後に行います。
さらに、変更の影響が主要な調査目的へ及ぶ場合は、依頼者へ実査途中で共有します。残り件数を新版で続けるのか、旧版対象へ再接触するのか、比較を諦め探索調査として扱うのかを選びます。最も避けたいのは、報告段階で質問変更を隠し、全回答を同一条件の集計として見せることです。
AIによる自動改善も同じ台帳へ
将来、モデルが回答状況から質問や深掘りルールを自動調整する場合も、変更管理は不要になりません。適用されたprompt版、model版、変更規則、対象回答を保存し、人が承認する範囲を決めます。自動化の速度が上がるほど、後から再現できる版管理が重要になります。
一次情報と確認範囲
確認日:2026年9月16日。製品仕様・制度は更新されるため、導入時はリンク先の最新版を再確認してください。海外の制度・職業規範は日本へ直接適用せず、相違点と限界を本文に明記しています。
