本文
士業事務所が生成AIを本番業務へ入れる前に必要なのは、汎用的なデモを見ることではなく、自社の業務に似た匿名化済みの検証問題で「任せてよい範囲」と「止める条件」を決めることです。最初から正答率を一つの数字にしないでください。法令・制度の正確さ、顧問先の事実を勝手に補わないこと、根拠を追えること、入力データを許容した扱いで処理することは、それぞれ別の確認です。
検証問題は、実案件をコピーして作る必要はありません。過去の完了案件から、個人名、会社名、住所、日付などを置き換え、論点と確認すべき原典だけを残します。例えば「相談メモから論点を三つに分ける」「指定した資料だけで顧問先向け説明の下書きを作る」「不足事実を質問として返す」のように、最初は一業務・一出力形式に絞ります。正解文を一つ決めるより、「出してよいこと」「必ず出典を示すこと」「推測してはならないこと」を採点基準にします。
こうする理由は、もっともらしい文章が実務上の正確さを意味しないためです。法律質問を使った研究では、汎用LLMが検証可能な法的事実を誤る例が広く観察され、誤りを自ら見分けられない場合も示されました[1]。専門法律AIを比較した研究でも、汎用モデルより誤りを減らす製品がある一方、誤情報がなくなったわけではありません[2]。この結果は日本の全資格業務や最新モデルの誤り率を示すものではありませんが、ベンダーの一般的な性能説明だけで自社の相談・文書・手続業務を許可しない理由になります。
最小の検証表は四列で十分です。第一列は入力と期待する役割、第二列は合格条件、第三列は危険な失敗、第四列は人が確認した結果です。合格条件には「原典URLまたは指定資料の該当箇所を示す」「未知の事実は未知と書く」「指定外の資料を根拠にしない」を入れます。危険な失敗には「存在しない法令・判例を示す」「顧問先の固有事情を推測で補う」「根拠なしに申請・送信を促す」「入力資料を外部学習へ回す条件が不明」を入れます。危険な失敗が一件でも出た用途は、改善するまで本番利用へ進めません。
データ取扱いは、出力精度とは別に確認します。個人情報保護委員会は、個人データを含むプロンプトが応答以外の目的で扱われる場合、本人同意なしの入力が個人情報保護法に抵触する可能性を示しています[3]。このため、検証でも実在の顧問先データを無造作に使わず、匿名化、契約プラン、学習利用の有無、保存場所、権限設定を確認します。良い回答を出したとしても、入力条件が満たせなければ、その用途は不合格です。
海外では、NISTが生成AIのリスクを、設計・利用文脈・評価を通じて管理するプロファイルとして整理しています[4]。また英国司法府のガイダンスは、AIが生成した材料を自らの名前で使う者の責任と、公開AIツールへの私的情報入力の注意を明記します[5]。どちらも日本の士業に直接の法的義務を課す資料ではありません。ただ、検証を一回の操作テストで終えず、用途、データ、確認者、停止条件を結び付ける設計の参考になります。
製品選定でも、機能名だけで合格にしません。海外の法律AI製品は、一次資料へのリンク、引用状態の確認、組織内文書を参照した回答などを機能として掲げています[6]。これは比較すべき項目です。しかし、製品の機能説明は、あなたの事務所のデータ、対象法域、顧問先との委任範囲で正しく動くことの証明にはなりません。同じ検証問題を候補製品と運用設定に通し、結果と失敗内容を比較します。
日本法上の境界にも注意が必要です。弁護士法72条は、弁護士または弁護士法人でない者が、報酬を得る目的で、訴訟事件その他一般の法律事件に関して鑑定、代理、仲裁、和解その他の法律事務を業として扱うこと等を、他の法律に別段の定めがある場合を除いて規律しています[7]。AIを使っただけで直ちに結論が決まる条文ではなく、提供主体、対象業務、報酬目的、個別案件との関係、運用方法を含む個別判断が必要です。有資格者が最後に確認すれば常に問題が解消するわけでもありません。税理士、社会保険労務士、行政書士、司法書士などは各資格の業法・職業規程、委任範囲、守秘義務、顧問契約を別に確認してください。
導入前検証の目的は「AIが正しい」と証明することではありません。どの入力、どの出力、どの失敗なら人へ戻すかを、顧問先のデータを扱う前に決めることです。検証問題の件数を一律に決めず、通常例だけでなく、情報不足、資料間の矛盾、対象外の相談、古い制度、送信・申請につながる高影響例を含めます。用途、失敗コスト、必要なカバレッジに応じて評価セットを増やし、モデル、参照資料、設定、法令・制度が変わったときは再評価します。
検証結果を読む際は、合格件数だけで判断しません。十件中九件が読みやすくても、残る一件が存在しない根拠を提示した、または許可されない入力条件を必要としたなら、その用途は未承認です。反対に、出力が短くても、不足情報を質問として返し、原典へ戻れるなら、人の作業を安全に前へ進める補助になり得ます。採点表には失敗の重大度を記し、軽微な表現修正と、顧問先への誤助言・秘密情報の不適切な取扱いを同じ一件として数えないようにします。
検証後も、許可範囲を固定したままにしません。法令改正、モデル更新、利用規約変更、対象業務の拡大、重大な誤りの発見のいずれかがあれば、同じ問題を再実行します。更新によって品質が上がるとは限らないためです。検証日、利用モデル、設定、確認者を残しておけば、「以前は使えた」ではなく、現在の条件で使えるかを説明できます。
一次情報と確認範囲
確認日：2026年9月17日。製品仕様・制度は更新されるため、導入時はリンク先の最新版を再確認してください。海外の制度・職業規範は日本へ直接適用せず、相違点と限界を本文に明記しています。