PolicyPad：LLMポリシーの共同プロトタイピング
なぜ重要か: 法規制・制度面での動きが企業のAI活用に直接影響する可能性があります。
arXiv:2509.19680v1発表形式：クロス
概要：大規模言語モデル（LLM）がメンタルヘルスのようなハイステークスな分野で採用されるにつれ、ドメイン専門家は、その行動を統治するポリシーへのインプットを提供するためにますます協議されるようになっている。15週間におよび9名の専門家との19回の政策立案ワークショップの観察から、協調的な政策設計プロセスの迅速な実験、フィードバック、反復をより良く支援する機会を特定した。本稿では、ヒューリスティック評価やストーリーボーディングなどの確立されたUXプロトタイピング手法に基づき、LLMポリシーのプロトタイピングという新たな実践を促進するインタラクティブシステム、PolicyPadを紹介する。PolicyPadを使用することで、政策設計者はリアルタイムでポリシーの草案を作成し、同時に使用シナリオを用いてポリシーに基づいたモデルの挙動を独立してテストすることができる。メンタルヘルスと法曹分野の22名のドメイン専門家8グループによるワークショップを通じてPolicyPadを評価した結果、PolicyPadは政策設計における協調的なダイナミクスを強化し、緊密なフィードバックループを実現し、新規の政策への貢献をもたらしたことがわかった。全体として、本研究はAIのアライメントと安全性の向上のための参加型の道を拓くものである。
原文（英語）を表示
Title (EN): PolicyPad: Collaborative Prototyping of LLM Policies
arXiv:2509.19680v1 Announce Type: cross
Abstract: As LLMs gain adoption in high-stakes domains like mental health, domain experts are increasingly consulted to provide input into policies governing their behavior. From an observation of 19 policymaking workshops with 9 experts over 15 weeks, we identified opportunities to better support rapid experimentation, feedback, and iteration for collaborative policy design processes. We present PolicyPad, an interactive system that facilitates the emerging practice of LLM policy prototyping by drawing from established UX prototyping practices, including heuristic evaluation and storyboarding. Using PolicyPad, policy designers can collaborate on drafting a policy in real time while independently testing policy-informed model behavior with usage scenarios. We evaluate PolicyPad through workshops with 8 groups of 22 domain experts in mental health and law, finding that PolicyPad enhanced collaborative dynamics during policy design, enabled tight feedback loops, and led to novel policy contributions. Overall, our work paves participatory paths for advancing AI alignment and safety.
Published: 2025-09-24 19:00 UTC