RealitySummary：大規模言語モデルを用いたオンデマンド型複合現実テキスト要約と質問応答の探求
なぜ重要か: 企業や社会への影響が見込まれ、一般メディアにも波及する可能性があります。
arXiv:2405.18620v3 発表種別：差し替え
要旨：大規模言語モデル（LLM）は、読解と要約支援ツールとして普及しつつある。しかしながら、日常生活における読書支援のために混合現実（MR）インターフェースと統合した場合の潜在的な利点については、ほとんど知られていない。本研究は反復的な調査を通じて、常時稼働のカメラアクセス、OCRベースのテキスト抽出、拡張された空間的・視覚的応答をLLMとシームレスに統合したMR読書アシスタントであるRealitySummaryを開発した。RealitySummaryは、ユーザーフィードバックと反省的分析に基づいて3つのバージョンへと進化した：1）読者の認識を理解するための予備的なユーザー調査（N=12）、2）現実世界の使用状況を探るための実地展開（N=11）、3）現実世界の業務環境からの洞察を捉えるための日記調査（N=5）。我々の経験的研究の結果は、常時稼働の暗黙的な支援、長期的な時間的履歴、最小限のコンテキストスイッチング、空間的便宜性など、AIとMRを組み合わせることで得られる独自の利点を強調しており、従来の画面ベースのインタラクションを超えた将来のLLM-MRインターフェースの可能性を示している。
原文（英語）を表示
Title (EN): RealitySummary: Exploring On-Demand Mixed Reality Text Summarization and Question Answering using Large Language Models
arXiv:2405.18620v3 Announce Type: replace-cross
Abstract: Large Language Models (LLMs) are gaining popularity as reading and summarization aids. However, little is known about their potential benefits when integrated with mixed reality (MR) interfaces to support everyday reading. In this iterative investigation, we developed RealitySummary, an MR reading assistant that seamlessly integrates LLMs with always-on camera access, OCR-based text extraction, and augmented spatial and visual responses. Developed iteratively, RealitySummary evolved across three versions, each shaped by user feedback and reflective analysis: 1) a preliminary user study to understand reader perceptions (N=12), 2) an in-the-wild deployment to explore real-world usage (N=11), and 3) a diary study to capture insights from real-world work contexts (N=5). Our empirical studies’ findings highlight the unique advantages of combining AI and MR, including always-on implicit assistance, long-term temporal history, minimal context switching, and spatial affordances, demonstrating significant potential for future LLM-MR interfaces beyond traditional screen-based interactions.
Published: 2025-09-24 19:00 UTC