RealitySummary：大規模言語モデルを用いたオンデマンド型複合現実テキスト要約と質問応答の探求
なぜ重要か: 企業や社会への影響が見込まれ、一般メディアにも波及する可能性があります。
arXiv:2405.18620v3発表タイプ：置き換え・クロス参照
概要：大規模言語モデル（LLM）は、読解と要約支援ツールとして普及しつつある。しかし、日常生活での読書を支援するために混合現実（MR）インターフェースと統合した場合の潜在的な利点については、ほとんど知られていない。本研究では、反復的な調査を通じて、常時オンのカメラアクセス、OCRベースのテキスト抽出、拡張された空間的・視覚的応答をLLMとシームレスに統合したMR読書アシスタントであるRealitySummaryを開発した。RealitySummaryは、ユーザーフィードバックと反省的分析に基づいて3つのバージョンにわたって発展した：1) 読者の認識を理解するための予備的なユーザー調査（N=12）、2) 実際の使用状況を探るためのフィールド展開（N=11）、3) 実際の業務環境からの知見を捉えるための日記調査（N=5）。我々の経験的研究の結果は、常時オンの暗黙的支援、長期的な時間的履歴、最小限のコンテキストスイッチング、空間的アフォーダンスなど、AIとMRを組み合わせることで得られる独自の利点を明らかにし、従来の画面ベースのインタラクションを超えた将来のLLM-MRインターフェースの大きな可能性を示している。
原文（英語）を表示
Title (EN): RealitySummary: Exploring On-Demand Mixed Reality Text Summarization and Question Answering using Large Language Models
arXiv:2405.18620v3 Announce Type: replace-cross
Abstract: Large Language Models (LLMs) are gaining popularity as reading and summarization aids. However, little is known about their potential benefits when integrated with mixed reality (MR) interfaces to support everyday reading. In this iterative investigation, we developed RealitySummary, an MR reading assistant that seamlessly integrates LLMs with always-on camera access, OCR-based text extraction, and augmented spatial and visual responses. Developed iteratively, RealitySummary evolved across three versions, each shaped by user feedback and reflective analysis: 1) a preliminary user study to understand reader perceptions (N=12), 2) an in-the-wild deployment to explore real-world usage (N=11), and 3) a diary study to capture insights from real-world work contexts (N=5). Our empirical studies’ findings highlight the unique advantages of combining AI and MR, including always-on implicit assistance, long-term temporal history, minimal context switching, and spatial affordances, demonstrating significant potential for future LLM-MR interfaces beyond traditional screen-based interactions.
Published: 2025-09-24 19:00 UTC