Readme_AI:大規模言語モデルのための動的コンテキスト構築

Readme_AI:大規模言語モデルのための動的コンテキスト構築

なぜ重要か: 企業や社会への影響が見込まれ、一般メディアにも波及する可能性があります。

ソースを読む(export.arxiv.org)

arXiv:2509.19322v1発表タイプ:クロス

概要:大規模言語モデル(LLM)は大量のデータで学習されているにもかかわらず、ユーザーの特定のクエリに関連して不正確または信頼できない情報を提供することがあります。クエリ固有のコンテキストが与えられると、応答の有用性が大幅に向上します。本論文では、データソースのコンテキストを動的に構築するために使用できる仕様を提示します。データソース所有者は、LLMがデータセット関連のクエリに関する推論を行う際に使用するメタデータを含むファイルを作成します。提案された仕様を実証するために、Readme_AIモデルコンテキストプロトコル(MCP)サーバーのプロトタイプを作成しました。これは、データソースからメタデータを取得し、それを用いてコンテキストを動的に構築します。この仕様を動的にする機能の一部には、ウェブページのクロール、データリポジトリからのデータ取得、出版物のダウンロードと解析、および一般的なテキストを表す拡張可能な型があります。コンテキストは、ユーザーが指定したタグを使用してフォーマットおよびグループ化され、LLMがコンテンツに関する推論を行うための明確なコンテキスト情報を提供します。一般的なLLMはしばしば幻覚を含む不正確で無関係な応答を提供するNIST開発のHedgehogライブラリについてLLMに質問することにより、この初期プロトタイプの機能を実証します。Readme_AIを使用すると、LLMはライブラリとその使用方法に関する推論を行い、Hedgehogの開発者によって提供されたReadme_AIファイルに含まれていた例から補間されたコードを生成することさえできるだけの十分なコンテキストを受け取ります。私たちの主な貢献は、専門的な所有者提供データにLLMを動的に根拠付けるための拡張可能なプロトコルであり、LLMからの応答を強化し、幻覚を削減します。Readme_AIツールのソースコードはhttps://github.com/usnistgov/readme_aiに掲載されています。

原文(英語)を表示

Title (EN): Readme_AI: Dynamic Context Construction for Large Language Models

arXiv:2509.19322v1 Announce Type: cross
Abstract: Despite being trained on significant amounts of data, Large Language Models (LLMs) can provide inaccurate or unreliable information in the context of a user’s specific query. Given query-specific context significantly improves the usefulness of its responses. In this paper, we present a specification that can be used to dynamically build context for data sources. The data source owner creates the file containing metadata for LLMs to use when reasoning about dataset-related queries. To demonstrate our proposed specification, we created a prototype Readme_AI Model Context Protocol (MCP) server that retrieves the metadata from the data source and uses it to dynamically build context. Some features that make this specification dynamic are the extensible types that represent crawling web-pages, fetching data from data repositories, downloading and parsing publications, and general text. The context is formatted and grouped using user-specified tags that provide clear contextual information for the LLM to reason about the content. We demonstrate the capabilities of this early prototype by asking the LLM about the NIST-developed Hedgehog library, for which common LLMs often provides inaccurate and irrelevant responses containing hallucinations. With Readme_AI, the LLM receives enough context that it is now able to reason about the library and its use, and even generate code interpolated from examples that were included in the Readme_AI file provided by Hedgehog’s developer. Our primary contribution is a extensible protocol for dynamically grounding LLMs in specialized, owner-provided data, enhancing responses from LLMs and reducing hallucinations. The source code for the Readme_AI tool is posted here: https://github.com/usnistgov/readme_ai .

Published: 2025-09-24 19:00 UTC


コメントする