ニューステキストにおける持続可能な開発目標の極性検出
なぜ重要か: 企業や社会への影響が見込まれ、一般メディアにも波及する可能性があります。
arXiv:2509.19833v1発表種別：クロス
要旨：国連の持続可能な開発目標（SDGs）は、社会、環境、経済における重要な課題に対処するための世界的に認められた枠組みを提供している。自然言語処理（NLP）と大規模言語モデル（LLMs）の最近の進歩により、テキストデータの特定のSDGsへの関連性を自動的に分類することが容易になった。しかしながら、多くのアプリケーションにおいて、この関連性の指向性、すなわち記述された影響が肯定的か、中立か、否定的かを評価することも同様に重要である。この課題に対処するため、本稿では、テキストセグメントが特定のSDGへの進歩を示しているか、あるいはそのような進歩を達成しようとする意図を伝えているかを評価する、SDG極性検出という新たな課題を提案する。この分野の研究を支援するため、本稿では、このタスクのために特別に設計されたベンチマークデータセットであるSDG-PODを紹介する。これは、オリジナルデータと合成的に生成されたデータを組み合わせたものである。最先端の6つの大規模LLMを用いて、ゼロショットとファインチューニングの両方の構成を考慮して包括的な評価を行う。その結果、このタスクは現世代のLLMにとって依然として困難であることが示唆された。しかしながら、特にQWQ-32Bなどのファインチューニングされたモデルは、SDG-9（産業と技術革新の基盤）、SDG-12（責任ある消費と生産）、SDG-15（陸域生態系の保護）などの特定の持続可能な開発目標において良好な性能を達成している。さらに、合成的に生成された例でファインチューニングデータセットを拡張することで、このタスクにおけるモデルの性能が向上することを示す。この結果は、リソースが限られたこの分野の課題に対処する上で、データエンリッチメント技術の有効性を強調している。本研究は、持続可能性モニタリングのための方法論的ツールキットを進歩させ、効率的で高性能な極性検出システムの開発に関する実行可能な知見を提供する。
原文（英語）を表示
Title (EN): Polarity Detection of Sustainable Detection Goals in News Text
arXiv:2509.19833v1 Announce Type: cross
Abstract: The United Nations’ Sustainable Development Goals (SDGs) provide a globally recognised framework for addressing critical societal, environmental, and economic challenges. Recent developments in natural language processing (NLP) and large language models (LLMs) have facilitated the automatic classification of textual data according to their relevance to specific SDGs. Nevertheless, in many applications, it is equally important to determine the directionality of this relevance; that is, to assess whether the described impact is positive, neutral, or negative. To tackle this challenge, we propose the novel task of SDG polarity detection, which assesses whether a text segment indicates progress toward a specific SDG or conveys an intention to achieve such progress. To support research in this area, we introduce SDG-POD, a benchmark dataset designed specifically for this task, combining original and synthetically generated data. We perform a comprehensive evaluation using six state-of-the-art large LLMs, considering both zero-shot and fine-tuned configurations. Our results suggest that the task remains challenging for the current generation of LLMs. Nevertheless, some fine-tuned models, particularly QWQ-32B, achieve good performance, especially on specific Sustainable Development Goals such as SDG-9 (Industry, Innovation and Infrastructure), SDG-12 (Responsible Consumption and Production), and SDG-15 (Life on Land). Furthermore, we demonstrate that augmenting the fine-tuning dataset with synthetically generated examples yields improved model performance on this task. This result highlights the effectiveness of data enrichment techniques in addressing the challenges of this resource-constrained domain. This work advances the methodological toolkit for sustainability monitoring and provides actionable insights into the development of efficient, high-performing polarity detection systems.
Published: 2025-09-24 19:00 UTC