射影Kolmogorov-Arnoldニューラルネットワーク（P-KANs）：解釈可能な機械学習のためのエントロピー駆動型関数空間発見
なぜ重要か: 企業や社会への影響が見込まれ、一般メディアにも波及する可能性があります。
arXiv:2509.20049v1発表形式：クロス
要旨：Kolmogorov-Arnold Networks（KANs）は、学習可能な非線形性をノードからエッジに移し、科学的機械学習と解釈可能なモデリングにおいて著しい能力を示しています。しかし、現在のKAN実装は、多数の異なるパラメータ化が機能的に等価な挙動をもたらす高次元スプラインパラメータ空間における冗長性により、根本的な非効率性に悩まされています。この冗長性は、モデルのヤコビアンにおける「無駄空間」として現れ、過学習と汎化能力の低下につながります。本研究では、信号解析とスパース辞書学習からのエントロピー最小化手法を通じて、エッジ関数の発見を解釈可能な関数表現に導く新規なトレーニングフレームワークであるProjective Kolmogorov-Arnold Networks（P-KANs）を紹介します。関数を行き当たりばったりな空間に制限するのではなく、本手法はスプライン空間の柔軟性を維持しながら、最適な関数表現への収束を促す「重力」項を導入します。本研究の主要な洞察は、射影係数のエントロピー解析を通じて最適な表現を特定でき、エッジ関数をより少ないパラメータの射影空間（フーリエ、チェビシェフ、ベッセル）に圧縮できるという点にあります。P-KANsは複数のドメインにおいて優れた性能を示し、表現能力を維持しながら最大80％のパラメータ削減、標準KANと比較して大幅に向上したノイズに対する堅牢性、および産業用自動ファイバー配置予測への適用を実現しています。本手法は、異なるエッジが異なる最適空間へ収束する混合関数表現の自動発見を可能にし、科学的機械学習アプリケーションのための圧縮と解釈性の向上をもたらします。
原文（英語）を表示
Title (EN): Projective Kolmogorov Arnold Neural Networks (P-KANs): Entropy-Driven Functional Space Discovery for Interpretable Machine Learning
arXiv:2509.20049v1 Announce Type: cross
Abstract: Kolmogorov-Arnold Networks (KANs) relocate learnable nonlinearities from nodes to edges, demonstrating remarkable capabilities in scientific machine learning and interpretable modeling. However, current KAN implementations suffer from fundamental inefficiencies due to redundancy in high-dimensional spline parameter spaces, where numerous distinct parameterisations yield functionally equivalent behaviors. This redundancy manifests as a “nuisance space” in the model’s Jacobian, leading to susceptibility to overfitting and poor generalization. We introduce Projective Kolmogorov-Arnold Networks (P-KANs), a novel training framework that guides edge function discovery towards interpretable functional representations through entropy-minimisation techniques from signal analysis and sparse dictionary learning. Rather than constraining functions to predetermined spaces, our approach maintains spline space flexibility while introducing “gravitational” terms that encourage convergence towards optimal functional representations. Our key insight recognizes that optimal representations can be identified through entropy analysis of projection coefficients, compressing edge functions to lower-parameter projective spaces (Fourier, Chebyshev, Bessel). P-KANs demonstrate superior performance across multiple domains, achieving up to 80% parameter reduction while maintaining representational capacity, significantly improved robustness to noise compared to standard KANs, and successful application to industrial automated fiber placement prediction. Our approach enables automatic discovery of mixed functional representations where different edges converge to different optimal spaces, providing both compression benefits and enhanced interpretability for scientific machine learning applications.
Published: 2025-09-24 19:00 UTC