直感から証拠へ：AIが開発者生産性に与える真の影響の測定
なぜ重要か: 企業や社会への影響が見込まれ、一般メディアにも波及する可能性があります。
arXiv:2509.19708v1発表タイプ：クロス
要旨：本稿では、企業規模で展開されたAI支援ソフトウェア開発ツールの包括的な実世界評価を示す。1年以上にわたり、複数のチームに所属する300人のエンジニアが、コード生成と自動レビュー機能を統合した社内AIプラットフォーム（DeputyDev）を日々のワークフローに統合した。厳格なコホート分析を通じて、本研究は、PRレビューサイクルタイムの全体で31.8%の削減を含む、統計的に有意な生産性向上を実証する。
開発者の導入率は高く、コードレビュー機能に対する満足度は85%、プラットフォームの継続利用を希望する開発者は93%に上った。導入パターンは、1ヶ月目の4%のエンゲージメントから6ヶ月目にはピーク時の83%の使用率に達し、その後60%の積極的なエンゲージメントに安定したことを示している。上位採用者は、本番環境へのコード投入量が61%増加し、このツールを通じて本番環境にリリースされたコードの約30～40%を占め、コード出荷量の全体で28%の増加に貢献した。
制御されたベンチマーク評価とは異なり、本縦断的研究は、本番環境からの経験的証拠を提供し、AIを企業ソフトウェア開発ワークフローに統合することの変革の可能性と実践的な展開上の課題の両方を明らかにする。
原文（英語）を表示
Title (EN): Intuition to Evidence: Measuring AI’s True Impact on Developer Productivity
arXiv:2509.19708v1 Announce Type: cross
Abstract: We present a comprehensive real-world evaluation of AI-assisted software development tools deployed at enterprise scale. Over one year, 300 engineers across multiple teams integrated an in-house AI platform (DeputyDev) that combines code generation and automated review capabilities into their daily workflows. Through rigorous cohort analysis, our study demonstrates statistically significant productivity improvements, including an overall 31.8% reduction in PR review cycle time.
Developer adoption was strong, with 85% satisfaction for code review features and 93% expressing a desire to continue using the platform. Adoption patterns showed systematic scaling from 4% engagement in month 1 to 83% peak usage by month 6, stabilizing at 60% active engagement. Top adopters achieved a 61% increase in code volume pushed to production, contributing to approximately 30 to 40% of code shipped to production through this tool, accounting for an overall 28% increase in code shipment volume.
Unlike controlled benchmark evaluations, our longitudinal analysis provides empirical evidence from production environments, revealing both the transformative potential and practical deployment challenges of integrating AI into enterprise software development workflows.
Published: 2025-09-24 19:00 UTC