天文学におけるLLMの機械学習手法選択能力を評価

天文学の機械学習手法選択を評価する新ベンチマークAstro2Methodを提案し、LLMの推論能力の限界と情報提供の効果を検証した。

• 天文学と機械学習の専門知識を要する手法選択を評価する新ベンチマークAstro2Methodを構築した。
• 5つのLLMを用いて直接プロンプティングやRAG、エージェント手法などの性能を評価した。
• 容易な質問では高い精度を示す一方、難しい質問では既存の検索や推論手法による一貫した改善が困難であることを示した。
• ソース論文のパイプライン情報を与えることで難しい質問の精度が向上することを明らかにした。

原文タイトル: Astro2Method: Benchmarking LLMs on Machine Learning Method Selection in Astronomy

arXiv で原文を見る

この要約は AI が生成したものであり、arXiv および論文著者の見解ではありません。