AI研究では実験に適したデータセットを探すことが重要ですが、データ数やクラス数、収集条件などの数値情報は論文やデータセット配布サイト上で文章として記載されていることが多く、効率的に探すことが困難です。本研究では、それらの文章から数値情報を自動抽出するためのコーパスを構築し、標準となる評価基盤を整備しました。
研究担当者
桂井麻里衣（理工学部）、田村晃裕（理工学部）
研究の背景
AI関連の研究では多種多様なデータセットが公開されています。研究目的に適したデータセットを選択するには、データ数やラベル数、収集条件などの情報が重要になります。しかし、これらの情報は論文やデータセット配布サイトなどに自由記述形式で記載されていることが多く、数値条件を指定してデータセットを検索・比較することは容易ではありません。これを実現するためのAIを構築するための標準的なデータセットや評価基準も存在していませんでした。
研究内容
本研究では、論文、データセットリポジトリ、公式ドキュメントから収集した3,926件のデータセット説明文を対象に、数値情報抽出のためのコーパス NIED を構築しました。さらに、データ数やクラス数などの数値情報と、それらの数値が何を表しているのかを示す文脈情報を区別する二層構造のアノテーション方式を設計しました。このコーパスを用いて、数値情報と文脈のそれぞれを二段階で抽出するフレームワークを提案し、7種類の事前学習済み言語モデルを評価しました。
明らかになったこと
構築したNIEDにおいて各事前学習済み言語モデルの性能をベンチマークとして示しました。コーパスはどなたでも利用可能です。数値だけではなく、その数値が何を意味するのかという文脈情報まで抽出することで、データセットの特徴をより正確に整理・比較できます。本研究成果は、今後、機械学習データセットを効率よく検索・比較するシステムや、データ整理のためのデジタルライブラリ、研究支援システムなどの実現に貢献することが期待されます。
論文情報
Kamoto, M., Tamura, A., & Katsurai, M. (2025). NIED: A Corpus for Numeric Information Extraction from Dataset Descriptions. In 2025 ACM/IEEE Joint Conference on Digital Libraries (JCDL) (pp. 241–244). doi: 10.1109/JCDL67857.2025.00036.