英語教育のための適応型共感的フィードバックの使用
英語学習者の不安やストレスを検出し、それに応じて共感的なフィードバックを提供することで、学習者のモチベーションと学習成果を高めることができる。
LLMが文化的に関連性のある常識的な質問回答データを生成できるか？インドネシア語とスンダ語を事例として
LLMを使用して、言語と文化の特性を反映した質問回答データを生成することは可能であるが、その質は人間が生成したデータに及ばない。特に、リソースの少ない言語であるスンダ語では、LLMの性能が大幅に低下する。
言語間転移の量を正確に測定する
言語モデルは言語固有の知識だけでなく、言語非依存の知識も学習しており、これが言語間転移の主要な要因となっている。
線形再帰ニューラルネットワークにおける正規言語推論の高度化
線形再帰ニューラルネットワーク(LRNN)は、自然言語や長距離モデリングでTransformerと同等のパフォーマンスを達成しつつ、高速並列トレーニングと一定の推論コストを提供する。本研究では、LRNNが正規言語の文法構造などの隠れたルールを学習できるかを調査する。理論的分析から、既存のLRNNには正規言語をモデル化する限界があることが分かった。そこで、入力依存の遷移行列を持つブロック対角型LRNNを提案し、正規言語タスクでの長距離外挿性能を示した。
言語モデルが稀な現象を、より一般的な現象から学習する
言語モデルは、より一般的な言語現象から抽象化を行うことで、稀な文法現象を学習することができる。
文書レベルの分布からの語彙的複雑さの推定
文書レベルの複雑さ指標を用いて、語彙の複雑さを推定する手法を提案する。事前に注釈付けされたデータを必要とせず、言語に依存しない手法である。
LLMからの情報抽出メタモデルの蒸留: 様々な情報抽出タスクに適用可能
LLMから小規模言語モデルへの情報抽出のメタ理解の蒸留により、様々な情報抽出タスクに効果的かつ効率的に適用可能なメタモデルを構築する。
言語モデルにおける言語と思考の分離
大規模言語モデル（LLMs）は形式的な言語能力に成功しているが、機能的な言語能力には不十分であり、人間の思考と異なることを示唆している。
LLMの言語指向Fine-tuningによる正確な翻訳モデル構築
LLMの翻訳モデルを改善するための二段階のファインチューニングアルゴリズムが、翻訳指示に従う能力を向上させ、オフターゲット翻訳率を効果的に低下させる。
LLMs向けのメタファー理解チャレンジデータセット
大規模言語モデル（LLMs）のメタファー理解能力を評価するためのMUNCHデータセットがリリースされました。