OpenAI、低リソース言語のコーディング評価MultiLangBenchを公開　GPT-6 Astraは20言語平均87.4%

低リソース言語とは、PythonやJavaScriptに比べて学習できるコードや文書が少ない言語です。記事はIBMの説明へのリンク付きで、COBOLがオンラインバンキングシステムの40%超、対面でのクレジットカード取引の80%、ATM取引の95%を支えると紹介しています。Fortranは気象予報や原子炉の安全解析でも使われるとしました。OpenAIは開発者や法人顧客から、こうした言語でモデルが苦労するという声を受けてこの評価を作ったと説明しています。

MultiLangBenchは、指定された言語でSQLite互換のデータベースエンジンを実装させる評価です。テストはSQLite 3.40.1のTCLテスト群を基に作られました。候補となるプログラムは初期データベースとSQLクエリを受け取り、更新後のデータベースを出力します。その結果を本物のSQLiteで検証するため、実装言語が違っても同じテストで比較できます。GitHubのREADMEによると、5.1万件のTCLテストのうち2.4万件をこの形式へ変換でき、評価では接頭辞が00〜02の272件を使う。

Astraは20言語すべてで改善し、19言語で83%を超えた。COBOLだけは72%にとどまり、最も難しい言語です。合格率の向上は、長いコーディング作業の間に動く機能をどれだけ積み上げられるかを測るものです。

2つ目のCOBOL移行評価は、既存のCOBOLプログラムをC++、Java、Kotlin、Python、Rustのいずれかへ、振る舞いを保ったまま移行させます。COBOL特有の固定小数点演算の丸め方は事業の要件を反映するため、うっかり違う丸め方に書き換えると、エラーなしで動きながら金額が変わる。そこでOpenAIは、観測可能な出力がバイト単位で一致することを求める隠しテストを使い、全テストに合格した場合だけ移行成功としています。

この評価でGPT-6.1 Solは、低推論設定で86.6%の正解率でした。同じ設定のGPT-5.6 Solは5.4%で、APIコストは61%です。高推論設定では97.9%に達し、評価は飽和に近づいています。

2つの数値は別の指標です。MultiLangBenchの合格率はベンチマーク上の実装能力を示し、COBOL移行の正解率は評価内の隠しテストに対するものです。OpenAI自身、本番ソフトウェアへの適用には事業のルールや依存関係に対する専門家のレビューと検証がまだ必要だと書いています。評価設定とテスト一式はApache 2.0ライセンスで公開され、言語ごとの結果も添えられているため、第三者による追試が可能です。

今後の確認ポイントは、第三者による追試の結果、実際の基幹システムでの移行品質、レビューと監査を含めた総コストです。