ChatGPTにプログラミングのコードを頼むとき、言語によって返ってくる品質が違うと感じたことはないでしょうか。OpenAIは2026年10月19日、COBOLやFortranのように学習できるコードや文書が少ない言語への対応について、最新のモデルの評価結果を公開しました。この記事では発表された数字と、個人が手元で精度を確かめるための依頼文と手順を整理します。
要点
- OpenAIは2026年10月19日、COBOL・Fortran・Visual Basicといった「low-resource programming languages」（モデルが学習できるコードや文書が少ない言語）でのソフトウェアの構築と移行の能力が強まったと公開した
- 20の言語でSQLite互換のデータベースエンジンを一から作らせる評価「MultiLangBench」で、GPT-6 Astraの平均テストパス率は87.4%。GPT-5.6 Solは26.8%だった
- COBOLのプログラムを別の言語へ移す評価では、GPT-6.1 Solがlow reasoning effortで86.6%の正確さ。GPT-5.6 Solは同じ設定で5.4%だった
- OpenAIはMultiLangBenchの評価設定とテストスイートをGitHubで公開している
- 本番のソフトウェアに適用する場合は専門家のレビューと、そのシステムのビジネスルールや依存関係に対するテストが必要だと説明されている
何が発表されたか
学習資源の少ない言語という課題
OpenAIは、最新のモデルの進歩によって、COBOL・Fortran・Visual Basicのような学習資源の少ないプログラミング言語でのソフトウェアの構築と移行の能力が強まったと説明しています。これらの言語は、PythonやJavaScriptに比べてモデルが学習に使えるコードや文書が少ない一方で、世界中の重要なインフラや欠かせないサービスを支えています。発表によれば、COBOLはオンラインバンキングシステムの40%以上、対面のクレジットカード取引の80%、ATM取引の95%を支えており、Fortranは天気予報や原子炉の安全解析に使われています。
この取り組みの背景には、コーディング向けのモデルがこれらの言語で苦戦するという開発者や法人顧客からの声があるとされています。文書が不完全であること、最初に書いた開発者がすでに会社を離れていること、重要な業務ルールがコードの中にしか存在しないことなどが、保守や刷新を難しくしていると挙げられています。
評価1 20言語でSQLiteを作らせる
MultiLangBenchは、指定したプログラミング言語でSQLite互換のデータベースエンジンを一から作れるかを試す評価です。モデルはコードベースを整理し、状態を管理し、エラーを処理し、既存の機能を保ったまま新しい機能を足すことを求められます。比較の方法として、データベースファイルを共通の入り口に使います。初期データベースとSQLのクエリを渡して変更後のデータベースを作らせ、本物のSQLite実装で中身が期待どおりかを確かめる仕組みです。
最大のreasoning effort（推論にかける手間の設定）では、GPT-6 Astraの平均テストパス率が20の言語で87.4%となり、GPT-5.6 Solの26.8%から上がりました。言語ごとに見ると、COBOLが10.9%から72.1%、OCamlが25.6%から85.8%、Fortranが21.4%から83.5%、Visual Basicが27.5%から89.4%へと変化しています。Astraは20言語のうち19言語で83%を超え、COBOLが最も難しく72%でした。
低コストの選択肢として示されたGPT-6 Lunaは、最大のreasoning effortで平均40.3%。1サンプルあたりの推定平均APIコストは0.77ドルで、GPT-5.6 Solの3.48ドルと比べて約78%低いとされています。
GitHubで公開されたリポジトリには、この評価がSQLite 3.40.1の実装を求めるものであること、テストがSQLiteのTCL Testsから作られたことが書かれています。51kあるテストのうち24kが変換できたとあり、評価では00・01・02で始まる272件のテストだけを使うこと、インターネット接続は許可されないこと、60秒を超えると失敗扱いになることも記されています。さらに、要求されたプログラミング言語で書かれていない場合はテストパス率を0にすると明記されています。
評価2 COBOLから別の言語への移行
もう一つの評価は、COBOLのプログラムをC++・Java・Kotlin・Python・Rustへ、それぞれの動きを保ったまま移せるかを試すものです。COBOLの固定小数点演算は、明示的に丸めを指定しない限り余分な小数の桁を切り捨てます。この部分を四捨五入する書き方に変えてしまうと、エラーなく動くのに金額の計算結果が変わってしまう、という例が挙げられています。
こうした振る舞いが保たれているかを確かめるため、観測できる出力がバイト単位で一致することを求める隠しテストが使われ、すべてのテストに通った場合だけ成功とされます。この評価でGPT-6.1 Solはlow reasoning effortで86.6%の正確さに達し、同じ設定のGPT-5.6 Solは5.4%、コストは39%低いとされています。より高いreasoning effortでは97.9%に達し、評価はほぼ飽和に近づいたと説明されています。
個人の仕事や学びにどう使えるか
一つ目は、古い業務システムを引き継いだ情報システム担当の場面です。手元にCOBOLの帳票処理が残っていて、仕様書が途中までしかない。こうしたとき、コードの意味を日本語で説明させ、どの行が金額の丸めに関わるかを洗い出す使い方が考えられます。発表でも、重要な業務ルールがコードにしか存在しない状況が課題として挙げられていました。
二つ目は、Python以外の言語を学び直している会社員やフリーランスの場面です。FortranやVisual Basicのサンプルを読み解くとき、同じ処理をPythonで書き直してもらって見比べると、文法の違いが整理しやすくなります。
三つ目は、受託の見積もりの前に、移行の難しそうな箇所だけ先に洗い出す使い方です。依頼文は次のように、守りたい振る舞いを先に書くと精度を確かめやすくなります。
このCOBOLプログラムをPythonに移したいです。
- 計算結果が1円も変わらないことを最優先にしてください
- 元のコードで小数が切り捨てられている箇所を、行番号つきで先に列挙してください
- 移行後のコードと、元と同じ出力になるか確かめるテストを一緒に出してください
受け取ったあとの確認は、評価のやり方をそのまま小さくするのが分かりやすい方法です。まず、頼んだ言語で書かれているかを自分の目で見ます。MultiLangBenchでも、指定した言語で書かれていない解答はテストパス率を0として扱うと決められています。次に、入力と出力を固定した例をいくつか用意し、元のプログラムと新しいコードの出力が文字単位で一致するかを突き合わせます。最後に、丸め方や該当するレコードが無いときの扱いなど、結果が静かに変わりやすい箇所を個別に質問して確かめます。
会社・チームで使うときのポイント
発表では、こうした振る舞いを保つ能力は古いシステムの保守や刷新に役立つ一方、本番のソフトウェアに適用するには専門家のレビューと、そのシステムのビジネスルールや依存関係に対するテストが必要だと明記されています。チームで使うなら、生成されたコードをそのまま反映せず、レビューと検証の手順を先に決めておくことが前提になります。評価の設定とテストスイートはGitHubで公開されているため、自分たちが使う言語での結果を確認し、業務に関わる弱点を把握する進め方もできます。法人として導入や研修を検討する場合は、株式会社デジライズに相談できます。
使う前の注意点
今回の発表で案内されているのは、最新のモデルをAPI経由で、自分たちのチームが使う言語のコーディング作業に試せるという点です。ChatGPTのどのプランでどのモデルを選べるかについては、使う前に公式のヘルプで最新の提供範囲を確かめてください。
数字の読み方にも注意が必要です。MultiLangBenchの結果は、00・01・02で始まる272件のテストを使い、インターネット接続なし、60秒のタイムアウトという条件のもとで測られています。COBOLはGPT-6 Astraでも72%で最も難しい言語として残っており、どの言語でも同じ精度が出るわけではありません。COBOL移行の評価も、隠しテストで出力がバイト単位で一致することを求めるという特定の条件での結果です。金額や日付の扱いなど、ずれても気づきにくい部分は必ず自分の手元で突き合わせる前提で使うのが安全です。
まとめ
OpenAIは2026年10月19日、COBOL・Fortran・Visual Basicなど学習資源の少ないプログラミング言語での構築と移行について、評価結果を公開しました。数字は大きく伸びていますが、本番の適用には専門家のレビューと検証が必要だと発表自体が述べており、個人としては小さな例で出力を突き合わせる習慣を持つのが現実的です。依頼文の組み立てから体系的に学びたい場合は、動画990本以上のデジライズAIスクールのコース一覧から「ChatGPT基礎（初級）」のような講座を見てみてください。
出典
この記事は、各社の公式の発表をもとに AI で下書きし、出典の本文との照合とGoogle 検索による事実確認（ファクトチェック）を通ったものだけを公開しています。
