大規模言語モデルは新たな知能か

目次

1. 序章 チャットGPTがもたらした衝撃 登場から二カ月で月間一億人が利用するサービスに 大規模言語モデルはこれまでにない汎用サービスを実現する 生活や社会を変えうる 社会への脅威となりうる 言語獲得の謎は解けるのか 新しい知能との付き合い方 1 大規模言語モデルはどんなことを可能にするだろうか 文書の校正・要約・翻訳 プログラミングのサポート ウェブ検索エンジンの上位互換 言語を使った作品を作る 言語以外を使った作品を作る カウンセリング、コーチング 学習のサポート 高度な専門性が必要な仕事のサポート 人にやさしいインターフェース 科学研究の加速 演繹的なアプローチと帰納的なアプローチの融合 2 巨大なリスクと課題 情報の信憑性――幻覚 幻覚の解決は簡単ではない 誤った情報の拡散 プライベートな領域に入り込む 価値観や偏見の扱い方 本人であることの証明が難しくなる 変わる仕事、残る仕事 AIの補助で仕事の構造が変わっていく 大規模言語モデルの開発が一部に独占される 3 機械はなぜ人のように話せないのか 人は言語をどのように獲得し、運用しているのか 私たちは言語をいつのまにか獲得している 自然言語処理と機械学習 これまでの機械学習では言語獲得・運用は難しかった 4 シャノンの情報理論から大規模言語モデル登場前夜まで 意味をなくし確率を使って情報を表わす――革命的だったシャノンの情報理論 どの文がもっともらしいか――言語モデル 言語モデルは言語を生成することができる 消された単語を予測することで言語理解の能力を獲得する 多様な訓練データをタダでいくらでも入手できる自己教師あり学習 問題の背後にある法則やルールを理解できるか――汎化 実験結果は言語モデルが意味や構造を理解していることを示唆する 言語モデルは文の意味を理解し、かつ文も生成できる 《コラム》圧縮器としての言語モデル データを生成できるモデルの発展 《コラム》人も言語モデルから学習しているのか 5 大規模言語モデルの登場 限界への挑戦 言語モデルの「べき乗則」の発見 データと計算力があれば知能が獲得できる モデルを大きくすると問題が急に解けるようになる 《コラム》普遍文法と現在の大規模言語モデル 大規模化はどこまで進むのか 《コラム》人の脳とAI プロンプトで変わるAIの使い方 AIを使った開発は誰でもできるようになる 人によるフィードバックを与える 6 大規模言語モデルはどのように動いているのか ニューラルネットワークの進化 ニューラルネットワークの学習――誤差逆伝播法 汎化――未知のデータの予測へ ディープラーニングの登場 《コラム》アレックスネット開発の裏側 なぜディープラーニングはここまで成功したのか 《コラム》モデルサイズと汎化の謎 データの流れ方を学習し、短期記憶を実現する注意機構 大規模言語モデルを実現したトランスフォーマー 指示を受け、その場で適応していく本文中学習 人間に寄り添う生成のための目標駆動学習 チャットGPTでの矯正法 終章 人は人以外の知能とどのように付き合うのか 道具としての大規模言語モデル 間違いもするし、自分と考え方も違う人のように付き合う 人はこうしたツールを飼いならせるのか コンピュータ将棋、囲碁のケース 人間自身の理解へ あとがき