ことばを扱うAIとTransformer

今の生成AIの土台になった Transformer と、大規模言語モデルの登場を見ます。

▶ 動画は準備中です。下の文字起こしで、同じ内容を読めます。

文字起こし

画像に比べて、ことばを扱うのはむずかしいとされてきました。同じことばでも、文脈によって意味が変わるからです。

「はし」が橋なのか箸なのかは、前後を読まないとわかりませんよね。

2017年、Googleの研究者たちが「Transformer（トランスフォーマー）」という新しいしくみを発表しました。

Transformer は、文の中の「どのことばに注目すればいいか」を計算するのが得意です。しかも、計算をまとめて並べて行えるので、大量の文章から効率よく学べました。

Transformer は、文の中の「どのことばに注目すればいいか」を計算します。この発明が、今の生成AIの土台になりました。

Transformer を使って、ものすごい量の文章で学ばせたAIを「大規模言語モデル」と呼びます。

2018年ごろから、モデルを大きくして、学ばせる文章を増やすほど、できることが増えていくことがわかってきました。2020年に発表されたGPT-3は、少しの例を見せるだけで、いろいろな仕事をこなして話題になりました。

大規模言語モデルがしているのは、AI生成講座でもお話しした「次に来そうなことばを選ぶ」ことです。

このシンプルなことを、とても大きな規模でくり返すと、会話や要約や翻訳までできてしまう。ここが、今の生成AIのいちばん不思議で面白いところだと思います。

文章を作るAIは「次に来そうなことば」を選ぶことを、ものすごい速さでくり返しています（数字はイメージです）。

Transformer の「注目」を体験してみましょう。

「ねこが魚を食べたのは、おなかがすいていたからだ」という文で、「おなか」はどのことばと関係が深いですか？　Transformer の「注目」という考え方とあわせて、やさしく説明してください。

この回：0 / 2