2020 年後半、Dario Amodei は OpenAI のエンジニアとしての役割を離れることを決めました。彼は、AI を構築することを目標として、自分の会社を設立したいと考えていました。それは強力でインテリジェントなだけでなく、人間の価値観にも沿ったシステムです。今日の ChatGPT を支えている大規模言語モデルの前身である GPT-2 と GPT-3 の開発を主導したアモデイ氏は、最近の計算能力とトレーニング技術の進歩によって AI が実現されていないと感じていました。システムがより安全になります。それを達成するには、別の方法が必要であると彼は考えました。
アモデイの会社アンスロピックはわずか 2 年で 15 億ドルの資金を調達し、最近では 価値は40億ドル 、 最も価値の高いA.I.スタートアップ 世界中。その主な製品は、ChatGPT のような AI である Claude です。 1月にリリースされたチャットボット。今月初め、Anthropic は、より微妙な推論を備えた長い応答を誇る新しいバージョンである Claude 2 をリリースしました。
安全な AI が必要な理由モデル
アモデイ氏は、言語モデルの進歩について議論する際に、ロケットに例えることを好みます。データと計算能力は燃料とエンジンであり、安全性の問題は宇宙船の操縦に似ています。強力なエンジンと大量の燃料があれば、大型宇宙船を宇宙に打ち上げることができますが、船を正しい方向に導くことはほとんどできません。同じロジックが AI のトレーニングにも当てはまります。システム。
「大規模なテキストのコーパスからモデルをトレーニングすると、形がなく、特別な世界観も持たず、何かの代わりに何かを言わなければならない特別な理由もない、非常に賢くて非常に知識豊富なものと表現できるものが得られます。別のものだ」とアモデイ氏は昨日（7月13日）シカゴで開催されたアトランティックズ・プログレス・サミットの炉端での雑談の中で語った。
AI を搭載しているテクノロジーのリスクがその能力とともに増大するにつれて、人間の価値観を理解するシステムの重要性はますます高まるでしょう。
ChatGPT や同様のツールの開発者とユーザーは、チャットボットが事実に反して不正確な回答や不正な回答を生成する可能性があることをすでに懸念しています。しかし、数年後には、A.I.システムは、より説得力のある偽りの物語を作り出すことができるほど賢くなるだけでなく、科学や生物学などの深刻な分野でもでっち上げることができるようになるかもしれません。
「2 ～ 3 年以内に、おそらくモデルが科学と工学の幅広い分野で創造的な活動を行えるようになる段階に近づきつつあります。それは生物学の悪用か、制限された核物質の可能性がある」とアモデイ氏は語った。 「私たちは先を見据えてこれらのリスクに対処する必要があります。」
Anthropic の「Constitutional A.I.」方法
A.I.多くの場合、それがどのように機能するかを誰も正確に知らない「ブラック ボックス」テクノロジーとして説明されます。しかし、Anthropic は AI を構築しようとしています。人間が理解して制御できるシステム。そのアプローチはアモデイが言うものです 憲法上の A.I.
チャットボットからの有害な出力を特定し、ラベルを付けて改善するために人間が介入する業界標準のトレーニング方法とは異なり、憲法上の AI は、自己改善を通じてモデルをトレーニングすることに重点を置いています。ただし、この方法では、A.I. の「構成」、つまり一連の規定値を提供するために、最初に人間の監視が必要です。従うべきモデル。
Anthropic の「憲法」は、国連人権宣言などの確立された文書やさまざまなテクノロジー企業の利用規約など、広く受け入れられている原則で構成されています。
アモデイ氏は、Anthropic のトレーニング方法を次のように説明しました。次に、ボットの別のコピーを取得して、最初のボットの動作が原則と一致しているかどうかを確認します。そうでない場合は、否定的なフィードバックを与えましょう。したがって、ボットはこのループでボットをトレーニングし、原則に以上に一致するようにしています。」
「これは、AI の価値を形成するためのより透明性が高く、効果的な方法であると考えています。システムです」とアモデイ氏は語った。
ただし、AI には根本的な欠点があります。モデルは決して完璧ではないということです。 「これは自動運転に似ています」とアモデイ氏は言う。 「この車が絶対に衝突しないという保証はできません。 「この車は人間が車を運転するよりもはるかに事故が少なく、運転するたびに安全性が増します」と言えるようになりたいと願っています。
