2024-01-27

人間とAIの競争：共通テストをAIが解く～AIとの共存～

※この記事には個人の見解が含まれております。

※この記事にはプロモーションが含まれております。

この記事の親子

両親は低学歴・低所得。
そんな家庭に生まれた子どもは、通塾経験なしで公立中高一貫校に合格。
高校2年以降定期テスト理系1位継続、及び学年1位獲得。
高校3年1学期通知表評定学年1位。
英検対策なしで準1級取得。
2024年東大受験に塾なしで挑みます！
そんな息子を育ててきた父親の体験談です。

2024年AI対人間の大学入学共通テスト成績比較

2024年AI対人間の大学入学共通テスト成績比較

大学入試共通テスト、3つのチャットAIに解かせてみたら？　

GPT-4はバケモノだった！

先日このような記事を見かけました。

元記事はコチラです。私的には非常に面白かったので、興味のある方は読んでみてください↓

この記事を簡単に説明すると、東京都千代田区に本社を置く"LifePrompt"という会社が2024年の大学入試共通テストを3つの異なるチャットAIに解かせたという話になります。

人間とAIではどちらの正答率が高かったのでしょう？

AIの方が高いんじゃないかしら……

さすがにまだ人間の方が高いんじゃないか？

あなたはどちらだと思いますか？

AIの概要

ChatGPT（GPT-4）、Bard、Claude2はすべて人工知能に基づく言語モデルですが、それぞれ異なる特徴を持っています。

これら生成AIの特徴をまとめましたのでご覧ください。

Chat GPT (GPT-4)

・開発者: OpenAI（アメリカ）
・モデルのタイプ: GPT-4はトランスフォーマーベースで、非常に大規模な言語モデル。
特徴:
- ・多用途性: 幅広いトピックやタスクに対応可能。
- ・高度なテキスト生成能力: 複雑な質問に対する答えや、クリエイティブな文章生成が可能。
- ・大規模データセットの使用: 多様なデータソースからの学習により、広範囲な知識をカバー。
- ・文脈理解: 長い会話や複雑な文脈を理解し、関連性のある回答を生成。

ChatGPTはOpenAIによって開発され、大量のテキストデータから学習して質問に答えたり、会話を行ったりすることができます。

自然言語処理を用いて、人間のように流暢なテキストを生成する能力を持っているのが特徴です。

Bard

・開発者: Google（アメリカ）
・モデルのタイプ: 詳細な情報は公開されていないが、Googleの技術を基にした言語モデル。
特徴:
- ・検索エンジンとの統合: Googleの強力な検索エンジンと統合されているため、最新かつ広範な情報へのアクセスが可能。
- ・情報の精度: 検索データに基づくため、情報が正確で最新。
- ・多言語対応: Googleの技術を活用し、多言語に対応する可能性。

BardはGoogleが開発していますので、Googleの大規模なデータと検索エンジンの技術を活用しています。

ユーザーの質問に対して情報を提供したり、創造的なテキストを生成したりすることが可能となっており、Googleの知識と検索技術を組み合わせることで、広範なトピックに対応できるとされています。

Claude2

開発者: Anthropic（アメリカ）
モデルのタイプ: 詳細な情報は限られているが、対話に特化した言語モデルとされている。
特徴:
- 対話の理解: 対話におけるニュアンスや文脈の理解に重点を置いている。
- ユーザー中心のデザイン: ユーザーの意図や要望をより深く理解することを目指して設計されている。
- 安全性と倫理的配慮: ユーザーの感情や倫理的な問題への配慮を重視。

Claude2はAnthropicによって開発され、人間の理解を深めるために設計されているため、特に倫理的かつ理解しやすい回答をすることに重きを置いています。

ユーザーの意図をより深く理解し、対話においてより関連性の高い応答を行うことができるように設計されています。

実験結果と解説

3つのAIの特徴が分かったところで、実験結果を見てみることにしましょう。

（表はLifePrompt記事から引用）

国語

GPT-4が最も高い正答率を示しており、これはその言語理解能力の高さと、広範なデータセットに基づく知識を反映している可能性があります。BardとClaude2はGPT-4に及ばず、特にClaude2の正答率が低いことが見て取れます。

英語（リーディング）

英語リーディングでは、GPT-4が非常に高い正答率を達成しています。これは、その高度なテキスト解釈能力と、複数の文脈にまたがる理解を統合する能力が優れていることを示しています。BardとClaude2も比較的良い成績ですが、GPT-4には及びません。

数学1A・2B

数学1Aでは、すべてのAIが苦戦しており、特にBardの正答率が非常に低いことが目立ちます。GPT-4が最も良い成績を収めていますが、数学の問題解決においてはまだ人間の受験生に遠く及ばないことが示されています。

数学2Bでも、AIは全般的に低い正答率で、複雑な問題解決や抽象的思考を要する分野でAIがまだ発展途上であることを示しています。

世界史・日本史

世界史では、GPT-4が非常に高い正答率を記録しました。これは、大規模なデータから得た情報と、文脈を理解する能力がうまく組み合わさっている結果と考えられます。

日本史の内容に対しても、GPT-4とClaude2が健闘していますが、Bardは後れを取っています。

理科基礎

理科総合においても、GPT-4が非常に高い正答率を示し、科学的なデータや概念への理解が高いことを示しています。

5教科7科目

GPT-4が最も高い正答率を記録しました。BardとClaude2は受験生を下回るという結果になりました。

実験の結果、GPT-4は他のAIを凌ぐだけでなく、受験生平均を超えるパフォーマンスを見せました。

特に、数学1Aと数学2Bを除く全科目で高い正答率を達成したことで、GPT-4が知識ベースの問題や言語パターンを解析するのにとても強いと分かりました。

一方、複数の処理を同時に要求する思考力を要する問題（例えば、数学1Aと2B）では苦戦したことから、AIはまだ既存のパターンや情報に基づいて回答を生成するにとどまっていると言えます。

この実験は、AIが教育分野でどのように活用されていくのか？そして現在の人工知能の能力を探る上でとても有用なものだと感じました。

それぞれのAIが異なる強みと応用範囲を持ち、技術的多様性を示していることが分かり、AIの進化がどのように人間の学習や評価プロセスに影響を与えるかについての洞察にもなりました。

AI（言語モデル）の得手不得手

この機会にAIの得意な分野と不得意な分野の理由を調べ、まとめてみました。

得意①データベース型知識問題

AIは大規模なデータベースにアクセスして情報を引き出す能力に優れており、何百万もの書籍、記事、webページからのデータを学習しているため、事実ベースの質問に対する回答ができる。

例えば、歴史的な出来事や科学的な事実に関する問題は、事前に学習したデータを基にして回答するため、高い正答率を達成することができるというわけです。

これは知識の再生産に関わる問題で最も顕著になりますので、事実記憶やデータ検索能力を測る試験では人間を上回る可能性が高くなります。

得意②言語処理能力

自然言語処理NLP
（自然言語処理とは、人が使用している自然言語をコンピュータで処理・分析することで、大量のテキストデータの解析や非構造化データを処理できます）

AI技術の中でも特に進歩が著しい分野がこの自然言語処理です。

GPT-4は高度なテキスト解析能力を持ち、複雑な文脈を捉えることができるため、文章理解やリーディングで優れた成績を収めることができました。

この能力は、文章の意味を解釈し、比喩や潜在的な意味を理解することもできるため、長い会話や文書を通じた文脈の追跡においても優れています。これにより、複数の段落にわたる情報を統合して一貫性のある答えが作り出せるというわけです。

リーディングで得点率が高かったのもこの自然言語処理能力が極めて高いからということです。

得意③システム化された問題解決

AIはルールに基づいて動作するため、明確なガイドラインやアルゴリズムに従って解を導く問題に強いです。

GPT-4は、与えられたルールやパターンを理解し、それを適用することで一貫した方法で問題を解決します。

例えば、一定のパラメータに基づいて最適な解を見つけるような最適化問題や、知っている情報から新たな結論を導く論理問題では、高速かつ正確な処理能力を発揮することができます。

こう見ると、やっぱりAIは膨大なデータを所有しているわけだから知識問題にはめっぽう強いよね。言語も強力だし、この辺りはこれからもっと進化していくだろうね。

そうだな。膨大な知識の量や、とんでもない処理スピードに人間が勝てるわけないからな。特に試験のような時間制限があれば尚更だよな……でも、現時点で人間の方が勝っている分野もあるぞ

そうだね。それが数学のように複雑な思考プロセスや抽象的な推論を必要とする分野なんだね

無敵に見えるAIですが、苦手としているものもあります。

以下にAIが苦手としている思考を挙げてみます。

苦手①抽象的思考

数学は抽象的思考を必要とします。

このような問題では、複数の概念を組み合わせたり、一見関連性のないアイデアを結びつける能力が求められますが、AIはこのような高度な概念の統合を行うことを苦手としています。

また、数学や論理パズルなどで見られるように、直感や「ひらめき」を必要とする問題などの解決プロセスを構築することができません。

既存のデータに頼れない問題を解くことは難しく、特に創造的な解決策や抽象的な推論を必要とする問題では、そのパフォーマンスが一気に低下します。

苦手②複雑な問題解決

数学の問題などでは、複数の推論ステップを踏む必要があります。

AIは、これらのステップを個別に処理することは得意なのですが、それらを総合的に組み合わせて全体の解を導き出すことは苦手です。

人間は問題を見てそれを理解し、あらゆる角度から解こうとしますが、AIは与えられた問題の形式やパラメーターに強く依存しているため、人間のような考え方ができません。固定されたルールやパターンに従うことは得意でも、ルールが明確でないものや変化する可能性のあるものへの対応はできないのです。

苦手③創造性や生み出す力

創造性は新しいアイデアや概念を生み出す力ですが、AIは過去のデータに基づいて学習するため、本質的に新しいアイデアやパターンを作り出すことが苦手です。

多くの創造的な問題解決では、複数の可能性の中から最適な選択をする必要がありますが、AIは最も可能性の高い単一の答えを生成するため、複数の選択肢を同時に評価することができません。

抽象的な概念や深い意味を読み取り、それを新しい方法で表現することが難しく、人間のように感情や深い洞察に基づく解釈を行うことはできないのです。

AIはまだまだ発展途上だと思うけど、アルゴリズムの進化と共に高度な問題も解けるようになっていきそうだよね。

そうだな。数学で言えば図やグラフなどもあるから、それらを理解し解析する能力が上がっていけば問題解決能力も進歩していくんじゃないかな。

でも、そうなっていくとAIの進歩は間違いなく僕たちの生活様式や働き方に大きな変化をもたらすよね。AIと上手く共存していくためにはどうすればいいのかな？

AIの発展はもの凄い早さで進んでいるから時代も目まぐるしく変化していくよね。では、実際にどう変化していくのか考えてみようか。

これからの時代で起きる変化とは？

AIの進歩に伴い、働き方にも大きな変化が生じていくことが想像され、これらの変化は一部で具体的に現れています。

リモートワークの普及

コロナ以降リモートワークが急速に普及し、AIとデジタル通信技術の向上によって、場所に縛られず働けるようになりました。

地理的な制約から解放された働き方が可能になったことで、国内に限らず海外でも同様に働けるようになります。

通勤時間の削減や柔軟な勤務スケジュールによって、ワークライフバランスの向上が期待され、家庭と仕事の両立が可能になっていくでしょう。

新しい職業

AI技術の進歩は、労働市場において新しい職業の創出を促していますが、これらの新しい職業は、技術革新によって生じるニーズに対応し、従来の職業にはない独自のスキルや専門知識を要求するものとなります。

・データサイエンティスト
（複雑で膨大な情報「ビッグデータ」を分析し、ビジネスに活用できる知見・情報を引き出す専門家のこと。）

・ロボットエンジニア
（ロボットに関連する設計や開発、運用、メンテナンスなどの業務を担当するエンジニアのこと。）

・AR（拡張現実）、VR（仮想現実）の開発
（ARは拡張現実と言い、現実空間上に映像としてシステムや3Dモデルを当て込んでいく技術。VRは仮想現実と言い、デジタル上の仮想空間上にシステムや3Dモデルを作り出していく技術のこと。）

AI時代に必要なスキル

AIの進歩に伴い、今後の労働市場では新しいスキルが求められるようになります。これらのスキルは、テクノロジーの理解からソフトに至るまで幅広く、個々が競争力を保つためには、これらを習得し継続的に学んでいくことが重要です。

・プログラミング
・問題解決能力
・批判的思考
・コミュニケーション能力
・創造的思考
・イノベーションの推進

これらの能力は仕事で成功するために必要なものですが、AIの時代ではより不可欠なものとなるでしょう。