突如として現れ世界中の話題をさらっているChatGPT、知りたいことをタイピングすればチャット形式でなんでも答えてくれる便利な道具です。一方で回答があまりにも自然に出力されるため、内容が正しいかどうかを忘れて書いてあることを信じ込んでしまう恐怖感があります。
そこでChatGPTの答えが本当に正しいのかどうか、調べてみることにしました。
子供が宿題のすべてをChatGPTで解決してしまわないか。
迫る夏休みの自由研究に備えてハンナ社員が一肌脱ぎます。
目次
1.ChatGPTのおさらい
2.実験してみた
3.ズレの原因を考察する
4.大事なのは経験すること
5.必要な時だけ測定器を使う方法
1.ChatGPTのおさらい
ChatGPTはAIが実装されたチャットシステムで、質問をすると会話調で回答してくれます。どんな質問でも答えてくれることから非常に便利な反面、回答は入力した言葉次第なところがあるため、欲しい回答が得られないなどの問題もあります。
またChatGPTの回答データはインターネット上にあるデータをベースにしており、これが2021年9月までのデータで出来ています。回答が自然すぎるため最新の情報と思い込みを生みかねないので注意が必要です。
2.実験してみた
調査対象はドリンクに含まれる糖度。
1.漆黒の炭酸水
2.牙が生えそうなジュース
3.千葉県が誇るコーヒー
の3つで検証しました。
なおこれらの糖度がどれくらいなのか、事前にChatGPTへ質問すると以下のような返答が。
1.10~12%
2.10~15%
3.0%
断定せずにこの範囲内に収まるでしょう、という回答はまさに社会人を相手にした賢い返答です。
ChatGPT、世渡り上手だ。
ところで果物の糖度はだいたい12%くらいで「甘い!」と評価されるものたちは15%くらい。
以前私が食べた、程よく熟したメロンの糖度は16%でした。
実験前に分かったことは、とにかくどれも甘いであろう。ということです。
それでは実験に移ります。
公正な実験を実現するべく測定はハンナのテクニカルサポートCが担当しました。(Cも子を持つ親として興味深いようです)
日常的にこれらのドリンクを愛用しているCからすると、この数値は「低すぎない? もっと甘いと思う」とのことです。
まずは1、漆黒の炭酸水から。
一応、官能検査も実施してみます。Cによれば糖度は10。
実際の糖度は・・・10.7%
とりあえずChatGPTが提示したデータの範囲に収まりました。
Cの味覚もなかなかです。
次に2、牙が生えそうなジュースです。
こちらCの体感値では15、結構甘いみたいです。
実際の糖度は・・・12.4%
1よりも甘いですがこれもChatGPTの予想範囲に収まりました。
最後に3、千葉県が誇るコーヒー。
C的には10%くらい
予測値は0でしたが実際の計測値は・・・12.1%
このズレはなぜ起きたのでしょうか?
レポート作りで一度は悩んだ経験があるであろう、考察のポイントです。
なおこの結果にCは「ChatGPTがすべてではない事が分かりました、自分で調べてみないと世の中わからないことは分からないですわ。何事もAIやインターネットに全部載っているわけではないですね」と語っていました。
※
糖度計で計測する際は、サンプルを滴下するガラス面を綺麗にするために精製水を使用しますが、精製水は飲料水ではありません。間違っても口に含まないようにしてください。
3.ズレの原因を考察する
さて3のコーヒーが、ChatGPTと実計測でズレました。
原因として2つ仮説が浮上しました。
1.ChatGPTが間違えている
2.測定器が間違えている
今回使用した糖度計は、液体サンプルの”濃度”を測定するため、糖度以外にも含まれるすべての物質を濃度として算出します。そのため厳密な糖度として算出された値ではないことが考えられます。
とはいえあれだけ甘いコーヒーに砂糖が含まれていないとは考えられません。
原材料を見ると砂糖や100%練乳が含まれていることが分かるため、糖度が0でないことは証明できました。
この事実を踏まえると
1・・・間違い
2・・・だいたい合ってる
ということが分かりました。
4.大事なのは経験すること
今回の実験で最も大きな収穫だったのは、実験に対する興味があるかどうか、ということです。
計測を担当したCからすると、体調を気にする年齢になってきたこともあって「普段口にしている物にどれだけ糖分が含まれているのかを実際に知れて良かった」と語っています。
ChatGPTやネット検索でその数値を調べることができても、それは一時的に頭で理解しただけで
自分自身の舌で感じた体感値はもっとも説得力があります。
自分で実体験することが最も大事、ということが肌感覚レベルで明確になりました。
という研究のために測定器レンタルサービスをご利用された小学生の方がいらっしゃいました。
考えられる原因は塩素に限った話ではないですし、この結論にたどり着くまでには時間を要したと思います。
今はネット検索やAIツールを使えば、原因を絞り込むスピードが早くなります。
道具を上手に使えば自分の興味を深堀りするスピードも比例して早くなることを意味しています。
どんなにAIが進化しようと、リアルな経験は人間にしか積めません。
経験こそ価値で、将来に向けたキーポイントになります。
経験を効率よく積むための道具としてAIやネットツールと付き合っていくのが一つの答えに思えます。
その方は下調べをした上で実際に自分の手で測定を行い、改善の道が開けたそうです。
今どんな方に成長されているのか非常に興味深いですし
そのためにハンナを選んでくれたことを今でも嬉しく思っています。
探求心を測定の力でサポートする体制をハンナは用意しています。
どうぞ、お気軽にご相談ください。
そしてユニークな実体験をぜひ教えてください、お待ちしております。