【ハンナの自由研究】ChatGPTが正しいのか検証してみた

突如として現れ世界中の話題をさらっているChatGPT、知りたいことをタイピングすればチャット形式でなんでも答えてくれる便利な道具です。一方で回答があまりにも自然に出力されるため、内容が正しいかどうかを忘れて書いてあることを信じ込んでしまう恐怖感があります。

そこでChatGPTの答えが本当に正しいのかどうか、調べてみることにしました。
子供が宿題のすべてをChatGPTで解決してしまわないか。
迫る夏休みの自由研究に備えてハンナ社員が一肌脱ぎます。

目次
1.ChatGPTのおさらい
2.実験してみた
3.ズレの原因を考察する
4.大事なのは経験すること

1.ChatGPTのおさらい

ChatGPTはAIが実装されたチャットシステムで、質問をすると会話調で回答してくれます。どんな質問でも答えてくれることから非常に便利な反面、回答は入力した言葉次第なところがあるため、欲しい回答が得られないなどの問題もあります。

またChatGPTの回答データはインターネット上にあるデータをベースにしており、これが2021年9月までのデータで出来ています。回答が自然すぎるため最新の情報と思い込みを生みかねないので注意が必要です。

2.実験してみた

調査対象はドリンクに含まれる糖度。

1.漆黒の炭酸水
2.牙が生えそうなジュース
3.千葉県が誇るコーヒー

の3つで検証しました。

なおこれらの糖度がどれくらいなのか、事前にChatGPTへ質問すると以下のような返答が。

1.10～12%
2.10～15%
3.0%

断定せずにこの範囲内に収まるでしょう、という回答はまさに社会人を相手にした賢い返答です。
ChatGPT、世渡り上手だ。

ところで果物の糖度はだいたい12%くらいで「甘い！」と評価されるものたちは15%くらい。
以前私が食べた、程よく熟したメロンの糖度は16%でした。
実験前に分かったことは、とにかくどれも甘いであろう。ということです。

それでは実験に移ります。
公正な実験を実現するべく測定はハンナのテクニカルサポートCが担当しました。（Cも子を持つ親として興味深いようです）
日常的にこれらのドリンクを愛用しているCからすると、この数値は「低すぎない？　もっと甘いと思う」とのことです。

まずは1、漆黒の炭酸水から。
一応、官能検査も実施してみます。Cによれば糖度は10。
実際の糖度は・・・10.7%
とりあえずChatGPTが提示したデータの範囲に収まりました。
Cの味覚もなかなかです。

次に2、牙が生えそうなジュースです。
こちらCの体感値では15、結構甘いみたいです。
実際の糖度は・・・12.4%
1よりも甘いですがこれもChatGPTの予想範囲に収まりました。

最後に3、千葉県が誇るコーヒー。
C的には10%くらい
予測値は0でしたが実際の計測値は・・・12.1%
このズレはなぜ起きたのでしょうか？
レポート作りで一度は悩んだ経験があるであろう、考察のポイントです。

なおこの結果にCは「ChatGPTがすべてではない事が分かりました、自分で調べてみないと世の中わからないことは分からないですわ。何事もAIやインターネットに全部載っているわけではないですね」と語っていました。

※
糖度計で計測する際は、サンプルを滴下するガラス面を綺麗にするために精製水を使用しますが、精製水は飲料水ではありません。間違っても口に含まないようにしてください。

3.ズレの原因を考察する

さて3のコーヒーが、ChatGPTと実計測でズレました。
原因として2つ仮説が浮上しました。

1.ChatGPTが間違えている
2.測定器が間違えている

今回使用した糖度計は、液体サンプルの”濃度”を測定するため、糖度以外にも含まれるすべての物質を濃度として算出します。そのため厳密な糖度として算出された値ではないことが考えられます。
とはいえあれだけ甘いコーヒーに砂糖が含まれていないとは考えられません。
原材料を見ると砂糖や100%練乳が含まれていることが分かるため、糖度が0でないことは証明できました。