生成AIへの注目が高まって久しいですが、ChatGPTも2024年5月に新モデルGPT-4がリリースされています。ChatGPT3.5ではお笑いのような回答も見られましたが、4.0はもはやそんなこともなく、いよいよ専門家の首が絞められつつあると感じます。 もちろん、今すぐ、生成AIが我々に代わってすべてをやってくれるわけではなく、現状では、我々がプロンプトを考えて指示を与えないと答えを出してくれません。 また、守秘義務の問題がありますので、機密情報に当たるようなことはプロンプトに入れることはできません。ですから、我々の使い方としては、資料集めやリファレンス的な補助ツールというのが現実的です。
大きく進化しているChatGPT4.0
ChatGPT3の頃にいろいろ試しては見たのですが、情報の正確性という点ではちょっと見ればおかしいとわかる程度のものでした。
機械設備の評価の場合は、対象となる機械設備の市場性、対象となる機械設備で生産された製品の市場性を把握することが重要になります。 例えば、工作機械の大手5社を挙げてくださいとChatGPT4.0でプロンプトを書くと
DMG MORI（DMG森精機株式会社）
Yamazaki Mazak（ヤマザキマザック株式会社）
Trumpf（トルンプグループ）
AMADA Holdings（アマダホールディングス株式会社）
JTEKT（ジェイテクト株式会社）
という回答が返ってきます。実はこれを「3」の頃にやってみたのですが、ヤマザキマザックが出てこないのです。これは突き詰めてみると単純でヤマザキマザックは非上場で特に財務面での情報が入手しにくかったことが原因のようでした。
工作機械について多少の知識がある人でしたら、「マザックがないなんて」というレベルでしたが、4.0では少なくともそのレベルはクリアしていると言えます。ネット検索をしても意外と市場シェアの情報はたどり着きにくいので、その点で利用価値は高いと言えます。
致命的な部分とは
おそらく、ここまで読まれた方がいらっしゃいましたら「それ、本当？」と思って、ChatGPTをいじられる方もいらっしゃると思いますが、生成AIには「再現性がない」という特性があって、上記と同じ答えが出るとは限りません。以前、同じ質問を2回したら全く違う答えが出てきたことがあります。 実はこの部分は致命的で、特に我々の世界では、物が本当に実在しているのか、資料として採用した場合、信憑性があるのかどうなのか、そのあたりをきちんと判断する必要があります。聞くたびに意見がコロコロと変わるようでは、とても信頼のおける情報とはいえません。また、意見がコロコロ変わるということはその前提となるバックグラウンドあるいは思考回路があやふやではないかと疑わざるを得ません。
そもそもAIの特性として思考回路をトレースすることができず、ブラックボックス化するということは多くの専門家に語られてきたことで、回答の先に「なぜ？」を求められるとAIの”得体が知れない”という本質に突き当たります。
情報ソースをはぐらかされる
ChatGPT4の進化点としては、情報ソースが明示されるようになった点でしょう。実際前記の工作機械大手5社のリストも3つの市場調査会社のデータを引用したとしています。
ところが、その元になったデータはどうなのか、そのデータはいつ発表になったいつ時点のものなのかと確認すると
「レポートに関する具体的な引用については、残念ながら、私が直接アクセスしたわけではなく、他の市場調査レポートの情報を元にして回答を構成しました。」 という答えが返ってきました。従って、データの前提条件がはっきりとせず、これをそのまま使うことは、使い道によってはリスクが高いということになります。
現状ではリファレンスが最適？
もっとも、この回答を基に市場調査会社にアクセスして確かな情報源にたどり着くことができるのであれば問題ありません。残念ながら今回は市場調査会社にまではアクセスしませんでしたが、ちゃんとした情報ソースが欲しければ調査会社にアクセスすればいいわけです。そう考えると、図書館のリファレンスのような使い方が現状では最適なように思えます。
先日来、レポートのレビューの仕事をしたのですが、様々な機械について調べなければならず、機械や業界のアウトラインを大づかみで把握するにはChatGPT4が戦力になりました。
心配なのは、こうした使い方を知った企業が、自社に有利な回答が出るようにチューニングしたりしないか、あるいは元となるデータの質が悪い場合にそれらを排除できるかということです。それができなければ、今世間で問題とされているような詐欺、あるいは使う人を錯誤に陥らせて誤った判断をさせてしまうという事象が生成AIでも起こるというデメリットも考えられます。
「評価など単に数字が分かればいい」、「結論さえ出ていればプロセスはどうでもいい、それより安く、早く」というニーズは多いのですが、我々の役割は「ちゃんとした根拠はあるのか」「それは確かなことなのか」をしっかりと確認、そして判断して「価値」についての意見を述べることです。 もしかすると、それを凌駕する生成AIが出現するかもわかりませんが、当面は”信頼に足るかどうかについてちゃんと裏を取る”という専門家の役割が強くなることはあっても弱くなることはないと感じています。 いずれにせよ本質を見極め、特性に合った最適な使い方が求められます。 読者の方にとって何かのご参考になれば幸いです。
Comments