Tweet

Pocket

試作３号機は、AIを使って等級判断をサポートするシステムとして開発しました。AIが等級判断するのではなく、あくまで提案するだけに留めています。

　AIの利用を提案に留めた一番大きな理由は、完全自動化するにあたりメカ的な設計が非常に難しかったためです。キュウリを傷つけずに運搬し、箱に綺麗に並べることができれば、AIに等級判断も任せた自動化を考えていたのですが、メカ部分がなかなか上手く行きませんでした。そこで、今のところは運搬＆箱詰め部分は人間が行うことにしたわけですが、そうなると人間の作業が運搬し箱詰めするだけという…これこそ人間がやる仕事か？と言った内容になってしまいます。そんなシステムを作りたい訳ではないので、それならば仕分け作業は人間が行うがAIのサポートで効率化が図れるようなシステムにしようと考えたわけです。

　もうひとつの理由としては、ガルリ・カスパロフが考案したアドバンストチェスです。人間とチェスAIがチームを組んで行うチェスですが、人間（プロ）とAIとが協力することで、最強のチェスAIに勝つことができたらしいのです。（その後、プロ＋AIチームをデータサイエンティストチームが打ち負かし、AIをいかに教育できるかが一番重要となったらしいのですが…）キュウリの場合も同じで、AIだけで等級判断を行った場合、約８割ほどの認識率ですが、人間と協力することでもっと精度が良くなるのではないかと考えたわけです。特に、傷・病気の判断はカメラ精度などもありAIは見落としがちなので、そこは人間で補うことが出来るし、逆に、形やバランスなどはAIに任せたほうが主観がなくなるためブレが少なくなるのではないかと考えたわけです。

…と、考えていたのですが実はそうでもないと思い始めてきたので、今回は『AIによる提案システムの難しいところ』についてご紹介いたします。

MFT2017出展してきました!

突然ですが、MakerFaireTokyo2017に出展してきましたv(^o^)v

試作３号機の展示を行ってきたのですが、ちょっとしたお遊びとして『挑戦！キュウリの仕分け問題』と題したゲームも作って行きました。

上の写真のように、キュウリ画像を表示してどの等級か答えてもらうというゲームです。
もちろん下のようなカンペシートも置いておき、見比べながら答えを選ぶことができます。

10問出題を終えると、次の10問はAIが判断した結果も併せて表示されるようになります。


最後に、AIサポートありの場合となしの場合の正解数を表示するというものです。

２日間の結果

MFTの２日間展示しておいた結果です。
何人が遊んでくれたかちゃんとデータ取ってなかったのですが、子供から大人まで割と多くの人にやって頂きました。

AIサポート無しよりもありの方が正しく判定出来るようになりました。このシステムが有効であることが示せたのかなと思います。
ただ、AIサポートありの精度が、AI単体（８割）よりも低下してしまいました。約12%の低下です。
 

AIによる提案の難しいところ

実際にブースに来てくれた方が遊んでくれているのを見ていて気づいたのですが、AIの提案が間違っていた場合（特に連続してAIが間違えた場合）、AIの提案が信じられなくなり？それ以後、AIよりも自分の判断を優先する場合が見て取れました。そして間違える。今回のAIは８割程度の精度なので、連続して間違えることも多々あります。それでも愚直にAIの提案に従い続ければ正解率８割なのですが、そうとはなりませんでした。一度AIを疑い始めると逆に混乱してしまう結果になったようです。なんとなく、ECサイトで見当違いのレコメンドが続くと全く見なくなるのと似ているなぁと。
考えてみればそうだよなぁーと思うわけで、AIの提案システムを考える時はAIの提案精度を高く保っておく必要があるなと思ったわけです。ただそれって、割とハードル高いなと思うわけですが。

※仕分けのプロがやればまた違った結果になると思いますが、まぁプロはこのシステムいらないだろうし

あとがき

MFT最高でしたー！わーい！たーのしー！
今回のAIによる提案システムですが、引き続き改良していこうと思います。
まずは、AI精度の改善ですかね。多少目途は付いているのですが、ラズパイで動かそうと思うと無理があるっぽいので悩ましいところです。

次回、その３では試作３号機のアプリ部分について解説したいと思います。