ICT技術で農業をアップデート 深層学習による画像認識技術の進化系

栗原 徹KURIHARA Toru

専門分野

画像センシング、光応用計測、計測工学

詳しくはこちら

信号処理技術である時間相関演算をカメラ内で実現した時間相関イメージセンサ。栗原徹准教授は、この特殊なセンサを用いて3次元による計測手法や形状検査手法を研究し、成果をあげてきた。2017年より、本学が推進する内閣府プロジェクト「"IoP（Internet of Plants）"が導く『Next次世代型施設園芸農業』への進化」に参画。農作業の自動化において重要視される果菜類の検出精度を高めるために、通常のカラー画像ではなく、スペクトルやサーモグラフィなどプラスαの情報を用いることで、さらに進化した画像認識技術の開発を進めている。
RGBカメラで検出精度向上を実現する光学フィルタを設計

　農業人口の減少が深刻化し、機械による農作業の自動化が注目される中、拘束時間が長い収穫作業を代替する自動収穫ロボットの開発が盛んに行われている。そこで用いられる手法の多くは、通常のカメラによってRGBの3色で表現された画像を元に果実を検出するというもの。しかし、ピーマンのような葉や茎の色と近い緑色の果実はRGB画像による検出が難しく、自動化の難易度は依然として高い。こうした背景色に近い色の果実を識別するために従来用いられてきたのが、ハイパースペクトルカメラだ。このカメラでは、高い波長分解能でスペクトル強度を1ピクセルごとに取得でき、通常のカメラや人の目視では確認できない細かいスペクトル強度の違いまでも認識できる。
　一方、ハイパースペクトルカメラは高価であり、農家に広く導入することは難しい。栗原准教授は、検出が難しいピーマンの識別精度向上のために、「安価なRGBカメラを利用しながら、ハイパースペクトルデータから有効な情報を取り出し、これを最大限活用する枠組みを提供できないか」と考えた。そこで、RGBカメラにピーマンの識別に有効な波長を抽出できる光学フィルタを設置することを提案。この光学フィルタを設計するために、深層学習の技術を用いる手法を新たに考案した。
「従来の深層学習では、RGBの3色に縮退された情報がスタート地点でしたが、現実の世界には無限次元のスペクトル情報が存在します。これをうまく使うような枠組みとしてニューラルネットワークを再構築することを考えました」
　その言葉の通り、従来の深層学習では、RGBのカラー画像の入力を前提とし、その後ろのネットワークの構造を工夫することで識別力を高めることが試みられてきた。新たな手法ではその前提を取っ払い、ハイパースペクトル画像を入力として考え、RGBカラーフィルタの前に光学フィルタを配置し、識別に有用な波長を選択できる構造とした。さらに、その深層学習ネットワークにRGBカラーフィルタも固定の重みとして入れることで、光学フィルタを学習によって設計するところがポイントだ。これによって、学習可能な重みとして実現される光学フィルタによる波長の選択、固定の重みとして実現されるRGBフィルタ、各画素が3色に縮退したカラー画像を入力とする従来型のセグメンテーションネットワーク、これらすべてを深層学習によって同時に最適化することができる。
「通常のカメラは機種ごとに異なる波長感度を持つため、特定のカメラに対して有効な光学フィルタとニューラルネットを同時に設計するためには、RGBカラーフィルタを固定する必要があります。つまり、深層学習の中で、RGBカラーフィルタを"学習によって値が変わらない固定の重み"として定義することで、学習可能な可変の光学フィルタの重みとRGBを起点とした認識用のニューラルネット、両方の学習が同時に進み、利用するカメラの機種に最適な光学フィルタと認識部分を同時に設計することができるのです」

　この提案方法によって、生育中のピーマンのハイパースペクトル画像を取得し、そこから画素ごとの学習データを作成して識別を行った結果、2%程度の精度向上が実現できた。つまり、2％の精度向上が図れる光学フィルタの係数を導き出すことに成功。この成果を生かして設計した光学フィルタを企業と共同で制作し、スマートフォン向けの新しいアーキテクチャとして開発することをめざしている。

サーモグラフィカメラによる温度差を利用した果菜検出法を開発

　果実を色彩や形状によって識別することは、収穫の自動化だけでなく、収穫予測や生育状況の把握などにも必要とされる。栗原准教授は、通常のカメラで検出しにくい果実を検出するため、サーモグラフィカメラによって取得された熱画像の時系列変化を利用した手法の研究も進めている。一般的に同じ材質の物体は、体積の大きいものほど温度は変化しにくいとされ、果実は葉や茎と比べて温度が変化しにくいと考えられる。そこで生育中のナスを対象に、サーモグラフィカメラで長時間撮影を行った結果、果実は葉や茎に比べて温度変化が遅く、日没時の2時間の温度の時系列変化を指数関数に当てはめることで、葉や茎との分離を行うことに成功した。

_X0A1200.jpg

　さらに病害や環境ストレスによって、植物の葉の温度の上昇が見られる場合があることから、ショウガに発生する病害の中でも被害の大きい根茎腐敗病の早期検出にもサーモグラフィカメラを応用。発病株と未発病株を一定期間連続して撮影し、測定データを解析したところ、発病が確認される2～4日前から発病株の方が葉温が高い傾向が見られ、人の目視よりもはるかに早いタイミングで発病の確認が可能であることを明らかにした。
「これらの研究を生かして、カラーカメラとサーモグラフィカメラを同一地点に置き、カラー画像とサーモグラフィ画像を重ねたデータを作成することで、RGBと熱という4チャンネルでのニューラルネットを構成することができ、さらなる検出精度向上が期待できます」と栗原准教授。カラー画像に、スペクトルやサーモグラフィといった要素を組み合わせることで、より精度の高い認識技術の開発につながりそうだ。
「将来的には、高精度な認識技術に興味を持っていただいた企業の方々と一緒に、安価かつ最先端の自動収穫ロボットを開発することが目標です」

_X0A1252.jpg

掲載日：2020年12月