Knowledge Assembly

概要

論文「Knowledge Assembly: Semi-Supervised Multi-Task Learning from Multiple Datasets with Disjoint Labels」は、複数タスクのデータが不完全、または一部のみラベル付けされている実環境に向けた新しい機械学習の手法を提案しています。互いに分離したデータセットを、マルチタスク学習、MTLの枠組みで効果的に活用する方法を扱います。

中心となるのは、異なるタスクのラベルを持つ複数のデータソースを組み合わせるKnowledge Assemblyという学習方法です。追加のラベルなしデータを学習に利用する半教師あり学習、SSLを適用し、モデル拡張によってラベルの少ないデータを疑似的に教師あり学習します。人物再識別と歩行者属性認識で評価した結果、従来の単一タスク学習より大きな改善が確認されました。

データが少ない、または不完全な実環境でも適用できる結果です。一つの視覚入力から複数タスクを予測する必要がある映像セキュリティや自動運転などへの応用が考えられます。

研究の背景

機械学習では、利用可能なデータの可能性を十分に引き出すことが課題になります。多くの場合、モデルは特定タスクに必要な画像情報だけを抽出し、残りの情報を利用しません。例えば、屋外シーンで深度推定器を学習すると、カメラから物体までの相対距離だけに注目し、車、建物、木、人といった物体の種類は無視します。本論文は、マルチタスク学習を使ってこの課題に取り組む新しい方法を紹介します。MTLはタスク間の共通点と相違点を利用し、学習効率と予測精度を同時に改善できます。先ほどの例では、物体の種類を学ぶことで、「木や建物は人より後ろにある傾向がある」「空や雲は通常、遠い背景にある」といったパターンから深度をより正確に予測できます。複数のタスクが一つのネットワーク内で情報を共有して同時に学習するため、個別タスクの性能だけでなく、全体の推論時間も削減できます。

従来のMTLには、すべてのタスクについて完全にラベル付けされた単一のデータセットに依存するという一般的な制約があります。これは実環境と一致しないことが少なくありません。図1のように、多くのデータセットには特定タスクのラベルしかなく、他のタスクのアノテーションはありません。すべてのデータセットに全タスクのラベルを付けるには、多くの時間とリソースが必要です。

本研究は、この差を踏まえて、部分的にラベル付けされたデータセットをMTLの枠組みで利用する必要性に取り組みます。データの現実的な制約に対応しながら、利用可能なデータをより効果的に活用する方法です。

図1. 問題設定。タスク1の正解ラベルだけを持つデータセットAと、タスク2の正解ラベルだけを持つデータセットBから、二つのタスクを同時に学習します。データセットAからタスク2の情報を、データセットBからタスク1の情報をどのように抽出するかが本論文の問いです。

仕組み

Knowledge Assembly、KAは半教師あり学習の枠組みで設計されています。図2は全体の構成を示します。同じネットワークモデルのインスタンスを二つ初期化し、両方のタスクの入力画像を二つのモデルへ入力します。二つのモデルは完全に独立し、重みを共有しません。対応する正解ラベルがある入力には、従来の教師あり損失を計算します。例えば、データセットAの画像に対するモデル出力は、タスク1の正解ラベルで学習します。

一方のモデルの出力を、もう一方のモデルを学習する疑似ラベルとして利用し、逆方向にも適用する半教師ありの一貫性損失も設計しました。例えば、データセットAの画像にラベルがない場合、モデルLの出力をモデルRの出力で学習します。MTLの枠組みに組み込むことで、重複しないアノテーションを持つ部分ラベルデータセットから、複数タスクを同時に学習できます。