2017年には、シミュレーション上でルービックキューブを解くことを成功させたOpenAIが、ロボットハンドでこれに挑戦しているようだ。

物理世界では、摩擦や色彩といった条件が少し変わるだけで、ロボットがルービックキューブを操る勝手が違ってくる。したがってロボットには、これまで出会ったことのない条件下で、学び続けながらタスクを遂行する能力が求められる。たとえ一度ルービックキューブを落としても、手に戻して続きから再びタスクを遂行できなければならない。

OpenAIは従来の強化学習に「自動ドメインランダム化（ADR）」と呼ばれる新しい手法を組み合わせることで、ロボットハンドにルービックキューブを解かせようとしている。

・困難な条件を自動で生成してパフォーマンス改善

ADRでは、ルービックキューブの質量やサイズ、ロボットハンドの摩擦や素材の色あいといったパラメータのうち1つをランダム化。シミュレーション環境を無限に変化させて学習を繰り返す。シミュレーション上のロボットハンドが複数の条件下でルービックキューブを解く動画が、OpenAIのページで観られる。

ニューラルネットワークによりタスクがうまく遂行され、パフォーマンスの閾値を超えると、ランダム化の量が自動的に増加する。ランダム化が適用されると、一旦パフォーマンスが落ち、時間とともにパフォーマンスを改善していくようだ。

シミュレーション上でトレーニングしたネットワークを実際のロボットに転送。シミュレーションで学習したニューラルネットワークを物理世界に適用できるようになり、物理世界で正確なモデルを作成する必要がなくなる。

・ニューラルネットワークを視覚化

同プロジェクトでの興味深い点は、ニューラルネットワークのを視覚化していることだ。メモリ上のネットワークを視覚化することで、メモリに何が保存されているかが一目でわかる。

各メモリグループには、動作と色が関連付けられていて、これを確認することで、ルービックキューブ全体を回転させる、上部を時計回りに回す…といったステップごとの動作が理解できるという。

ロボットハンドでルービックキューブを解くのはそう簡単ではないようだが、今後も挑戦は続けられる。同手法が確立すれば、人間のように柔軟にタスクを遂行する汎用ロボットの開発にもつながるだろう。

参照元：Solving Rubik’s Cube with a Robot Hand/OpenAI