AIとロボットについて調べている
目についたものを書き殴っているので取り留めはない。
Tesla
There’s a new bot in town 🤖
— Tesla Optimus (@Tesla_Optimus) 2023年12月13日
Check this out (until the very end)!https://t.co/duFdhwNe3K pic.twitter.com/8pbhwW0WNc
teslaはEVや自動運転の会社だが、汎用的な人型のロボットの開発もしている。
説明されているtech stackはほとんどロボットというより自動運転のものな気がするので、tesla的には自動運転とロボットをそれほど区別していなさそう。
Tesla Bot
Tesla Botは、ロボットのハードウェア。二足歩行人型の汎用的なロボット。
FSD Chip
FSD (Full Self-Driving) Chipはlevel 5の自動運転を目指すためのチップ。CPUとGPUとNPUが乗っている。EdgeでAIの推論し、自動運転を実現するためのチップ。
Dojo
AIの学習をするためのチップ(Dojo Chip)とそれを効率的に機械学習に活かすためのデータセンターのシステムを開発している。
Neural Networks
センサーからデータを集めてたくさん機械学習をしている。一般的な画像認識などの学習。
Autonomy Algorithms
自動車の運転計画を作成する機械学習。画像認識の結果と位置情報、スピードなどを組み合わせて学習するように見える。
Code Foundations
latencyや正確性を最適化するために低レイヤーからスクラッチで開発している。linuxベースらしい。だけど書かれている内容はRTOS的な安定性を追求しているようにも見える。
Evaluation Infrastructure
継続的な機能の改善のためにアルゴリズムの評価基盤が必要。
ROS (Robot Operation System)
ロボットに接続されるセンサーなどを抽象化して操作可能にするための通信ミドルウェア。センサーとの接続などの低レイヤーの機能は、layer切り分けて開発しないと結構辛いものになりがち。センサー類とやりとりするためのデファクトスタンダードに近い通信規格＆middlewareというイメージ。汎用計算機上でも動くし、cross-compileして組み込みのRTOSでも動くようにできるっぽい。
cross-compileを想定した独自のbuild toolが付属していて、それのbuildにハマりがち・・・・・・・。webの開発に慣れていると、buildが難しい環境は勘弁してくれという気持ちになるけど、組み込みの世界はSoCのアーキテクチャが変わるとcompilerも変わるので致し方なしという気も。
1X
OpenAIに出資されているロボットメーカー。tech stackなどは特になく詳細分からず。AIはデータセンターの中で発達してきたが、外とインタラクションするためのinterfaceはまだ未発達。人とコミュニケーションするためには、人型が一番良いinterface。という主張をしている。
Turing
teslaを超えることを目指す日本の自動運転を目指すスタートアップ。
完全自動運転EVの量産ができたら、直ちに完全自律型ヒューマノイドの量産に取りかかるべきなんだよな。
— 山本一成🌤️TuringのCEO (@issei_y) 2023年12月12日
人が人を工学的に作ることは人類のアルティメットゴールの一つだからな。
LLMを使って自動運転を行ない、(1) 空間認識 (2) ルール遵守が必要な状態で、正確な判断ができるかを計測。既存手法(not LLM)との比較はなく、LLM間の比較のみだったので、どれくらいLLMに優位性があるのかは不明。 自動運転のコーナーケースは大きなロングテールなので、従来の手法ではそれらを十分にカバーできるだけのデータセットを用意することが難しいが、LLMを使えば解決できるのでは？という目的意識がある。
