TwelveLabs Pegasus 1.6、一人称動画でロボ学習を変える

TwelveLabs Pegasus 1.6、一人称動画でロボ学習を変える

動画理解モデルの TwelveLabs が、エゴセントリック映像に最適化した Pegasus 1.6 を発表した。TheRobotReport、Yahoo Finance、VentureBeat が同日に報じ、報道によれば新設モデルがロボティクスと Physical AI の両方を狙う位置づけであることがはっきりした。同社 CEO によれば、開発者向け API は既存ユーザーならそのまま切り替えられる形で公開されている。

Pegasus 1.6 の最大の特徴は、「誰かが見ている動画」ではなく「やっている本人の視点で撮った動画」をネイティブに理解する点にある。料理、工場での部品組み立て、遠隔操作など、作業者の頭部や胸部に装着したカメラで撮影した一人称映像から、操作の対象、動きのタイミング、手順を時間軸付きで抽出できる。従来の動画モデルは三人称中心で、ロボットの動作学習データとしてそのまま使うには細部が足りなかった。

背景『なぜ今か』

ヒューマノイドロボットや自律マシンの急速な進化に対し、学習用データの不足はここ数年で最も叫ばれているボトルネックだった。Figure や Tesla Optimus のような現場はテレオペレーションの記録を持つが、それをそのまま教え込む教材に加工する仕組みが弱い。 TwelveLabs はこの溝を、エゴセントリック映像のほうが “撮りやすく、スケールしやすい” というシンプルな事実で埋めに来た。

CEO の Jae Lee は TheRobotReport の取材で「ロボットチームに特定のカメラや独自ハードウェアを強制するつもりはない」と明言し、既存の作業動画をそのまま再利用できる点を強調している。同時に、人物や物体を誤認識しない高い一貫性が、VLM 系の汎用モデルに対する明確な差別化になると説明している。ロボ以外の用途でも、映像と画像を同じ API で扱えるようになった点は、メディアや監視の現場でじわじわと効いてくる。

日本から使えるか

Pegasus 1.6 自体は TwelveLabs のクラウド API 経由で提供されるため、日本からの利用も技術的には即日可能。 既存 Pegasus ユーザは SDK、プロンプト、API をそのまま Pegasus 1.6 へ切り替えられる。 無料枠の内容は TwelveLabs のダッシュボードと Pricing ページに公開されており、法人契約前は Playground で自分の動画をアップロードして挙動を試せる。

日本語ユースケースとして直接的なものはまだ多くないが、製造現場や物流倉庫の作業動画、遠隔手術や農業ロボット、教育用ビデオなど、エゴセントリック映像を大量に持つ現場があれば、ラベル付けの自動化と動作抽出の省力化が現実的な価値になる。 TwelveLabs の Slack や Discord のコミュニティは発信が英語中心だが、ロボットの Physical AI 領域は国内スタートアップからの実証例が出始める段階に入った。

まとめ

Pegasus 1.6 は「映像をロボに学ばせる」ことを、当たり前にする一手になる。 物理 AI の学習データ不足はしばらく業界全体のボトルネックだったが、このモデルとそれを支えるエコシステムが一段進んだことで、次の 1 年は応用事例が短いスパンで増えていくはずだ。