L’intelligence incarnée, encore loin des LLM : clusters massifs et données rares freinent les robots

Les systèmes d’IA qui animent les robots restent fortement dépendants de données et d’infrastructures encore en devenir. Selon les intervenants, l’intelligence incarnée accuse un retard d’au moins cinq ans par rapport aux grands modèles de langage, et ce décalage s’explique par la pénurie de données réelles du monde physique utilisées pour l’entraînement. Les modèles vision-langage-action utilisés par les robots comptent environ sept milliards de paramètres, un ordre de grandeur bien en deçà des paliers franchis par les premiers grands modèles de langage qui avaient déjà atteint le niveau cent milliards de paramètres. Plusieurs équipes peuvent néanmoins entraîner des modèles VLA avec seulement quelques dizaines de GPU, ce qui illustre une accessibilité technique plus grande que pour les LLM, mais ne suffit pas à combler le fossé de performance et de données.

Le cap « GPT moment » n’est pas encore atteint, selon Zhang Jianzhong, et les données du monde physique nécessaires à l’entraînement des IA agents restent rares. Si l’intelligence incarnée suit le même chemin de montée en puissance que les LLM, ses besoins informatiques augmenteront, puisque l’amélioration passe par plus de données, des modèles plus vastes et une puissance de calcul accrue. Les breakthroughs majeurs dans la prochaine génération de modèles visuels et du monde exigeront des clusters comprenant des milliers, voire des dizaines de milliers de GPUs. La réalité des données réelles est coûteuse et difficile à collecter, si bien que les données synthétiques et la simulation prennent de l’ampleur.

Certains domaines extrêmes, comme une lumière soudaine lorsqu’un véhicule sort d’un tunnel, restent difficiles à capturer, mais les GPUs peuvent générer des données synthétiques couvrant différents contextes lumineux et climatiques. L’idée centrale privilégie la compréhension des objectifs plutôt que l’imitation systématique de chaque action, afin de transférer plus facilement des savoir-faire dans des fichiers compressés et de les distribuer à différents robots. Des approches donnent aussi aux robots des capacités cognitives et d’imitation pour réduire la nécessité d’entraîner chaque séquence d’actions séparément, et plusieurs entreprises signalent la naissance de silos de données entre robots, ce qui complique la collaboration.

Face à cela, l’absence de normes augmente les coûts de coopération et freine l’adoption produit. En parallèle, les centres et organisations comme l’OpenAtom Foundation et 88 partenaires appellent à une collaboration ouverte et à l’ouverture des technologies. En juin, une communauté open source dédiée aux robots humanoïdes a été lancée. Le centre d’innovation en robotique humanoïde de Pékin traite ses technologies comme un socle : ses outils open source ont été téléchargés plus de 16 millions de fois et plus de 1 000 développeurs y travaillent, avec des applications allant des visites guidées à l’assistance au shopping et aux inspections électriques. Le déploiement à grande échelle pourrait encore prendre plusieurs années, selon les prévisions de Yang Yuxin, qui estime à cinq à huit ans l’échéance industrielle et domestique.