Physical AI em humanoides
O trabalho com o LeRobot e braços robóticos educacionais foram o ponto de partida para investigar Physical AI em tarefas de manipulação em humanoides, trabalho que tenho feito em colaboração com o MobiLab da UDESC.
Nos últimos meses, tenho trabalhado com o G1 da Unitree. Esses robôs seguem um protocolo simples baseado em DDS e possuem bons SDKs. Mas fazer qualquer coisa neles, além de usar o controle remoto, é um desafio. Antes de enviar comandos, é preciso verificar sua máquina de estados. É necessário estar atento ao controle das juntas, à integração das câmeras e a uma conexão estável entre o computador de desenvolvimento e o robô. Não é apenas um computador, são diversos computadores trocando mensagens. Estou registrando esse processo na wiki do MobiLab.
Configurei uma primeira versão da teleoperação com um Meta Quest 3, câmeras RealSense e controle dos braços do G1. Com essa estrutura, já consigo gravar demonstrações de tarefas de manipulação. Cada gravação reúne os movimentos do operador, as imagens das câmeras e os comandos enviados ao robô. Ainda preciso melhorar a qualidade e a consistência dessas demonstrações. O vídeo abaixo mostra um dos primeiros testes.
Essas demonstrações serão usadas para testar modelos Vision-Language-Action, como o Isaac GR00T e o ACT. Primeiro, quero avaliar as políticas em simulação. Depois, vou testá-las no robô com limites de segurança e execução gradual. O problema mais prático que estou explorando é descobrir ou desenvolver métodos de teleoperação, treinamento e execução que sejam economicamente viáveis no Brasil.
No MobiLab, trabalho em parceria com Luca Mateo Rangel, que conheci durante o hackathon LeRobot. Nosso plano é documentar a configuração do G1 e transformar tarefas recorrentes em scripts e configurações reutilizáveis. Isso deve reduzir o tempo necessário para preparar o robô, iniciar a teleoperação e repetir os testes de coleta de dados em futuros projetos do laboratório.
