Un braccio robotico SO-101, nato come giocattolo da banco, ora fa pick-and-place di anatrelle di gomma ragionando con un modello vision-language-action. Il progetto di Dmitry Maslov sostituisce il cervello originale con la scheda Arduino VENTUNO Q, che esegue in locale il modello SmolVLA di Hugging Face. Il risultato dimostra che compiti di robotica con visione e linguaggio, un tempo riservati a laboratori costosi, ora stanno in una scheda da 299 dollari.
Hardware: due processori su una scheda
La scheda Arduino VENTUNO Q ha una doppia anima. Da un lato un sistema SBC con processore Qualcomm Dragonwing IQ8, dotato di GPU Adreno 623 e NPU Hexagon Tensor, pensato per l’elaborazione AI. Dall’altro un microcontrollore STM32H5F5 con core Arm Cortex-M33 a 250 MHz, che gestisce il controllo in tempo reale dei servo. La scheda offre 16 GB di RAM LPDDR5 e 64 GB di memoria eMMC integrata.
Il braccio SO-101 originale monta motoriduttori su ogni giunto e due telecamere: una fissa dall’alto e una sul gripper. Le immagini e i dati delle posizioni dei giunti finiscono nel processore Dragonwing IQ8, dove il modello SmolVLA li interpreta. Il modello è stato addestrato con 50 dimostrazioni del compito di afferrare e spostare le anatrelle di gomma.
Il modello SmolVLA e i numeri del sistema
SmolVLA è un modello vision-language-action open source di Hugging Face. Elabora le immagini delle telecamere e i dati dei giunti, poi produce i comandi per i servo motori. Tutta l’elaborazione avviene localmente sulla scheda VENTUNO Q, senza connessione a servizi esterni. Il costo della scheda è 299 dollari, contro i 399 dollari del kit di sviluppo Jetson Orin Nano Super Developer Kit, citato come concorrente.
Il sistema di Dmitry Maslov mostra la strada per la robotica accessibile. Inoltre, il fatto che il modello giri su una scheda commerciale da meno di 300 dollari apre scenari nuovi per i maker. Per chi vuole vedere il progetto in azione, il video di Dmitry Maslov mostra il braccio mentre afferra e sposta le anatrelle di gomma.
- Scheda Arduino VENTUNO Q con processore Qualcomm Dragonwing IQ8 e STM32H5F5
- Modello SmolVLA di Hugging Face eseguito in locale
- 50 dimostrazioni per addestrare il compito di pick-and-place
- Due telecamere: una dall’alto e una sul gripper
- 16 GB di RAM LPDDR5 e 64 GB di memoria eMMC
Per chi vuole rifare il progetto, la parte più delicata è l’integrazione tra il lato SBC e il lato microcontrollore della scheda. Il processore Dragonwing IQ8 gestisce il modello, mentre l’STM32H5F5 controlla i servo. La comunicazione tra i due lati è fondamentale per sincronizzare la visione con il movimento.
