Koode Bot è un sistema di accoglienza ospedaliera che funziona senza internet. Un chiosco con intelligenza artificiale intervista i pazienti in Malayalam, assegna il reparto e genera un riepilogo clinico per il medico. Un robot ESP32 accompagna poi il paziente fisicamente al reparto. Il progetto nasce per rispettare la privacy e ridurre il carico del personale.
Il cuore del sistema è un Raspberry Pi 5 con 8 GB di RAM. Il paziente seleziona la lingua sul touchscreen, scegliendo tra Malayalam, Hindi o Inglese, e parla al microfono USB. L’audio viene convertito in testo da faster-whisper e inviato al modello Gemma 4 E2B in esecuzione su Ollama. Il modello conduce un’intervista clinica strutturata, ponendo domande di follow-up in base ai sintomi riferiti.
Il flusso di dati e la generazione del report clinico
Al termine dell’intervista, il modello genera un report clinico in JSON con reparto, urgenza e riepilogo. Il report viene salvato in SQLite. Il chiosco mostra il token e il reparto assegnato, e invia un messaggio MQTT sul topic koode/bot/navigate. Il token ha il formato K0419001: la K iniziale, mese e giorno, e un contatore giornaliero.
La generazione del report richiede 60-120 secondi. Il sistema gestisce fino a 12 scambi di domande e risposte nell’intervista. La latenza di risposta del modello è di 10-30 secondi, mentre il riconoscimento vocale impiega 2-6 secondi. Il tempo di caricamento del modello è di circa 35 secondi. L’uso di RAM è di circa 9 GB.
Il robot Koode Bot e la navigazione a ultrasuoni
Il robot Koode Bot usa un ESP32-S3 e riceve il messaggio MQTT con il reparto assegnato. La latenza MQTT è di 1 secondo. Il robot accompagna il paziente usando sensori a ultrasuoni per la navigazione. Un sensore HC-SR04 rileva gli ostacoli, mentre un driver L298 controlla i motori DC da 12 V.
La percentuale di errata classificazione del reparto è di circa il 15%. Il sistema ha un potenziale importante per il rilevamento di epidemie, analizzando i sintomi raccolti dalle interviste. Inoltre, la natura offline protegge i dati sensibili dei pazienti.
Il progetto è documentato nel repository di shan. Chi vuole replicarlo trova il codice per il Raspberry Pi e per l’ESP32, oltre alla configurazione di Ollama e dei modelli.
Cosa serve per rifare il progetto
La componentistica principale include un Raspberry Pi 5, un touchscreen ufficiale, un microfono USB e un acceleratore Hailo-8 AI HAT. Per il robot servono un ESP32-S3, un sensore a ultrasuoni HC-SR04, un driver L298 e motori DC da 12 V.
Il software gira su Ollama con il modello Gemma 4 E2B (Q4_K_M). Il backend usa Flask, SQLite e MQTT (mosquitto). Sul robot, PubSubClient e ArduinoJson gestiscono la comunicazione. Per chi parte da zero, il Raspberry Pi 5 è la base consigliata per il chiosco.
- Raspberry Pi 5 con 8 GB di RAM
- Raspberry Pi Touch Display
- Microfono USB
- Hailo-8 AI HAT
- DFRobot FireBeetle ESP32 IOT Microcontroller
- Sensore a ultrasuoni HC-SR04
- Driver motori L298
- Motori DC da 12 V
Il sistema è pensato per ospedali con personale ridotto o per aree con connettività limitata. La privacy è garantita dal fatto che nessun dato lascia il dispositivo. Il progetto dimostra come l’edge AI possa portare intelligenza in contesti critici senza dipendere dal cloud.
