Descripció del projecte
Aquesta investigació proposa un nou sistema d’assistència a la navegació per a persones amb baixa visió, que integra models de llenguatge gran (LLMs) i tècniques avançades de localització per millorar tant la comprensió de l’escena com la precisió espacial.
El primer component es centra en l’ús de LLM en conjunció amb la visió per ordinador per detectar, descriure i semantificar escenes visuals, proporcionant als usuaris amb interpretacions contextualment riques i similars a les humanes del seu entorn en temps real. Això permet que el sistema es mogui més enllà de la detecció d’objectes cap a la comprensió significativa de l’escena, com identificar les possibilitats de navegació, els obstacles i els punts d’interès.
El segon component millora la precisió de la localització mitjançant la fusió de dades cartogràfiques, entrades de sensors i informació multimodal (p. ex., GPS, inercials i senyals visuals) per oferir un posicionament precís fins i tot en entorns urbans o interiors complexos. Junts, aquests dos avenços pretenen crear un sistema de navegació intel·ligent i conscient del context que ofereixi un suport de mobilitat més segur, intuïtiu i personalitzat per a persones amb baixa visió.
