Seminario de Informática ‘Mirian Andrés’. Evaluation of Different Models for Spanish Sign Language Recognition

Todo el mundo necesita poder comunicarse. La comunicación, en el caso de las personas sordas, se centra principalmente en el lenguaje de signos. Cada país tiene su lengua, y el porcentaje de población que la conoce es pequeño. En este trabajo, hemos dado un primer paso para implementar un sistema de reconocimiento de signos para la Lengua de Signos Española (LSE) en tiempo real utilizando una webcam convencional. Para ello, hemos creado un conjunto de datos con imágenes de los signos de las vocales en LSE (signos estáticos).

Se han estudiado y evaluado modelos de Deep-Learning, obteniendo que, el modelo ResNet18 con Test Time Augmentation supera a modelos más grandes basados en Transformers, tanto obteniendo mayor accuracy (95% sobre un conjunto de test) como también, siendo el más rápido de entrenar. Además, como estrategia para mejorar el rendimiento del modelo, se implementó un modelo de Ensemble, consiguiendo casi un 96% de accuracy. En particular, se ha usado el modelo ResNet18 para implementar un sistema de reconocimiento de signos de las vocales españolas en tiempo real.