Evaluation method of deep learning-based embedded systems for traffic sign detection

Abstract

Traffic Sign Detection (TSD) is a complex and fundamental task for developing autonomous vehicles; it is one of the most critical visual perception problems since failing in this task may cause accidents. This task is fundamental in decision-making and involves different internal conditions such as the internal processing system or external conditions such as weather, illumination, and complex backgrounds. At present, several works are focused on the development of algorithms based on deep learning; however, there is no information on a methodology based on descriptive statistical analysis with results from a solid experimental framework, which helps to make decisions to choose the appropriate algorithms and hardware. This work intends to cover that gap. We have implemented some combinations of deep learning models (MobileNet v1 and ResNet50 v1) in a combination of the Single Shot Multibox Detector (SSD) algorithm and the Feature Pyramid Network (FPN) component for TSD in a standardized dataset (LISA), and we have tested it on different hardware architectures (CPU, GPU, TPU, and Embedded System). We propose a methodology and the evaluation method to measure two types of performance. The results show that the use of TPU allows achieving a processing training time 16.3 times faster than GPU and better results in terms of precision detection for one combination. RESUMEN La detección de señales de tráfico (TSD) es una tarea compleja y fundamental para el desarrollo de vehículos autónomos; es uno de los problemas de percepción visual más críticos ya que fallar en esta tarea puede causar accidentes. Esta tarea es fundamental en la toma de decisiones e involucra diferentes condiciones internas como el sistema de procesamiento interno o condiciones externas como el clima, la iluminación y fondos complejos. En la actualidad, varios trabajos están enfocados en el desarrollo de algoritmos basados ​​en aprendizaje profundo; sin embargo, no se cuenta con información sobre una metodología basada en análisis estadístico descriptivo con resultados de un marco experimental sólido, que ayude a tomar decisiones para elegir los algoritmos y hardware adecuados. Este trabajo pretende cubrir ese vacío. Hemos implementado algunas combinaciones de modelos de aprendizaje profundo (MobileNet v1 y ResNet50 v1) en una combinación del algoritmo Single Shot Multibox Detector (SSD) y el componente Feature Pyramid Network (FPN) para TSD en un conjunto de datos estandarizado (LISA), y lo he probado en diferentes arquitecturas de hardware (CPU, GPU, TPU y sistema integrado). Proponemos una metodología y el método de evaluación para medir dos tipos de desempeño. Los resultados muestran que el uso de TPU permite lograr un tiempo de entrenamiento de procesamiento 16,3 veces más rápido que GPU y mejores resultados en términos de precisión de detección para una combinación.