Diseño de un software robusto de visión LiDAR para la conducción autónoma

Escrito por Jaeil Park y Thorsteinn Jonsson en Seoul Robotics

En los últimos años, los sistemas de percepción basados ​​en LiDAR han visto un aumento en popularidad junto con el desarrollo de automóviles autónomos. En Seoul Robotics, nos esforzamos por proporcionar soluciones de vanguardia en tecnología de percepción autónoma, y ​​estamos orgullosos de presentar nuestra última tecnología de percepción para aplicaciones de conducción autónoma.

Nuestro software LiDAR Vision es un software de percepción capaz de segmentación del terreno, detección y clasificación de objetos, seguimiento y predicción. El procesamiento de la nube de puntos LiDAR es conocido por los costos computacionales costosos, pero al utilizar dispositivos de borde, podemos ofrecer un rendimiento que funciona con precisión en aplicaciones en tiempo real.

Software de visión LiDAR de Seoul Robotics con Velodyne VLP-16

Segmentación del suelo

El primer paso en el procesamiento de la nube de puntos es la detección del terreno. En casi todos los casos, el área manejable que un vehículo puede atravesar es una superficie continua y, en base a este hecho, aplicamos un ajuste basado en modelos estocásticos para encontrar un modelo para la estimación del terreno. Nuestro método de segmentación del terreno puede aprender la forma del terreno de varios casos de manejo en tiempo real y clasifica cada punto como terreno o no. La altura del suelo se estima en todo el espacio observado con un modelo matemático para aumentar la precisión de la detección de objetos y compensar la oclusión en la nube de puntos.

Segmentación del suelo

Detección de objetos

Nuestra red neuronal profunda detecta objetos que deben rastrearse cuidadosamente mientras se conduce. Detecta personas, ciclistas, automóviles, autobuses, camiones y más con inferencia de disparo único en tiempo real. A finales de 2018, nuestro último modelo de aprendizaje profundo, el Detector de características jerárquicas, estaba entre los siete primeros en uno de los puntos de referencia de detección de objetos más famosos del mundo, el punto de referencia de detección de objetos de Kitti. Entre los diez algoritmos principales, el nuestro era el único que podía detectar objetos de manera confiable en tiempo real (más de 20 cuadros por segundo) basándose únicamente en nubes de puntos LiDAR, ya que otros también se basan en cámaras para la detección.

Aunque nuestro método de detección de objetos basado en Deep Learning detecta objetos con mucha precisión, no puede detectar objetos que no están en la base de datos de entrenamiento. Es imposible incorporar todos los objetos de interés en la base de datos, por lo que para superar esta limitación, nuestro método de detección de objetos utiliza un método basado en la extracción de características 3D sin supervisión junto con el método basado en datos. Las propuestas de objetos se realizan con ambos métodos en paralelo y los resultados se fusionan. Esta propuesta de objeto híbrido asegura que la detección de objetos no pierda ningún objeto a pesar de que algunos de ellos no están clasificados como las clases predefinidas. Además, esto mejora el resultado del método basado en datos con las características 3D exactas de la entrada de la nube de puntos.

Propuesta de objeto híbrido y fusión para la detección segura y precisa de objetos.

Seguimiento de objetos

Desarrollado por técnicas avanzadas de filtrado de Kalman, nuestra solución ofrece un seguimiento preciso de objetos de interés como automóviles y peatones. Si la información de la máquina del vehículo del ego está disponible, la odometría del vehículo se puede estimar y utilizar para calcular una representación precisa del movimiento de los objetos rastreados alrededor del vehículo. Esto significa que la velocidad de cada objeto rastreado se puede estimar en un sistema de coordenadas global, en lugar de solo en el marco de referencia del vehículo.

Otro beneficio de nuestro sistema de rastreo es que puede mejorar el resultado de detección de objetos al proporcionar un historial para cada objeto rastreado. Esto es especialmente útil para nubes de puntos dispersos (debido a la distancia, oclusión, limitación del sensor, etc.), ya que el historial del objeto puede proporcionar información crítica que no se puede inferir de un solo cuadro. Esto da como resultado una estimación mucho más precisa en términos de posición, tamaño, orientación e incluso clasificación de los objetos rastreados y demuestra ser importante para una predicción precisa.

Seguimiento de objetos con información del vehículo del ego.

Agnóstico de hardware

Todos nuestros algoritmos, incluida nuestra inferencia basada en Deep Learning, están diseñados para ser independientes del sensor. Entrenamos y probamos nuestros algoritmos con una variedad de datos de nube de puntos, tanto reales como simulados, para cubrir tantos tipos diferentes de escenarios como sea posible. Además, aplicamos un aumento intensivo de datos transformando aleatoriamente la nube de puntos en el proceso de capacitación. Esto garantiza que nuestros algoritmos no se vean afectados por la posición y la orientación de los sensores para que los usuarios puedan conectar LiDAR de la forma que deseen. Nuestro algoritmo captura características 3D imparciales de la nube de puntos para una detección robusta de objetos con muchas formas diferentes de nubes de puntos. Nuestras pruebas muestran que podemos cubrir perfectamente los LiDAR de Velodyne, Ouster, Hesai, Robosense y más.

Software LiDAR Vision con LiDAR de 16 canales, 32 canales, 64 canales y 128 canales (en sentido horario)

Estamos contratando. ¡Consulta la posición disponible aquí!