Revision as of 13:10, 7 May 2022

N. Alberdi^a, R. Pacheco^a, X. Irazusta^b, I. Harismendy^b,

^aUnidad Fabricación Avanzada, División Industria y Transporte, Tecnalia Research & Innovation, San Sebastián, 20009, España

^bUnidad aeroespacial, División Industria y Transporte, Tecnalia Research & Innovation, San Sebastián, 20009, España

Sistema de visión artificial para la inspección automática de preformas

Historia del artículo: Recibido 31 de Mayo 2019 En la versión revisada 20 de Junio 2019 Aceptado 5 de Julio 2019 Accesible online 18 de Enero de 2021	El preformado consiste en procesar el refuerzo para obtener una geometría de la fibra seca, cercana a la del producto final antes de ser impregnado por la resina durante el proceso de inyección. Durante el proceso, las fibras son manipuladas para alcanzar la forma deseada sufriendo esfuerzos de tracción, cortadura y torsión que pueden provocar cambios en la orientación de las fibras, desalineamientos, defectos como arrugas o rotura de fibras que pueden afectar a las prestaciones de la preforma. En este trabajo se plantea una solución para la automatización del proceso de control de calidad mediante visión artificial. Se proponen dos enfoques, visión 3D para la inspección geométrica y superficial de las fibras y aprendizaje basado en Deep Learning (DL) para detección de irregularidades en la orientación. La solución basada en visión 3D detecta automáticamente los defectos a partir de la comparación de un modelo 3D teórico y una reconstrucción 3D de la pieza real. Se utiliza un sistema de luz estructurada para generar nubes de puntos densas y precisas. Una vez alineadas se analizan las disimilitudes entre ambas superficies. La solución se complementa con un sistema de visión 2D basado en DL que clasifica las irregularidades en las orientaciones del tejido. Se entrena el modelo con imágenes de orientaciones de fibra clasificadas para identificar de forma automática zonas de fibra cuya orientación no se corresponde con la esperada. La combinación de ambas tecnologías permite dar una solución completa a la inspección automatizada de calidad de preformas de cara a la fabricación 0 defectos.
Palabras clave: Luz estructurada Deep Learning Inspección visual Zero defectos Preformado

Artificial vision system for the automatic inspection of preforms

Keywords: Structured light Deep learning Visual inspection Zero defects Preformed	The preforming consists of processing the reinforcement to obtain a geometry of the dry fiber, close to that of the final product before being impregnated by the resin during the injection process. During the process, the fibers are manipulated to reach the desired shape are subjected to tensile, shear and torsion stresees that can cause changes in the orientation of the fibers, misalignments,or other defects such as wrinkles or fiber breakage that can affect the performance of the preform . In this work a solution for the automation of the quality control of the preforming process by artificial vision is investigated.. Two approaches are proposed, 3D vision for the geometric and superficial inspection of the fibers and machine learning aproach based on Deep Learning (DL) to detect irregularities in the orientation. The solution based on 3D vision automatically detects defects based on the comparison of a theoretical 3D model and a 3D reconstruction of the real part. A structured light system is used to generate dense and precise point clouds. Once aligned, the dissimilarities between both surfaces are analyzed. The solution is complemented by a 2D vision system based on DL that classifies the irregularities in the orientations of the fabric. The model is trained with images of classified fiber orientations to automatically identify areas of fiber whose orientation does not correspond to the expected one. The combination of both technologies allows to give a complete solution to the automated quality inspection of preforms for manufacturing or defects.

1
Introducción

El preformado consiste en procesar el refuerzo para obtener una geometría de la fibra seca, cercana a la del producto final antes de ser impregnado por la resina durante el proceso de inyección. Durante el proceso, las fibras son manipuladas para alcanzar la forma deseada sufriendo esfuerzos de tracción, cortadura y torsión que pueden provocar cambios en la orientación de las fibras, desalineamientos, defectos como arrugas o rotura de fibras que pueden afectar a las prestaciones de la preforma.

El desarrollo de los sistemas de visión artificial para la inspección de defectos responde a la necesidad de crear soluciones automatizadas completas de fabricación de composites con 0 defectos. De esta manera, se mejora la productividad y el control de calidad de los procesos de fabricación de estructuras de composite, por lo que se afronta con mayor garantía el reto de introducir los composites de forma masiva en la industria del transporte.

En los últimos años se han desarrollado multitud de procesos de fabricación automatizados de composites, pero estos avances no han ido acompañados de desarrollos de sistemas de control de calidad en línea que garanticen inspecciones 100% automáticas o semi-automáticas. En [7] se presenta un trabajo para la predicción de errores basado en la detección de orientaciones de fibras. En [2] y [3] se presentan las bases teóricas de las claves para los sistemas ópticos 3D.En [1] se presenta un trabajo para la reconstrucción de piezas a partir de imágenes de rango. Pero las características ópticas de la fibra de carbono, ofreciendo superficies de pieza muy brillantes y oscuras, dificultan el desarrollo de métodos de inspección que obtengan imágenes de alta calidad que permitan analizar la calidad de las piezas. Por lo tanto, una de las claves para garantizar el éxito en un sistema de inspección en composites es la tecnología que se utiliza para analizar las características de las piezas de fibra de carbono.

Un sistema de inspección visual de fibras completo debe validar la conformidad respecto a unos requisitos tanto geométricos como superficiales. La inspección geométrica trata de validar que la geometría de la preforma es correcta, comprueba las dimensiones, los espesores e incluso es capaz de detectar posibles deformaciones. La inspección superficial de la pieza, en cambio, trata de validar que en superficie de la preforma no existan, por ejemplo, arrugas, agujeros, o desorientaciones de fibras. En [4] [5] [6] se presentan trabajos de inspección de fibras con sensores ópticos y otro tipo de sensores para la inspección de fibras.

En este trabajo se plantea una solución para la automatización del proceso de control de calidad mediante visión artificial. El sistema captura imágenes de alta calidad de los componentes de fibra de carbono y genera su gemelo digital, que luego es procesado automáticamente en línea en un software que determina si la pieza inspeccionada cumple los requerimientos anteriormente especificados. Para ello, se proponen dos enfoques, visión 3D para la inspección geométrica y superficial de las fibras y aprendizaje basado en Deep Learning (DL) para detección de irregularidades en la orientación de las fibras.

2 Inspección por visión

Se ha trabajado en el sistema de inspección de preformas mediante visión artificial profundizando en dos enfoques complementarios. Por un lado, se ha validado un sistema de inspección geométrica y superficial mediante la técnica de Matching 3D y en paralelo, se ha diseñado y desarrollado un sistema de DL para la detección automática de desorientaciones de la fibra del tejido de carbono.

2.1 Matching 3D para la inspección geométrica y superficial de la preforma

Para realizar inspecciones de calidad de pieza es necesario disponer de los datos 3D de la preforma de referencia (modelo teórico (CAD) de la pieza o un modelo 3D obtenido a partir de una pieza de referencia) y los datos 3D de la preforma a inspeccionar. A continuación, se comparan las nubes de puntos de los dos modelos 3D anteriores, pieza real reconstruida y modelo de referencia, y se alinean para realizar la comparativa. Se calculan las distancias entre ambas y se extrae un mapa con las desviaciones en cada punto geométrico de la pieza. Por último, se procesa el mapa de desviaciones obtenido para evaluar qué tipo de defectos se detectan en la preforma. El diagrama del proceso se muestra en el siguiente esquema:

Figura 1. Diagrama del proceso de inspección 3D

2.1.1 Reconstrucción 3D

Existe una gran variedad de tecnologías de adquisición de la forma 3D y la selección de la más apropiada está fuertemente relacionada con las características particulares de cada problema. En este caso, las más adecuadas son la familia de las técnicas activas ópticas. Estas tecnologías están basadas en el análisis de la distorsión presente en la imagen de un patrón de luz proyectado sobre la superficie. El sistema de proyección se monta desplazado desde la cámara y mediante triangulación se calcula la posición y forma de los puntos de la superficie del campo de visión. Los sistemas más interesantes son los basados en líneas láser y proyección de series de patrones. El primero de ellos genera la nube de puntos 3D mediante barridos sincronizados del haz de láser, mientras que los sistemas de proyección de series de patrones lo hacen sin barridos, por lo que es un sistema más automatizable y rápido. Dentro de los sistemas de proyección de series de patrones destacan los escáneres de luz estructurada, que proyectan patrones de luz codificados conocidos y generan una nube de puntos densa.

En este proyecto se ha experimentado con varios tipos de escáneres, sistemas comerciales y desarrollados a medida para la aplicación. Finalmente, se ha seleccionado un sistema de luz estructurada formado por una cámara y un proyector de patrones láser. Es un sistema comercial que ofrece distintas configuraciones para distintos tamaños y distancias de trabajo. La configuración seleccionada es capaz de reconstruir un área suficiente para generar la nube de puntos de toda la preforma en una sola captura en aproximadamente 150ms, la distancia entre el escáner y la preforma es de 900mm.

Se muestran a continuación algunos resultados obtenidos con el sistema de luz estructurada seleccionado. Las siguientes imágenes muestran una reconstrucción 3D de la fibra realizada a partir de una única captura.

Figura 2 Fibra a reconstruir

Figura 3 Reconstrucción 3D de la fibra

Figura 4 Reconstrucción 3D de la fibra

Una vez obtenida la nube de puntos densa y de precisión es posible realizar un proceso de alineamiento. Consiste en alinear la reconstrucción 3D de la fibra con un modelo de referencia, este puede ser un modelo CAD o una reconstrucción de una preforma sin errores superficiales ni geométricos. El proceso de alineamiento permite localizar la pieza y compararla con el modelo para hacer la inspección automática.

2.1.2 Matching 3D

El alineamiento con el modelo de referencia es un paso complejo en el proceso de inspección de defectos. Una vez realizada la alineación entre el 3D de la fibra real y el modelo teórico, se comparan para calcular las distancias reales entre ambos. El Matching 3D se hace en dos fases, la primera obtiene una estimación global de la posición de alineamiento y la segunda realiza el ajuste fino de la posición. Existen librerías con algoritmos implementados para hacer el Matching 3D o best fit de las piezas. Dependiendo de las características de las piezas y de la configuración del sistema será más o menos compleja la correcta y precisa alineación entre los modelos.

Figura 5 Proceso de Matching 3D

Figura 6 Proceso de Matching 3D

2.2 Determinación de la orientación de fibras mediante Deep Learning y visión artificial

Se ha diseñado y desarrollado un sistema basado en Deep Learning y Visión Artificial para la detección automática de la orientación de la fibra de un tejido de carbono. El objetivo es detectar las irregularidades presentes en las orientaciones del tejido mediante la clasificación automática de las imágenes obtenidas mediante un sistema de visión artificial.

2.2.1 Deep Learning

Deep Learning es un subconjunto de técnicas de Inteligencia Artificial y Machine Learning que utiliza Redes Neuronales Artificiales Multicapa para resolver tareas como detección y clasificación de objetos en imágenes, reconocimiento del habla, traducciones de lenguajes, y otras muchas aplicaciones en las que es necesario extraer patrones de comportamiento/conocimiento de manera no explícita. El Deep Learning difiere de las técnicas de Machine Learning tradicionales en la capacidad de aprender automáticamente representaciones a partir de datos como imágenes, vídeo o texto sin necesidad de introducir reglas codificadas manualmente o conocimiento humano específico para la aplicación.

La solución propuesta para resolver el problema de la detección automática de las orientaciones de las fibras consiste en un aprendizaje basado en Deep Learning de las orientaciones de las imágenes obtenidas por el sistema de visión. Se trata de entrenar una Red Neuronal Convolucional (CNN) para identificar las orientaciones en imágenes de fibras obtenidas por una cámara. La red CNN, una vez entrenada con imágenes de orientaciones previamente etiquetadas, es capaz de clasificar la orientación de la zona presentada en una de las 7 clases de orientación predefinidas. De esta manera será posible detectar irregularidades en zonas en las que la orientación estimada por la red CNN no coincide con la orientación esperada.

Figura 7 Red neuronal convolucional

2.2.2 Entrenamiento de la red

Durante la fase de entrenamiento se divide cada imagen de entrenamiento en ventanas correspondientes a patrones de dimensión 32x32 (píxeles). Se etiqueta cada ventana/patrón con la orientación correspondiente (clase_0 a clase_6) y se forman los conjuntos de entrenamiento y simulación con los patrones pre-procesados y normalizados. Con estos datos se entrena y valida la red, de manera que al simular en la red imágenes nuevas, se clasifique cada ventana con la orientación correspondiente y se pueda detectar zonas que no se corresponden con la orientación esperada.

Figura 8 Ejemplo de patrones etiquetados en clases

3 Resultados y discusión

3.1 Inspección 3D. Detección automática y clasificación de defectos

Una vez realizado el Matching 3D y alineadas la preforma a analizar y el modelo teórico, se realiza la comparación entre ambas nubes de puntos 3D para realizar la detección automática de defectos. La comparación de las nubes alineadas proporciona un mapa de colores, representando la distancia euclídea de cada punto de la preforma reconstruida al punto más cercano del modelo 3D. El análisis de los valores de ese mapa de distancias permitirá detectar y clasificar los distintos defectos superficiales que puedan aparecer en la preforma.

Existen dos estrategias para la detección de automática de defectos, mediante la proyección en una imagen 2D de los valores de la nube o realizando un procesamiento 3D de la nube para localizar clusters con características determinadas que representen posibles defectos previamente aprendidos. El procesamiento 3D es más preciso, pero más costoso en tiempo de procesamiento. En cualquiera de las dos estrategias es imprescindible caracterizar precisamente los defectos para programar adecuadamente la búsqueda. Por ejemplo, tamaño mínimo/máximo de una arruga, altura mínima para clasificar como arruga, zonas de la pieza en las que hay que inspeccionar más detalladamente, etc.

Se muestra a continuación una preforma que presenta una serie de defectos superficiales y un posible resultado de detección de defectos tras el proceso de Matching 3D y el cálculo de mapa de distancias. El mapa de colores muestra las diferencias entre el modelo y la preforma a inspeccionar. Se señalan los diferentes tipos de errores que se aprecian analizando el mapa de distancias. Los errores analizados son los siguientes: apertura de fibras (1), desorientaciones de fibras apreciables (2), desorientaciones de fibra que no se aprecian con este método (3), falta de una tela de fibra (4) y por último, arrugas (5).

Figura 9 Preforma con defectos superficiales

Figura 10 Mapa de distancias

Figura 11 Detección de defectos

Después de realizar las pruebas con distintas preformas se concluye que el escáner seleccionado es válido para generar nubes de puntos densas y precisas de este tipo de superficies. La fibra tiene características que dificultan la inspección por sistemas de visión artificial por tener una superficie oscura y brillante. El escáner con luz láser permite generar una malla de suficiente calidad en una sola captura para poder realizar la inspección de calidad y reportar al sistema los errores detectados. El proceso de matching 3D e inspección queda validado para los tipos de errores que se han mostrado como aperturas, arrugas, algunas desorientaciones, etc.

3.2 Validación y resultados de la inspección de orientación de fibras mediante Deep Learning

Se han utilizado dos tipos de fibras diferentes para diseñar y validar la solución. Se ha comprobado que el método es válido para las dos y extrapolable a distintos tipos de fibras. Se han fabricado unas muestras de cada tipo de fibra girada 15º respecto a la cámara, de manera que se obtienen 7 clases diferentes. El objetivo es que el sistema sea capaz de identificar en una imagen obtenida a partir de la muestra las diferentes orientaciones presentes.

Figura 12 Clases de fibra tipo 1

Figura 13 Clases de fibra tipo 2

En una primera aproximación se ha validado el método sobre fibras no curadas, tanto las imágenes utilizadas para el entrenamiento de la red, como las imágenes utilizadas para simular la red una vez entrenada. Los resultados han demostrado que es posible clasificar con precisión las orientaciones en la fibra tal y como muestran las siguientes imágenes correspondientes a los resultados de simulación de las redes para las fibras de tipo 1 y tipo 2.

Figura 14 Resultado del tipo de orientaciones en la fibra.

4 Conclusiones

Se ha demostrado que es posible introducir las técnicas de visión artificial y Deep Learning para realizar la inspección, tanto geométrica como superficial, de las fibras de compuesto. Se ha seleccionado las tecnologías adecuadas que resuelven la complejidad que este tipo de superficies tienen para trabajar con sistemas ópticos. La parte de inspección geométrica y superficial se resuelve obteniendo una reconstrucción del preformado densa y de calidad. El gemelo digital generado se procesa para buscar distintos tipos de defectos sobre la superficie de la preforma. La parte de la verificación de las orientaciones se resuelve con técnicas de Deep Learning basado en sistemas de visión artificial. Esta técnica se ha validado en dos tipos de telas generalizando la solución para más de un caso de forma satisfactoria.

5 Agradecimientos

Los autores agradecen la financiación recibida del Gobierno Vasco a través del programa ELKARTEK (Proyecto RTM 4.0 – Composites para automoción fabricados mediante RTM adaptada a filosofía industry 4.0”, con referencia KK-2017/00062)

Referencias

[1] B. L. Curless (1997) New Methods for Surface Reconstruction from Range Images. PhD thesis, Stanford University.

[2] Faugeras, O., Three-Dimensional computer vision: A geometric viewpoint., The MIT Press (1993).

[3] Hartley, R., Zisserman, A., Multiple view geometry in computer vision., Cambridge University Press, 2000

[4] Bardl G, Nocke A, Cherif C, Pooch M, Schulze M, Heuer H, Schiller M, Kupke R, Klein M (2016) Automated detection of yarn orientation in 3D-draped carbon fiber fabrics and preforms from eddy current data. Compos Part B Eng 96(June):312–324

[5] Wang X, Georganas ND, Petriu EM. Fabric texture analysis using computer vision techniques. IEEE Trans Instrum Meas (2011);60:44e56.http://dx.doi.org/10.1109/TIM.2010.2069850.

[6] Bardl G, Nocke A, Hübner M, Gereke T, Pooch M, Schulze M, Heuer H, Schiller M, Kupke R, Klein M, Cherif C (2018) Analysis of the 3D draping behavior of carbon fiber non-crimp fabrics with eddy current technique. Compos Part B Eng 132:49–60

[7] Mallach A, Härtel F, Heieck F, Fuhr J-P, Middendorf P, Gude M (2016) Experimental comparison of a macroscopic draping simulation for dry non-crimp fabric preforming on a complex geometry by means of optical measurement. J Compos Mater:1–13

Revision as of 13:10, 7 May 2022

1
Introducción

2 Inspección por visión