¿Cómo calcular la representación matricial del grupo D3 en el espacio real tridimensional?

MVS es una técnica para recuperar la estructura densa de una escena desde múltiples puntos de vista con cierto grado de superposición. Los métodos tradicionales utilizan consistencia geométrica y óptica para construir costos coincidentes, acumular costos coincidentes y luego estimar valores de profundidad. Aunque los métodos tradicionales tienen una alta precisión en la estimación de la profundidad, todavía hay mucho margen de mejora en la integridad de la estimación de la profundidad debido a la falta de textura o errores de coincidencia en escenas con condiciones de iluminación que cambian drásticamente. En los últimos años, las redes neuronales convolucionales se han aplicado con éxito a la coincidencia de características, mejorando la precisión de la coincidencia estéreo. En este contexto, Yao Yao y otros de la Universidad de Ciencia y Tecnología de Hong Kong propusieron un marco de estimación de profundidad de extremo a extremo basado en el aprendizaje profundo: MVS net en 2018.

La coincidencia estéreo multivista (MVS) es un tema central en el campo de la informática. La reconstrucción de la coincidencia estéreo de múltiples vistas puede considerarse como el proceso inverso de fotografiar una escena determinada. Con el mapeo de cámara, una escena tridimensional se convierte en dos dimensiones, mientras que la reconstrucción estéreo de múltiples vistas es todo lo contrario. Tome imágenes desde diferentes puntos de vista para restaurar la escena tridimensional real.

Los métodos tradicionales utilizan medidas de similitud diseñadas artificialmente y métodos de regularización para calcular correspondencias densas de escenas (como la correlación cruzada normalizada y la coincidencia semiglobal). Estos métodos pueden lograr buenos resultados en superficies no lambertianas y escenas sin áreas de textura débil. Sin embargo, en áreas con textura débil, el índice de similitud diseñado manualmente se vuelve poco confiable, lo que da como resultado resultados de reconstrucción incompletos. Según la clasificación del conjunto de datos de MVS, estos métodos tienen una alta precisión, pero todavía hay mucho margen de mejora en la integridad del método de reconstrucción.

Los recientes desarrollos en redes neuronales convolucionales han alimentado el entusiasmo por perfeccionar la reconstrucción de coincidencia estéreo. Conceptualmente, los algoritmos basados ​​en el aprendizaje pueden capturar información semántica global, como condiciones previas basadas en aspectos destacados y reflexiones, y facilitar una correspondencia más sólida. Se han explorado algunas coincidencias estéreo entre dos vistas, utilizando redes neuronales para reemplazar medidas de similitud diseñadas manualmente o métodos de regularización. Estos métodos muestran mejores resultados y superan gradualmente a los métodos tradicionales en el campo de la coincidencia estéreo. De hecho, la tarea de coincidencia estéreo es perfectamente adecuada para las CNN porque los pares de imágenes se han modificado, por lo que el problema de coincidencia estéreo se transforma en una estimación de la disparidad de píxeles en la dirección horizontal.

A diferencia de la coincidencia estéreo binocular, la entrada de MVS es cualquier número de vistas, lo cual es un problema espinoso que los métodos de aprendizaje profundo deben resolver. Además, sólo unos pocos trabajos son conscientes de este problema. Por ejemplo, SurfaceNet reconstruye previamente el cubo de vóxeles de color, y la información de color y los parámetros de la cámara de todos los píxeles forman un volumen de costos 3D como entrada de la red. Sin embargo, debido al enorme consumo de memoria del 3D, es difícil aumentar la escala de la red SurfaceNet: SurfaceNet adopta una estrategia heurística de "divide y vencerás" y lleva mucho tiempo reconstruir la escena a gran escala.