3D 스캐너 없이 3D 공간을 캡처하는 방법. (2/3)

이 글은 디지털 트윈 생성에 관한 두 번째 주간 연재 기사입니다. 이번 주에는 2D 이미지로 디지털 트윈으로 구축할 때 직면하게 되는 어려움과 이를 극복하기 위해 Beamo가 이룬 첫 번째 혁신을 살펴보겠습니다.

지난주에 360° 카메라만 사용하여 디지털 트윈을 만드는 방법에 대해 이야기했습니다. 이는 고가의 3D 스캐너 대신 합리적인 비용으로 접근이 용이한 3D 구현 방법이었습니다. Beamo.ai를 통해 이 과정이 수월해졌지만 아직 넘어야 할 몇 가지 장애물이 있었습니다.

위치, 누락된 부분?

2D 사진에서 3D를 재구성하는 일은 매우 복잡하기 때문에 컴퓨터 비전에서 해결해야 할 핵심 문제 중 하나입니다.

고품질의 디지털 트윈을 만들려면 먼저 스캔 또는 캡처 포인트라고도 하는 2D 파노라마의 수를 충분히 확보해야 합니다. 각 캡처 포인트가 360° 구로 전환되면 다음 단계에서는 모든 구를 서로 완벽하게 배치하고 정렬하여 탐색 가능한 몰입형 3D 공간으로 다시 만듭니다. 이 배치 단계는 사용자에게 최상의 환경을 제공하기 위해 작업 가능한 디지털 트윈을 만드는 데 가장 중요한 과정입니다. 이 과정이 제대로 진행되지 않을 경우 일부 시점의 이미지가 누락되어 사용자가 방향을 알 수 없게 됩니다. 

각 캡처 포인트의 위치를 상대적으로 정확히 파악하기 위해 대부분의 현재 시스템에서는 3D를 제작할 때 동일한 대상을 다양한 각도에서 촬영한 사진이 많이 있어야 합니다. 이 시나리오에서는 딥 러닝 신경망이 인간이 개발한 모델 및 알고리즘보다 훨씬 더 효율적으로 작업을 수행합니다. 3D 재구성의 속도와 정확성을 향상시키기 위해 전체 데이터 집합에서 최상의 이미지 특성과 패턴을 검색하는 딥 러닝 기반 모델을 기기가 학습하도록 했습니다.

디지털 트윈 퍼즐 풀기

퍼즐 조각들이 섞인 채로 잔뜩 쌓여 있다고 상상해 봅시다. 여러분은 먼저 색상을 기준으로 나누고 서로 비교하여 유사한 패턴이나 특징을 검색할 것입니다. Beamo의 ASC(Auto Scene Connection) 알고리즘도 이와 유사한 접근 방식입니다. 3D 재구성 프로세스를 자동화한 최초의 시스템으로, 각 사진에서 특징 포인트를 추출하여 특징 포인트의 집합과 비교합니다. 일치하는 경우 다음 단계에서 여러 이미지 간의 상대적 위치를 추정합니다. 이 반복 작업이 끝나면 모든 이미지의 위치와 연결을 매핑할 수 있습니다. ASC 알고리즘을 사용하면 3D 재구성 프로세스를 완전히 자동화할 수 있습니다. 그러나 최적의 결과를 얻기 위해서는 대용량의 컴퓨팅 성능이 필요했기 때문에 아직 개선해야 할 부분이 존재했습니다.

캡처 포인트의 개수가 어느 정도에 도달하게 되면 대부분의 디지털 트윈 솔루션에 문제가 발생했습니다. 디지털 트윈 데이터가 너무 커져서 제대로 처리하기가 어려워지고, 컴퓨팅 장애가 발생해 열심히 캡처한 작업이 모두 무용지물이 되는 경우가 발생했습니다. 이러한 문제를 해결하려면 사용자는 한 공간을 여러 캡처로 나누어 촬영한 후 하나의 큰 디지털 트윈으로 다시 컴파일해야 했습니다. 해당 작업은 일반적으로 비용이 많이 들거나 수동으로 해야 하는 작업입니다. 

공통적인 특징 포인트를 찾을 수 없는 경우에도 프로세싱이 사실상 불가능합니다. 전환 과정 없이 한 공간에서 다른 공간으로 건너뛰는 경우에도 처리가 안 될 수 있습니다. 이러한 이유로 인해 사용자는 다른 공간으로 이동할 때 공간의 출입구를 캡처하여 추후 프로세싱 작업에서 공통되는 특징이 확실히 보이게 해야 합니다.

또한 공통되는 특징이 부족하거나 너무 멀리 떨어져 있어서 실외에서 촬영하는 것이 불가능한 경우가 많습니다. 

“실제로 3D 재구성을 진행할 때 서로 비교하여 유사한 패턴이나 특징을 검색하는 방법은 공간이 매우 넓은 환경에는 적합하지 않습니다. 우리는 접근성이 좋은 모바일 솔루션을 찾아야 했습니다.”
파르호드 쿠데이베르가노프, R&D 수석 엔지니어 - 3i Inc.

장애물을 넘지 못했을까요? 아니면 실제로 캡처 및 프로세싱이 더욱 간편하고 용이한 솔루션이나 넓은 야외 공간에서도 사용할 수 있는 솔루션을 발견했을까요? 결론을 말씀드리지는 않겠지만, 이어지는 마지막 연재 기사에서 접할 내용이 만족스러운 결과일 것이라는 점을 미리 전합니다. 다음 주에 ‘3D 스캐너 없이 3D 공간을 캡처하는 방법’에 대한 연재 기사를 마무리할 예정이니 계속해서 함께해 주세요.