[AI 리뷰] MIT 연구팀, 인공지능으로 실시간 3D 홀로그램 생성한다!

By 2021-03-133월 16th, 2021업계소식

MIT 연구팀이 제작한 홀로그램 영상 이미지 캡처

텐서 홀로그래피라는 새로운 방법을 사용하면 가상 현실, 3D 프린팅, 의료 이미징 등을 위한 홀로그램을 만들 수 있으며 스마트 폰에서 실행할 수 있다. 현재, 연구팀은 코드·데이터 세트를 오픈 소스로 공개한 상태이다.

더 나은 3D 시각화를 위한 해결책은 디지털 세계를 위해 60년 된 전통 기술인 홀로그램(Hologram)을 대안으로 꼽을 수 있다.

홀로그램은 필름이나 감광 건판 등 기록 매체에 레이저 광 등 빛의 간섭 패턴을 기록한 것으로 어떤 대상 물체의 3D 입체상을 재생하는 것으로 우리 주변의 3D 세계를 매우 잘 표현해 준다.

홀로그램은 위치에 따라 시시각각 변화하는 시야를 제공하며, 전경과 배경에 번갈아 초점을 맞출 수 있도록 초점 깊이를 조정할 수 있다. 그러나 이 프로세스는 슈퍼컴퓨터를 통해 물리 시뮬레이션을 통해 구현하는데 이는 시간이 많이 걸리고 사실적 결과에 미치지 못하는 결과를 생성하는 것이 과제이다.

이에 MIT 연구팀이 인공지능을 통해 거의 순간적으로 홀로그램을 제작할 수 있는 새로운 심층신경망 ‘텐서 홀로그래피(tensor holography)’ 개발했다. 또, 이 솔루션은 딥러닝 기반으로 매우 효율적으로 스마트 폰에서 실행할 수 있다.

MIT의 전기공학 및 컴퓨터공학부(EECS) 연구팀 박사과정 연구원 량 시(Liang Shi)는 “기존의 소비자 등급 하드웨어로는 실시간 3D 홀로그램 구현이 불가능하다고 생각했다”며, “우리는 일상적으로 상업적으로 이용 가능한 홀로그래픽 디스플레이가 10년 안에 나올 것이라고 종종 말해왔지만, 이 말은 수십 년 전부터 있어왔습니다”라고 말했다.

이어 그는 “연구팀은 텐서 홀로그래피라고 부르는 이 새로운 접근법으로 마침내 10년이라는 이해하기 어려운 목표에 도달할 수 있을 것이라고 믿고 있다. 이러한 발전은 홀로그램이 VR이나 3D 프린팅과 같은 분야로 파급되는 것을 가속화할 수 있습니다”라고 강조했다.

관련 데이터 세트 이미지 예(사진:MIT)
관련 데이터 세트 이미지 예(사진:MIT)

이 연구는 량 시를 비롯해 우시치 마투직(Wojciech Matusik)과 EECS의 베이첸 리와 MIT의 컴퓨터과학 인공지능연구소(CSAIL)의 베이첸 리(Beichen Li)와 전 MIT CSAIL 연구원 김창일(Changil Kim. 현, 페이스북), 페트르 켈른호퍼(Petr Kellnhofer. 현, 스탠퍼드대) 등이 공동 으로 참여했다

1900년대 중반 처음 개발된 초기 홀로그램은 광학적으로 레이저 빔을 분할해야 하며, 빔의 절반은 피사체를 비추는 데 사용되고 나머지 절반은 광파의 위상 기준으로 사용된다. 결과적으로 영상이 정적이었기 때문에 움직임을 포착할 수 없었으며, 하드카피일 뿐이어서 복제와 공유가 어려웠다.

컴퓨터로 생성된 홀로그래피는 광학 설정을 시뮬레이션 함으로써 이러한 도전을 피한다. 하지만 그 과정은 구현의 어려움이 따른다. 현장의 각 지점마다 깊이가 다르기 때문에, 모든 지점에 동일한 작업을 적용할 수는 없다.

이처럼 물리학 기반 시뮬레이션을 실행하기 위해 클러스터 된 슈퍼컴퓨터를 사용해도 홀로그래픽 이미지 한 장에 몇 초 또는 몇 분이 걸릴 수 있다. 게다가, 기존의 알고리즘은 광현실적 정밀도를 가지고 어클루전(Occlusion)을 모델링하지 않는다. 따라서 연구팀은 다른 접근법을 선택했다. 즉, 컴퓨터가 물리학을 스스로 학습하도록 하는 것이다.

연구팀은 컴퓨터로 만들어진 홀로그래피를 가속화하기 위해 딥러닝을 사용했고, 실시간 홀로그램 생성을 가능하게 했다. 이 팀은 컨볼루션 신경망을 설계했는데, 이 처리 기법은 인간이 시각 정보를 처리하는 방법을 대략 모방하기 위해 학습 가능한 텐서를 사용하는 것이다. 그러나 신경망을 훈련하려면 일반적으로 3D 홀로그램에 대해 이전에 존재하지 않았던 크고 고품질의 데이터 세트가 필요했다.

이를 위해 연구팀은 4,000쌍의 컴퓨터 생성 이미지로 구성된 사용자 정의 데이터베이스를 구축했다. 각 쌍은 각 픽셀의 색과 깊이 정보를 포함한 이미지를 해당 홀로그램과 일치시켰다.

또한 새로운 데이터베이스에서 홀로그램을 구현하기 위해 복잡하고 가변적인 모양과 색상의 장면과 배경에서 전경으로 고르게 분포된 픽셀의 깊이, 어클루전 처리를 위한 새로운 물리 기반 계산 세트를 사용했다. 그러한 접근 방식은 사실적인 훈련 데이터를 생성했으며, 알고리즘이 작동하기 시작했다.

즉, 각 이미지 쌍에서 학습함으로써 텐서 네트워크(Tensor Network)는 자체 계산의 매개 변수를 조정하여 홀로그램 생성 능력을 성공적으로 향상시켰다. 완전히 최적화된 네트워크는 물리 기반 계산보다 더 빠르게 작동했다. 그 효율성은 연구팀 자체를 놀라게 했다고 한다.

연구팀 우시치 마투직(Wojciech Matusik)은 “우리는 그것이 얼마나 좋은 성능을 발휘하는지 놀랐습니다”라며, “단 밀리 초 만에 텐서 홀로그램(Tensor Holography)은 일반적인 컴퓨터 생성 이미지에 의해 제공되며, 다중 카메라 설정 또는 라이다(LiDAR) 센서에서 계산할 수 있는 깊이 정보를 가진 이미지에서 홀로그램을 만들 수 있었습니다”라고 말했다.

이러한 발전은 실시간 3D 홀로그램의 페러다임을 바꾸는 것이다. 더욱이, 컴팩트 텐서 네트워크는 1MB 미만의 메모리를 요구한다. 이것은 “최신 휴대전화에서 수십, 수백 기가바이트를 사용할 수 있다는 점을 감안하면 무시해도 될 것입니다”라고 그는 강조했다.

한편, 연구팀의 새로운 신경망 텐서 홀로그래피를 사용해 이전 홀로그램보다 화질이 현저하게 향상되었으며, 사용자에게는 현실감과 편안함을 더할 것으로 예상된다. 이 연구 결과는 네이처에 ‘심층신경망을 사용한 실시간 사실적 3D 홀로그래피(Towards real-time photorealistic 3D holography with deep neural networks- 보기)’란 제목으로 지난 10일 게재됐다.

연구팀의 홀로그램을 제작을 위한 신경망 텐서 홀로그래피는 현재, 코드(다운), 데이터 세트(다운)를 오픈 소스로 공개한 상태이다. (MIT연구팀의 홀로그램 구현 위한 신경망 ‘텐서 홀로그래피’ 소개 영상이다.)

최창현 기자 aitimes@naver.com

기사원문 바로가기