눈이나 비 등 각종 날씨 조건에 구애받지 않고, 다양한 환경이나 도시에서 안전하게 자율주행할 수 있는 '깊이 추정 딥러닝 기술'이 개발됐다. 이로써 주율주행뿐만 아니라 광범위한 인공지능(AI) 분야 발전에 활용할 수 있을 것으로 기대된다.

DGIST(대구경북과학기술원, 총장 이건우)는 12일 전기전자컴퓨터공학과 임성훈 교수팀의 이같은 신기술 개발 소식을 전하면서 "향후 깊이 센싱 기술을 필수적으로 탑재하는 실내·외 로봇 비전, 3차원 객체 검출 등의 많은 분야에 적용될 것으로 기대된다"고 밝혔다. 
 

큰사진보기
▲ 고안한 학습기반 단안 카메라 깊이 추정 기술 제안한 단안 카메라 깊이 추정 기술의 도식화. 제안한 방법은 트랜스포머(Transformer)의 형상(Shape) 편향 특징과 합성곱 신경망(CNN)의 질감(Texture) 편향 특징을 융합할 수 있도록 하는 하이브리드 네트워크이다. 제안된 방법은 합성곱 신경망을 통해 추출된 입력 영상의 특징들을 트랜스포머 인코더를 통해 다양한 해상도의 특징 지도로 변환시킨다. 이때, 기존 합성곱 신경망과 달리 트랜스포머의 전역적 자기-집중 방법을 통해 영상 내의 전체적인 문맥을 추출할 수 있었으며, 집중 연결 모듈(Attention Connection Module)을 통해 채널과 공간에 따른 집중도를 적절히 연결할 수 있도록 하였다. 이후, 특징 융합 디코더(Feature Fusion Decoder)를 통해, 다양한 해상도의 특징 지도를 효과적으로 융합함으로써, 전체적인 문맥과 영상 내의 엣지와 같은 세부적인 디테일을 보존한 깊이 추정 결과를 얻을 수 있도록 설계하였다.
ⓒ DGIST 제공	관련사진보기

 
자율주행 운전 시에는 주위의 거리를 감지해 주변 환경을 정확하게 인식할 수 있는 '깊이 센싱 기술'이 중요하다. 이 때문에 국내·외에서는 자율주행을 위한 딥러닝 기반의 깊이 센싱 기술들에 대한 연구가 활발히 진행되고 있다. 

DGIST는 "기존에 사용된 기술들은 특정한 조건을 갖춘 실험용 데이터에서는 준수한 성능을 달성했다"면서 "그러나 안개가 있거나 비가 오는 등의 변수가 있을 시에는 오탐지 및 낮은 품질의 성능을 보여 실사용에는 한계가 있었다"고 동향을 전했다. 

이에 임 교수팀은 어떤 조건에서도 동일하게 작동할 수 있도록 '일반화' 하는 것에 연구를 집중했다. 

특히 임 교수팀은 다양한 신경망 구조와 깊이 센싱 문제 사이의 관계를 분석했다. 이를 통해 입력 영상 전체에 대한 집중적인 특징 추출과 효과적인 특징 정합을 통해 높은 정확도와 신뢰성을 갖춘 '깊이 센싱 기술'을 개발했다. 또 장소와 날씨 등 다양한 환경에서의 자율주행 데이터에 대한 선행 연구와 제안한 기술을 평가해 일반화 성능을 분석했다. 

나아가 연구팀은 다양한 환경과 깊이 센싱 벤치마크에 대해 선행 연구들과 제안한 기술을 평가해, 신경망 구조에 따른 깊이 센싱 기술들의 일반화 성능에 대해 분석했다. 이를 통해 일반화 성능을 향상시키기 위한 신경망의 구조 및 평가 지표를 제안했다. 
 

큰사진보기
▲ 신경망 구조와 깊이 추정 문제 간의 관계에 따른 일반화 성능의 예시 신경망 구조와 깊이 추정 문제 간의 관계에 따른 일반화 성능의 예시. 상단의 도표는 최근 새롭게 제안된 신경망의 구조에 대한 개요도이며, 하단의 도표는 학습 시 보지 못한 분포(Out-Of-Distribution)에 대한 깊이 추정 기술들의 성능 평가이다.
ⓒ DGIST 제공	관련사진보기

 
임성훈 DGIST 전기전자컴퓨터공학과 교수는 "이번 연구를 통해 제안한 단안 카메라 깊이 센싱에 대한 일반화 연구는 기존의 편향된 자율주행 인공지능에서 벗어나, 사람들이 믿고 이용할 수 있는 자율주행 인공지능에 한 걸음 더 다가갈 수 있도록 하는 기술"이라고 설명했다. 

이어 임 교수는 "이번 연에서 고안된 방법은 학습 시 사용된 분포(In-Distribution)에 대해서 우수한 성능뿐만 아니라, 처음 보는 분포(Out-of-Distribution)에서 성능이 약화되는 문제를 완화하기 위해 다양한 신경망 구조와 학습 방법들과 깊이 추정 문제 사이의 관계를 분석했다"면서 "이를 통해 다양한 환경에 노출되는 자율주행과 로봇 비전 등의 어플리케이션에서 적용이 가능할 것"이라고 말했다. 

덧붙여 그는 "향후 관련 기술의 다양한 분야의 적용을 통해, 신뢰할 수 있는 인공지능 기술 개발에 큰 영향을 미칠 것"이라고 기대했다. 

한편, 이번 연구 결과는 EE 및 CS/AI분야 상위 1% 국제저명전문학술지인 <IEEE Transactions on Pattern Analysis and Machine Intelligence>에 2023년도 11월에 게재됐다. 
 

큰사진보기
▲  사진 왼쪽부터 임성훈 교수, 배진우 연구원, 황규민 박사과정생
ⓒ DGIST 제공	관련사진보기