최근 레이트레이싱(Raytracing) 이란 그래픽 기술이 최신에 출시되는 여러 게임에 사용되면서, 게임의 사양이 평균적으로 높아짐에 따라 DLSS란 AI 렌더링 기술도 동시에 엔비디아가 게임에 투입시키고 있습니다.
"DLSS는 레이트레이싱을 적용할 경우 기하급수적으로 무거워지는 게임의 퍼포먼스를 최적화해주는" 기술로 많은 유저들이 알고 있습니다. 하지만 정확히 어떤 개념으로 작동하는 기술인지는 정확히 설명이 안되어 있습니다.
DLSS는 정확히 어떤 개념의 기술이고 어떤 원리로 작동될까요?
* 엔비디아 지포스 그래픽카드의 DLSS의 역사. |
NVIDIA DLSS (Deep Learning Super Sampling 은 GeForce RTX™ GPU에만 있는 획기적인 AI 렌더링 기술로,
전용 Tensor 코어 AI 프로세서를 사용하여 그래픽 성능을 향상시킵니다.
DLSS는 딥 러닝 뉴럴 네트워크의 성능을 활용하여 프레임 레이트를 높이는 동시에 즐겨 하는 게임의 아름답고 또렷한 이미지를 생성해 줍니다.
엔비디아는 2018년 9월 출시 당시 GeForce RTX 20 시리즈 GPU의 핵심 기능으로 DLSS를 홍보했습니다. 그 당시에는 알고리즘 (소프트웨어적인 문제를 해결해나가는 프로그래밍 방식) 이 적용된 각 게임에 대해서 개별적으로 특별히 각 게임 별로 코드를 트레이닝 해야 했고 보통 가변 해상도 기술 (프레임레이트 유지를 위해 해상도를 실시간으로 조정하는 최적화 기법) 만큼 결과가 좋지 않았기 때문에 DLSS가 적용된 게임은 몇 개의 비디오 게임(즉, 배틀필드 V, 및 메트로 엑소더스)로 제한되었습니다.
2019년, 레메디의 비디오 게임 컨트롤(Control) 은 엔비디아 전용 텐서 코어를 사용하지 않았던 레이 트레이싱과 개선된 버전의 DLSS를 탑재하여 출시되었습니다.
2020년 4월 Nvidia는 드라이버 버전 445.75를 광고하고 DLSS 2.0이라는 이름의 DLSS를 출시했습니다. 이 버전은 Control과 Wolfenstein을 포함한 몇 가지 기존 게임에 사용되었습니다.
울펜슈타인 영블러드, 그리고 곧 모든 게임에 이용이 가능할 것이라고 엔비디아는 열심히 이 기술을 홍보하고 계속 연구해나갔습니다. 엔비디아는 이번에도 텐서코어를 사용했다며 게임마다 딥 러닝 AI를 따로 트레이닝하는 거추장스러운 작업이 필요하지 않을 것이라고도 말했죠.
DLSS 2.0은 여러가지 기술적인 부작용이 있었습니다. MSAA 또는 TSAA와 같은 안티앨리어싱 기술과 잘 작동하지 않는 것으로 보이며, 이러한 기법이 DLSS 위에서 활성화되면 게임의 성능에 매우 부정적인 영향을 미칩니다.
2021년 7월 현재 기준으로 DLSS 2.0은 아직 완벽하게 작동하는 기술은 아니며, 각 게임 개발자가 게임별로 기술을 최적화해서 포함시켜야 하는 기술입니다.
* DLSS가 작동하는 원리. |
DLSS는 딥 러닝 (Deep Learning) 이라는 인공지능 학습 기법을 기반으로 작동하는 기술입니다.
이를 기반으로 한 뉴럴 네트워크는 엔비디아가 슈퍼컴퓨터에서 초고해상도 비디오 게임에서 '이상적인 퀄리티' 이미지를 분석하고, 동시에 게임에서 출력되는 저해상도 이미지를 이용해 반복 학습 훈련을 합니다. 이러한 학습 결과는 그래픽카드 드라이버에 저장됩니다.
엔비디아는 DGX-1 서버를 활용해 네트워크 교육을 진행한다고 합니다.
따라서 쉽게 설명한다면, 그래픽카드에 탑재된 텐서 코어로 GPU(그래픽카드) 가 초고해상도인 게임의 그래픽 이미지와 저해상도 이미지를 비교하며 반복 학습하며 이미지 퀄리티를 저해상도에서 최대한 부분적으로 상승시킬 수 있도록 딥 러닝 기술로 반복 학습을 합니다.
그래픽카드의 해당 드라이버에 저장된 신경망은 네트워크에 저장되어, 학습 효과를 모든 그래픽카드 데이터에 공유할 수 있도록 합니다. 실제 저해상도 이미지를 기준과 비교하여 더 나은 결과물을 보여주는 고해상도 이미지를 게임의 화면에 생성합니다. 훈련된 신경망이 사용하는 입력은 게임 엔진에서 렌더링한 저해상도 별칭 이미지와 동일한 이미지에서 생성된 저해상도 모션 벡터입니다. 모션 벡터는 다음 프레임의 모양을 예측하기 위해 장면의 객체가 프레임에서 프레임으로 이동하는 방향을 네트워크에 송신합니다.
* 쉽게 설명하자면 이렇습니다.
* 그래픽카드에 "인공지능을 통한 반복 학습 능력 기술" 을 집어넣어서 그래픽카드가 게임을 돌리면서 효율적으로 프레임당 더 낮은 자원을 사용하면서 더 좋은 결과물을 출력하는 방법을 학습하게 합니다.
* 이러한 학습된 게임 당 데이터들을 드라이버에 저장해서 DLSS를 지원하는 모든 그래픽카드와 게임에 해당 데이터를 사용하여 그래픽 렌더링 연산을 하도록 합니다.
* 그 다음 더 적은 자원을 사용해서 기존에 할당된 이미지에 가까운 좋은 품질의 그래픽을 구현해내는 것을 그래픽카드가 연산할 때 같이 실시간으로 적용할 수 있게 만드는 기술입니다.
* DLSS는 그렇다면 장점이 많은데, 단점도 있는 기술인가? |
DLSS는 1.0에선 상당히 이미지 퀄리티가 불안정한 기술이었지만, 2.0으로 오면서 획기적인 발전이 있었습니다.
단점보다는 장점이 확실히 많은 매우 혁명적인 그래픽 기술입니다. 레이트레이싱 (Raytracing) 을 적용하면 게임의 사양이 기하급수적으로 올라가는 현재 시점에서 DLSS는 같이 사용해야할 거의 필수인 기술이라고 볼 수 있죠.
그래픽 손실을 최소화하면서 게임의 퍼포먼스를 향상시키는 멋진 하이테크 기술이지만, 당연히 기존 방식대로 렌더링하는 이미지보다는 이미지 퀄리티가 떨어지긴 합니다.
DLSS 2.0은 여러가지 기술적인 부작용이 있습니다. "MSAA" 또는 "TSAA" 와 같은 안티앨리어싱 기술과 잘 작동하지 않는 것으로 보이며, 이러한 기법이 DLSS랑 같이 활성화되면 게임의 성능에 매우 부정적인 영향을 미칩니다.
또한, DLSS를 사용할 경우 퍼포먼스엔 좋은 영향을 끼치지만 "일부 게임에서는 화질 저하가 심각하다거나, 특정 부분에서 게임의 그래픽 중 일부의 이미지가 이상하게 표현되는 버그" 가 있습니다.
그리고 단점이 또 있다면 엔비디아가 독점 개발한 기술이기 때문에 AMD 라데온 그래픽카드는 사용을 못하겠죠. 그래서 AMD는 FSR이란 기술을 새롭게 개발하고 있죠.
* DLSS를 비롯한 비슷한 그래픽 테크놀러지의 앞으로의 미래는? |
DLSS는 딥 러닝 기반 인공지능 기술이 그래픽 카드, 게임의 3D 이미지 렌더링 기술에 적용된 결과라고 정의할 수 있습니다. 그리고 IT업계에서 빅데이터 사이언스, 시각화 이미지를 통한 머신러닝, 딥러닝 기술은 게속 발전해나가고 있는 단계이기 때문에 , 당연히 3D 게임업계에서도 이 분야의 기술이 엄청 도입될 것입니다.
엔비디아 뿐만 아니라 AMD 라데온 그래픽카드도 "FSR" 이라는 기술을 2021년 6월 22일 출시했습니다.
또한 이 기술의 장점은 엔비디아 그래픽 카드와 다르게 지포스 그래픽카드에서만 동작하지 않기 때문에 더 범용성이 크다는 장점이 있어 무시 못할 기술이죠.