위성 영상 처리: 멀티모달 LLM vs 이미지 임베딩 모델
위성 영상(Remote Sensing) 도메인에서 텍스트 디스크립션을 만들고 특징을 추출하는 방법을 조사하면서, 멀티모달 LLM과 이미지 임베딩 모델(RemoteCLIP, GeoRSCLIP 등)의 차이를 정리해봤다. 두 접근은 목적과 작동 방식, 성능 특성이 뚜렷하게 다르다.
두 접근의 정의
멀티모달 LLM (MLLM)
이미지(위성 영상)와 텍스트 입력을 결합해 시각적 추론을 수행하고, 최종적으로 자연어 문장을 생성하는 거대 모델이다.
- 사례: GPT-4V, LLaVA, 원격탐사 특화 모델인 RS-LLaVA, SkyEyeGPT 등
- 핵심 기능: 영상 캡셔닝, 시각 질의응답(VQA), 공간적·맥락적 분석과 보고서 작성
이미지 임베딩 모델 (CLIP 계열)
대조 학습(Contrastive Learning)으로 위성 영상과 텍스트를 같은 벡터 공간에 매핑해 특징을 추출하는 모델이다.
- 사례: RemoteCLIP, GeoRSCLIP, CLIP-RSICD 등
- 핵심 기능: 특징 추출, 제로샷 분류, 텍스트-이미지 교차 검색
핵심 차이점
| 비교 항목 | 멀티모달 LLM | 임베딩 모델 (RemoteCLIP 등) |
|---|---|---|
| 출력 형태 | 자연어 텍스트 | 고정 차원 벡터 (512, 768차원 등) |
| 자연어 생성 | 가능 (맥락 해석 후 새 문장 생성) | 불가능 (텍스트 후보와 유사도 비교만) |
| 주요 태스크 | VQA, 종합 분석·요약 | 제로샷 분류, 유사 이미지 검색 |
| 연산량 | 수십억~수백억 파라미터, 무거움 | 수억 개 이하, 추론 속도 빠름 |
| 데이터 활용 | 고수준 맥락 추론·묘사 | 대규모 DB 인덱싱·고속 검색 |
작동 원리
MLLM은 시각 인코더로 영상의 시각 토큰을 뽑고, 어댑터(Projection Layer)를 거쳐 LLM의 텍스트 임베딩 공간으로 투영한 뒤, 프롬프트와 함께 자기회귀(Autoregressive) 방식으로 한 토큰씩 문장을 생성한다.
결과물 예시: “해당 위성 이미지는 전형적인 도심 주거 지역으로, 적색 지붕의 단독 주택들이 격자형 도로망을 따라 조밀하게 밀집해 있습니다.”
CLIP 계열은 이미지 인코더와 텍스트 인코더의 투 타워(Two-tower) 구조다. 영상과 텍스트를 각각 벡터로 바꾸고, 학습 시 두 벡터의 코사인 유사도를 극대화하도록 정렬한다.
결과물 예시: 영상 입력 시
[0.12, -0.45, 0.89, ...]같은 벡터를 반환하고, 이 벡터는 “항구 시설”이라는 텍스트 벡터와 가장 가까운 거리에 놓인다.
장단점
멀티모달 LLM
- 장점: 정해진 틀 없이 상세한 설명을 쓸 수 있고, “군사 기지 내 전투기 배치 형태” 같은 고차원적 해석·상태 분석이 가능하다.
- 단점: 추론당 수 초의 지연이 있어 GB 단위 대규모 위성 그리드 처리에는 부적합하고, 영상에 없는 물체를 그럴듯하게 설명하는 환각(Hallucination) 위험이 있다.
이미지 임베딩 모델
- 장점: 대규모 영상을 빠르게 인덱싱해 벡터 DB로 구축하기 좋고, “2024년 홍수 피해가 발생한 농경지” 같은 자연어 검색이 가능하다. 지리 정보나 시간대 변화에도 강인하다.
- 단점: 문장을 생성할 수 없어 분석 보고서 작성이나 서술형 질의응답은 불가능하다.
결론: 하이브리드로 쓰자
두 모델은 상호 배타적이지 않고, 실제 시스템에서는 보완적으로 조합하는 것이 이상적이다.
- 대규모 필터링 단계 (임베딩 모델): RemoteCLIP/GeoRSCLIP으로 수천 장의 위성 이미지에서 관심 영역(활주로, 항만, 주거 구역 등)을 제로샷 분류·검색으로 고속 필터링
- 세부 보고서 생성 단계 (MLLM): 필터링된 타깃 이미지만 MLLM에 전달해 미세 변화 감지와 종합 분석 디스크립션을 자동 작성
임베딩 모델이 넓게 거르고 MLLM이 깊게 읽는 구조라, 비용과 속도, 품질의 균형을 맞출 수 있다.