위성 영상 처리: 멀티모달 LLM vs 이미지 임베딩 모델

위성 영상(Remote Sensing) 도메인에서 텍스트 디스크립션을 만들고 특징을 추출하는 방법을 조사하면서, 멀티모달 LLM과 이미지 임베딩 모델(RemoteCLIP, GeoRSCLIP 등)의 차이를 정리해봤다. 두 접근은 목적과 작동 방식, 성능 특성이 뚜렷하게 다르다.

두 접근의 정의

멀티모달 LLM (MLLM)

이미지(위성 영상)와 텍스트 입력을 결합해 시각적 추론을 수행하고, 최종적으로 자연어 문장을 생성하는 거대 모델이다.

사례: GPT-4V, LLaVA, 원격탐사 특화 모델인 RS-LLaVA, SkyEyeGPT 등
핵심 기능: 영상 캡셔닝, 시각 질의응답(VQA), 공간적·맥락적 분석과 보고서 작성

이미지 임베딩 모델 (CLIP 계열)

대조 학습(Contrastive Learning)으로 위성 영상과 텍스트를 같은 벡터 공간에 매핑해 특징을 추출하는 모델이다.

사례: RemoteCLIP, GeoRSCLIP, CLIP-RSICD 등
핵심 기능: 특징 추출, 제로샷 분류, 텍스트-이미지 교차 검색

핵심 차이점

비교 항목	멀티모달 LLM	임베딩 모델 (RemoteCLIP 등)
출력 형태	자연어 텍스트	고정 차원 벡터 (512, 768차원 등)
자연어 생성	가능 (맥락 해석 후 새 문장 생성)	불가능 (텍스트 후보와 유사도 비교만)
주요 태스크	VQA, 종합 분석·요약	제로샷 분류, 유사 이미지 검색
연산량	수십억~수백억 파라미터, 무거움	수억 개 이하, 추론 속도 빠름
데이터 활용	고수준 맥락 추론·묘사	대규모 DB 인덱싱·고속 검색

작동 원리

MLLM은 시각 인코더로 영상의 시각 토큰을 뽑고, 어댑터(Projection Layer)를 거쳐 LLM의 텍스트 임베딩 공간으로 투영한 뒤, 프롬프트와 함께 자기회귀(Autoregressive) 방식으로 한 토큰씩 문장을 생성한다.

결과물 예시: “해당 위성 이미지는 전형적인 도심 주거 지역으로, 적색 지붕의 단독 주택들이 격자형 도로망을 따라 조밀하게 밀집해 있습니다.”

CLIP 계열은 이미지 인코더와 텍스트 인코더의 투 타워(Two-tower) 구조다. 영상과 텍스트를 각각 벡터로 바꾸고, 학습 시 두 벡터의 코사인 유사도를 극대화하도록 정렬한다.

결과물 예시: 영상 입력 시 [0.12, -0.45, 0.89, ...] 같은 벡터를 반환하고, 이 벡터는 “항구 시설”이라는 텍스트 벡터와 가장 가까운 거리에 놓인다.

장단점

멀티모달 LLM

장점: 정해진 틀 없이 상세한 설명을 쓸 수 있고, “군사 기지 내 전투기 배치 형태” 같은 고차원적 해석·상태 분석이 가능하다.
단점: 추론당 수 초의 지연이 있어 GB 단위 대규모 위성 그리드 처리에는 부적합하고, 영상에 없는 물체를 그럴듯하게 설명하는 환각(Hallucination) 위험이 있다.

이미지 임베딩 모델

장점: 대규모 영상을 빠르게 인덱싱해 벡터 DB로 구축하기 좋고, “2024년 홍수 피해가 발생한 농경지” 같은 자연어 검색이 가능하다. 지리 정보나 시간대 변화에도 강인하다.
단점: 문장을 생성할 수 없어 분석 보고서 작성이나 서술형 질의응답은 불가능하다.

결론: 하이브리드로 쓰자

두 모델은 상호 배타적이지 않고, 실제 시스템에서는 보완적으로 조합하는 것이 이상적이다.

대규모 필터링 단계 (임베딩 모델): RemoteCLIP/GeoRSCLIP으로 수천 장의 위성 이미지에서 관심 영역(활주로, 항만, 주거 구역 등)을 제로샷 분류·검색으로 고속 필터링
세부 보고서 생성 단계 (MLLM): 필터링된 타깃 이미지만 MLLM에 전달해 미세 변화 감지와 종합 분석 디스크립션을 자동 작성

임베딩 모델이 넓게 거르고 MLLM이 깊게 읽는 구조라, 비용과 속도, 품질의 균형을 맞출 수 있다.