LINE Plus: 외부 가드레일 다섯 가지의 설계와 할루시네이션 검증 파이프라인

LINE Plus: 외부 가드레일 다섯 가지의 설계와 할루시네이션 검증 파이프라인

2026, Nov 21    

LINE Plus가 LY 그룹 공통 AI 안전성 플랫폼인 LY AI Guardrails의 구성 요소 다섯 가지를 설명하는 글을 올렸다. 안전 규칙을 주력 LLM의 시스템 프롬프트에 넣는 대신 모델 바깥에 별도 계층으로 두는 이유와, 가드레일마다 어떤 방식으로 판단하게 했는지가 내용이다. 제품 소개가 아니라 설계 판단의 기록이어서 가드레일을 직접 붙여야 하는 쪽에서 가져다 쓸 대목이 몇 군데 있다. (이 글의 초안은 Orca Bots 가 작성했고, Claude가 검수 후 발행했다.)

TL;DR: 다섯 가지는 텍스트 모더레이션, 프롬프트 인젝션 디텍션, PII 필터, 토픽 컨트롤, 할루시네이션 디텍션이다. 앞의 넷은 입력 단계, 마지막은 출력 단계에서 돈다. 따라 해 볼 만한 것은 세 가지다. 토픽 컨트롤은 서비스별로 모델을 따로 학습하지 않고 서비스 정의를 사용자 메시지와 함께 모델에 넣는다. PII 필터는 가벼운 분류기가 먼저 보고 애매한 입력만 LLM이 다시 본다. 할루시네이션 검증은 외부 LLM 호출 없이 로컬 NLI 모델로 하고 하이브리드 검색과 문장 단위 근거 분할을 적용하면서 리랭커는 뺐다. 원문은 모델명, 지연 시간, 비용 수치를 밝히지 않고 평가 건수도 한두 자릿수라 수치는 방향을 보는 용도로만 읽어야 한다.

원문은 2026년 11월 20일 LY Corporation Tech Blog에 올라온 AI 시대 필수 보안: 외부 가드레일 완벽 가이드이고 글쓴이는 LINE Plus에서 가드레일을 개발하는 김영현, 한종우, 장혁재, 이수아다.

시스템 프롬프트에 안전 규칙을 넣는 방식의 한계

원문은 가드레일을 내부와 외부로 나눈다. 내부 가드레일은 주력 LLM의 시스템 프롬프트에 안전 규칙을 적어 넣는 방식이다. 별도 모델이나 API가 필요 없어 도입은 쉽지만 원문이 꼽는 문제는 다음과 같다.

  • 안전 규칙이 많아지면 정상 요청도 그 문구의 영향을 받아 오작동할 수 있다.
  • 같은 규칙도 프롬프트 안의 위치나 표현에 따라 효과가 달라지고 작은 수정이 전체 응답에 예상하지 못한 영향을 줄 수 있다.
  • 규칙을 추가할수록 입력 토큰이 늘어 응답 지연과 비용이 함께 늘어난다.

외부 가드레일은 사용자 입력을 주력 LLM에 넘기기 전에 별도 API, 경량 모델, 규칙 기반 검사기로 검사하고 필요하면 차단하거나 수정하는 계층이다. 출력 단계에서 모델 응답을 다시 검증하는 것도 여기에 든다. 원문이 드는 장점은 네 가지다.

  1. 비용: 가벼운 가드레일 모델이 입력을 먼저 걸러 주력 LLM이 불필요한 요청에 토큰을 쓰지 않는다.
  2. 운영 통제: 어떤 카테고리와 기준으로 차단됐는지 구조화하기 쉽고 당시 적용된 정책 버전과 모델 버전을 추적하고 재현하기 쉽다.
  3. 모델 교체: 주력 LLM을 바꿔도 정책 판단 구조가 유지된다. 반대로 정책이 바뀌면 시스템 프롬프트 전체 대신 가드레일만 고치면 된다.
  4. 여러 모델 혼용: 앞 단계와 뒤 단계에 서로 다른 모델을 쓰더라도 같은 정책 기준을 적용할 수 있다.
원문 근거
"따라서 안전을 모델의 학습이나 시스템 프롬프트에만 맡기기보다, 모델 바깥에서 입력과 출력을 독립적으로 점검하고 제어하는 접근이 필요합니다."

배경으로 원문은 프롬프트 인젝션이 2023년부터 2025년까지 OWASP Top 10 LLM 보안 위협에서 1위로 다뤄졌다는 점과, 2025년 OpenAI와 Apollo의 공동 연구에서 안전 학습을 받은 모델이 지시와 다른 행동을 하는 경우가 발견됐다는 점을 든다. 원문에 해당 연구의 링크는 없다.

입력 단계의 네 가지

텍스트 모더레이션

자해 조장, 무기 제조 정보, 성희롱처럼 사용자에게 직접 피해를 줄 수 있는 콘텐츠를 탐지한다. 원문이 강조하는 것은 유해성의 경계가 국가, 문화, 서비스 성격에 따라 달라진다는 점이다. 같은 폭력 묘사도 게임에서는 허용될 수 있다. 그래서 학습 데이터를 금지 예시의 나열 대신 콘텐츠의 관련성, 실행 가능성, 문화권별 허용 여부를 단계적으로 판단하도록 구성했다고 한다. 데이터 규모나 라벨 체계는 원문에 없다.

프롬프트 인젝션 디텍션

공격을 잡는 것만큼 정상 요청을 공격으로 오인해 막는 문제를 줄이는 데 비중을 둔다. 방법은 에이전트로 테스트 데이터를 만들어 모델을 반복 개선하는 것이다. 원문이 설명하는 순서는 다음과 같다.

  1. 메인 에이전트가 실험 목표와 테스트 카테고리를 파악한다.
  2. 카테고리별 서브 에이전트를 만들어 현실적인 가상 테스트 데이터를 생성하게 한다.
  3. 그 데이터를 가드레일 모델에 넣어 오탐·미탐 데이터를 선별한다.
  4. 선별한 데이터를 다시 모델 학습에 쓴다.

결과는 공격 탐지 성능을 유지하면서 정상 요청이 잘못 차단되는 경우를 줄였다는 서술뿐이고 수치는 없다. 새 공격 패턴이 나오면 테스트 카테고리를 추가해 대응한다고 한다. 자세한 내용은 같은 블로그의 Coding Agent로 Guardrail 모델 발전시키기로 안내한다.

PII 필터

프롬프트에 든 개인 식별 정보를 탐지해 마스킹한다. 외부 LLM을 쓰는 서비스라면 개인정보가 외부 모델에 닿기 전에 자체 환경에서 처리해야 한다는 것이 전제다.

  • 숫자 문자열만으로는 전화번호, 계좌 번호, 주문번호를 구분하기 어렵기 때문에 형식과 문맥을 함께 본다. 테스트 데이터는 나이와 역할 등 페르소나에 여러 시나리오를 조합해 만들었다.
  • 모델에는 개체명 인식에 쓰는 BIOES(Begin, Inside, Outside, End, Single) 태깅을 적용했다.
  • 서비스별로 정의한 개인정보까지 검출하기 위해 두 종류의 판단 출력을 내는 구조를 개발하고 있다고 한다. 아직 개발 중인 항목이다.
  • 운영에서는 2단으로 판단한다.
원문 근거
"운영에서는 가벼운 분류기로 먼저 판단하고, 애매하거나 복잡한 입력에는 LLM이 추가로 판단하는 방식을 사용합니다."

어떤 기준으로 “애매하다”고 보고 LLM으로 넘기는지는 원문에 없다.

토픽 컨트롤

요청이 서비스의 허용 범위 안인지(온토픽) 밖인지(오프토픽)를 주력 모델에 넘기기 전에 판단한다. 원문의 예시로 “이 주식 사도 될까요?”는 은행의 일반 상담 에이전트에서는 오프토픽일 수 있지만 투자 로보어드바이저에서는 온토픽일 수 있다.

이 가드레일에서 눈여겨볼 것은 모델을 서비스마다 따로 두지 않았다는 점이다. 각 서비스의 시스템 프롬프트에서 역할과 허용 범위를 뽑아 서비스 정의로 정리하고 그것을 사용자 메시지와 함께 토픽 컨트롤 모델에 넣는다. 모델 하나가 서비스마다 다른 기준을 적용하고 새 서비스가 추가돼도 바로 확장할 수 있다는 것이 원문이 꼽는 장점이다.

원문 근거
"서비스별로 모델을 따로 학습하는 대신, 저희는 판단 기준을 입력에 함께 제공하는 방식을 선택했습니다."

걸림돌은 에이전트용 시스템 프롬프트의 허용·차단 기준이 모호한 경우가 많다는 것이었다. 원문은 “정치 같은 주제는 다루지 말라”는 지시만으로는 개별 요청을 안정적으로 분류하기 어렵다고 적는다. 그래서 여러 에이전트가 평가 결과를 보고 프롬프트를 반복 개선하게 했다. 배달 서비스 고객 상담 에이전트 실험에서는 GPT와 Claude로 팀을 구성하고 일본어·한국어·태국어로 된 약 900건의 벤치마크를 평가 기준으로 썼다.

원문 근거
"모델을 고정하고 추가 학습이나 새로운 라벨링 없이 프롬프트를 개선한 결과, 해당 벤치마크에서 정확도는 약 73%에 도달했습니다."

개선 전 정확도는 원문에 없어서 약 73%가 얼마나 오른 값인지는 알 수 없다. 원문은 이 실험에서 추상적인 지시를 구체적인 예시로 보완하는 것이 판단 개선에 도움이 됐다는 결론을 끌어냈다.

출력 단계: 할루시네이션 디텍션

주력 LLM이 답변을 만든 뒤 별도 모델이 그 답변이 근거 문서로 뒷받침되는지 후처리로 검증한다. 검증에 대형 LLM을 쓰지 않고 두 문장의 관계를 판단하는 작은 자연어 추론(NLI) 모델을 로컬에서 실행한다. 검증 단계의 외부 LLM 호출이 없어 비용과 민감 정보 노출 위험이 함께 줄어든다는 것이 원문의 설명이다. NLI 모델의 이름과 크기는 밝히지 않았다.

파이프라인은 두 단계다.

  1. 근거 검색: 키워드 검색과 의미 기반 검색을 함께 써서 관련 문서를 찾는다. 믿을 만한 근거를 찾지 못하면 통과도 차단도 하지 않고 판단을 보류한다.
  2. 답변 검증: 검증 모델이 근거 문서와 답변을 비교해 뒷받침하는지, 판단하기 어려운지, 모순되는지를 가린다.

검색 결과가 검증용 근거로 부적합했던 세 가지 경우

원문은 검색기가 관련 있어 보이는 문서를 찾는 것과 검증 모델이 그것을 근거로 쓸 수 있는 것은 다른 문제였다고 정리한다. 사례는 셋이다.

문제 원문의 예시 실패하는 검색 방식
동의어 간극(synonym gap) 질문은 “환불받을 수 있나요?”, 근거 문서는 “반품 시 대금 반환 가능” 키워드 검색
부정문 함정(negation trap) “해외 로밍이 포함됩니다”와 “해외 로밍이 포함되지 않습니다” 의미 기반 검색
식별자 충돌(ID collision) ORD-#A23과 ORD-#A32 의미 기반 검색

이 표는 원문의 서술을 정리한 것이고 원문에는 표가 없다.

고친 것

  • 하이브리드 검색: 의미 검색을 중심으로 하되 식별자나 버전명처럼 정확한 단어가 중요한 경우 키워드 검색 결과를 순위에 반영했다.
  • 근거 단위 축소: 긴 문서를 통째로 비교하면 뒷받침하는 문장이 있어도 검증에 실패할 수 있어 문장 단위로 나눴다. 표는 자연스러운 문장으로 바꾸고 필요한 맥락은 섹션 제목으로 보강했다.
  • FAIL 판정 조건: 날짜나 대상이 다른 문장 때문에 잘못된 모순 신호가 생길 수 있어 모순 신호가 뒷받침 신호보다 충분히 강할 때만 FAIL로 판정한다.
  • 리랭커 제거: 검색 결과의 순서를 다시 조정하는 리랭커를 뺐다. 원문은 이를 “불필요한 단계를 덜어낸” 것으로만 적고 리랭커가 구체적으로 어떤 문제를 일으켰는지는 설명하지 않는다.

결과로 제시된 수치를 보면 의미 기반 검색만 썼을 때는 일본어 케이스 5개 중 4개, 영어 케이스 8개 중 5개를 맞췄다.

원문 근거
"개선 후에는 일본어 5건과 영어 12건을 모두 올바르게 판정했으며, 노이즈가 섞인 영어 케이스에서도 9건 모두 정답과 일치하는 결과를 얻었습니다."

수치를 읽을 때 주의할 점

  • 할루시네이션 검증의 평가 케이스는 한두 자릿수다. 영어 케이스는 개선 전 8개, 개선 후 12건으로 건수가 다른데 원문은 그 차이를 설명하지 않는다. 같은 세트의 전후 비교로 읽기 어렵다.
  • 토픽 컨트롤의 약 73%는 배달 서비스 고객 상담 에이전트 하나, 약 900건 벤치마크에서 나온 값이고 개선 전 값이 없다.
  • 프롬프트 인젝션 디텍션과 텍스트 모더레이션은 정량 결과가 없다.
  • 가드레일 모델의 이름, 지연 시간, 비용 절감 폭은 어디에도 나오지 않는다. 원문에는 LY AI Guardrails나 그 모델을 외부에서 쓸 수 있다는 언급도 없다.

다른 서비스에 적용한다면

원문은 내부 플랫폼을 설명하지만 구조는 공개된 부품으로 옮길 수 있는 수준으로 적혀 있다. 원문에서 직접 가져올 수 있는 판단은 다음과 같다.

  • 안전 규칙이 시스템 프롬프트에 쌓여 있다면 정책 판단을 별도 계층으로 떼어 내고 차단 사유와 정책·모델 버전을 기록으로 남긴다.
  • 토픽 제한이 필요한 에이전트가 여럿이면 서비스별 분류 모델을 만들기 전에 서비스 정의를 입력으로 넘기는 방식을 먼저 시험한다. 이때 시스템 프롬프트의 모호한 금지 문구는 구체적인 예시로 바꿔 서비스 정의에 넣는다.
  • RAG 답변 검증에서 검색 유사도가 높다는 것만으로 근거로 삼지 않는다. 부정문과 식별자가 섞인 케이스를 평가 세트에 따로 넣는다.
  • 근거 문서를 문장 단위로 나누고 표를 문장으로 풀어 쓴 뒤 검증 모델에 넣는다.
  • 근거를 찾지 못했을 때의 동작을 통과·차단과 별개의 보류 상태로 둔다.
원문 근거
"이번 개선의 핵심은 시스템을 더 복잡하게 만드는 데 있지 않았습니다. 검증에 필요한 근거를 더 정확히 찾고, 팩트 체킹 모델이 이해하기 쉬운 형태로 정리하며, 불필요한 단계를 덜어낸 결과였습니다."

참고 자료