AI TOOLS
2025, Apr 19
다양한 LLM 모델별 특성을 테스트를 위한 환경을 고민하다가 X의 링크를 보고 Visual Studio Code 플러그인을 깔아보기로 한다.
다른 기능보다 Bulk run 기능으로 다양한 질문셋을 등록해서 한번에 돌릴 수 있어 유용하다.
GitHub 코파일럿으로 주요기능 내용을 뽑고 수정해서 정리해본다.
AI Toolkit for Visual Studio Code
AI Toolkit for Visual Studio Code 는 카달로그에서 github이나 ollma에서 서빙하는 모델을 선택하고 플레이그라운드에서 다중모달을 테스팅할 수 있다.
GPU서버나 모델이 돌아가는 환경이 있으면 Custum으로 엔드포인트를 등록하여 테스트할 수 도 있다.
설치 방법
- Visual Studio Code 열기
- 확장 마켓플레이스에서 “AI Toolkit” 검색
- 설치 후 재시작
주요 기능
- Playground: 다양한 모델을 선택해서 Inference 인터페이스 제공하고, 문서를 첨부하여 테스트할 수 있는 기능도 제공한다.
- Bulk Run: 대량 작업 실행 지원
- Evaluation: 모델 성능 평가 도구( 좀더 확인 필요 )
- Fine-tuning: 모델 미세 조정 기능( 파인튜닝이 가능한 모델 선택 시 )
Bulk Run 기능
Bulk Run은 대량의 입력 데이터를 한 번에 처리할 수 있도록 지원하는 기능이고 다음과 같은 작업을 효율적으로 수행할 수 있다.
- 대량 테스트: 여러 입력 데이터를 한 번에 등록하고 실행하여 모델의 응답을 확인할 수 있다.
- 결과 비교: 다양한 입력에 대한 출력 결과를 비교하여 모델의 일관성을 확인.
사용 방법
- Bulk Run 탭을 열고 입력 데이터를 업로드. (CSV 또는 JSONL 형식 지원)
- 실행할 모델과 **Inference parameters” 설정
- 각 데이터별로 ▷ Run 버튼을 눌러 한 건씩 실행하거나 상단 오른쪽에 “Run all” 버튼으로 전체 항목을 실행할 수 있다.
- 결과는 화며에 실시간으로 표시되며 다운로드하거나 시각화 도구를 통해 분석할 수 있다.
Evaluation
Bulk Run으로 돌린 결과는 준비된 여러가지 평가항목을 선택하여 모델성능을 평가할 수 있다.
