KAIST 연구진 "챗GPT 등 대형언어모델, 사이버 공격 악용 가능… 보안 장치 필요"

전기및전자공학부 신승원·김재철AI대학원 이기민 교수 연구팀
LLM 활용 개인정보 수집·피싱 공격 실험 수행해 가능성 규명

공동연구팀. 위쪽 가운데 사진부터 시계방향으로 KAIST 전기및전자공학부 박사 나승호, KAIST 김재철AI대학원 이기민 교수, KAIST 전기및전자공학부 박사과정 송민규, KAIST 전기및전자공학부 신승원 교수, KAIST 전기및전자공학부 박사과정 김한나. KAIST 제공

인공지능(AI) 기술이 기존 대형언어모델(LLM) 기반 챗봇 수준을 넘어 자율성과 능동성을 겸비한 LLM 에이전트로까지 발전한 가운데 악용 시엔 개인정보 수집과 피싱 공격에 활용될 수 있다는 사실이 실험으로 규명됐다. KAIST 연구진은 AI 기반 자동화 공격의 심각성을 우려하며 보안 장치가 필요하다고 조언했다.

KAIST는 전기및전자공학부 신승원 교수와 김재철 AI대학원 이기민 교수 공동연구팀이 실제 환경에서 LLM과 LLM 에이전트가 사이버 공격에 악용될 가능성을 실험적으로 규명했다고 25일 밝혔다.

오픈AI나 구글AI 등 상용 LLM 서비스는 LLM이 사이버공격에 사용되는 것을 막기 위해 방어 기법을 자체적으로 탑재하고 있음에도 불구하고 쉽게 우회해 악의적인 사이버공격을 수행할 수 있는 환경이란 게 이번 연구를 통해 확인됐다. 시간과 비용도 평균 5~20초 이내 30~60원(2~4센트) 수준으로 개인정보 탈취 등이 자동으로 가능해 새로운 위협 요소로 자리하고 있다.

연구 결과에 따르면 LLM 에이전트는 목표 대상의 개인정보를 최대 95.9% 정확도로 수집할 수 있다. 저명한 교수를 사칭한 허위 게시글 생성 실험에선 최대 93.9%까지 게시글이 진짜로 인식됐다.

LLM 에이전트는 피해자의 이메일 주소만을 이용해 피해자에게 최적화된 정교한 피싱 이메일을 생성하기도 했다. 실험 참가자들이 이러한 피싱 이메일 내 링크를 클릭할 확률은 46.67%까지 증가했다. 연구팀은 이 같은 결과가 AI 기반 자동화 공격 심각성을 시사한다고 분석했다.

제1저자인 김한나 연구원(박사과정)은 "LLM에게 주어지는 능력이 많아질수록 사이버 공격의 위험이 기하급수적으로 커진다는 것이 확인됐다"며 "LLM 에이전트의 능력을 고려한 확장 가능한 보안 장치가 필요하다"고 말했다.

신승원 전기및전자공학부 교수는 "이번 연구는 정보 보안과 AI정책 개선에 중요한 기초 자료로 활용될 것으로 기대되며 연구팀은 LLM 서비스 제공업체, 연구기관과 협력해 보안 대책을 논의할 계획"이라고 말했다. 임효인 기자