[사이언스칼럼] AI가 대신 행동, 인간의 주도권을 묻다

진승헌 ETRI 인공지능데이터보안연구실 책임연구원

진승헌 ETRI 책임연구원

2016년 알파고 대국이 "기계가 인간을 이길 수 있는가"라는 질문을 던졌다면, 10년이 흐른 지금 우리는 근본적인 질문 앞에 서 있다. "AI가 인간을 대신해 어디까지 판단하고 실행하게 할 것인가." AI는 단순한 검색 도구가 아니다. 메일 작성, 문서 요약, 코드 수정, 일정 조율을 넘어 사용자의 권한으로 행동하는 에이전트가 되고 있다.

필자는 과거 AI 시대의 위험을 '조작된 선택'이라는 말로 표현한 바 있다. 사용자는 스스로 선택한다고 믿지만, 실제로는 알고리즘이 설계한 경로 안에서 움직일 수 있다는 우려였다. 이제 위험은 선택의 조작에 그치지 않는다. 권한을 위임받은 AI가 무엇을 보고 판단하며 실행하는지가 새로운 신뢰 문제가 됐다.

경제 영역에서는 개인화가 조작으로 변질될 위험도 현실화되고 있다. 사용자의 위치, 접속 시간, 검색·구매 이력과 장바구니 행동 등을 바탕으로 가격·할인·추천을 달리 제시하는 방식은 편리함과 조작의 경계를 흐린다. 소비자는 합리적으로 선택했다고 믿지만, 알고리즘이 만든 '설계된 선택의 덫'에 들어갔을 수 있다. 선택의 부담을 줄이는 기술이 오히려 주도권을 빼앗을 수 있다. 신원과 여론의 영역은 더 심각하다. 짧은 음성으로 가족이나 상사의 목소리를 흉내 내는 오디오 딥페이크는 감정과 신뢰를 직접 공격한다. 실제 목소리처럼 들리는 송금 요구 앞에서 귀로만 진위를 판단하는 시대는 끝났다. 온라인에서는 AI 봇이 가짜 후기와 댓글을 대량으로 만들어 '모두가 그렇게 생각한다'는 합의의 환상을 만든다. 여론, 평판, 소비 취향까지 조작의 대상이 된 셈이다.

AI 에이전트의 확산은 이러한 위험을 증폭시킨다. 단순 응답형 챗봇의 위험이 주로 답변 오류로 나타났다면, 도구와 권한을 부여받은 에이전트의 오류나 탈취는 민감정보 유출, 부적절한 결제, 악성 명령 실행 등으로 이어질 수 있다. 이메일이나 문서, 웹페이지에 숨겨진 악의적 지시가 AI를 속여 사용자의 의도와 다른 행동을 하게 만드는 간접 프롬프트 인젝션도 현실적 위협이다. AI가 시스템에 접근하고 도구를 호출하는 순간, 사용자 대신 시스템 안에서 행위를 수행하는 실행 주체처럼 기능한다.

따라서 앞으로의 보안은 "AI가 안전한 답을 했는가"를 넘어 "누구의 권한으로, 어떤 근거와 승인에 따라, 무엇을 실행했는가"를 검증해야 한다. AI 에이전트에도 고유한 식별자, 최소 권한, 행위 기록, 승인 절차, 비상 정지 장치가 필요하다. 특히 금융·의료·법률 등 고위험 영역에서 되돌리기 어려운 행위에는 인간의 명시적 승인과 사후 감사 가능성이 보장되어야 한다.

결국 AI 시대의 신뢰 체계는 세 방향으로 재설계되어야 한다. 첫째, AI 생성·조작 콘텐츠를 단순히 탐지하는 데 그치지 않고 출처와 변경 이력을 확인하며, 이용자가 이를 알아볼 수 있도록 표시해야 한다. 둘째, 제로트러스트 원칙을 AI 에이전트에도 적용해 고위험 행위마다 신원과 권한을 확인하고, 실행이 사용자의 원래 의도와 현재 맥락에 부합하는지 검증해야 한다. 셋째, 데이터 수집과 모델 개발뿐 아니라 도구 연동, 배포, 운영, 종료에 이르는 전 과정에 프라이버시와 보안을 내재화해야 한다.

우리가 원한 것은 선택의 수고를 덜어주는 기술이지, 조작된 선택에 끌려가거나 나도 모르는 사이 권한을 위임하는 삶이 아니다. AI는 유능한 조력자여야지 인간의 삶을 대신 운전하는 통제자가 되어서는 안 된다. 앞으로의 승부처는 더 큰 모델을 만드는 데만 있지 않다. AI의 판단과 실행을 어떻게 검증하고, 그 책임을 어떻게 추적하며, 인간이 최종 결정권을 어떻게 유지할 것인가에 있다.

편리함이 커질수록 우리는 왜 이 선택이 이루어졌고, 누구의 권한으로 어떤 승인에 따라 실행됐는지를 점검해야 한다. AI가 더 똑똑해질수록 인간은 더 깨어 있어야 한다. 내 삶과 사회의 주도권을 어떤 알고리즘에도 무심코 넘겨주지 않겠다는 태도가 필요하다. 이러한 원칙을 개인의 경계심에만 맡기지 말고 기술적·제도적 장치로 뒷받침해야 한다. /진승헌 ETRI 책임연구원