[중도시평] '범정부 AI'가 '섀도우 AI'를 넘어서려면

김용성 충남대 사범대학 기술교육과 교수

김용성 충남대 사범대학 기술교육과 교수

2025년 한 해를 돌아보면, 대부분의 기관이 AI 도입에 사활을 걸었다고 해도 과언이 아니다. 필자 역시 다양한 기관과 네트워킹하며 이러한 현장의 뜨거운 니즈를 직접 체감할 수 있었다. 특히 공무원 조직과 공공기관들이 각자의 환경에 맞춰 AI 서비스를 도입하려 했던 시도는, AI 기반 대전환을 시도하고자 하는 조직의 노력을 확인할 수 있는 대목이었다.

그러나 이러한 적극적인 움직임 이면에는 '중복 투자'와 '비효율'이라는 큰 문제가 자리 잡고 있었다. 기관마다 제각기 온프레미스(자체 서버) 방식을 구축하거나 웹 기반 AI 서비스를 개발하면서, 결과적으로 정부 예산이 낭비되고 유사한 서비스가 난립하는 형국이 됐기 때문이다. 다행히 최근 행정안전부와 과학기술정보통신부는 이런 문제를 해결하기 위해 '범정부 AI 공통기반' 서비스를 내놓았다. 이는 민간의 우수한 AI 모델과 학습 데이터, GPU 자원 등을 중앙부처 및 지자체가 공동으로 활용할 수 있도록 만든 플랫폼으로, 지난 11월 26일부터 약 50만 명의 공무원을 대상으로 가동을 시작했다.

그렇다면 현장의 반응은 어떨까? 한 언론사의 인터뷰에 따르면 사용자들은 "올해 7월까지의 데이터만 학습되어 최신 정보 반영이 어렵다", "자료 입력 한도가 3MB에 불과하다", "홍보 부족으로 이용자가 적다" 등의 아쉬움을 토로했다. 서비스 초기 단계인 만큼 보완해야 할 점들이 명확히 드러난 셈이다.

이와 관련해 미국 MIT 미디어랩의 최근 보고서 'Challapally, A., Pease, C., Raskar, R., & Chari, P. (2025). The genai divide: State of ai in business 2025'는 우리에게 시사하는 바가 크다. 보고서에 따르면 AI를 도입한 기업 중 실제 매출 증대로 이어진 경우는 약 5%에 불과하며, 나머지 95%는 여전히 테스트 단계에 머물러 있다. 이는 대다수 기업이 단순한 챗봇 도입에 그칠 뿐, 실제 업무 워크플로와 맥락을 깊이 있게 통합하지 못했기 때문이다. 심지어 사내 AI의 발전이 정체된 사이, 직원들이 개인 계정이나 외부 도구로 상용 LLM(거대언어모델)을 몰래 사용하는 '섀도우 AI(Shadow AI)' 현상까지 나타나고 있다.

국내 기업인 삼성전자에서도 유사한 사례를 찾아볼 수 있다. 2023년 챗GPT 보안 사고 이후 사내용 AI '가우스'를 개발해 사용을 의무화했지만, 직원들은 외부 AI 대비 부족한 성능과 편의성에 불만을 가졌고, 노동조합 차원에서 챗GPT 제한 해제를 요구하기에 이르렀다.

결국 경영진(정부)은 '보안'을 이유로 자체 AI를 고집하고, 직원(실무자)은 '성능과 편의성'을 찾아 외부 AI를 선호하는 딜레마가 공공과 민간 모두에서 반복되고 있는 것이다. 필자라도 업무 효율이 떨어진다면 결국 사용성이 뛰어난 챗GPT나 제미나이 같은 외부 도구에 손이 갈 수밖에 없을 것이다.

그렇다면 이제 막 닻을 올린 '범정부 AI 서비스'가 이 딜레마를 극복하고 제대로 자리 잡기 위해서는 어떻게 해야 할까?

첫째, 무엇보다 '사용성'을 획기적으로 높여야 한다. 챗GPT 등 민간 AI에 버금가는 사용자 경험(UX)을 제공해야만 실무자들의 자발적인 유입을 끌어낼 수 있다. 무료이면서 보안까지 갖춘 서비스가 사용하기 편하기까지 하다면, 강제하지 않아도 자연스럽게 모여들 것이다.

둘째, '성능'에 대한 지속적인 평가와 개선이 필수적이다. 아무리 접근성이 좋아도 실제 업무에 도움이 되지 않는다면 사용자들은 실망하고 다시 외부 AI로 이탈할 것이다. 최신 데이터 반영과 처리 용량 확대 등 현장의 목소리를 즉각 반영해 성능을 민간 수준으로 끌어올려야 한다.

마지막으로, '현장 밀착형 홍보'가 필요하다. 단순히 공문을 하달하는 방식으로는 섀도우 AI 현상을 막을 수 없다. SNS 등 다양한 채널을 활용해 직원 개개인에게 서비스의 장점을 알리고, 실제 업무 적용 사례나 쉬운 매뉴얼을 배포하여 심리적 진입 장벽을 낮춰야 한다.

이번 서비스는 대한민국 정부가 기관 간 칸막이를 없애고 처음으로 시도한 범정부 차원의 AI 플랫폼이라는 점에서 의미가 깊다. 모쪼록 중앙부처와 지자체가 긴밀히 협력해 안전하고 유능한 AI가 공직 사회를 혁신하고 현장에 성공적으로 안착하길 기대해 본다. /김용성 충남대 사범대학 기술교육과 교수