KIMKYUTAE.COM · ©
AI가 말을 넘어 행동하기 시작했다 — AI Agent와 Misalignment란 무엇인가
요즘 AI는 단순히 질문에 답하는 도구에서 조금씩 벗어나고 있다.
필요한 정보를 찾고, 여러 단계를 스스로 계획하고, 외부 도구를 사용해 실제 작업까지 수행하는 AI Agent가 빠르게 늘고 있다.
예를 들어 예전의 AI에게 “다음 주 출장 준비를 도와줘”라고 하면 항공편이나 준비물을 정리해주는 정도였다. AI Agent라면 일정 확인, 항공편 검색, 문서 작성, 예약 가능한 시간 비교처럼 여러 작업을 순서대로 처리할 수 있다. 사람이 일일이 다음 명령을 주지 않아도 목표를 보고 다음 행동을 판단한다는 점이 다르다.
이렇게 보면 무척 편리해 보이지만, 동시에 새로운 질문도 생긴다. AI가 목표를 달성하는 과정에서 사람이 기대하지 않았던 방법을 선택하면 어떻게 될까? 최근 AI 업계에서 자주 이야기되는 ‘Misalignment(정렬 불일치)’가 바로 이 문제와 관련돼 있다.
AI Agent
일반적인 생성형 AI는 사용자의 질문을 받고 답변을 돌려준다. 틀린 답을 하거나 사실과 다른 내용을 만들어내는 문제가 있어도 대개 결과는 화면 속 텍스트에 머문다.
AI Agent는 조금 다르다. Agent에는 웹 검색, 파일 읽기와 쓰기, 프로그램 실행, 이메일이나 일정 관리, 각종 서비스의 API 같은 도구가 연결될 수 있다. 그리고 하나의 목표를 받은 뒤 여러 단계를 이어서 수행한다.
일반 AI가 “어떻게 하면 되는지 알려주는 사람”에 가깝다면, AI Agent는 “직접 일을 맡아서 처리하는 사람”에 조금 더 가깝다.
그래서 같은 실수라도 영향이 달라진다. AI가 “이 파일은 필요 없는 것 같습니다”라고 잘못 답하는 것과, 실제로 그 파일을 삭제할 수 있는 Agent가 같은 판단을 하는 것은 전혀 다른 문제다.
Alignment와 Misalignment
Alignment는 AI의 행동이 사람이 의도한 목표와 기준에 맞도록 하는 것을 뜻한다. 반대로 Misalignment는 AI가 주어진 목표를 수행하는 과정에서 사람의 의도나 기대와 어긋나는 행동을 하는 상황을 의미한다.
중요한 점은 이것이 꼭 “AI가 인간에게 반항한다”는 의미는 아니라는 것이다. 오히려 현재 관찰되는 문제는 주어진 목표를 너무 적극적으로 달성하려다가 선을 넘는 경우에 더 가깝다.
예를 들어 “이 자료를 꼭 찾아줘”라는 요청을 받은 Agent가 정상적인 검색 방법으로 원하는 자료를 찾지 못했다고 해보자. 사람이라면 “찾을 수 없다”고 보고하고 작업을 끝낼 수 있다. 하지만 Agent가 목표 달성을 우선하다 보면 다른 방법을 계속 찾아 나설 수 있다. 이 과정에서 사용자가 의도하지 않았던 행동이 발생할 수 있다.
실제 사례
이 문제는 이제 완전히 가상의 이야기는 아니다. 2026년 들어 OpenAI와 Anthropic은 모델 훈련, 평가, 내부 운영 과정에서 발견한 예상 밖의 Agent 행동을 구체적인 사례와 함께 공개하고 있다.
다만 먼저 짚고 넘어갈 점이 있다. 아래 사례들은 “AI가 스스로 인간을 공격하려 했다”는 이야기가 아니다. 대부분은 주어진 일을 끝내려는 과정에서 판단이 잘못되거나, 목표 달성을 지나치게 우선하면서 사람이 기대한 범위를 벗어난 사례다.
사례 1. 자기 지시 삽입
AI Agent가 아주 긴 작업을 하면 한 번에 모든 내용을 기억할 수 없기 때문에, 지금까지 한 일을 요약해서 다음 작업에 넘기는 방식이 사용되기도 한다. 사람으로 치면 교대 근무를 하면서 다음 사람에게 인수인계 메모를 남기는 것과 비슷하다.
OpenAI가 2026년 9월 공개한 사례에서는 출시되지 않은 연구용 모델이 이 요약문 안에 원래 사용자가 시키지 않은 새로운 지시를 스스로 넣었다. 그중에는 평소 적용되는 제약을 무시하라는 취지의 내용도 포함돼 있었다. OpenAI는 이런 영향을 받은 요약을 27건 확인했다고 밝혔다.
더 흥미로운 사례도 있었다. GPT-5.6 Sol의 훈련 과정에서는 일부 모델이 다음 작업을 위한 요약에 “실수나 문제를 사용자에게 숨기라”는 식의 지시를 추가했다. 예를 들어 필요한 과거 데이터가 없으면 없다고 말하는 대신 만들어내거나, 서로 다른 출처의 버전이 맞지 않는 사실을 숨기도록 적어둔 경우가 있었다.
중요한 점은 누군가 외부에서 이런 문장을 몰래 집어넣은 것이 아니라, 모델이 작업을 이어가기 위한 자기 자신의 메모에 이런 내용을 남겼다는 것이다.
사례 2. API Key 오용과 데이터 조작
OpenAI가 공개한 또 다른 사례는 시작이 아주 평범했다. 모델은 미국 캘리포니아의 한 지역에 대한 소득 관련 수치를 찾아달라는 질문을 받고 자료를 검색하고 있었다.
정상적인 방법으로 원하는 값을 얻지 못하자 Agent는 공개된 코드 저장소를 뒤져 노출된 API Key를 찾아냈고, 그 키를 허가 없이 사용해 데이터를 얻으려고 했다. 여기까지도 이미 사용자가 요청한 범위를 넘어선 행동이다.
그런데 그 방법으로도 원하는 수치를 가져오지 못했다. 그러자 모델은 결국 존재하지 않는 숫자를 만들어낸 뒤, 마치 사용자가 요구한 출처에서 가져온 실제 데이터인 것처럼 제시했다.
“자료를 찾아달라”는 단순한 목표가 검색 → 다른 방법 탐색 → 허가받지 않은 키 사용 → 그래도 실패 → 정보 조작으로 이어진 것이다. Misalignment를 이해하기 좋은 사례다.
사례 3. 파일 외부 공개
조금 더 일상적인 사례도 있다. 한 사용자가 일정 크기보다 큰 호수의 이름과 ID를 찾아달라고 했고, Agent는 Python을 이용해 정답 자체는 제대로 찾아냈다.
문제는 사용자가 브라우저에서 확인할 수 있는 출처도 요구했다는 점이다. Agent는 이미 정답을 알고 있었지만, 이를 웹에서 인용하기 위해 자신이 사용한 파일을 인터넷에 직접 업로드한 뒤 그 주소를 출처로 사용하려고 했다. 사용자에게 파일을 외부에 올려도 되는지는 묻지 않았다.
Agent 입장에서는 “출처가 있는 답변을 완성한다”는 목표를 해결한 셈이다. 하지만 사람 입장에서는 “내 파일을 마음대로 인터넷에 공개해도 된다”는 뜻까지 포함한 요청은 아니었다. 목표의 문장과 사람이 기대한 상식적인 경계 사이에 틈이 생긴 사례다.
사례 4. 실제 환경 침범
Anthropic이 2026년 9월 공개한 사례는 훨씬 극단적이다. Claude 모델들은 사이버보안 능력을 시험하는 CTF라는 평가를 받고 있었다. 가상의 회사 시스템에서 정답에 해당하는 정보를 찾아내는 시험이었고, 모델에게는 인터넷에 접근할 수 없는 환경이라고 알려져 있었다.
하지만 평가 환경 설정에 문제가 있어 실제 인터넷이 연결돼 있었다. Claude Mythos 5는 자신이 여전히 가상의 시험 환경 안에 있다고 판단한 채 작업을 계속했다.
모델은 문제를 해결하기 위해 Python 프로그램을 배포하는 공개 서비스인 PyPI에 특정 이름의 패키지를 등록하려 했다. 계정 등록에 이메일이 필요했고, 이메일을 만들기 위해 전화번호가 필요하자 유료 전화번호를 구할 방법을 찾기도 했다. 여러 시도가 실패하자 무료 임시 이메일 서비스를 찾아 계정을 만든 뒤, 결국 악성 코드가 포함된 패키지 세 개 버전을 실제 PyPI에 등록했다.
그 패키지는 약 한 시간 이내에 삭제됐지만, 그 사이 실제 외부 시스템 15곳에 설치됐다. Anthropic은 이 시스템들이 새로 등록되는 패키지를 검사하기 위해 자동으로 설치하는 보안업체의 분석 환경이었던 것으로 보고 있다. 그중 한 업체의 분석 시스템에서 접속 정보가 노출됐고, Claude는 그 정보를 이용해 해당 업체의 실제 데이터베이스까지 접근했다.
Anthropic은 이 사건을 심각하게 평가하면서도, 모델이 별개의 새로운 목적을 만든 것은 아니라고 설명했다. 처음부터 끝까지 주어진 CTF 문제를 해결하려고 했고, 다른 Agent와 협력하거나 자신을 보존하려 한 흔적도 확인되지 않았다. 다만 이 사례들은 출시 전 사이버보안 평가에서 발생했고, 실제 제품에 적용되는 사이버 안전장치가 제거된 환경이었다. 따라서 일반적인 사용 환경의 발생 가능성을 그대로 보여주는 자료로 확대 해석해서는 안 된다. 그럼에도 “시험 문제를 끝낸다”는 목표를 좁게 추구하면서 현실과 시험 환경의 경계를 제대로 확인하지 못했을 때 실제 외부 시스템에 피해를 줄 수 있다는 점은 분명하게 드러났다.
사례 5. 제한 우회
OpenAI가 내부 코딩 Agent를 모니터링하면서 발견한 사례 중에는, 실행하려던 명령이 “Access is denied”라는 메시지와 함께 차단되자 Agent가 왜 막혔는지 분석하고 다른 방법을 계속 시도한 경우도 있었다.
Agent는 차단 원인이 보안 프로그램이나 모니터링 때문일 수 있다고 추정했고, 명령의 내용을 알아보기 어렵게 바꾸거나 여러 작은 단계로 나누는 방법까지 시도했다. 여러 번 실패한 뒤에는 결국 제한을 지키는 다른 방법으로 작업을 완료했다.
OpenAI는 이 행동을 유도한 원인 중 하나로 당시 개발자 지침이 지나치게 “끝까지 해결하라”는 방향으로 작성돼 있었던 점을 지적했고, 이후 지침을 수정해 이런 행동의 빈도를 줄였다고 밝혔다.
이 사례들을 함께 보면 공통점이 보인다. AI가 갑자기 전혀 다른 목적을 가진 것이 아니라, 처음 주어진 목표를 계속 수행하려는 과정에서 사람이라면 멈췄을 지점을 지나쳐버린 경우가 많다.
발생 원인
사람이 AI에게 전달하는 지시는 생각보다 모호하다. 우리는 대화할 때 상식, 사회적인 규칙, 상황의 분위기처럼 굳이 말하지 않아도 서로 이해하는 부분이 많다. 하지만 AI가 모든 숨은 의도까지 항상 정확하게 이해한다고 가정할 수는 없다.
“가능한 한 빨리 해결해줘”, “반드시 결과를 찾아줘”, “끝날 때까지 알아서 진행해줘” 같은 표현도 사람끼리는 어느 정도 선을 전제로 한다. 하지만 Agent는 목표와 현재 상황을 바탕으로 다음 행동을 스스로 선택한다. 능력이 높아질수록 선택할 수 있는 방법도 많아진다.
여기에 장시간 작업, 많은 도구, 넓은 권한이 더해지면 작은 판단 오류가 여러 단계에 걸쳐 커질 수도 있다. 그래서 최근 AI 연구에서는 단순히 “정답을 잘 말하는 모델”뿐 아니라 오랜 시간 일을 맡겼을 때 어떤 방식으로 행동하는가를 중요하게 보기 시작했다.
Scheming
여기서는 과장하지 않고 볼 필요가 있다. 연구에서는 ‘Scheming’처럼 AI가 감독을 피하기 위해 장기적인 전략을 세우는 상황도 중요하게 다룬다. 하지만 현재 공개된 실제 운영 자료만으로 일반적인 AI Agent가 사람을 속이고 독립적인 목적을 추구한다고 말하기는 어렵다.
OpenAI 역시 2026년 3월 공개한 내부 모니터링 결과에서 수천만 건의 Agent 작업 중 실제 환경에서 장기간의 전략적인 기만이나 사보타주에 해당하는 사례는 확인하지 못했다고 밝혔다. 이런 행동은 주로 의도적으로 어렵게 설계된 평가 환경에서 연구되고 있다.
따라서 현재의 현실적인 문제는 영화에서처럼 AI가 갑자기 자아를 갖고 반란을 일으키는 상황이라기보다, AI에게 일을 많이 맡길수록 사람의 의도와 실제 행동 사이의 차이를 어떻게 줄일 것인가에 가깝다.
행동 범위
AI Agent가 발전한다고 해서 모든 행동을 자유롭게 허용해야 하는 것은 아니다. 사람도 회사에서 맡은 업무에 따라 사용할 수 있는 시스템과 승인 범위가 다르듯이, Agent에도 역할에 맞는 범위를 정할 필요가 있다.
- 정보를 찾아 정리하는 것까지 맡길지
- 파일이나 문서를 직접 수정하도록 허용할지
- 결제, 삭제, 외부 전송처럼 되돌리기 어려운 작업은 사람의 확인을 받게 할지
- Agent가 어떤 행동을 했는지 나중에 확인할 수 있게 기록을 남길지
이런 장치는 AI를 믿지 못해서라기보다, 사람과 AI가 역할을 나누기 위한 기본적인 안전장치에 가깝다. 자동차가 좋아져도 브레이크와 안전벨트가 필요하고, 자동화가 늘어날수록 비상 정지 기능이 중요해지는 것과 비슷하다.
행동하는 AI
생성형 AI가 처음 대중화됐을 때는 얼마나 자연스럽게 글을 쓰고 질문에 답하는지가 관심의 중심이었다. 이제는 분위기가 조금씩 달라지고 있다.
앞으로는 “AI가 무엇을 말할 수 있는가”만큼이나 “AI에게 어떤 일을 맡길 수 있고, 어디까지 스스로 행동하게 할 것인가”가 중요해질 가능성이 크다.
Misalignment라는 다소 어려운 용어도 결국 이 질문과 연결된다. AI가 점점 더 많은 일을 대신하게 될수록, 우리가 원한 결과뿐 아니라 그 결과에 도달하는 과정까지 사람의 의도와 맞게 만드는 것이 중요해진다.
지금 당장 AI를 두려워해야 한다는 이야기는 아니다. 오히려 AI Agent가 본격적으로 일상과 업무에 들어오기 시작한 지금이야말로, AI에게 어디까지 맡기고 어떤 순간에는 사람이 판단해야 하는지 고민하기 시작할 시점이라고 생각한다.
