AI가 이해한 것은 어디까지 적용되어야 할까

한 문단만 고쳐 달라고 했는데, AI는 내 교정을 정확히 이해하고도 이미 검토한 부분까지 새로 썼다. 판단의 내용을 이해하는 것과 그 판단을 어디까지 적용하는지는 서로 다른 문제였다.

한 문단을 수정하려던 일

초안을 작성하던 중 그저 한 문단만 수정하려고 했다. 나는 두 단락을 삭제하고 마지막 단락의 표현을 조금 고쳐 달라고 AI에게 요청했다. 수정 과정에서 인간의 역할에 관한 표현도 하나 바로잡았다. 인간은 선택할 권한만 가진 존재가 아니라, 가치 있는 결정을 내릴 수 있도록 자기 이해와 판단을 계속 확장해야 한다는 내용이었다. AI는 이 교정을 정확히 이해했다. 하지만 수정 내용을 반영한 전체 문안을 요청하자 AI는 마지막 단락뿐 아니라 제목과 도입, 이미 검토한 앞부분까지 새로 작성했다. 새로 쓴 글이 반드시 나빴던 것은 아니지만, 내가 요청한 일과 AI가 수행한 일은 달랐다.

이해와 적용의 차이

이번 경험에서 판단의 내용을 이해하는 것과 그 판단을 적절한 범위에 적용하는 것은 서로 다른 문제라는 점을 발견했다. AI는 인간의 자기 확장이라는 새로운 판단을 정확히 이해했지만, 그 판단을 마지막 단락에만 적용하지 않고 글 전체를 다시 구성하는 기준으로 사용했다. 새로운 판단의 내용은 맞았지만 적용 범위가 달랐다. AI가 인간의 목적을 정확히 이해하더라도, 그 목적을 어느 작업과 산출물에 적용해야 하는지 구분하지 못하면 인간이 의도하지 않은 결과가 생길 수 있다.

판단에는 내용 외의 정보가 필요하다

이 비교에서 문제는 새로 작성된 문장의 품질이 아니었다. AI가 이해한 판단을 내가 지정한 범위보다 넓게 적용했다는 점이었다. “A문단을 조금 더 부드러운 어조로 수정해줘”라는 요청은 A문단에만 적용되는 판단이다. 이 요청이 문서 전체의 문체를 바꾸거나 이후에 작성하는 다른 글에도 같은 어조를 적용하라는 뜻은 아니다. 사람의 판단은 특정 부분을 위한 교정일 수도 있고, 전체 작업에 적용할 기준일 수도 있으며, 한 번만 허용한 예외일 수도 있다. 따라서 AI가 인간의 판단을 실행에 사용하려면 판단의 내용뿐 아니라 적용 대상과 범위, 유효조건도 함께 구분해야 한다. 이 글은 한 번의 협업에서 관찰한 사례이므로, 이 사례만으로 AI의 일반적인 작동 방식을 검증할 수는 없다. 다만 인간의 요청 범위와 AI의 실행 범위를 비교하면 어떤 차이가 발생했는지는 확인할 수 있다.

무엇을 이해했는지만으로는 충분하지 않다

AI의 이해가 정확하다는 사실만으로 적절한 실행이 보장되지는 않는다. AI가 더 자연스럽고 일관된 결과를 만들었더라도 인간이 맡기지 않은 부분까지 변경했다면 그 실행은 적절하지 않을 수 있다. AI는 정해진 범위 안에서 문제를 해결할 수 있다면 그대로 실행하고, 다른 부분까지 바꿔야만 문제를 해결할 수 있다면 변경할 부분과 그 영향을 설명한 뒤 인간에게 판단을 돌려줘야 한다. AI가 인간의 판단을 실제 작업으로 이어가려면 무엇을 이해했는지뿐 아니라 그 이해를 어디까지 적용할 수 있고 무엇을 그대로 유지해야 하는지도 알아야 한다. 이번에는 한 문단을 수정하려던 작은 일에서 이해와 적용 사이의 차이가 드러났다.