인간의 주체성을 보존하는 AI 자율성: 지속 가능한 인간–AI 협업을 위한 공진화 방법

연구 요약

인간–AI 협업의 효율은 AI가 얼마나 많은 일을 수행하는지만으로 정해지지 않습니다. 사람이 목표를 반복해서 설명하고, 이전 결정을 복원하고, 같은 오류를 다시 고쳐야 한다면 자동화로 아낀 시간의 일부는 협업을 유지하는 비용으로 돌아갑니다. 반대로 모든 불확실성을 사람에게 되돌리면 판단 요청 자체가 새로운 관리 비용이 됩니다.

이 연구는 사람의 개입을 최대화하거나 최소화하는 대신, 이미 승인된 판단은 유효한 동안 다음 실행에 이어 쓰고, 새로운 판단이 필요한 예외만 골라 사람에게 되돌리는 운영 방식을 다룹니다. 이를 위해 사람과 AI, 그리고 둘 사이의 승인 판단·실행 상태·권한 경계를 잇는 매개 계층으로 이루어진 Human–AI Mediation System과, 이를 실제 협업에 설정하는 모델링 기법 Mediation Setup을 제안합니다.

하나의 업무 목적을 가진 인간–AI 협업에서, 사람이 목적과 중요한 판단의 권한을 유지하면서 불필요한 반복 관리와 불필요한 되돌림을 줄이고, 필요한 되돌림의 누락은 어떻게 막을 수 있는가?

핵심 관점

• 실행을 맡기는 일과 평가 기준을 정하는 일은 다릅니다. AI는 승인된 범위에서 탐색·계획·실행·검증을 맡을 수 있지만, 무엇을 좋은 결과로 볼지 정하는 권한까지 함께 넘어가지는 않습니다.
• 주체성은 사람의 판단이 늘 옳다는 뜻이 아닙니다. 목적과 중요한 선택을 정하고 바꿀 권한이 사람에게 있다는 뜻입니다. AI는 잘못된 근거를 지적하고 반례와 대안을 제시해야 합니다.
• 사람에게 되묻는 것도 비용입니다. 필요한 판단은 필요한 비용입니다. 줄이려는 것은 사람의 판단이 아니라 불필요한 반복입니다.

이 관점은 TYPE의 방향 — 사람의 선택을 대신하지 않고, 사람이 자기 선택을 더 잘하도록 돕는다 — 을 AI와 함께 일하는 상황에 적용한 것입니다.

문제와 관련 연구

자동화가 사람의 부담을 없애기보다 새로운 부담을 만들 수 있다는 문제는 오래전부터 제기되었습니다.^[1] 106개 실험을 메타분석한 연구에서 인간–AI 조합은 평균적으로 인간 단독보다 나았지만, 더 나은 단독 수행자를 넘어서는 시너지는 평균적으로 나타나지 않았습니다.^[2] 숙련 개발자 대상 무작위 실험에서는 당시 AI 도구를 쓴 조건의 작업 시간이 늘어난 것으로 추정되었습니다.^[3] 이 결과들은 특정 과제·도구·시점에 한정되지만, 실행이 자동화되었다는 사실과 협업 전체의 비용이 줄었다는 사실이 같지 않음을 보여 줍니다.

이 연구는 여러 갈래의 선행연구 위에 있습니다. 조절 가능한 자율성 연구는 통제권 이전의 기대효용과 조정 비용을 모델링했고,^[4] 의미 있는 인간 감독 연구는 목표 기록·버전·출처·변화 감지·보류 절차와 함께 평가 노동의 비용이 사라지지 않는다는 점을 다룹니다.^[5] 인간 승인·맥락의 연속성·AI 추론을 역할로 분리한 설계,^[6] 판단 신뢰도에 따라 실행·수정·개입 경로를 나누는 구조,^[7] 수행 능력에 따른 위임 연구,^[8] 실행 결과를 다음 시도에 반영하는 에이전트 기억 연구^[9][10]도 있습니다.

이 연구는 이러한 요소를 새로 발명했다고 주장하지 않습니다. 관련 연구에서 설계 요구사항을 가져오고, 반복 협업에서 이미 승인된 판단을 언제 이어 쓰고 언제 새로운 판단으로 전환할지라는 질문에 초점을 둡니다.

제안 구조

Human–AI Mediation System은 두 주체와 하나의 매개 계층으로 이루어집니다.

실행을 계속할지, 사람에게 되돌릴지는 하나의 질문으로 판정합니다.

현재 유효한 승인 판단과 권한 범위만으로, 새로운 사람의 판단 없이 허용 가능한 다음 행동을 정할 수 있는가?

답이 ‘아니오’가 되는 경우는 네 가지입니다. ① 목적·성공 기준의 변화 ② 승인된 기준 간 충돌 ③ 적용범위·유효조건의 붕괴 ④ 권한·데이터 접근·외부 공개·비용 등 위임 경계 초과. 이때도 영향받는 분기만 보류하고 독립적인 작업은 계속합니다.

Mediation Setup은 이 구조를 실제 협업에 설정하는 흐름입니다. 목적과 판단 권한(Human Anchor), AI가 독립 수행할 범위(AI Range), 조건과 함께 보존할 판단(System Memory), 되돌림 조건(Return Trigger), 판단 갱신과 재개(Review)가 하나의 운영 흐름으로 이어집니다. 아래 사례에서 각 요소가 어떻게 작동하는지 살펴봅니다.

한 협업에서 구조가 작동하는 방식

사람이 AI와 함께 내부 보고서를 만드는 상황입니다. 설명을 위해 구성한 사례이며, 실제 기록이나 측정 결과가 아닙니다.

1. 설정 · Human Anchor, AI Range

   사람은 “이번 내부 보고서는 정확성보다 속도를 우선한다”고 정하고, 판단 권한이 자신에게 있음을 분명히 합니다. AI는 자료 조사·초안 작성·수정까지 독립적으로 수행할 수 있고, 외부 공개는 맡긴 범위에 들어 있지 않습니다.

2. 이어 쓰기 · System Memory

   “속도 우선”은 적용범위(이 내부 보고서)와 전제(내부 공유용)와 함께 기록됩니다. 다음 수정에서 AI는 범위와 전제가 그대로인지 확인한 뒤 다시 묻지 않고 진행하고, 어떤 판단을 근거로 실행했는지 결과와 함께 남깁니다. 한 번의 선택이 모든 작업의 규칙으로 넓어지지 않도록, 일회성 선택과 재사용할 규칙은 구분합니다.

3. 되돌림 · Return Trigger

   같은 자료로 외부 공개용 요약을 만들자는 요청이 생깁니다. 이 작업은 “속도 우선” 판단의 적용범위 밖이고, 외부 공개는 맡긴 권한을 넘습니다. 판정 질문의 답이 ‘아니오’이므로 공개용 요약 분기만 멈춥니다. System은 적용범위와 권한 같은 구조적 조건을 확인하고, AI는 “속도 우선이 공개 문서에도 맞는가”라는 의미 충돌을 후보로 제시합니다. 사람에게는 현재 기준, 충돌 근거, 선택지(속도 유지 / 정확성 우선 / 공개 전 검토 추가)와 각 선택의 영향을 한 번에 전달합니다. 내부 보고서 작업은 그대로 계속됩니다.

4. 갱신과 재개 · Review

   사람은 “공개용 문서는 정확성을 우선하고 공개 전 검토를 거친다”고 결정합니다. 이전 판단은 지우지 않고, 공개용 문서에 대해서는 새 판단으로 대체되었다는 관계와 이유를 남깁니다. 보류됐던 공개용 요약은 새 기준으로 재개되고, 내부 보고서의 기존 판단은 유지됩니다.

이 흐름에서 사람의 새 판단이 요청된 지점은 적용범위와 권한이 바뀐 한 곳입니다. System과 AI는 되돌림 조건을 확인해 재판단을 요청하고, 기준의 유지·예외·수정·폐기는 사람이 결정합니다.

반복 협업과 공진화

이 연구는 사람과 AI가 반복 협업을 통해 서로의 판단과 실행에 영향을 주고, 그 결과를 다음 협업에 반영하는 과정을 공진화라고 부릅니다. 위 사례에서 사람이 공개용 기준을 새로 정한 것은 AI가 제시한 충돌 후보에서 시작됐고, 그 결정은 다시 AI가 다음에 실행할 범위를 바꿨습니다. System은 이 변화의 주체가 아니라, 변화가 끊기지 않고 다음 협업으로 이어지게 하는 매개 구조입니다.

공진화가 곧 협업의 성숙을 뜻하지는 않습니다. 잘못 일반화된 판단이나 형식적인 승인도 누적될 수 있기 때문입니다. 협업이 실제로 나아졌는지는 사람의 목적이 더 충실히 반영되는지, 필요한 판단을 놓치지 않는지 등으로 따로 평가해야 합니다.

현재 단계와 한계

이 연구는 목적표집 문헌검토와 개념·설계 연구를 결합한 진행 중인 연구입니다. 서로 다른 과제와 환경에서 얻은 선행 결과를 합산해 전체 구조의 효과로 제시하지 않으며, 현재 단계의 타당화는 요구사항의 문헌 근거, 구성요소 사이의 논리적 연결, 실제 설정으로의 변환 가능성, 실패 조건을 중심으로 합니다. 위 사례는 작동 방식을 설명하기 위한 것이며, 효과를 보여 주는 자료가 아닙니다.

• 네 가지 되돌림 사유의 경계, 기록의 적정 세분도, AI의 의미 충돌 감지 정확도는 아직 경험적으로 확정되지 않았습니다.
• 규칙이 늘면 충돌·검색·유지 비용도 커집니다. 기준이 자주 바뀌거나 일회성인 과제에는 가벼운 지침이 더 적절할 수 있습니다.
• 지침 문서를 작성하는 것만으로 실행 권한이 강제되지는 않습니다. 권한 검사는 실행 환경에서 이루어져야 합니다.
• 설정에도 비용이 듭니다. 설정·유지 비용을 포함한 전체 협업 비용이 실제로 줄어드는지는 확인되지 않았습니다.

효과는 후속 실증의 대상입니다. 평가에서는 되돌림 횟수만이 아니라 불필요한 되돌림, 필요한 되돌림의 누락, 한 건을 처리하는 사람의 비용을 함께 보고, 최종적으로는 전체 협업 비용으로 판단하는 방식을 제안합니다.

참고문헌

1. Bainbridge, L. (1983). Ironies of automation. Automatica, 19(6), 775–779. 원문
2. Vaccaro, M., Almaatouq, A., & Malone, T. (2024). When combinations of humans and AI are useful: A systematic review and meta-analysis. Nature Human Behaviour, 8, 2293–2303. 원문
3. Becker, J., Rush, N., Barnes, B., & Rein, D. (2025). Measuring the Impact of Early-2025 AI on Experienced Open-Source Developer Productivity (Version 2). arXiv. 원문
4. Scerri, P., Pynadath, D. V., & Tambe, M. (2002). Towards adjustable autonomy for the real world. Journal of Artificial Intelligence Research, 17, 171–228. 원문
5. Zhu, L., Lu, Q., Ding, M., Lee, S. U., & Wang, C. (2026). Designing meaningful human oversight in AI. AI and Ethics, 6, Article 286. 원문
6. Wagner, M. (2026). Triarchic corrigibility: A role-separated governance design pattern for AI-assisted decision-making. AI and Ethics, 6, Article 567. 원문
7. Kumar, M., & Singh, D. (2026). Balancing autonomy and oversight in reliable agentic artificial intelligence through adaptive human interaction architectures. Discover Artificial Intelligence, 6, Article 709. 원문
8. Fügener, A., Grahl, J., Gupta, A., & Ketter, W. (2022). Cognitive challenges in human-artificial intelligence collaboration: Investigating the path toward productive delegation. Information Systems Research, 33(2), 678–696. 원문
9. Shinn, N., Cassano, F., Gopinath, A., Narasimhan, K., & Yao, S. (2023). Reflexion: Language agents with verbal reinforcement learning. Advances in Neural Information Processing Systems, 36. 원문
10. Tian, M., et al. (2026). Controllable Memory Usage: Balancing Anchoring and Innovation in Long-Term Human-Agent Interaction (Version 2). arXiv. 원문