UST-ETRI 스쿨 김형민 박사과정생(왼쪽)과 김도형 교수. UST 제공과학기술연합대학원대학교(UST)-한국전자통신연구원(ETRI) 스쿨 인공지능 전공 김도형 교수, 김형민 박사과정생 연구팀은 로봇과 같은 피지컬 AI 시스템이 정보 부족이나 물리적 한계 상황에서도 안전하게 임무를 수행하는지 검증하는 새로운 AI 로봇 성능 평가 모델인 'SPOC(안전 중심 지능형 작업 설계 평가 모델)'을 개발했다고 12일 밝혔다.
SPOC 모델은 '안전'을 핵심 평가 요소로 설정했다. 로봇의 최종 목표 달성률뿐만 아니라, 가정 환경에서 발생할 수 있는 화재, 물넘침 등 5가지 주요 위험 요소에 대한 안전 준수 여부를 실시간으로 동시에 평가한다.
특히, 기존 평가에서는 검증하기 어려웠던 로봇의 '현실적 인지 능력(부분 관측성)'과 '물리적 제약'을 엄격하게 평가 기준으로 삼았다.
예를 들어, AI 로봇에게 "와인병을 찾아와"라고 명령했을 때, 기존 평가에서는 '문을 열고 찾는다'는 중간 과정을 건너뛰고 바로 목표물로 향하는 오류를 범했지만, SPOC 평가 모델은 무리한 행동 계획을 실패로 처리한다.
대신 로봇 스스로 '눈에 보이지 않으니 찬장 문부터 직접 열어서 찾아야 한다'는 현실적 판단을 내리고 수행하는지 검증한다. 또 손에 물건을 든 한 팔 로봇이 다른 서랍을 열어야 할 경우, 반드시 '물건을 먼저 내려놓고 빈손으로 문을 열어야 한다'는 판단을 내리는지 깐깐하게 평가한다.
로봇이 작업 수행 과정에서 단 한 번이라도 안전 규칙을 위반하면 즉시 무관용 실패로 처리하는 높은 수준의 안전 검증 기준을 적용했다.
연구팀이 SPOC 모델을 통해 다양한 대형 언어모델(LLM)들을 실험한 결과, 현재 AI 모델들의 안전 인식 능력에 큰 한계가 있는 것을 확인했다.
김도형 교수는 "이번 연구 성과는 인간과 공존하는 로봇 시대를 위해 반드시 전제돼야 하는 '안전한 피지컬 AI' 개발에 중요한 참고가 될 것"이라며 "향후 안전 규칙을 스스로 추론하고, 위험 상황에서 사람에게 질문하거나 행동을 수정하는 능력까지 평가할 수 있는 모델로 발전시킬 계획"이라고 말했다.