LLM기반 ‘복합작업 절차 생성 기술’ 연구 활발
‘그라운딩 기술’, ‘절차 재수립 기술’로 환경 분석, 추론
‘실패 복구 기술’, ‘불확실성 해소 기술’ 등 착오․오류 방지
[애플경제 전윤미 기자] 로봇기술의 궁극적 목표는 그야말로 인간처럼 스스로 계획하고 작업을 수행하는 등 복합적인 작업 능력을 갖추는 것이다. 지금까진 AGI(범용인공지능) 수준이나 다름없는 그런 경지에 이르진 못하고 있다. 그러나 최근엔 LLM을 접목해 복합작업을 자율적으로 계획하고 수행하지는 못하고 있다. 특정 목적의 단일 임무를 수행하는 ‘복합작업 절차 생성 기술’ 연구가 활발하게 진행되고 있다.
이는 제조ㆍ물류ㆍ서빙ㆍ배달 로봇이나 작업 보조용 유니버설 로봇에 그치지 않고 인간과 사실상 공존하는 일상 공간에서의 ‘인공인간’과 다름없는 로봇이 되기 위한 기술이다. 한국전자통신연구원은 이같은 복합작업의 절차를 생성하기 위한 ‘그라운딩 기술’, ‘절차 재수립 기술’, ‘실패 복구 기술’, ‘불확실성 해소 기술’ 등을 제시하고 있어 눈길을 끈다.
김도형 한국전자통신연구원 책임연구원은 “구체적으로는 환경, 상황, 맥락을 종합적으로 분석해서 실세계의 상황에 부합되는 절차를 생성하기 위한 환경 ‘그라운딩 기술’, 추론된 정보의 불확실성을 반영하여 절차 생성의 신뢰성을 확보하는 기술 등이 있다”고 소개했다.
최근 펴낸 이슈 브리프에서 김 연구원은 또 “인간과 로봇이 순차적 협력 형태로 임무를 완수할 수 있는 확장 가능한 절차 생성 기술과, LLM의 추론 능력 한계와 응답 지연 문제를 해결해 상황 변화에 빠르게 대응하고, 시행착오와 실패 경험을 기반으로 복합작업의 성공 가능성을 로봇 스스로 높일 수 있는 절차 생성 기술도 연구 중”이라고 밝혔다.
핵심적인 ‘그라운딩 기술’
그에 따르면 가장 핵심적인 기술의 하나가 ‘그라운딩 기술’이다. LLM 기반의 기존 절차 생성 기술은 로봇이 현존하는 환경을 고려하지 않고, 그저 일반적으로 적용될 법한 작업 절차를 생성하기 때문에, 서로 다른 가상의 환경임에도 똑같은 절차가 생성되기도 한다. 이를 해결하는 기술이 바로 그라운딩 기술이다.
그라운딩 기술은 로봇의 작업 능력, 현재의 작업 환경, 작업 상황에 대한 이해를 기반으로 로봇이 작업하고 있는 물리적 현실 세계를 반영한 절차를 생성하는 기술이다. 김 책임연구원은 대표적으로 구글 리서치와 에브리데이 로봇의 사례를 들었다. 이는 LLM의 일종인 PaLM을 활용, 복합작업을 수행하기 위한 절차를 자동 생성하는 ‘SayCan 기술’이 핵심이다. 이는 다시 LLM이 복합작업을 수행하기 위한 세부 절차를 생성하는 ‘say’기술과, 로봇의 스킬 어포던스(Skill Affordance, 기술 유발성)를 가치함수를 통해 계산하는 ‘can’기술로 구성된다.
여기서 ‘스킬 어포던스’는 주어진 환경과 상황에서 로봇이 수행할 수 있는 스킬 중에서 특정 스킬에 대한 수행 가능성을 의미한다. 즉 “LLM이 추론한 세부 절차 작업의 연관성 점수와 가치함수가 계산한 ‘스킬 어포던스’의 점수의 곱이 가장 높은 스킬을 선택하는 작업을 반복적으로 수행하면서 최종 임무를 완수하는 구조”라는 설명이다.
LLM 기반 ‘절차 생성 기술’
다음으로 ‘절차 생성 기술’도 ‘복합작업 절차 생성 기술’의 핵심적 기술 요소 중 하나다. 이는 상황 변화에 적합한 절차를 생성하기 위해 유용한 환경 정보를 LLM에게 제공하기 위한 것으로 한창 연구가 활발하게 진행되고 있다. 김 책임연구원은 “이때 가용할 수 있는 환경 정보는 ‘로컬 컨텍스트’ 정보와 ‘글로벌 컨텍스트 정보’로 구분할 수 있다.”고 밝혔다.
그 중 ‘로컬 컨텍스트’ 정보는 로봇의 시점(視點)에서 검출된 물체정보나, 로봇 상태 정보 등 로봇이 작업 중인 현재 상황만을 고려한 정보다.
대표적으로 구글 로보틱스 그룹을 들 수 있다. 이는 임무 수행 중에 발생하는 예상치 못한 상황의 변화에 맞게 실시간으로 작업 계획을 변경할 수 있는 ‘Inner Monologue’ 기술을 내재하고 있다. 장면 설명 정보, 물체 검출 정보, 작업의 성공 여부 정보를 LLM에게 자연어로 피드백한다. 이를 통해 “상황 변화에 대응할 수 있는 작업 절차를 효과적으로 생성할 수 있다”는 설명이다.
이에 비해 ‘글로벌 컨텍스트’ 정보는 전체 작업 환경에 대한 의미 지도(Map), 이전에 수행했던 작업에 대한 기억 정보, 세부 작업의 성공과 실패 경험, 공간ㆍ사물ㆍ사람 간의 관계 지도에 기반한 상호연관성 추론 등을 망라한 것이다. 로봇이 작업하는 환경ㆍ상황ㆍ맥락을 전체적으로 고려한 시공간적 정보다. 마치 전문가가 오랜 세월 갈고 닦은 경험과 ‘노하우’를 갖고 있는 것이나 다름없다.
또한, 단위작업들 간의 맥락 역시 유용한 ‘글로벌 컨텍스트’ 정보가 될 수 있다. 즉, 복합작업을 구성하는 단위작업들은 독립적인 작업이 아니라, 임무 달성이라는 목표를 위해 구성된 일련의 요소이기 때문이다. 그래서 공정 단위마다 전후의 작업들과 밀접한 관련성이 있다
불확실성 해소, 실패복구 기술
‘불확실성 해소 기술’도 복합작업 절차를 생성하기 위한 요소다. 로봇이 복잡도가 가장 높은 환경에서 작업을 수행하다 보면 스스로 판단하기 어려운 모호한 상황에 놓일 수 있다. 이같은 모호한 상황은 크게 인간 지시의 불확실성, 환경이나 상황의 불확실성, 환경 추론 모델의 불확실성 등으로 구분될 수 있다.
복합작업을 수행하다 보면 사람이 그렇듯이, 로봇도 실패 국면에 처할 수 있다. 그래서 ‘실패복구 기술’이 필요하다. 이에 이미지, 음성, 로봇 상태 등 멀티모달 정보를 활용해 복합임무 수행 중 단위작업의 오류를 감지하고, 실패 원인을 분석, 임무를 재개하는 기술들이 등장하고 있다. 그러나 “이러한 기술들은 개념 정립 단계의 초기 기술로서 변화하는 복잡한 환경에는 적용이 어렵고, 장기 복합작업에서 실패 복구 경험을 활용하지 못하는 단점이 있다”는 지적이다. 그로 인해 실패가 이미 발생하고 난 후에 실패를 감지하는 기술에만 초점을 두고 있어 효율적인 실패 대응에 한계가 있다는 것이다.
이를 극복하기 위해 현실 세계를 반영한 ‘물리 시뮬레이터’에 의해 로봇이 행동하기 전에 실패를 검증하고 로봇 행동을 수정할 수 있는 기술에 대한 연구가 이어지고 있다. 또한, 로봇의 행동 실패 가능성을 사전에 인지할 수 있다. 이를 위해 고도의 상황 추론 능력을 바탕으로 복잡한 환경에서도 로봇이 실패 원인을 다각도로 분석할 수 있는 기술 연구가 진행 중이다. 즉 “실패 경험을 활용하여 같은 실수를 반복하지 않는 경험 강화 기술”로서 마치 실패로부터 교훈을 얻는 사람의 윤리적 행태를 방불케 하는 것이다.
이같은 로봇의 복합작업 수행 능력은 말 그대로 ‘복합적 능력의 인간 비서’의(Multi-use Human Assistants) 역할이 가능하게 한다. 즉, 구조화되어 있지 않고 (unstructured), 예상하지 못한 상황의 변화가 빈번하고(dynamic), 환경에 대한 인간의 영향으로 불확실성이 높고(uncertain), 사전에 경험하기 어려운(unseen) 개인적인 공간으로서 높은 로봇 지능 수준을 요구하는 도전적인 환경이다. 비약하면 ‘인공인간’ 수준이라고 할 수 있다.
김 책임연구원은 이에 “로봇 작업 절차 자동생성 기술은 로봇이 인간과 함께 살아가는 인간과 로봇의 공존 시대를 견인할 수 있는 돌파기술이 될 것”이라고 전망했다.