주어진 자연어 의미와 맥락 파악, ‘빠른 연산처리로 적절한 답’
RNN, CNN 신경망 단점 해소, ‘Self-Attention’으로 효율 극대화
[애플경제 이보영 기자] 금융권을 중심으로 대고객 업무나 심사 업무에서 자연어 처리를 위한 구글의 AI 기계번역 신경망 버트(BERT)를 활용한 기법이 날로 확산되고 있다. BERT는 일찍이 구글이 104개의 언어로 미리 학습시킨 모형으로 유사한 입력변수를 입력하고 추가 학습하여 성능이 향상된 AI엔진 개발을 할 수 있게 한 것이다.
여기서 자연어 처리는 인공지능을 활용해 사람 말을 알아듣고 처리하는 기술이다. 예를 들어 질문 하나에 여러 의미나 단어가 포함되어 있을 경우, 그 단어가 지닌 의미를 읽고 맥락을 파악해 제대로 된 답을 도출할 수 있게 하는 것이다. 알고리즘 스스로 대량의 데이터를 파악해 학습한 후 사용자가 던진 질문이나 검색어에 대해 ‘이 질문(검색 단어)가 어떤 의미인가?’를 스스로 판단, 예측 처리하는 언어모델이기도 하다.
혹은 특정 사용자가 검색을 시도하면, 그가 지금까지 검색했던 데이터를 기반으로 ‘어떤 답을 찾고자 하는지?’를 스스로 추측하고 이에 맞는 답을 도출할 수 있는 기능이다. 이런 뛰어난 자연어 처리 능력을 지닌 신경망 기술은 2018년 구글이 출시한 BERT와 오픈AI(OpenAI)의 GPT가 대표적이다. 특히 최근 국내 일부 시중은행을 포함한 금융권에선 ‘BERT’를 활용한 다양한 고객 서비스를 개발하고 있어 주목된다.
실제로 한 시중은행은 최근 구글 AI 언어모델 버트를 고객상담과 분석에 적용하고 있어 관심을 모으기도 했다. 이처럼 인간과의 ‘대화’ 수준에 이를 만큼, 인간 언어를 십분 이해하고 분석할 수 있게 된 것은 ‘버트’ 특유의 첨단 기능 덕분이다.
버트는 기존 신경망 기술인 RNN(순환신경망), CNN(합성곱 신경망) 계열의 신경망 구조와는 달리, 이른바 ‘자기 집중’(Self-Attention) 기법을 사용한 점이 특징이자 장점이다. RNN은 단어나 어휘 하나하나를 일일이 해석하므로, 문장의 길이가 길어질수록 첫 단어의 의미가 끝 단어의 의미까지 반영되기 어렵고, 시간도 무척 많이 걸린다. CNN 역시 순차적으로 계산해나가되, 설정해 놓은 ‘윈도우’들이 차례로 움직이며 그 의미와 특징을 뽑아내는 방식이다. 그렇다보니 ‘윈도우’ 밖에 존재하는, 거리가 먼 단어의 의미를 파악하는 것은 어렵다는게 단점이다.
이에 ‘버트’는 는 RNN의 순차적인 계산을 행렬곱을 사용하여 한번에 처리하게 해서 한번의 연산으로도 모든 중요 정보들을 임베딩하는 ‘트랜스포머’(Transformer) 기법을 통해 그 한계를 극복한다. 또 ‘자기 집중’(Self-Attention)을 통해서 자칫 문장이 길어지면 혼란스러워하는 RNN의 문제를 해소한다. 그래서 같은 문장 속이나, 모든 단어 쌍 사이의 의미적, 문법적 관계를 포착할 수 있게 된다. 또한 학습시간도 크게 단축시켰다.
버트는 또 이러한 트랜스포머 블록으로 이루어져 있고, 모델 속성이 양방향(Bidirections)을 지향함으로써 성공적인 의미 파악과 대답을 이끌어 내고 있다. 그래서 지금껏 개발된 모든 자연어 처리 신경망 가운데, 인공지능이 읽고, 요약하고 더 자연스런 대화를 할 수 있게 하는 가장 효율적인 기술로 평가되고 있다.
트랜스포머의 인코더 부분을 여러 층으로 쌓은 구조를 띤 ‘버트’는 일단 RNN이나 CNN보다 연산처리 속도도 매우 빠르다. 즉 기존 신경망의 느린 속도와 오류를 교정하기 위해 “‘집중기능(Attention)만 사용하는 신경망을 구성한 결과이기도 하다.
전문가들은 이런 ‘버트’를 기반으로 한 각종 인공지능 정보 축약 기술이 금융권에 접목되며 데이터 분석의 유용한 수단이 되고 있다고 진단하고 있다. 한 컨퍼런스에서 관련 내용을 발제한 바 있는 한국외대(애자일소다) 최대우 교수는 “금융권은 현재 모바일 단말기를 통해 수집되는 행동 정보 등을 통해 고객의 행동패턴을 학습하여 다양한 추천 모형 개발이 가능한 단계에 있다”면서 “(‘버트’ 신경망 기술 등) 금융권에 혁신 사례 도입을 위한 여러 가지 활용방안을 고민하고 있다”고 강조했다.