전체메뉴

[애플경제 김향자 기자]AI가 응답이나 결과를 내놓으면, 과연 그것이 합당하고 정확한가. 오류(환각, halluciation)는 아닌가. 이런 의구심은 생성AI가 출현하면서 더욱 잦아지고 있다.

그 때문에 최근엔 더욱 XAI(eXplainable Artificial Intelligence), 즉 결과가 나온 이유나 배경을 정확히 설명할 수 있는 XAI에 새삼 이목이 쏠리고 있다. 또한 그런 목적의 XAI 기술도 점차 발전하며, AI의 정확도를 과학적으로 평가, 설명할 수 있을 것으로 보인다.

“XAI 자체의 성능 평가가 중요”

호서대 이태진 부교수가 최근 펴낸 ‘XAI 평가기술 동향’ 연구보고서는 그같은 XAI 평가기술을 상세히 소개해 눈길을 끈다.

이를 보안 분야에 적용할 수 있는 방안을 함께 소개한 이 부교수는 해당 연구보고서에서 “AI가 대체로 좋은 성능을 내지만, 그 판단이 100% 정확하지는 않다. 그러므로 AI 판단에 대한 해석이 반드시 필요하다”면서 “특히 이를 해석하는 XAI가 널리 사용되기 위해서는 XAI 성능평가가 매우 중요하며, 아직은 XAI 및 XAI 평가 기술 모두 연구초기 단계에 해당하지만, 이에 대한 관심과 연구가 점차 증가하고 있다.”고 XAI 평가기술의 중요성을 강조했다.

이 부교수가 국내외 자료를 폭넓게 분석하며 제시한 XAI 평가기술은 크게 네 가지다.

즉, 피처의 정확도를 추출하는 △‘Descriptive Accuracy’, 강력한 피처(특징, 학습 데이터) 중심의 분석인 △‘Sparcity Accuracy’, 중요한 순서대로 피처를 누적 제거하는 방식의 △‘Cumulative Descriptive Accuracy’, 정확도의 하락 값과 피처의 기여도를 비교한 △‘XAI Weight 및 Descriptive Accuracy 기반 XAI 평가’ 등이 그런 경우다.

‘피처’와 예측 정확도, 관련성 등 평가

그중 ‘Descriptive Accuracy’ 방식은 XAI가 예측(결과치)과 관련된 피처를 얼마나 정확하게 추출하는지를 반영한 것이다. 즉, 피처와 예측 간의 관계를 직접 평가하는 것에는 한계가 있으므로, 우선 가장 관련성이 높은 피처를 제거한다. 이로써 예측 결과가 어떻게 변하는지를 측정하는 방식이다.

요약하면, ‘Descriptive Accuracy’는 결과치에 관련성이 높을 것으로 보이는 피처들을 순서대로 제거하면서, 결정 함수를 사용하여 예측의 변화를 관찰하는 것이다.

‘Sparcity Accuracy’는 특별히 AI 결과치에 강력한 영향을 갖고 있는 피처를 선별, 이를 중심으로 해석하는 방식이다. 이는 앞서 ‘Descriptive Accuracy’방식과 더불어, 분석을 위한 제한적인 자원을 보완하는 의미가 있다.

‘Cumulative Descriptive Accuracy’는 말 그대로 ‘누적 방식’을 활용한 것이다.

즉, XAI에서 추출된 (결과치와의 관련성) 상위 N개의 특징을 순서대로 누적, 제거한다. 그런 경우 정확도는 점차 하락하게 될 것이고, 중요한 특징이 먼저 제거될수록 정확도 하락치는 더욱 크게 떨어질 것이다. “그로 인한 정확도 누적 감소폭을 기준으로 AUC(Area Under Curve)를 계산하는 방식”이란 설명이다.

피처의 기여도 점수와 정확도 하락값의 반비례 현상을 이용한 것이 ‘XAI Weight 및 Descriptive Accuracy 기반 XAI 평가’ 방식이다.

이 경우 피처의 기여도 점수가 높은 경우 실제로 제거되었을 때 정확도의 하락 값도 커야 하고, 피처의 기여도 점수가 낮은 경우 그에 맞춰 정확도의 하락 값도 줄어들어야 한다.

이때 정확도 하락치에 XAI 기여도 점수를 나눈 값이 일정하게 나오며, 표준 편차가 작은 결과가 추출된다. 즉 “표준 편차가 작을 때 피처의 점수에 적절한 기여도가 측정되어 의미 부여가 된다.”는 설명이다.

만약에 반대로 피처의 기여도 점수가 크고, 정확도 하락 값이 작게 나오며, 피처의 기여도 점수가 작고 정확도 하락값이 크게 나오는 경우, 정확도 하락치에 XAI 기여도 점수를 나눈 값이 일정하지 않게 나온다. 즉 “나눈 값이 일정하지 않기에 표준 편차는 크게 나오고, 이는 AI 피처의 점수가 적절히 추출되지 않음을 나타낸다”는 것이다.