테스트 자동화 오픈소스 프레임워크 사용시 ‘생산성’ 변화없어
AI에 대한 막연한 기대 탓, 개발자들 문제의식 없어
[애플경제 이윤순 기자] SW와 앱 개발 과정에서 생산성을 높이기 위해 AI 도구가 빠르게 생활화고 있다. 그러나 그런 인식과는 달리 정작 AI도구는 개발자가 소프트웨어 테스트에 소요되는 시간을 절약하는 데 크게 도움이 되지 않는 것으로 알려졌다. 이는 AI도구의 유용성을 넘어 인공지능 기술의 생산성에 대한 일각의 맹신에 일침을 놓는 셈이다.
흔히 개발자들은 늘 일상적인 워크플로에서 오랜 시간과 싸움하며, 고통스러운 개발 과정을 겪곤 한다. 그러나 최근 연구에 따르면 AI는 이런 개발자들의 애로사항을 해결하는데 그다지 도움이 되지 않는다는 분석이다.
“심지어 AI없는 경우보다 시간 더 걸리기도”
‘퓨처’ 등의 설문 조사에 의하면 특히 테스트 자동화가 대표적이다. 흔히 SW 테스트를 위해 오픈 소스 프레임워크를 사용하는 개발자 대부분은 테스트와 유지 관리를 위해 AI를 사용하는 경우가 많다. 이런 작업은 개발자들로선 피하고 싶을 만큼, 가장 많은 시간이 걸리는 작업으로 알려져있다. 실제로 고객 상담 자동화 기술을 개발, 배포하는 한 업체 관계자는 이에 대해 “악명이 높다고 해야 할까, 정말로 시간이 많이 걸리는 작업”이라고 고개를 내젓기도 했다.
그러나 이를 해결하기 위해 AI 도구를 적용하는 경우도 늘어나고 있지만, 이렇다할 만큼 생산성이 나아졌다는 사례는 별로 없다는게 ‘퓨처’의 지적이다. 오히려 “이런 작업에 AI도구를 사용하지 않는 팀보다 더 많은 시간을 사용한다”고 했다. AI도구를 도입하는 의미가 전혀 없다시피한 셈이다.
이는 여러 이유도 있지만, 무엇보다 개발 목적으로 AI를 도입하기로 선택한 조직에서 막상 개발 제품이 AI도구가 감당할 수 없을 만큼 복잡하기 때문이란 지적이다. 이에 따르면 자동화된 테스트 모음을 업데이트하기 위해 평균보다 더 많은 작업을 해야 한다. 결과적으로 일반적인 관리 유지 관리에 더 많은 시간을 할애하게 된다.
물론 AI가 테스트 모음 유지 관리 시간을 조금이라도 단축해주거나, 설사 그렇지 않다고 하더라도 총체적인 개발 과정 측면에서 도움이 될 수 있다는 반론도 있다. 그럼에도 불구하고“주로 (반복 작업을 통한 테스트 자동화를 위해) 오픈 소스 자동화 프레임워크를 사용하는 팀에서 테스트 생성 및 유지 관리를 위해 AI를 도입하는 비율이 높기 때문에 그런 예외적인 경우는 드물다”는 것이다.
“소규모 민첩한 개발팀에겐 도움이 될 수도”
다만 이와는 다른 긍정적 사례도 있긴 하다. 즉, 한 그룹의 개발자, 즉 오픈 소스를 사용하는 소규모의 민첩한 개발팀에겐 도움이 될 수도 있다. 즉, 작은 팀일수록 테스트 모음 과정에서 회사나 조직 차원의 공식적인 정책과 절차가 가장 적게 적용되기 때문이다. 즉 자동화된 테스트 모음을 업데이트할 가능성도 낮다.
그럼에도 불구하고, AI를 사용하는 오픈 소스 테스트 프레임워크를 사용하는 소규모 팀은 다르다. 테스트 모음을 업데이트하고, 안정적으로 유지할 가능성이 훨씬 더 높기 때문에 AI도입에 의한 생산성 향상의 효과를 기대하기 어렵다.
그럼에도 불구하고 많은 개발자들은 AI 사용에 대해 점점 자신감 내지 확신을 하고 있는 추세다 즉 생성 AI 출력의 정확성과, 보안 기능에 대한 신뢰가 높아진 것이다. 기술매체 IT프로포탈은 전문가들의 의견을 인용, “10명 중 9명 이상이 오픈 소스 프레임워크를 사용하고 있다고 말했다”며 “이를 사용하는 사람들은 노코드를 사용하는 사람들보다 테스트 생성과 유지 관리에 더 많은 시간을 할애하고 있다.”고 밝혔다.
그러다보니 “(노코드보다 더 많은 시간을 소비하는) 오픈 소스 프레임워크 사용 팀으로선 어차피 AI도구를 사용하면서, AI에 대한 부정적인 생각을 갖지 않는 경우가 많다”는 것이다. 원래 많은 시간이 걸리다보니, AI도구로도 크게 시간이 단축되지 않더라도 이에 심각한 문제의식을 갖지 않는다는 얘기다.
결국 신기술에 대한 막연한 신뢰가 AI도구의 실질적 효능과는 무관하게 이를 받아들이고 있다는 얘기다. 앞서 ‘퓨처’는 그래서 “테스트를 자동화하기 위해 노코드를 사용하는 팀은 테스트 유지 관리 작업에 훨씬 적은 시간을 할애하고 있다. 다만 그들은 그 대신에 코드를 배송하는 데 더 많은 시간과 리소스를 할애한다.”고 했다. 총체적인 생산성은 결국 비슷하게 된다는 설명이다.