XAI의 개념과 핵심기술, 알고리즘, 활용사례

생성형 AI의 등장으로 우리는 점점 ChatGPT 등의 인공지능 서비스를 이용하여 정보를 얻는게 당연시 되고 있습니다. 그런데 이런 생각은 들지 않으셨나요? '이 인공지능 정보가 정말 맞는거야?'  이런 의문에 대해서 신뢰성을 확보하기 위한 기술도 같이 발전을 하고 있는데요, 그 중 설명가능한 인공지능(XAI)을 이 글을 통해 핵심만 이해하기 쉽게  알려 드리겠습니다.

설명가능한 인공지능 는 왜 무엇 ? 왜 등장 했을까? 

eXplainable AI의 개념                             

기술 개념도 (출처: https://towardsdatascience.com/knowledge-graphs-for-explainable-ai-dcd73c5c016)

 

 먼저 설명가능한 인공지능(XAI)의 개념부터 빠르게 이야기 해보겠습니다.  사람이 인공지능의 작용과정(학습, 결과물 생성)을 쉽게 이해 할 수 있도록 인공지능 자체에 설명 능력을 부여하는 기술 이라고 할 수 있습니다.

 

 조금 풀어서 이야기 해본다면 머신러닝 혹은 딥러닝의 모델이 결과 값을 내놓는데, 사실 사람 입장에서는 신경망 자체를 따라가서 어떻게 학습하고 결과를 도출했는지 알아보는 것은 불가능에 가깝습니다. 그렇다고 인공지능의 결과를 무조건 신뢰하고 사용할 수도 없는 상황이기에 인공지능인 AI에게 사람이 이해 할 수 있도록 스스로 학습, 추론한 과정을 논리적으로 설명 할 수 있도록 요구하는데 그 요구를 위한 기술을 바로 설명가능한 인공지능(XAI)라 이야기 할 수 있습니다.

 

eXplainable AI의 등장배경 

윤리적이고 신뢰할 수 있는 AI를 위한 NXP의 전일적인 접근법 (출처: NXP)

 

 개념에서도 이야기를 하였지만 지금의 인공지능의 핵심은 신뢰성 입니다. 약 10년전 알파고가 등장 했을 때 인공지능, 최근에 등장한 ChatGPT 기반의 인공지능은 기술이 진화하기 시작하면서 접근과 보는 시각이 완전 달라졌습니다.

 

 10년전 인공지능에서는 물론 신뢰성이나 윤리적 측면도 역시 고민을 했겠지만 이 때는 기술의 발전과 서비스로의 구현에 더 중점을 많이 두었던 것이 사실입니다. 그렇지만 이런 인공지능의 성능이 하루가 다르게 진화하고 서비스로 사용이 대중화 되면서 자연스레 관심은 신뢰적인 측면으로 넘어가게 됩니다. 그래서 그 신뢰성을 확보하기 위한 기술을 발전 시키게 되는데 이 기술이 바로 설명가능한 인공지능(XAI) 입니다. 

 

 추가로 최근에 부각되고 있는 이유는 인공지능이 결과물을 제시하는 이유와 과정을 기반으로 가장 적합한 학습 모델을 채택하거나, 시스템의 이슈가 발생할 경우 디버깅을 통한 원인 분석을 용이하게 할 수 있는 측면이 있습니다.

 

 직접 시스템을 운영해 본 경험이 있으신 분들은 아시겠지만 문제가 생겼을 때 경로를 하나씩 따라가면서 가정을 통해 코드 변경 혹은 값의 변경으로 수정하는 작업을 하게 되는데 복잡한 인공 신경망에서는 불가능 하다라는 측면에서 인공지능이 직접 알려준다면 더 쉽게 그 원인 분석과 대처가 가능하다는 맥락입니다.


 

설명가능한 인공지능은 어떻게 구현 되는 것일까?

eXplainable AI 의 구현 방법, 세부기술

XAI 동작방식 (출처:  방위고등연구계획국(DARPA, Defense Advanced Research Projects Agency)

 

설명가능한 인공지능인 XAI 의 구현 기술은 크게 기존 학습 모델 변형, 신규 학습 모델 개발, 학습 모델 간 비교 이렇게 3가지 구분을 해볼 수 있습니다. 

 

기존 학습 모델의 변형은 인공지능의 학습 과정(CNN)을 역연산 하는 신경망을 구성하여 결과값에 미치는 특징 영향 요소를 추론, 시각화 할 수 있는 방법 입니다. 이러한 방법으로 구현하기 위해서는 Unpooling, Unnormalization과 같은 세부 기술을 사용하고, 결과를 시각화 합니다. 

 

신규 학습 모델 개발입력 데이터의 주요 특징을 그래프로 생성하는 과정에서 각 그래프의 세분화, 분류의 근거를 확인하면서 새로운 학습 모델을 만드는 방법입니다. 이 방법으로 구현하기 위해서 사용되는 세부 기술은 확률적 AND-OR 그래프, 터미널 노트 맵핑 방식이 있습니다.

 

마지막으로 학습 모델 간 비교하는 방법다른 설명가능 모델과 대조 추론하여 목표하고 있는 분류 모델의 최종 결과를 설명하는 방법입니다. 이 방법의 구현 기술은  픽셀기반의 모델을 비교 하는 기술범용적으로 모델을 진단하는 기술이 있습니다. 

 

eXplainable AI 의 핵심 구현 알고리즘

LIME (출처 : https://courses.minnalearn.com/en/courses/trustworthy-ai/preview/explainability/types-of-explainable-ai/)
SHARP (출처 : https://courses.minnalearn.com/en/courses/trustworthy-ai/preview/explainability/types-of-explainable-ai/)

 

 위에서 이야기한 방식의 설명가능한 인공지능의 구현 방식에서 Depth를 더 높여 적용하는 알고리즘을 알아보도록 하겠습니다.

 

 기본적으로 활용되는 알고리즘은 규칙기반 모델, 선형 모델, 프로토타입 모델, 신경망 모델, 앙상블 모델 등 입니다. 그렇지만 최근 알고리즘의 복잡도가 증가하면서 대기모델(Surrogate Model), LIME(Local Interpretable Model-agnostic Explainations), SHARP (SHapley Additive exPlanations) 사용 되고 있습니다.

 

 규칙기반 모델은 간단히 설정된 Rule을 기반으로 결정을 내려가는 알고리즘의 유형이고, 계층 구조로 사용하는 결정 트리가 대표적인 모델 에시 입니다. 기본적으로 명확하게 설정된 규칙기반에서 결정을 내리기 때문에 사람이 쉽게 해석할 수 있습니다.

 

 선형 모델은 회귀식과 같은 선형 방정식을 사용하여 결과를 예측을 하는 알고리즘 유형입니다. 회귀식이나 선형 방정식을 보면 y=ax+b 와 같이 계수에 따라 중요성에 대한 가중치를 같이 제공하기 때문에 쉽게 해석할 수 있는 알고리즘 중 하나라고 할 수 있습니다.

 

 프로토타입 모델은 기존에 있는 간단한 모형의 예시를 기반으로 비교 하여 결정을 내리는 유형입니다. 이 모형 역시 명확한 사전의 예시를 기반으로 하기 때문에 해석하는데 어려움이 없는 알고리즘 입니다.

 

 신경망 모델은 인공지능이 학습을 하기위한 기본적인 모델, 알고리즘이라 생각하면 됩니다. 앞 3가지 모델 보다는 복잡성이 높은 아키텍처로 인해 해석이 어려워 해석에 대한 LRP(Layer-wise Relevance Propagation) 및 심층 테일러 분해(Deep Taylor Decomposition)을 이용하여 해석을 합니다.

 

 마지막으로 앙상블 모델입니다. 앙상블 모델은 여러 모델을 결합하는 알고리즘으로 규칙기반 모델과 선형 모델을 조합하는 식으로 사용하는 모델이라 생각하시면 됩니다. 이 모델 역시 여러모델을 결합을 하여 최적화된 결과를 내야하기 때문에 복잡성이 높아질 수는 있지만 단일 모델 보다 더 정확한 해석 결과를 가져올 수 있도록 하는 설계도 가능한 장점이 있습니다.


설명가능한 인공지능은 어떻게 활용 되는가? 이점은?

eXplainable AI의 실제 활용 사례

 

카카오뱅크 적용 사례 보기 IBK기업은행 적용 사례 보기 초경량 알루미늄 개발 사례 보기

 

 

설명가능한 AI(XAI)는 다양한 산업에서 적용되고 있는 상황입니다. 최근 (2024년 7월)에는 카카오뱅크에서는 이상금융거래탐지시스템을 비롯한 신용평가 등에서 XAI를 도입했다고 합니다. 

 

 구체적으로는 신용점수 산출에서 AI가 각종 데이터를 기반으로 반영한 결과를 사용자에게 알려준다면 구분의 소득, 대출, 연체 이력등의 기여도를 설명하여 고객에게 점수를 안내하는 방식입니다.

 

 금융의 또다른 은행인 IBK 기업은행은 KAIST와 진행하여 개발한 XAI 기술을 본격 적용한다고 2022년에 발표 하였습니다. 실질적으로 XAI 기술을 마케팅, 여신심사, 신용평가 등에 적용하여 업무 효율성을 높일 것을 목표로 하였습니다.

 

  비행소재 연구개발에서도 XAI 기술을 활용하여 성과를 내고 있는데요, 개인용 비행체(PAV)나 초고속 기차에 사용되는 합금 소재 원소 조합과 제작공정 설계시 AI가 특정 조합과 공정을 추천한 이유를 알게 되면서 미래 모빌리티용 합금 소재 개발에 응용 개발이 가능하다는 사례도 있습니다.

 

 이렇게 설명가능한 인공지능(XAI) 기술 적용 사례는 인공지능이 더욱 확산이 되는 상황에서 계속 등장 할 것으로 기대되고, 적용에 있어서 없어서는 안될 기술이 될 것이라 생각됩니다.

 

eXplainable AI 를 사용할 수 밖에 없는 이유

 

ChatGPT가 등장하면서 우리 생활에 인공지능이 들어오는 속도는 점점 더 빨리지고 있고, 그에 따른 할루미네이션과 같은 부작용도, 프롬프트 인젝션과 같은 취약점도 발생되고 있는게 사실입니다. 이러한 여러 이슈가 발생하게 되면 이 XAI의 중요성은 더 크게 부각 될 것 같습니다. 

 

조금 그 필요성에 대해 세부적으로 나열 해 본다면 투명성의 증가, 책임성의 증가 등의 결과 값에 대한 신뢰성을 높이는 것이 가장 큰 이유라고 한다면 실제 구현되는 시스템의 설계, 사용자의 이해, 편향을 식별하고 완화, 향상된 성능 등에서 도움이 되기 때문에 앞으로는 이 기술의 활용이 커질 것이라 생각 됩니다.


 위에서 길게 이야기 한 것을 요약한다면,

생성형 AI의 지속적인 발전과 적용이 확대되면서 이 인공지능의 신뢰성에 대한 부분에 의문을 가지게 되었다.
이 의문을 설명가능한 인공지능인 XAI 라는 기술로 인공지능의 동작(학습, 결과값 도출)을 알 수 있게 되었다.

 이 기술은 신뢰성 부분에도 도움 되지만 응용 부분에 더 도움이 될 것이고, 적용사례는 늘어날 것이다.

 그래서 앞으로 인공지능 활용이 확대 된다고 하면 이제 이 기술은 선택이 아닌 필수가 될 것이다.

 이상입니다.

함께 보면 좋은 글                                                                      

 

딥러닝, 신경망, 머신러닝 그리고 인공지능, AI

2021년 8월 즈음에 대한민국에서 IT로 가장 "핫"한 키워드는 바로 메타버스, AI를 말할 수 있을 것 같다. 어느 매체, 비즈니스 기획 회의, 전략회의 등 사람들이 만날 때 꼭 이야기되는 키워드이다.

techness.tistory.com

 

클라우드의 기반 기술, 가상화의 개념과 장단점

언택트 시대의 필요한 기술로 VDI(Virtual Desktop Infrastructure)와 DaaS(Desktop as a Service)에 대하여 이전 포스팅에서 언급을 하였다. 간단히 말하자면 이전에 기업들은 보안적인 측면과 스마트 워크 측면

techness.tistory.com

 

 

  • 네이버 블로그 공유
  • 네이버 밴드 공유
  • 페이스북 공유
  • 카카오스토리 공유