[지금은 과학] 융통성 있는 인공지능 만든다

[아이뉴스24 최상국 기자] 인간의 뇌는 주어진 ​문제​에 집중하면서도, ​당면 문제에 지나치게 집착하지 않고 상황변화에 유동적으로 대처하는 융통성을 갖고 있다. 하지만 지금까지의 인공지능 모델은 하나의 문제에 집중해 해결능력을 높일수록 다른 문제에 대한 성능은 떨어지고, 반대로 여러가지 문제에 적용할 수 있게 만들수록 특정 문제에 대한 성능이 떨어지는 문제를 안고 있다.

이상완 KAIST 바이오및뇌공학과 교수 연구팀은 뇌 기반 인공지능 기술을 이용해 인공지능의 난제 중 하나인 과적합(overfitting)-과소적합(underfitting) 상충 문제를 해결하는 원리를 풀어내는 데 성공했다고 밝혔다. 연구팀은 국제 학술지 '셀 리포트(Cell Reports)'에 '강화학습 중 편향-분산 상충 문제에 대한 전두엽의 해법(Prefrontal solution to the bias-variance tradeoff during reinforcement learning)'이라는 제목의 논문을 지난 12월 28일 발표했다.

인공지능 모델을 현재 데이터나 환경에 과하게 학습시키거나 주어진 문제에 대한 성능을 높이기 위해 과도하게 복잡한 구조를 적용할 경우 문제 환경이 조금만 달라지면 성능이 크게 떨어지는 문제가 생긴다. 이를 방지하기 위해, 반대로 현재 데이터나 환경에 대충 학습시키거나 단순한 구조를 적용할 경우, 유사한 상황이나 문제에 대해서는 안정적 성능을 보일 수 있지만 주어진 문제에 대해서는 최대한의 성능을 끌어낼 수 없다는 단점이 있다.

과적합된 모델은 높은 복잡도로 인해 결과값이 너무 민감해져 결과적으로 출력값의 분산(variance)이 커진다는 문제점이 있고, 과소적합된 모델은 단순한 구조로 인해 출력값의 분산이 작으나 데이터를 충실히 학습하지 못해 편향성(bias)이 발생할 수 있다.

과적합/분산과 과소적합/편향성은 많은 경우 상충하기 때문에, 기존의 기계학습 연구는 이 두 가지 조건을 어느정도 만족시키는 타협점을 찾는데 집중해 왔다. 문제는 실제 세계에서는 상황이 늘 변하기 때문에 최적의 타협점 역시 계속해서 달라진다는 점이다.

연구팀은 이번 논문에서 '뇌 기반 인공지능' 기술을 바탕으로 과적합-과소적합 상충문제를 해결할 수 있는 방법을 제시했다.

'뇌 기반 인공지능'은 인간의 지능을 인공지능의 틀 안에서 해석하는 기술이다. 인간의 문제 해결 환경을 형식화하고, 인공지능으로 표현될 수 있는 다양한 계산적 가설을 구분할 수 있도록 인공지능 이론을 이용해 실험환경을 최적화한다. 이 실험 환경을 이용해 피험자의 문제 해결 과정에 대한 행동 데이터와 뇌 데이터를 모으고, 이후 데이터를 설명할 수 있는 새로운 인공지능 모델을 도출한다. 인간의 복잡한 문제해결 과정을 수학적으로 간결하게 정의된 인공지능의 관점에서 해석하고자 한 것이다.

인간은 ​현재 주어진 ​문제​에 집중하면서도(과소적합 문제 해결), ​당면 문제에 과하게 집착하지 않고​(과적합 문제 해결)​ 변하는 상황에​ 맞게 유동적으로 대처​한다. 연구팀은 ​뇌 데이터, 확률과정 추론 모형, 강화학습​ 알고리즘을​ 이용해 인간의 뇌가 이 문제를 ​어떻게 해결하는지에 대한 이론적 틀을 마련하고 이로부터 유동적인 메타 강화학습 모델을 도출해냈다.

연구팀에 따르면 인간의 뇌는 ​중뇌 도파민 회로와 전두엽에서 처리​되는 ​`예측 오차'의 하한선(prediction error lower bound) 이라는 단​ 한 가지 정보를 이용해 ​과적합-과소적합 상충문제를 해결한다. ​우리의 전두엽, 특히 복외측전전두피질은 현재 내가 사용하고 있는 문제 해결 방식으로 주어진 문제를 얼마나 잘 풀 수 있을지에 대한 기대치의 한계를 추정하고(`이렇게 풀면 90점까지는 받을 수 있어'), 변화하는 상황에 맞춰 최적인 문제 해결전략을 유동적으로 선택하는 과정 ('이렇게 풀면 기껏해야 70점이니 다르게 풀어보자')을 통해 과소적합-과적합의 위험을 최소화하게 ​된다​.​

이상완 교수 연구팀은 2014년 해당 전두엽 영역이 환경의 불확실성을 바탕으로 강화학습전략을 유동적으로 조절하는 데 관여한다는 사실을 처음 발견해 국제학술지 '뉴런(Neuron)'에 발표한 이후, 해당 뇌 영역이 인과관계 추론 과정에도 관여한다는 사실(PLOS Biology, 2015)과 문제의 복잡도까지 고려할 수 있다는 사실(네이처 커뮤니케이션즈, 2019)을 잇달아 보고했다. 이러한 일련의 연구 결과들을 바탕으로 인간이 자신의 학습 및 추론 능력을 스스로 평가하는 메타 인지 능력으로 인공지능이 풀기 어려워하는 현실 세계의 다양한 상충적 상황들을 풀어낼 수 있다는 `전두엽 메타 학습 이론'을 정립한 바 있다.

연구팀은 "이번 연구는 이 이론에 기반해 인공지능의 오랜 난제 중 하나인 과소적합-과적합 상충 문제를 실제로 풀어낸 최초의 사례"라고 평가했다.

이번 연구에 사용된 모델은 알파고 제로에 사용된 가치망 기반의 모델 프리 강화학습과 문제 환경의 특성을 예측하는 모델 기반 강화학습 알고리즘을 유동적으로 조합한다. 두 가지 문제 해결전략은 각자 다른 과소적합-과적합 또는 편향-분산 특징을 가지고 있으므로 많은 경우 상호 보완적이다. 모델은 상황에 맞게 학습하는 방법 자체를 연속적으로 학습한다는 점에서 `학습의 학습', 메타 학습이라 불린다.

연구팀은 "이번 연구에서 개발된 메타 강화학습 모델을 이용하면 간단한 게임을 통해 인간의 유동적 문제 해결 능력을 간접적으로 측정할 수 있으며, 더 나아가 스마트 교육이나 중독과 관련된 인지 행동치료에 적용할 경우 상황 변화에 유동적으로 대처하는 인간의 문제 해결 능력 자체를 향상할 수 있을 것"으로 기대했다.

이상완 교수는 "인공지능이 우리보다 잘 푸는 문제가 많지만, 반대로 인공지능으로 풀기 어려운 문제들이 우리에게는 정말 쉽게 느껴지는 경우들이 많다. 인간의 다양한 고위 수준 능력을 인공지능 이론 관점에서 형식화하는 연구를 통해 인간 지능의 비밀을 하나씩 풀어나갈 수 있을 것"이라고 기대했다. 논문의 제1저자인 김동재 박사는 "인간 지능의 특장점에 대한 이해가 얼마나 중요한지 보여주는 연구 중 하나"라고 말했다.

이번 연구는 삼성전자 미래기술육성센터, 과학기술정보통신부 정보통신기획평가원, 한국연구재단의 지원을 받아 수행됐으며, KAIST 이상완 교수와 김동재 박사(現 뉴욕대학교 박사후 연구원)가 주도하고 KAIST 정재승 교수가 참여했다.

최상국 기자의 다른 기사 보기