x-Learning

머신러닝 공부하면서 맨 먼저 접하게 되는 단어가 지도학습(Supervised Learning), 비지도학습(Unsupervised Learning) 이란 단어일 것이다. 불과 얼마 전까지만 해도 지도학습, 비지도학습, 강화학습 등 학습방법의 종류가 그렇게 많지 않았다. 하지만 생성형 AI들이 큰 흐름을 형성하고 있는 최근 책이나 논문을 읽다 보면 접해보지 못했던 새로운 AI 학습 방법에 대한 용어들이 많이 등장한다. 이번 글은 각종 머신러닝 학습 방법과 개념을 포괄적으로 정리하여 필요할 때 참조할 수 있도록 정리하는 글을 작성한다. 여러가지를 한번에 통칭해서 표현할 때, x 라는 말을 사용하기에 여기서는 x-Learning 이란 제목으로 AI의 학습 방법과 종류들을 개관해 보기로 한다. 각각의 학습 방법별로 개념, 사례, 주요 활용분야 등에 대해서만 개괄적으로 기술한다. 각각의 학습 전략에 대한 구체적인 구현 방법들에 대한 부분은 이 글의 범위를 벗어나 다루지 않으며, AI 관련 기사, 책 또는 논문 등을 읽을 때 참고하기 위해 정리하였다. 아직까지 영문으로 된 학습 방법에 대한 한글 명칭은 통일되지 못하고 개인에 따라 다양하게 사용하고 있어 다소간의 혼돈은 발생할 수 있겠으나 본 글에서는 필자가 판단하여 타당하다고 생각되는 학습 명칭을 사용하였다. 이 글에서 다루는 x-Learning의 종류는 대략 다음과 같다.

Supervised Learning, Unsupervised Learning, Self-Supervised Learning, Reenforcement Learning, Transfer Learning, Imitation Learning, Emergent Learning, Zero Shot Learning, Few Shot Learning, Context Learning, Meta Learning, Federate Learning, Contrastive Learning, Human-in-the-Loop Learning 등

1. 기본적 학습 패러다임

가. 지도학습(Supervised Learning)

지도학습은 기계 학습의 대표적인 방법으로, 라벨이 달린 데이터(입력과 그에 대응하는 정답)를 사용하여 모델을 학습시키는 방식이다. 크게 회귀와 분류의 두 가지 주요 유형이 있다. 익숙한 개념이므로 자세한 설명은 생략한다.

나. 비지도학습(Unsupervised Learning)

비지도학습은 라벨(정답)이 없는 데이터를 사용하여 패턴이나 구조를 발견하는 기계 학습 방식이다. 지도학습과 달리, 비지도학습은 데이터 자체의 특성을 이용해 군집이나 특징을 추출한다. 비지도학습은 데이터를 여러 군집으로 나누는 군집화(Clustering), 고차원 데이터를 저차원으로 축소하여 구조를 단순화 시키기 위한 차원 축소(Dimensionality Reduction), 데이터 간의 연관성을 발견하기 위한 연관 규칙 학습(Association Rule Learning) 등이 있다.

다. 자기 지도학습(Self-Supervised Learning)

자기 지도학습은 라벨링 된 데이터가 부족한 상황에서도 유용한 기계 학습 방법으로 데이터 자체에서 레이블을 생성하여 학습하는 방식이다. 쉽게 말해, 데이터에서 일부 정보를 숨기고 이를 예측하도록 모델을 학습시키는 방식이다. 자기 지도학습은 사람이 직접 라벨링 하지 않아도 되므로, 큰 데이터셋에서 효율적으로 학습할 수 있어 BERT(Bidirectional Encoder Representations from Transformers) 같은 자연어 처리에서 문장의 일부 단어를 가리고 이를 예측하는 방식이나 이미지 처리에서 이미지 일부를 가리고 나머지 부분을 예측하도록 하는 등의 개념이다.

2. 상호작용을 통한 학습

가. 강화 학습 (Reinforcement Learning)

강화학습은 보상과 벌칙을 통해 에이전트(agent)가 최적의 행동을 학습하도록 하는 방법이다. 이 방법은 마치 인간이 경험을 통해 배우는 것과 비슷하게 시행착오를 통해 학습한다. 에이전트는 주어진 환경에서 다양한 행동을 시도하고, 그 결과로 얻은 보상을 통해 다음 행동을 하게되며, 보상을 최대화하는 방향으로 정책(policy)을 학습하게된다. 우리에게 익숙하게 알려진 알파고가 강화학습의 대표적인 모델이었다.

나. 인간 개입 학습 (Human-in-the-Loop Learning)

인간 개입학습은 기계 학습 모델의 학습 및 개선 과정에 인간의 피드백을 통해 학습효과를 향상시키는 방법이다. 이 방식은 인간의 전문 지식과 직관을 활용하여 모델의 성능을 높이고, 어려운 문제나 예외적인 상황에서 더 나은 결과를 도출하는 데 도움을 주기위해 수행한다. 인간 개입학습은 인간(전문가)이 모델의 예측 결과를 검토하고 피드백을 제공하여 학습 과정을 향상 시키며 모델은 반복적으로 인간의 피드백을 반영하여 성능을 개선하게된다. 이런 방법을 통해 복잡하거나 예외적인 상황에서 모델의 정확도와 신뢰로들 향상시키게된다. AI 모델이 질병을 예측하는데, 의료 전문가가 예측 결과를 검토하여 최종 진단을 내리는 과정이나, 자율주행 시스템이 도로 상황을 분석하고, 운전자가 위험한 상황에서 개입하여 안전을 보장하도록 하는 경우 등이 예가 되겠다.

다. 적대적 학습(Adversarial Learning)

적대적 학습은 두 개의 신경망, 즉 생성기(Generator)와 판별기(Discriminator)가 서로 경쟁하며 학습하는 방식이다. 생성기는 가짜 데이터를 생성하여 판별기를 속이려고 하고, 판별기는 진짜 데이터와 생성된 가짜 데이터를 구별하려고 한다. 이 두 신경망은 경쟁 관계에 있으며, 생성기는 더 진짜 같은 가짜 데이터를 만들어내기 위해 학습하고, 판별기는 가짜 데이터를 더 정확하게 구별하기 위해 학습하게 된다. 적대적 학습은 고화질 이미지의 생성이나 현실적인 동영상 생성할 때 많이 사용하며, 부족한 데이터에 가짜 데이터를 추가하여 학습 성능을 높이는 데도 활용이 가능하다.

3. 맥락 및 적응적 학습

가. 맥락학습(Context Learning)

맥락학습은 주어진 작업의 맥락을 고려하여 모델의 성능을 최적화하는 것을 목표로 하는 학습 방법이다. ’맥락’은 시간, 장소, 사용자 특성 등 다양한 정보를 활용하여 모델의 예측력을 높이는 방식이다. 맥락학습을 위해서는 맥락 데이터 수집하고 수집된 맥락 정보를 특징(feature)으로 변환한 후 머신러닝 모델을 학습시킨다. 이런 방식으로 학습된 모델은 예측을 수행할 때 개인화된 맥락 정보를 고려하여 결과의 정확도를 높일 수 있다. 추천시스템이나, 스마트홈 등에 이용한다.

나. 전이 학습 (Transfer Learning)

전이 학습은 한 작업에서 학습한 모델을 다른 관련 작업에 재사용하는 학습방법으로 특히 데이터가 제한된 상황에서 유용하게 유용하다. 쉽게 말해, 이미 학습된 모델의 지식을 새로운 문제에 적용하는 방법이라 할 수 있다. 큰 데이터셋으로 사전 학습된 모델을 사용하여 모델을 학습을 시킴으로써 새로운 작업에 대한 데이터가 적더라도, 기존 모델의 지식을 활용하여 효율적으로 학습할 수 있다. 이는 처음부터 모델을 학습시키는 것보다 적은 시간과 자원으로 높은 성능의 모델을 만들 수 있는 장점이 있다. 이미지넷 데이터셋으로 사전 학습된 모델을 사용하여 새로운 이미지 분류 작업에 적용하거나, 사전 학습된 언어 모델을 사용하여 감정 분석, 문서 분류 등의 새로운 작업을 하는 모델을 쉽게 학습시킬 수 있다.

다. 메타 학습 (Meta Learning)

메타 학습은 ‘학습을 학습하는’ 방법으로, 모델이 새로운 작업을 빠르게 배우도록 돕는 기계 학습 기법이다. 메타 학습의 목표는 다양한 작업에서 학습한 경험을 통해 새로운 작업에서의 학습 속도와 성능을 향상하는 것이다. 이렇게 하면, 모델이 새로운 작업에 빠르게 적응하도록 할 수 있으며, 적은 양의 데이터로도 효과적인 학습이 가능하다. 또한 다양한 작업에서의 경험을 통해 새로운 상황에서도 높은 성능을 나타내는 모델의 개발이 가능하다. 메타학습은 두 가지 단계로 나누어 진다. 메타 학습 단계에서는 다양한 작업으로 모델을 학습시켜 일반적인 학습 전략을 습득한 다음 습득한 학습 전략을 바탕으로 새로운 작업에 빠르게 적응하는 적응 단계로 구분할 수 있다.

라. 제로샷 학습 (Zero-Shot Learning)과 Few-Shot Learning

제로샷 학습은 모델이 학습에 사용된 적이 없는 새로운 작업도 수행할 수 있도록 하는 방법을 의미한다. 이 방법은 모델이 학습한 데이터와 유사한 정보뿐만 아니라 전혀 새로운 정보도 이해하고 처리할 수 있도록 하는 방식이다. 예를 들어, 이미지 분류 모델이 “개”와 “고양이”를 학습한 후, “호랑이”와 같은 새로운 동물도 올바르게 인식할 수 있도록 하거나, 모델이 특정 주제에 대한 텍스트를 학습한 후, 관련 없는 새로운 주제에 대해서도 문맥을 이해하고 적절한 응답을 생성할 수 있도록 하는 것들이 그 예이다. 제로샷 학습은 데이터 수집이 어렵거나 비용이 많이 드는 상황에서 매우 유용한 방법이다.
Few-Shot 학습은 소수의 데이터 샘플만을 가지고도 학습할 수 있는 학습방식을 의미한다.

4. 분산과 협업학습

가. 연합 학습 (Federated Learning)

연합 학습은 데이터 프라이버시와 보안을 중시하는 환경에서 사용되는 기계 학습 기술이다. 연합 학습은 데이터를 중앙 서버로 전송하지 않고, 여러 분산된 디바이스에서 모델을 학습하는 방법이다. 쉽게 말해, 데이터는 각 디바이스에 그대로 두고, 모델만 업데이트되는 방식이다. 연합 학습은 데이터가 디바이스를 떠나지 않으므로 프라이버시가 보장되고, 여러 디바이스에서 모델이 동시에 분산 학습되므로, 학습 속도가 향상되고 퍼포먼스 오버로드가 적다. 각 디바이스에서 학습된 모델은 중앙 서버에 종합되어, 더 나은 글로벌 모델로 통합되어진다. 연합 학습은 스마트폰, IoT 기기 등에서 사용자 데이터를 보호하면서도 고성능 모델을 개발하는 데 많이 사용된다.

5. 기타 학습

가. 대조 학습 (Contrastive Learning)

대조 학습은 비슷한 데이터와 다른 데이터를 구별하는 능력을 학습하는 기계 학습 기법이다. 주로 이미지나 텍스트 데이터를 처리할 때 많이 사용된다. 이 방법은 데이터의 쌍을 만들어, 유사한 데이터는 가까운 공간에, 다른 데이터는 먼 공간에 위치하도록 학습하여 차이를 구분하도록 한다. 이를 위해 학습 과정에서 데이터 쌍을 사용해, 유사한 데이터는 가까이, 다른 데이터는 멀리 위치하도록 대조 손실 함수(Contrastive Loss Function)를 설계하여 적용한다. 또 원본 데이터를 다양한 방식으로 변형하여 새로운 학습 데이터를 생성하거나, 데이터를 고차원 공간으로 변환하여 유사성과 차이를 명확히 구별할 수 있도록 한다.

나. 모방학습(Imitation Learning)

모방학습은 LfD(Learning from Demonstration)라고도 알려져 있다. 모방학습은 에이전트가 전문가의 행동시연(Demonstration)을 모방하여 정책(Policy)을 학습시키는 머신러닝 방법을 말한다. 모방 학습에는 두 가지 주요 접근 방식이 있다.
행동 복제(Behavior Cloning) : 이 방법은 에이전트가 전문가 시연을 기반으로 관찰에서 행동으로의 직접적인 매핑을 모방하도록 학습하는 방식이다.

역 강화학습(Inverse Reinforcement Learning) 방식 : 에이전트가 전문가의 행동시연을 직접 학습하는 대신 전문가의 행동 패턴으로부터 보상 함수를 추론하고 보상 함수가 추정되면 에이전트는 이 보상을 최대화하는 방향으로 학습함으로써, 잠재적으로 보이지 않는 상황을 더 잘 일반화하는 정책을 도출하는 방식이다.
모방학습은 자율주행에서 운전자의 조작을 모방하는 방식이나, 인간의 작업 시연 모방하여 로봇을 학습하는데 사용한다.

여기서 언급된 다양한 학습방법은 최근 AI관련 책을 읽으며 나오는 당양한 방법들을 모아 개념 위주로 정리한 것이다. 여기에 언급된 것 외에도 환경에 맞는 학습 방법들이 끊임없이 개발되고 있다.