1일1개 (71) - 아임 파인 튜닝 앤유 ?

1일 1개념정리 24.08.09.금 ~ 

 

큰 결정에 큰 동기가 따르지 않을 때도 있다. 하지만 큰 결심이 따라야 이뤄낼 수 있다.

무조건 무조건 1일 1개의 개념 정리하기 !!!!!!!!!!!!!!!!!!!!!!!!!!!!!

---

#71. Fine Tuning

랭체인을 공부하다, "파인 튜닝"이라는 단어가 나왔는데 단순히 이게 개조를 의미하는 건지 이해가 안돼서 한번 정리해보려 한다.

 

Fine Tuning

쉽게 말해, "이미 학습된 모델"에 추가 학습을 시켜 특정 작업이나 도메인에 더 적합하도록 만드는 과정이다. GPT같은 대규모 모델에서는 이미 일반적인 데이터로 학습되어 있다. 그래서 일반적인 작업에는 용이하지만 특정 목적에 최적화되어있지는 않다. 그러므로 이 모델을 "파인 튜닝"해서 목적에 맞게 최적화하여 성능을 높이는 것이다. GPT를 상상하며 순서를 살펴보자.

1. 이미 학습된 모델을 준비 : 기본적으로 대량의 데이터를 통해 이미 학습된 모델을 사용한다. 이 모델은 이미 기초적인 언어나 이미지 등의 패턴을 이해하고 있다.
2. 목적에 맞는 데이터 수집 : 파인 튜닝에 사용할 도메인 특화 데이터를 수집한다. 예를 들어 의료 관련 질문에 최적화하려면, 의료 데이터를 준비해야한다.
3. 추가 학습 : 수집한 데이터로 모델을 추가 학습 시키는데, 이때 일반적인 학습보다 더 낮은 학습률을 설정하여 이미 학습된 기본 지식은 유지하면서 새로운 데이터를 학습한다.
4. 조정 : 파인 튜닝 후 모델 성능을 평가하고 필요한 경우 하이퍼파라미터를 조정하여 최적의 성능을 내도록 조정
5. 결론 : 이를 통해 특정 작업에서 높은 정확도를 얻을 수 있다. 분야별로 특화된 모델 사용 가능.

 

프롬프트 엔지니어링과 차이

파인튜닝과, 프롬프트 엔지니어링 둘 다 특정 작업에 최적화 한다는 공통점이 있지만, 접근 방식과 목적이 사뭇 다르다.

 

1. 파인 튜닝

• 모델 자체를 추가 학습시켜 특정 도메인이나 작업에 맞게 최적화
• 모델의 가중치를 변경하기 때문에, 추가 학습이 필요하고 더 많은 자원이 필요
• 장점 : 해당 작업에 대해 모델이 더 깊이 이해하고 높은 성능을 발휘할 수 있다.
• 단점 : 시간이 오래 걸리고, 학습된 모델 파일이 커질 수 있다. 도메인 특화 데이터를 준비해야 하고, 추가 학습 환경이 필요함
• 사용하는 상황 : 특정 작업에서 높은 정확도와 깊은 이해가 필요할 때, 그리고 데이터와 환경이 준비되어 있을 때
• ex) 모델에게 특정 법률 관련 답변을 잘하게 하기 위해 법률 텍스트로 모델을 재학습

 

2. 프롬프트 엔지니어링

• 모델의 사전 학습된 가중치를 수정하지 않고, 입력하는 프롬프트만 변경하여 원하는 결과를 얻는다.
• 프롬프트 설계를 통해 모델이 적절히 응답할 수 있도록 유도함
• 장점 : 추가 학습이나 자원이 필요하지 않음, 프롬프트 조정하면서 결과 얻음
• 단점 : 모델의 근본적인 성능을 개선하지는 않아서 특정 작업에 특화된 깊은 성능 향상은 어려울 수 있다.
• 사용하는 상황 : 간단한 작업 최적화가 필요하거나, 파인 튜닝이 어려운 상황에서 빠르게 효과를 볼 수 있는 방법
• ex) 법률 관련 질문에 대한 답변을 유도하기 위해 '법적으로 정확한 정보를 기반으로 답변해 주세요'라는 프롬프트 추가