저번에는 Chat GPT의 결과물을 제어하는 파라미터 중 창의성과 관련이 있는 temperature의 역할에 대해서 알아봤는데요.
이번에는 챗GPT가 생성하는 결과물의 수를 제어하는 역할을 하는 Beam Width에 대해 알아보겠습니다.
1. Chat GPT에서 Beam Width의 역할 : 결과물의 수
Beam Width는 생성형 AI 모델에서 다음에 올 단어나 문장을 예측할 때 고려하는 후보의 수를 제한하는 파라미터입니다. 즉 Beam Width가 높을수록 더 많은 후보를 고려하며, 예측이 더욱 다양해집니다.
하지만 이는 모델이 계산하는 비용이 증가할 수 있고, 모델이 예측한 문장이 불필요하거나 모순되는 경우가 발생할 수도 있습니다. 반면, Beam Width가 낮을수록 예측이 더 일관성 있고 확실해집니다. 일반적으로 Beam Width는 적절한 값을 찾기 위해 실험과 조정을 거쳐 사전에 결정됩니다.
2. Chat GPT와 직접 대화해서 비교해보기
제가 직접 Chat GPT에게 다음과 같이 물어봤습니다.
"Beam Width 값을 최대치로 올렸다고 가정해서 답변을 할 경우와, 최소치로 내렸다고 가정해서 답변을 했을 때 그 차이점을 구체적인 예시로 보여줄 수 있어?"
여기에 Chat GPT는 아래와 같이 대답했습니다.
"예를 들어, 이번 주말에 뭐 할까? 라는 질문에 대한 답변으로 Beam Width 값을 높게 설정한 경우에는 영화 보기, 쇼핑, 카페에서 커피 마시기, 공원에서 산책하기, 레스토랑에서 식사하기 등 다양한 답변이 나오지만, Beam Width 값을 낮게 설정한 경우에는 영화 보기 하나만 답변으로 나올 것입니다."
또 한 가지 의문이 생겨서 다음과 같이 질문을 해봤습니다.
"너의 파라미터 값 중에서 beam width 값을 내리거나 올리거나 하는 행위를 네가 스스로 조정할 수 있어?"
여기에 Chat GPT는 이렇게 대답을 했습니다.
"저는 GPT-3.5 모델을 기반으로 한 대규모 언어 모델이기 때문에, beam width와 같은 하이퍼파라미터 값들은 모델 훈련 과정에서 사전에 정의되고 설정되며, 이후에는 고정되어 있습니다. 따라서, 저는 스스로 beam width와 같은 하이퍼 파라미터 값을 조정할 수 없습니다.
그러나, beam search 알고리즘을 사용하여 텍스트 생성 작업을 수행할 때, 사용자가 beam width 값을 설정할 수 있습니다.
일반적으로, 더 높은 beam width 값은 더 다양한 출력 결과를 생성하지만, 계산 비용이 더 높아질 수 있습니다. 반대로, 더 낮은 beam width 값은 계산 비용이 낮아지지만, 생성되는 출력 결과의 다양성이 낮아질 수 있습니다. 따라서, 사용자는 자신의 용도에 적합한 beam width 값을 선택할 수 있습니다."
다른 방식으로 챗gpt에게 직접 아래와 같이 물어봤습니다.
- max_length: 2048(최대로 설정, 결과 값의 길이를 의미)
- writing style : conversational(대화적인)
 |
| < Beam width의 역할과 예시 > |
3. 결론 : 챗GPT와 끊임없는 대화
보수적이거나 일반적인 답변보다는 다양한 답변을 원한다면 Beam Width 값을 높여서 답변을 다시 해 달라고 챗GPT에게 요청해 보시기 바랍니다.
우리가 원하는 답을 얻기 위한 가장 쉬운 방법은 'Chat GPT와 끊임없는 대화"입니다.
완벽한 프롬프트를 한번에 입력해서 한번에 원하는 답은 절대 얻을 수 없습니다. 그래서 온라인 상에서 프롬프트를 가지고 장사하는 사람에게 절대 속지 마세요. 세상에 만능인 프롬프트는 없습니다.
결국 내가 내 상황과 맥락에 맞춰 합당한 프롬프트를 만들어가야 합니다.
긴 글 읽어주셔서 감사합니다.
[같이 읽어보면 좋은 글]
