저번에는 Chat GPT의 결과물을 제어하는 파라미터 중 창의성과 관련이 있는 temperature의 역할에 대해서 알아봤는데요. 이번에는 챗GPT가 생성하는 결과물의 수를 제어하는 역할을 하는 Beam Width에 대해 알아보겠습니다. 1. Chat GPT에서 Beam Width의 역할 : 결과물의 수 Beam Width는 생성형 AI 모델에서 다음에 올 단어나 문장을 예측할 때 고려하는 후보의 수를 제한하는 파라미터입니다. 즉 Beam Width가 높을수록 더 많은 후보를 고려하며, 예측이 더욱 다양해집니다. 하지만 이는 모델이 계산하는 비용이 증가할 수 있고, 모델이 예측한 문장이 불필요하거나 모순되는 경우가 발생할 수도 있습니다. 반면, Beam Width가 낮을수록 예측이 더 일관성 있고 확실해집니다. 일반적으로 Beam Width는 적절한 값을 찾기 위해 실험과 조정을 거쳐 사전에 결정됩니다. 2. Chat GPT와 직접 대화해서 비교해보기 제가 직접 Chat GPT에게 다음과 같이 물어봤습니다. "Beam Width 값을 최대치로 올렸다고 가정해서 답변을 할 경우와, 최소치로 내렸다고 가정해서 답변을 했을 때 그 차이점을 구체적인 예시로 보여줄 수 있어?" 여기에 Chat GPT는 아래와 같이 대답했습니다. "예를 들어, 이번 주말에 뭐 할까? 라는 질문에 대한 답변으로 Beam Width 값을 높게 설정한 경우에는 영화 보기, 쇼핑, 카페에서 커피 마시기, 공원에서 산책하기, 레스토랑에서 식사하기 등 다양한 답변이 나오지만, Beam Width 값을 낮게 설정한 경우에는 영화 보기 하나만 답변으로 나올 것입니다." 또 한 가지 의문이 생겨서 다음과 같이 질문을 해봤습니다. "너의 파라미터 값 중에서 beam width 값을 내리거나 올리거나 하는 행위를 네가 스스로 조정할 수 있어?" 여기에 Chat GPT는 이렇게 대답을 했습니다. "저는 GPT-3.5 모델을 기반으로 한 대규모 ...