더 나은 세상을 위하여…

“Example Selector”는 주로 프롬프트 엔지니어링에서 few-shot 학습을 최적화하기 위해 사용되는 도구입니다.

LangChain을 활용해 대규모 언어 모델(LLM)을 다룰 때, 모델이 특정 작업을 수행하도록 유도하려면 적절한 프롬프트 설계가 필수적입니다. 특히 few-shot 학습(few-shot learning)에서는 모델에 제공되는 예시(example)가 결과의 품질에 큰 영향을 미칩니다. 그러나 모든 상황에서 고정된 예시를 사용하는 것은 비효율적일 수 있습니다. 작업의 맥락이나 입력 데이터에 따라 적합한 예시가 달라질 수 있기 때문입니다. 이 문제를 해결하기 위해 LangChain은 Example Selector라는 강력한 도구를 제공합니다.

Example Selector는 입력된 쿼리나 작업에 따라 동적으로 적합한 예시를 선택해 프롬프트에 포함시키는 도구입니다. LangChain에서 few-shot 학습을 구현할 때, 모든 예시를 나열하는 대신, 주어진 상황에 가장 관련성 높은 예시를 자동으로 골라내어 모델의 성능을 최적화합니다. 이는 특히 데이터셋이 크거나 예시의 다양성이 중요한 경우에 유용합니다.

예를 들어, 고객 지원 챗봇을 개발한다고 가정해봅시다. 사용자가 “결제 오류”에 대해 질문하면, 결제와 관련된 예시를 제공하는 것이 효과적입니다. 반면 “배송 지연”에 대한 질문에는 배송 관련 예시가 더 적합합니다. Example Selector는 이러한 맥락적 요구를 충족하도록 설계되었습니다.

Example Selector의 주요 유형

LangChain은 다양한 상황에 맞춘 여러 Example Selector를 제공합니다. 아래에서 대표적인 유형을 살펴보겠습니다.

1. Semantic Similarity Example Selector

• 설명: 입력 쿼리와 예시 간의 의미적 유사성을 계산해 가장 관련성 높은 예시를 선택합니다. 이를 위해 일반적으로 임베딩 모델(예: OpenAI의 텍스트 임베딩)을 사용합니다.
• 작동 원리: 쿼리와 예시를 벡터로 변환한 뒤, 코사인 유사도(cosine similarity) 같은 메트릭을 활용해 유사도를 측정합니다.
• 사용 사례: 질문 답변 시스템, 문서 요약 등에서 입력과 의미적으로 가까운 예시가 필요한 경우.
• 장점: 맥락에 따라 동적으로 예시를 선택하므로 모델의 응답 품질이 향상됩니다.
• 예제 코드:

from langchain.prompts import FewShotPromptTemplate, PromptTemplate
from langchain.prompts.example_selector import SemanticSimilarityExampleSelector
from langchain_ollama import OllamaEmbeddings
from langchain_chroma import Chroma

# 예시 데이터셋
examples = [
    {"input": "결제 오류가 발생했어요", "output": "결제 오류는 보통 카드 정보가 잘못 입력되었거나 은행 문제일 수 있습니다."},
    {"input": "배송이 늦어졌어요", "output": "배송 지연은 물류 상황에 따라 발생할 수 있으며, 추적 번호로 확인 가능합니다."}
]

# 임베딩 및 벡터 저장소 설정
embeddings = OllamaEmbeddings(model='exaone3.5')
selector = SemanticSimilarityExampleSelector.from_examples(
    examples,
    embeddings,
    Chroma,
    k=1  # 선택할 예시 개수
)

# 프롬프트 템플릿
prompt = FewShotPromptTemplate(
    example_selector=selector,
    example_prompt=PromptTemplate.from_template("입력: {input}\n출력: {output}"),
    prefix="다음 질문에 답변하세요:",
    suffix="\n질문: {query}",
    input_variables=["query"]
)

# 프롬프트 생성
query = "결제 문제가 있어요"
formatted_prompt = prompt.format(query=query)
print(formatted_prompt)

다음 질문에 답변하세요: 입력: 결제 오류가 발생했어요 출력: 결제 오류는 보통 카드 정보가 잘못 입력되었거나 은행 문제일 수 있습니다. 질문: 결제 문제가 있어요

2. Length-Based Example Selector

• 설명: 예시의 길이를 기준으로 선택합니다. 예를 들어, 너무 긴 예시는 제외하거나 짧은 예시만 선택할 수 있습니다.
• 작동 원리: 예시 텍스트의 문자 수나 토큰 수를 계산해 조건에 맞는 예시를 필터링합니다.
• 사용 사례: 프롬프트 길이 제한이 있는 환경(예: 특정 LLM의 토큰 한도)에서 유용합니다.
• 장점: 간단하고 빠르게 적용 가능합니다.
• 예제 코드:

from langchain.prompts.example_selector import LengthBasedExampleSelector

examples = [
    {"input": "안녕", "output": "안녕하세요!"},
    {"input": "오늘 날씨 어때요?", "output": "오늘은 맑고 따뜻한 날씨입니다. 외출하기 좋아요."}
]

# 예시 포맷팅 템플릿 생성 (추가)
example_prompt = PromptTemplate.from_template("입력: {input}\n출력: {output}")

selector = LengthBasedExampleSelector(
    examples=examples,
    example_prompt=example_prompt,
    max_length=20  # 최대 길이 (문자 수)
)

prompt = FewShotPromptTemplate(
    example_selector=selector,
    example_prompt=example_prompt,
    prefix="질문에 답하세요:",
    suffix="\n질문: {query}",
    input_variables=["query"]
)

print(prompt.format(query="안녕하세요"))

질문에 답하세요: 입력: 안녕 출력: 안녕하세요! 입력: 오늘 날씨 어때요? 출력: 오늘은 맑고 따뜻한 날씨입니다. 외출하기 좋아요. 질문: 안녕하세요

3. Max Marginal Relevance (MMR) Example Selector

• 설명: 유사성과 다양성을 동시에 고려해 예시를 선택합니다. 입력과 유사하면서도 서로 중복되지 않는 예시를 골라냅니다.
• 작동 원리: MMR 알고리즘을 사용해 유사도와 다양성 간 균형을 맞춥니다.
• 사용 사례: 여러 관점에서 답변을 제공해야 하는 경우(예: 창의적 글쓰기, 복잡한 문제 해결).
• 장점: 단일 주제에 치우치지 않고 다양한 예시를 활용 가능합니다.
• 예제 코드:

from langchain_community.vectorstores import FAISS
from langchain_core.example_selectors import MaxMarginalRelevanceExampleSelector
from langchain_core.prompts import FewShotPromptTemplate, PromptTemplate

# 1. 예제 데이터 정의
examples = [
    {"input": "행복한", "output": "슬픈"},
    {"input": "높은", "output": "낮은"},
    {"input": "시끄러운", "output": "조용한"},
]

# 2. 예제 포맷 템플릿 설정
example_prompt = PromptTemplate(
    input_variables=["input", "output"],
    template="입력: {input}\n출력: {output}",
)

# 3. MMR 예제 선택기 초기화
example_selector = MaxMarginalRelevanceExampleSelector.from_examples(
    examples,
    embeddings,
    FAISS,               # FAISS 벡터 저장소
    k=2,                 # 선택할 예제 수
)

# 4. FewShot 프롬프트 구성
mmr_prompt = FewShotPromptTemplate(
    example_selector=example_selector,
    example_prompt=example_prompt,
    prefix="모든 입력의 반의어를 제공하세요:",
    suffix="입력: {adjective}\n출력:",
    input_variables=["adjective"],
)

# 5. 실행 예시
print(mmr_prompt.format(adjective="불안한"))

모든 입력의 반의어를 제공하세요: 입력: 시끄러운 출력: 조용한 입력: 높은 출력: 낮은 입력: 불안한 출력:

Example Selector 활용 팁

1. 작업 맞춤화: 작업의 성격에 따라 적합한 Selector를 선택하세요. 단순한 작업에는 Length-Based를, 복잡한 맥락 이해가 필요한 경우에는 Semantic Similarity를 추천합니다.
2. 예시 데이터 준비: Selector의 성능은 제공된 예시의 품질에 크게 의존합니다. 명확하고 구체적인 예시를 준비하는 것이 중요합니다.
3. k 값 조정: 선택할 예시 개수(k)를 조정해 프롬프트의 길이와 정보 밀도를 최적화하세요.
4. 테스트와 반복: 다양한 쿼리로 Selector를 테스트하며 결과를 비교해 최적의 설정을 찾아보세요.

Example Selector 또 다른 예시

from langchain_chroma import Chroma
from langchain_ollama import OllamaEmbeddings
from langchain_core.example_selectors import MaxMarginalRelevanceExampleSelector, SemanticSimilarityExampleSelector

examples = [
   {
       "question": "스티브 잡스와 아인슈타인 중 누가 더 오래 살았나요?",
       "answer": """이 질문에 추가 질문이 필요한가요: 예.
추가 질문: 스티브 잡스는 몇 살에 사망했나요?
중간 답변: 스티브 잡스는 56세에 사망했습니다.
추가 질문: 아인슈타인은 몇 살에 사망했나요?
중간 답변: 아인슈타인은 76세에 사망했습니다.
최종 답변은: 아인슈타인
""",
   },
   {
       "question": "마이크로소프가 창립했을 때, 스티브 잡스는 몇살이었나요?",
       "answer": """이 질문에 추가 질문이 필요한가요: 예.
추가 질문: 마이크로소프트 설립일은 언제인가요?
중간 답변: 마이크로소프트는 1975년 4월 4일 빌 게이츠와 폴 앨런에 의해 설립되었다.
추가 질문: 스티브 잡스는 몇 년에 태어났나요?
중간 답변: 스티브 잡스는 1955년 2월 24일에 미국 캘리포니아주 샌프란시스코에서 태어났습니다.
최종 답변은: 20살 (1975년 - 1955년)
""",
   },
   {
       "question": "율곡 이이의 어머니가 태어난 해의 통치하던 왕은 누구인가요?",
       "answer": """이 질문에 추가 질문이 필요한가요: 예.
추가 질문: 율곡 이이의 어머니는 누구인가요?
중간 답변: 율곡 이이의 어머니는 신사임당입니다.
추가 질문: 신사임당은 언제 태어났나요?
중간 답변: 신사임당은 1504년에 태어났습니다.
추가 질문: 1504년에 조선을 통치한 왕은 누구인가요?
중간 답변: 1504년에 조선을 통치한 왕은 연산군입니다.
최종 답변은: 연산군
""",
   },
   {
       "question": "올드보이와 기생충의 감독이 같은 나라 출신인가요?",
       "answer": """이 질문에 추가 질문이 필요한가요: 예.
추가 질문: 올드보이의 감독은 누구인가요?
중간 답변: 올드보이의 감독은 박찬욱입니다.
추가 질문: 박찬욱은 어느 나라 출신인가요?
중간 답변: 박찬욱은 대한민국 출신입니다.
추가 질문: 기생충의 감독은 누구인가요?
중간 답변: 기생충의 감독은 봉준호입니다.
추가 질문: 봉준호는 어느 나라 출신인가요?
중간 답변: 봉준호는 대한민국 출신입니다.
최종 답변은: 예
""",
   },
]

# Vector DB 생성 (저장소 이름, 임베딩 클래스)
embeddings_model = OllamaEmbeddings(model="exaone3.5")
chroma = Chroma("example_selector", embeddings_model)

example_selector = SemanticSimilarityExampleSelector.from_examples(
   # 여기에는 선택 가능한 예시 목록이 있습니다.
   examples,
   # 여기에는 의미적 유사성을 측정하는 데 사용되는 임베딩을 생성하는 임베딩 클래스가 있습니다.
   embeddings_model,
   # 여기에는 임베딩을 저장하고 유사성 검색을 수행하는 데 사용되는 VectorStore 클래스가 있습니다.
   Chroma,
   # 이것은 생성할 예시의 수입니다.
   k=1,
)

question = "구글이 창립했을 때, 빌 게이츠는 몇살이었나요?"

# 입력과 가장 유사한 예시를 선택합니다.
selected_examples = example_selector.select_examples({"question": question})




from langchain_core.prompts.few_shot import FewShotPromptTemplate
from langchain_core.prompts import PromptTemplate

example_prompt = PromptTemplate.from_template(
   "Question:\n{question}\nAnswer:\n{answer}"
)



prompt = FewShotPromptTemplate(
   example_selector=example_selector,
   example_prompt=example_prompt,
   suffix="Question:\n{question}\nAnswer:",
   input_variables=["question"],
)

from langchain_ollama import ChatOllama

llm_model = ChatOllama(model='exaone3.5', temperature=0)

# 체인 생성
chain = prompt | llm_model
answer = chain.invoke({"question": question})
print(answer.content)

이 질문에 대한 정확한 답변을 위해서는 몇 가지 추가 정보가 필요합니다: 구글 창립 날짜: 구글은 1998년 9월 6일에 창립되었습니다. 빌 게이츠의 생년월일: 빌 게이츠는 1955년 10월 28일에 태어났습니다. 이제 계산해보겠습니다: 1998년 (구글 창립) – 1955년 (빌 게이츠 출생) = 43세 따라서, 구글이 창립되었을 때 빌 게이츠는 43세였습니다.

언어 모델은 방대한 데이터로 훈련되지만, 특정 작업에 대해 최적의 응답을 생성하려면 맥락(context)과 의도(intent)를 명확히 제공해야 합니다. FewShotPromptTemplate은 작업의 예시를 몇 개 제공함으로써 모델이 사용자가 원하는 출력 형식을 이해하고, 이를 기반으로 일관성 있는 결과를 생성하도록 돕습니다.

예를 들어, 질문에 대한 답변을 생성하거나, 텍스트를 특정 스타일로 변환하는 작업을 수행할 때, 단일 지시(instruction)만 제공하는 것보다 몇 가지 입력-출력 쌍을 보여주는 것이 더 효과적일 수 있습니다. 이를 “few-shot learning”이라고 부르며, FewShotPromptTemplate은 이를 체계적으로 구현한 클래스입니다.

왜 FewShotPromptTemplate을 사용하는가?

1. 맥락 제공: 모델이 작업의 의도를 더 잘 파악하도록 도와줍니다.
2. 일관성 향상: 출력 형식을 예시로 명확히 정의하여 결과의 품질을 높입니다.
3. 효율성: 긴 설명 대신 간단한 예시로 원하는 결과를 유도할 수 있습니다.
4. 적응성: 다양한 작업에 맞게 예시를 조정하여 유연하게 사용할 수 있습니다.

FewShotPromptTemplate의 기본 구조

LangChain의 FewShotPromptTemplate은 다음과 같은 구성 요소로 이루어집니다:

• examples: 모델에 제공할 입력-출력 예시 리스트.
• example_prompt: 각 예시를 형식화하기 위한 프롬프트 템플릿.
• prefix: 프롬프트의 시작 부분으로, 작업에 대한 설명이나 지시사항을 포함.
• suffix: 프롬프트의 끝 부분으로, 사용자의 실제 입력값을 삽입하는 위치를 지정.
• input_variables: 사용자 입력으로 채워질 변수 이름.
• example_separator: 각 예시 사이를 구분하는 문자열(기본값은 \n).

이제 이 요소들을 하나씩 살펴보고, 실제 코드를 통해 사용법을 익혀보겠습니다.

예제: 감정 분류기 구현하기

FewShotPromptTemplate을 사용해 텍스트의 감정을 분류하는 간단한 예제를 만들어 보겠습니다. 여기서는 긍정(positive), 부정(negative), 중립(neutral)으로 감정을 분류하는 작업을 수행합니다.

1. 필요한 모듈 임포트

먼저 LangChain에서 필요한 모듈을 가져옵니다.

from langchain.prompts import FewShotPromptTemplate, PromptTemplate

2. 예시 데이터 준비

모델에 제공할 입력-출력 쌍을 정의합니다.

examples = [
    {"text": "이 영화 정말 재미있어요!", "sentiment": "positive"},
    {"text": "음식이 너무 맛없어서 실망했어요.", "sentiment": "negative"},
    {"text": "오늘 날씨가 평범하네요.", "sentiment": "neutral"}
]

3. 예시 프롬프트 템플릿 정의

각 예시를 어떻게 표시할지 형식화합니다.

example_prompt = PromptTemplate(
    input_variables=["text", "sentiment"],
    template="입력: {text}\n출력: {sentiment}"
)

4. FewShotPromptTemplate 생성

이제 모든 요소를 조합하여 FewShotPromptTemplate을 만듭니다.

few_shot_prompt = FewShotPromptTemplate(
    examples=examples,
    example_prompt=example_prompt,
    prefix="다음 텍스트의 감정을 분류하세요. 감정은 positive, negative, neutral 중 하나로 선택합니다.\n\n",
    suffix="\n입력: {input}\n출력:",
    input_variables=["input"],
    example_separator="\n\n"
)

5. 프롬프트 출력 확인

사용자 입력을 넣어 최종 프롬프트가 어떻게 보이는지 확인합니다.

input_text = "새로운 프로젝트가 기대돼요!"
print(few_shot_prompt.format(input=input_text))

다음 텍스트의 감정을 분류하세요. 감정은 positive, negative, neutral 중 하나로 선택합니다. 입력: 이 영화 정말 재미있어요! 출력: positive 입력: 음식이 너무 맛없어서 실망했어요. 출력: negative 입력: 오늘 날씨가 평범하네요. 출력: neutral 입력: 새로운 프로젝트가 기대돼요! 출력:

이 프롬프트를 언어 모델에 전달하면, 모델은 주어진 예시를 바탕으로 “positive”라는 출력을 생성할 가능성이 높습니다.

고급 활용: 동적 예시 선택

고정된 예시 대신, 입력에 따라 관련성 높은 예시를 동적으로 선택하고 싶다면 LangChain의 SemanticSimilarityExampleSelector를 사용할 수 있습니다. 이는 입력과 유사한 예시를 벡터 유사도 기반으로 선택합니다.

예제: 동적 감정 분류기

from langchain.prompts.example_selector import SemanticSimilarityExampleSelector
from langchain_community.vectorstores import FAISS
from langchain_ollama import OllamaEmbeddings

# 임베딩 모델 설정 (OpenAIEmbeddings는 API 키 필요)
embeddings = OllamaEmbeddings(model='exaone3.5')

# 예시 벡터화 및 저장
selector = SemanticSimilarityExampleSelector.from_examples(
    examples,
    embeddings,
    FAISS,
    k=2  # 가장 유사한 2개의 예시 선택
)

# 동적 FewShotPromptTemplate 생성
dynamic_prompt = FewShotPromptTemplate(
    example_selector=selector,
    example_prompt=example_prompt,
    prefix="다음 텍스트의 감정을 분류하세요. 감정은 positive, negative, neutral 중 하나로 선택합니다.\n\n",
    suffix="\n입력: {input}\n출력:",
    input_variables=["input"],
    example_separator="\n\n"
)

# 테스트
print(dynamic_prompt.format(input="이 책 정말 감동적이에요!"))

다음 텍스트의 감정을 분류하세요. 감정은 positive, negative, neutral 중 하나로 선택합니다. 입력: 이 영화 정말 재미있어요! 출력: positive 입력: 음식이 너무 맛없어서 실망했어요. 출력: negative 입력: 이 책 정말 감동적이에요! 출력:

이 경우, 입력과 의미적으로 가까운 예시(예: “이 영화 정말 재미있어요!”)가 선택되어 모델의 성능을 더욱 향상시킬 수 있습니다.

주의사항 및 팁

1. 예시의 품질: 예시는 명확하고 작업의 의도를 잘 반영해야 합니다. 모호한 예시는 모델을 혼란스럽게 할 수 있습니다.
2. 예시 개수: 너무 많은 예시는 토큰 한도를 초과하거나 모델을 과부하로 만들 수 있으니, 보통 3~5개가 적당합니다.
3. 형식 일관성: example_prompt와 suffix의 형식이 일치해야 모델이 출력을 예측하기 쉽습니다.

FewShotPromptTemplate은 LangChain에서 언어 모델의 잠재력을 극대화하는 강력한 도구입니다. 적은 예시로도 모델이 작업을 학습하고, 일관성 있는 출력을 생성하도록 유도할 수 있습니다. 이 챕터에서 다룬 기본 예제와 고급 활용법을 바탕으로, 여러분만의 창의적인 프롬프트를 설계해보세요.

최신 대규모 언어 모델(LLM)의 강력함은 방대한 데이터로 사전 학습된 결과이지만, 특정 작업에 대해 모델을 즉각적으로 적응시키는 데는 한계가 있습니다. 이때 “퓨샷 프롬프트(Few-Shot Prompting)”는 최소한의 예시만으로도 모델이 새로운 작업을 수행하도록 유도하는 강력한 방법론으로 주목받고 있습니다. LangChain 프레임워크에서는 이러한 퓨샷 프롬프트 기법을 체계적으로 활용할 수 있는 도구와 구조를 제공합니다.

퓨샷 프롬프트는 언어 모델에게 소수의 입력-출력 예시를 제공하여, 추가적인 학습 없이도 특정 작업을 수행할 수 있도록 하는 프롬프트 엔지니어링 기법입니다. 이는 제로샷(Zero-Shot)과 풀샷(Full-Shot) 사이에 위치하며, 모델이 맥락을 이해하고 일반화된 패턴을 학습하도록 돕습니다. 예를 들어, 텍스트 분류, 질문 응답, 번역 등 다양한 작업에 대해 몇 개의 예시만으로도 모델이 적절한 출력을 생성하게 할 수 있습니다.

퓨샷 프롬프트의 작동 원리

• 예시 제공: 입력과 기대 출력의 쌍을 명시적으로 제공합니다.
• 맥락 학습(In-Context Learning): 모델이 주어진 예시를 통해 작업의 패턴을 파악합니다.
• 일반화: 새로운 입력에 대해 학습된 패턴을 적용하여 결과를 생성합니다.

LangChain에서는 이러한 과정을 체계화하여, 복잡한 작업에서도 일관성 있고 정확한 결과를 얻을 수 있도록 지원합니다.

퓨샷 프롬프트의 장점

1. 효율성: 대량의 데이터로 모델을 재학습시킬 필요 없이 소수의 예시만으로 작업 수행 가능.
2. 유연성: 다양한 작업에 적용 가능하며, 예시를 조정해 결과를 즉각적으로 튜닝 가능.
3. 비용 절감: 파인튜닝(Fine-Tuning) 대비 낮은 컴퓨팅 자원 소모.

주의점 및 최적화 팁

• 예시의 품질: 예시는 명확하고 대표적이어야 하며, 작업의 의도를 잘 반영해야 합니다.
• 예시 개수: 너무 적으면 일반화가 어렵고, 너무 많으면 모델의 처리 한계를 초과할 수 있습니다 (보통 3~5개 권장).
• 형식 일관성: 입력과 출력의 형식을 일관되게 유지하여 모델의 혼란을 최소화하세요.
• 복잡한 작업: 복잡한 작업의 경우, 예시와 함께 명확한 지침(prefix)을 추가로 제공하는 것이 좋습니다.

실전 활용 사례

1. 고객 리뷰 분류: 긍정/부정 리뷰를 자동으로 분류.
2. 질문 생성: 주제에 맞는 질문을 생성하도록 유도.
3. 텍스트 요약: 몇 가지 요약 예시를 통해 원하는 스타일로 요약 생성.