📚 RAG 구현

이전 글을 통해, 사용자의 질문과 연관 있는 도메인 문서를 가져오는 Retreival 작업을 완료하였습니다.

이번에는 이 찾아온 문서를 바탕으로 LLM 에게 질문을 해, 우리 도메인에 알맞은 응답을 하도록 만들어 주겠습니다.

Github 에 원본 코드가 모두 들어있습니다.

목표

LLM 모델 연결 및 프롬프트 작성
찾은 문서와 함께, LLM 에게 질문
응답을 SseEmitter 를 사용하여 Stream 하게 응답

최종적으로 다음과 같은, 챗봇을 만들 수 있습니다.

적용

이전에 적용한 내용에서 추가 작성됩니다.

Langchain4J EmbeddingModel 추가

Langchain4J 프레임워크에서는, LLM 과의 연결을 ChatModel 이라는 추상화 객체를 통해 기능을 추상화 해두었습니다.

현재 저희의 목표는 질문에 대한 응답을, Stream 하게 처리하는 것 이기 때문에, StreamingChatModel이라는 객체를 사용하겠습니다.

저는 현재 OpenAI 사의 gpt-5-mini 모델을 사용하고 있습니다. (링크)
이 모델은 Streaming 을 지원합니다.
혹시, 다른 모델을 사용하실 분들은, 이 Straming 이 처리가 되는지 확인하시기 바랍니다.

OpenAiConfig

@Profile("!test")
@Configuration
@RequiredArgsConstructor
public class OpenAiConfig {

	private final OpenAiProperties openAiProperties;

	@Bean
	public EmbeddingModel embeddingModel() {
		return OpenAiEmbeddingModel.builder()
			.apiKey(openAiProperties.getApiKey())
			.modelName(openAiProperties.getEmbeddingModelName())
			.user("baekgwa")
			.build();
	}

	@Bean
	public StreamingChatModel streamingChatModel() {
		return OpenAiStreamingChatModel
			.builder()
			.apiKey(openAiProperties.getApiKey())
			.modelName(openAiProperties.getLlmModelName())
			.build();
	}
}

이전과 마찬가지로, openAiProperties 를 통해, application.yml 의 변수를 가져오고 있습니다.
@Value 등을 사용해서 가져와도 전혀 무관합니다.

Service 로직 작성

searchPosts을 작성 완료해 줍니다.

기존에는, Retrieval 단계에서 종료 되었습니다.

AiService

package baekgwa.blogserver.domain.ai.service;

import static baekgwa.blogserver.infra.embedding.service.EmbeddingPostMetadataKeys.*;

import java.io.IOException;
import java.util.List;
import java.util.Map;
import java.util.Optional;

import org.springframework.stereotype.Service;
import org.springframework.transaction.annotation.Transactional;
import org.springframework.web.servlet.mvc.method.annotation.SseEmitter;

import baekgwa.blogserver.domain.ai.dto.AiRequest;
import baekgwa.blogserver.domain.ai.dto.EmbeddingPostRequest;
import baekgwa.blogserver.infra.embedding.service.EmbeddingService;
import baekgwa.blogserver.model.embedding.entity.EmbeddingFailureEntity;
import baekgwa.blogserver.model.embedding.entity.EmbeddingJob;
import baekgwa.blogserver.model.embedding.repository.EmbeddingFailureRepository;
import baekgwa.blogserver.model.post.post.entity.PostEntity;
import baekgwa.blogserver.model.post.post.repository.PostRepository;
import baekgwa.blogserver.model.post.tag.entity.PostTagEntity;
import baekgwa.blogserver.model.post.tag.repository.PostTagRepository;
import baekgwa.blogserver.model.tag.entity.TagEntity;
import dev.langchain4j.data.message.ChatMessage;
import dev.langchain4j.data.message.SystemMessage;
import dev.langchain4j.data.message.UserMessage;
import dev.langchain4j.data.segment.TextSegment;
import dev.langchain4j.model.chat.StreamingChatModel;
import dev.langchain4j.model.chat.response.ChatResponse;
import dev.langchain4j.model.chat.response.StreamingChatResponseHandler;
import dev.langchain4j.store.embedding.EmbeddingMatch;
import dev.langchain4j.store.embedding.EmbeddingSearchResult;
import lombok.RequiredArgsConstructor;
import lombok.extern.slf4j.Slf4j;

/**
 * PackageName : baekgwa.blogserver.domain.ai.service
 * FileName    : AiService
 * Author      : Baekgwa
 * Date        : 25. 11. 12.
 * Description : 
 * =====================================================================================================================
 * DATE          AUTHOR               NOTE
 * ---------------------------------------------------------------------------------------------------------------------
 * 25. 11. 12.     Baekgwa               Initial creation
 */
@Slf4j
@Service
@RequiredArgsConstructor
public class AiService {

	private final EmbeddingService embeddingService;
	private final PostRepository postRepository;
	private final PostTagRepository postTagRepository;
	private final EmbeddingFailureRepository embeddingFailureRepository;
	private final StreamingChatModel streamingChatModel;

	// 기존 코드

	public void searchPosts(AiRequest.AiSearchPost request, SseEmitter emitter) {
		// 1. 질문 내용 사전 처리. 용어 통일
		// 미구현

		// 2. Retrieval
		EmbeddingSearchResult<TextSegment> searchResult =
			embeddingService.searchRetrievalPost(request.getSentence(), request.getFilter());

		// 3. Question to LLM
		streamToEmitter(request, emitter, searchResult);
	}

	private void streamToEmitter(
		AiRequest.AiSearchPost request,
		SseEmitter emitter,
		EmbeddingSearchResult<TextSegment> retrievalResult
	) {
		// 1. SystemMessage 작성 (기본 역할 부여)
		String systemPrompt = """
			당신은 '백과'의 블로그 콘텐츠를 기반으로 사용자의 질문에 답변하는 AI 어시턴트입니다.
			당신의 모든 답변은 반드시 제공된 문서(검색 결과)에 기반해야 합니다.
			""";

		// 2. 검색된 문서 내용을 프롬프트에 포함
		String context = buildRetrievalContext(retrievalResult);

		String finalInstructions = """
			[검색된 문서 내용]
			%s
			
			[최종 지시 사항]
			아래 규칙에 따라 Markdown 형식으로 가독성 높게 답변하세요.
			
			---
			
			## 🔒 절대 규칙
			
			1. 반드시 검색된 문서 내용에 기반하여 답변하세요.
			   문서 내용에 없는 정보는 절대 생성하거나 추측하지 마세요.
			   문서가 없다면 다음 문장을 그대로 출력하세요:
			   **"현재 백과 블로그에는 관련 포스팅이 없습니다 😔"**
			
			
			2. **모든 단락(문단)은 엔터 2번(= 빈 줄 1개)을 사용하여 구분해야 합니다.**
			   즉, 단락과 단락 사이에는 반드시 **빈 줄이 한 줄 들어가야 합니다.**
			   예)  
			   문단 A 내용  
			
			   문단 B 내용  
			
			   문단 C 내용
			
			
			3. **Markdown을 적극적으로 사용하여 가독성을 높이세요.**
			   - 제목: `##`, `###`
			   - 리스트: `-`
			   - 강조: `**굵게**`
			   - 필요 시 코드블록도 사용 가능
			
			
			4. 답변은 아래 구조를 반드시 따르세요:
			
			---
			### 📌 요약  
			(문서 기반 핵심 요약 2~3줄)
			
			
			### 🔗 관련 포스트  
			아래 형식으로 최대 3개  
			- [`TITLE`](SOURCE)  
			- [`TITLE`](SOURCE)  
			- [`TITLE`](SOURCE)
			---
			
			
			5. 링크는 반드시 다음 형태를 지켜야 합니다.  
			`[TITLE](SOURCE)`  
			절대 깨뜨리지 마세요.
			
			---
			
			출력 예시:
			---
			### 📌 요약  
			멀티스레드는 하나의 프로세스 내부에서 여러 실행 흐름을 동시에 수행하는 기술입니다.
			
			
			### 🔗 관련 포스트  
			- [자바 멀티스레드 기본 개념](https://baekqa.dev/posts/multithread-basic)  
			- [Thread 클래스와 Runnable 인터페이스 차이](https://baekqa.dev/posts/thread-vs-runnable)  
			- [멀티스레드 동기화 기초](https://baekqa.dev/posts/multithread-sync)
			---
			""";

		String formattedInstructions = String.format(finalInstructions, context);
		String fullPrompt = systemPrompt + formattedInstructions;

		// 3. 메시지 구성
		List<ChatMessage> messageList = List.of(
			SystemMessage.from(fullPrompt),
			UserMessage.from(request.getSentence())
		);

		// 4. LLM 스트리밍 핸들러 생성
		StreamingChatResponseHandler handler = new StreamingChatResponseHandler() {
			@Override
			public void onPartialResponse(String partialResponse) {
				try {
					Map<String, String> dataMap = Map.of("token", partialResponse);

					emitter.send(SseEmitter.event()
						.name("message")
						.data(dataMap));

				} catch (IOException disconnect) {
					emitter.completeWithError(disconnect);
				}
			}

			@Override
			public void onCompleteResponse(ChatResponse completeResponse) {
				try {
					emitter.send(SseEmitter.event().name("done").data("[DONE]"));
					emitter.complete();
				} catch (IOException e) {
					emitter.completeWithError(e);
				}
			}

			@Override
			public void onError(Throwable error) {
				emitter.completeWithError(error);
			}
		};

		// 5. 스트리밍 요청 실행
		streamingChatModel.chat(messageList, handler);
	}

	private String buildRetrievalContext(EmbeddingSearchResult<TextSegment> result) {
		StringBuilder sb = new StringBuilder();
		for (EmbeddingMatch<TextSegment> match : result.matches()) {
			TextSegment segment = match.embedded();
			Map<String, Object> meta = segment.metadata().toMap();

			String title = meta.getOrDefault(TITLE, "제목 없음").toString();
			String source = meta.getOrDefault(SOURCE, "URL 없음").toString();

			sb.append("### ").append(title).append("\n")
				.append("TITLE : ").append(title).append("\n")
				.append("SOURCE : ").append(source).append("\n")
				.append(segment.text()).append("\n\n");
		}
		return sb.toString();
	}
}

Service 로직 상세 분석 (`streamToEmitter`)

이 메서드는 검색된 문서(Retrieval Data)와 사용자의 질문을 조합하여 LLM에게 전달하고, 그 응답을 실시간 스트리밍(SSE)으로 클라이언트에게 내려주는 핵심 역할을 수행합니다.

강력한 페르소나와 제약 조건 부여 (systemPrompt)

LLM이 아무 말이나 하지 않고, 우리가 원하는 데이터 기반의 답변만 하도록 System Prompt를 매우 정교하게 구성했습니다.

페르소나 정의: "백과 블로그의 AI 어시스턴트"라는 역할을 부여하여 일관된 톤을 유지합니다.
Context 주입 (buildRetrievalContext): 앞 단계에서 검색한 TextSegment 리스트를 문자열로 변환하여 프롬프트에 포함시킵니다. 이것이 LLM이 답변할 때 참고할 '지식'이 됩니다.
강력한 제약 조건 (Hallucination 방지):
- "반드시 검색된 문서 내용에 기반하여 답변하세요" 라는 규칙을 통해 없는 사실을 지어내는 환각 현상을 억제합니다.
- 문서가 없을 경우 출력할 고정 문구("관련 포스팅이 없습니다")를 지정하여 예외 상황을 처리합니다.
출력 형식을 제어 (Markdown & Link):
- 가독성을 위해 문단 간 빈 줄 추가, 마크다운 문법 사용을 강제했습니다.
- 특히 [제목](URL) 형태의 링크 포맷을 지정하여, 프론트엔드에서 별도 처리 없이도 클릭 가능한 링크가 생성되도록 유도했습니다.

LangChain4J 메시지 객체 구성 (SystemMessage & UserMessage)

LangChain4J 프레임워크는 대화형 모델을 위해 메시지 타입을 구분합니다.

SystemMessage: 위에서 작성한 fullPrompt(페르소나 + 검색된 문서 + 제약 조건)를 담습니다. 이는 대화의 '배경지식'과 '규칙'으로 작용합니다.
UserMessage: 사용자가 실제로 입력한 질문(request.getSentence())을 담습니다.
List 구성: 이 두 메시지를 리스트로 묶어 streamingChatModel.chat()에 전달하면, LLM은 시스템 메시지의 규칙 하에 유저 메시지에 대한 답을 생성합니다.

실시간 응답 전송 (SseEmitter & StreamingChatResponseHandler)

LLM의 응답은 생성 시간이 걸리므로, 사용자 경험을 위해 Stream(토큰 단위 전송) 방식을 사용합니다.

StreamingChatResponseHandler: LangChain4J가 제공하는 스트리밍 콜백 인터페이스를 익명 클래스로 구현했습니다.
- onPartialResponse: LLM이 토큰(글자 조각)을 생성할 때마다 즉시 호출됩니다.
  - 이때 SseEmitter를 통해 message라는 이벤트 이름으로 토큰을 JSON({"token": "..."}) 형태로 클라이언트에 전송합니다.
- onCompleteResponse: 답변 생성이 완전히 끝나면 호출됩니다.
  - [DONE] 이라는 약속된 시그널을 보내고, emitter.complete()를 호출하여 연결을 안전하게 종료합니다.
- onError: 도중 에러 발생 시 emitter.completeWithError()를 통해 클라이언트에게 에러 상황을 알립니다.

🤖 [RAG 구현] 도메인 특화 챗봇 구현 with Langchain4J

스택 시리즈LLM & RAG with Langchain4J