시뮬레이터

v0.2 기준으로 작성되었습니다.

시뮬레이터는 에이전트가 사용자 메시지를 어떻게 처리하는지 확인할 수 있는 도구예요. 임의의 메시지를 입력했을 때, 어드민에 등록된 대화 주제에 매칭시키는지 혹은 언어모델이 메시지를 처리하는지 확인할 수 있어요.

이번 가이드에서 알 수 있는 정보예요.

• 시뮬레이터에서 메시지를 테스트하는 방법

• 테스트 결과 상세 내역을 확인하는 방법

---

1. 시뮬레이터에서 메시지 테스트하기

시뮬레이터는 각 프로젝트 관리 페이지에서 사용할 수 있어요. 프로젝트 목록에서 메시지를 테스트할 프로젝트를 선택하면, 페이지 우측 하단에 말풍선 모양의 시뮬레이터 버튼이 보이는데 이 버튼을 클릭하면 시뮬레이터를 사용할 수 있어요.

시뮬레이터 시작 버튼

시뮬레이터에 메시지 입력창을 입력하면, 일차적으로 어드민에 등록된 대화 주제 정보를 활용하여 입력된 메시지가 어드민에 등록된 대화 주제 중 하나에 일치하는지 판단하는 과정을 거칩니다.

어드민에 등록된 임의의 대화 주제에 매칭되면 해당 대화 주제에 등록된 답변 본문을 출력하고, 그렇지 않을 경우 사용자 메시지를 언어모델로 전달해 입력 메시지에 맞는 답변을 생성하도록 합니다.

위 과정을 마치면 사용자 메시지에 맞춰 답변이 출력됩니다.

시뮬레이터로 터스트한 결과

2. 테스트 결과 상세 내역 확인하기

시뮬레이터에서 사용자 메시지를 테스트하고 난 후, 해당 테스트의 결과를 상세하게 확인할 수 있습니다. 대화 내역 중에서, 테스트 결과를 확인하고 싶은 답변을 클릭하면 시뮬레이터 좌측에 발화 결과창이 나타납니다.

테스트 결과 상세 내역

테스트 결과 상세 내역에서 확인할 수 있는 항목은 크게 1) 메시지 처리 내역, 2) 토큰 사용내역 두가지입니다.

메시지 처리 내역

• 처리 여부: 입력된 메시지를 정상적으로 처리했는지 구분하는 값으로, true와 false 두가지로 구분 (true: 정상 처리, false: 처리 실패)

• 처리 방식: 입력 메시지의 답변을 어떤 시스템으로 처리했는지 구분하는 값으로,

  true와 false 두가지로 구분 (true: 대화 주제로 매칭, false: 언어모델로 처리)

• 대화 주제: 입력 메시지를 버블잇에 등록된 임의의 대화 주제로 매칭했을 때, 구체적으로 어떤 대화 주제에 매칭했는지 구분하는 값

• 언어모델 오류 코드: 언어모델로 메시지를 처리하는 과정에서 오류가 발생했을 때, 오류현상을 구분하는 값

토큰 사용 내역

• text_token: 어드민에 등록된 대화 주제와 비교하기 위해, 입력 메시지를 숫자로 표현할 때 사용하는 토큰

• prompt_token: 언어모델로 입력 메시지를 전달할 때 사용하는 토큰

• completion_token: 언어모델에서 자체적으로 답변을 생성할 때 사용하는 토큰

• total token: '사용자 메시지-답변'으로 구성된 한 턴의 대화를 처리하기 위해 사용된 모든 토큰으로 'text_token, prompt_token, completion_token'의 총합