정답 열쇠: NLP로 질문 응답의 잠재력 열기

출처

목차

AI에서의 질문 응답(QA)이란?

NLP에서의 질의응답(QA)이란?

질의응답(QA)의 과제는 무엇인가?

질문의 의미 이해하기 첫 번째 과제는 문장이 복잡하거나 모호하더라도 질문 뒤에 있는 의도를 파악하는 것입니다. 이를 위해 AI 시스템은 자연어에 대한 깊은 이해와, 발음이나 표현이 비슷한 단어와 구를 구별하는 능력을 갖춰야 합니다. 이러한 지점에서 모델의 효과가 드러납니다. 일반적으로 모델이 복잡해질수록 실제 맥락을 더 깊이 이해하고 반영할 수 있습니다. 이는 매우 중요합니다. 대부분의 경우 주어진 질문은 바꿔 말해질 수 있고, 불명확할 수 있으며, 효과적으로 답하려면 ��로 떨어진 여러 문장을 종합해야 할 때도 있기 때문입니다.
정보 검색하기 또 다른 중요한 과제는 방대한 데이터에서 관련 정보를 추출하는 것입니다. AI 시스템은 필요한 답을 제공하기 위해 방대한 텍스트 데이터를 효율적으로 검색할 수 있어야 합니다. 이를 위해 의미 분석, 정보 추출과 같은 정교한 정보 검색 기법을 활용합니다. 예를 들어 획기적인 AI 도구인 ChatGPT는 대규모 데이터로 학습되었으며, 텍스트 데이터 45테라바이트. 여전히 몇 초 만에 필요한 답을 반환할 수 있음에도 불구하고.
지식 표현하기 정확한 답을 제공하려면, AI 시스템은 처리하는 데이터에 담긴 지식을 이해하고 표현할 수 있어야 합니다. 이를 위해 온톨로지와 의미 네트워크 같은 고급 지식 표현 기법을 사용해 정보를 분류하고 조직합니다. 이러한 기법의 주된 목적은 문장 안에서 서로 다른 단어들이 어떻게 연관되는지 모델이 이해하도록 하는 데 있습니다. 이를 위해 단어 토크나이즈가 필요하며, 텍스트를 토큰이라 불리는 더 작은 단위로 분해해 컴퓨터 프로그램이 분석하고 처리할 수 있게 합니다.
맥락적 추론 질문의 의미를 이해하는 것뿐 아니라, AI 시스템은 질문이 놓인 맥락을 파악하고 그 맥락에 적합하고 관련성 있는 답을 제공해야 합니다. 이를 위해 시스템은 서로 다른 정보 조각들 간의 관계를 깊이 이해하고, 그 관계에 근거해 판단을 내릴 수 있어야 합니다.
정답 검증하기 마지막으로, AI 시스템은 출처의 신뢰도와 잠재적 편향 같은 요소를 고려해 자신의 답변의 정확성을 검증할 수 있어야 합니다. 이를 위해서는 정보를 비판적으로 평가하고, 여러 증거원을 기반으로 판단을 내려야 합니다. 아울러 이러한 모델은 사람에 의해 생성된 데이터로 학습되며 그 안에는 종종 부정확성이 포함되므로, 모델의 정확성에 과도하게 의존해서는 안 됩니다.

생성형 질문응답이란?

출처



질문응답 시스템은 어떻게 만들까요?

데이터 수집 및 전처리: 가장 먼저 필요한 것은 시스템이 학습할 대규모 텍스트 말뭉치입니다. 이 데이터는 뉴스 기사, 서적, 데이터베이스 등에서 수집할 수 있습니다. 그다음 데이터 정제와 포맷팅을 통해 후속 처리에 적합한 형태로 준비해야 합니다. 여기에는 불필요한 정보를 제거하고, 어간 추출이나 표제어 처리(레mmatization)를 적용하며, 텍스트를 개별 단어 또는 구 단위로 토크나이즈하는 과정이 포함될 수 있습니다.
정보 검색: 다음으로, 질문에 답하기 위해 텍스트 말뭉치에서 관련 정보를 추출하는 알고리즘을 개발해야 합니다. 여기에는 키워드 검색, 텍스트 분류, 개체명 인식과 같은 기법이 포함될 수 있습니다. 예를 들어 키워드 검색 알고리즘은 질문에 포함된 단어를 바탕으로 말뭉치에서 가장 관련성 높은 문서를 식별하는 데 도움이 됩니다.
질문 분석: 질문의 의도를 파악하고 정보 검색을 이끌 핵심 키워드와 구를 식별하기 위해 질문을 분석하는 것이 중요합니다. 이를 위해 품사 태깅, 의존 구문 분석, 개체명 인식과 같은 기법을 사용해 질문 속의 중요한 단어와 구를 찾아낼 수 있습니다.
답변 생성: 관련 정보를 검색한 뒤에는 QA 시스템이 자연어로 응답을 생성해야 합니다. 이를 위해 보통 텍스트 생성과 요약 같은 기법을 사용합니다. 예를 들어, 텍스트 생성 알고리즘은 앞선 단계에서 검색된 가장 관련성 높은 정보를 바탕으로 응답을 만들어낼 수 있습니다.
모델 학습: QA 시스템은 전처리된 텍스트 데이터와 생성된 답변으로 학습되어 성능과 정확도를 향상해야 합니다. 이를 위해 사용할 수 있는 방법으로는 지도 학습 또는 비지도 머신러닝 데이터에서 패턴을 식별하고 생성된 답변의 정확도를 향상시키기 위한 알고리즘.
모델 평가: 마지막으로 정밀도, 재현율, F1 점수 같은 지표를 사용해 QA 시스템의 성능을 평가해야 합니다. 이를 통해 시스템이 질문에 얼마나 정확히 답하는지 파악하고 개선이 필요한 부분을 식별할 수 있습니다.

질문 응답을 위한 데이터셋

SQuAD(Stanford Question Answering Dataset)는 위키피디아 문서를 기반으로 10만 개가 넘는 질문과 답변을 포함한, 이 분야에서 가장 널리 사용되고 인기 있는 데이터셋 중 하나입니다.
MS MARCO는 질문 응답(QA) 시스템의 복잡한 질문 이해 능력에 초점을 맞추며, 웹 페이지에서 답을 제공합니다.
20년 넘게 이 분야에서 활용되어 온 TREC QA는 다양한 출처에서 수집한 질문과 답변을 포함합니다.
HotpotQA는 여러 문단을 종합적으로 추론해 정답을 찾아야 하는 멀티홉 질문 응답 데이터셋입니다.
BioASQ는 생물의학 분야의 시맨틱 색인과 질문 응답을 위한 벤치마크입니다.
CoQA는 대화형 질문 응답(QA) 데이터셋으로, 모델이 문맥을 유지하고 질문과 답변 간의 관계를 이해할 것을 요구합니다.
MultiRC는 기계 독해에서 여러 문장을 종합적으로 추론하는 능력을 평가하기 위한 데이터셋이며,
RACE는 영어 기계 독해와 질문 응답을 위한 대규모 데이터셋입니다.

Hugging Face로 질문 응답 처리하기

출처

튜토리얼

1단계: 필요한 라이브러리 불러오기

import torch
from transformers import BertForQuestionAnswering, BertTokenizer

2단계: 사전 학습된 모델 불러오기

model = BertForQuestionAnswering.from_pretrained("bert-large-uncased-whole-word-masking-finetuned-squad")
tokenizer = BertTokenizer.from_pretrained("bert-large-uncased-whole-word-masking-finetuned-squad")

3단계: 테스트 샘플 만들기

question = "Where is the Great Barrier Reef located?"

4단계: Answer_text와 질문 토크나이즈하기

input_ids = tokenizer.encode(question, answer_text)

5단계: 어텐션 마스크 생성하기

attention_mask = [1] * len(input_ids)

6단계: 모델 출력 얻기

output = model(torch.tensor([input_ids]), attention_mask=torch.tensor([attention_mask]))

7단계: 시작 인덱스와 종료 인덱스 정의하기

start_index = torch.argmax(output[0][0, :len(input_ids) - input_ids.index(tokenizer.sep_token_id)])
end_index = torch.argmax(output[1][0, :len(input_ids) - input_ids.index(tokenizer.sep_token_id)])

8단계: 최종 답변 디코딩하기

answer = tokenizer.decode(input_ids[start_index:end_index + 1], skip_special_tokens=True)
print("Answer:", answer)

출력

Answer: coral sea

결론