정답의 열쇠: NLP로 질문 응답의 잠재력 열기

출처

목차

AI에서의 질문 응답이란 무엇인가?

NLP에서의 질문 응답이란 무엇인가?

질문 응답의 과제는 무엇인가?

질문의 의미 이해하기: 첫 번째 과제는 질문의 문장이 복잡하거나 모호하더라도 그 뒤에 있는 의도를 파악하는 것입니다. 이를 위해 AI 시스템은 자연어에 대한 깊은 이해와, 비슷하게 들리는 단어와 표현을 구분하는 능력을 갖춰야 합니다. 이 지점에서 모델의 효율성이 드러납니다. 일반적으로 모델이 복잡해질수록 실제 문맥을 더 깊이 이해해 낼 수 있습니다. 이��� 매우 중요합니다. 대부분의 경우 주어진 질문은 다른 방식으로 바뀌어 표현되거나 모호할 수 있고, 효과적으로 답하려면 문서 내 떨어져 있는 여러 문장을 함께 고려해야 할 때도 있기 때문입니다.
정보 검색하기: 또 다른 중요한 과제는 방대한 데이터에서 관련 정보를 추출하는 것입니다. AI 시스템은 필요한 답변을 제공하기 위해 방대한 텍스트 데이터 속에서 필요한 정보를 효율적으로 검색할 수 있어야 합니다. 이를 위해 의미 분석과 정보 추출과 같은 정교한 정보 검색 기법을 사용합니다. 예를 들어, 혁신적인 AI 도구인 ChatGPT는 수십억 단어 규모의 데이터로 학습되었으며 텍스트 데이터 45테라바이트. 여전히 몇 초 만에 필요한 답을 반환할 수 있습니다.
지식 표현하기: 정확한 답을 제공하려면, AI 시스템은 처리하는 데이터에 담긴 지식을 이해하고 표현할 수 있어야 합니다. 이를 위해 온톨로지와 시맨틱 네트워크 같은 고급 지식 표현 기법을 사용해 정보를 분류하고 체계화합니다. 이러한 기법의 주된 목적은 문장 안에서 서로 다른 단어들이 어떻게 관계를 맺는지 모델이 파악하도록 돕는 것입니다. 이를 위해서는 단어 토크나이징이 필요하며, 이는 텍스트를 토큰이라 불리는 더 작은 단위로 분해해 컴퓨터 프로그램이 분석하고 처리할 수 있도록 하는 과정입니다.
문맥적 추론하기: 질문의 의미를 이해하는 것뿐 아니라, AI 시스템은 질문이 놓인 문맥을 파악하고 그 문맥에 적절하고 관련성 있는 답을 제공해야 합니다. 이를 위해 시스템은 서로 다른 정보 조각들 사이의 관계를 깊이 이해하고, 그 관계에 근거해 판단을 내릴 수 있어야 합니다.
정답 검증하기: 마지막으로, AI 시스템은 출처의 신뢰성과 잠재적 편향과 같은 요소를 고려해 자신의 답의 정확성을 검증할 수 있어야 합니다. 이를 위해 시스템은 정보를 비판적으로 평가하고, 여러 근거를 종합해 판단을 내려야 합니다. 또한 이러한 모델은 인간이 생성한 데이터로 학습되어 종종 부정확한 내용이 포함되어 있으므로, 그 정확성에 과도하게 의존해서는 안 함은 두말할 필요도 없습니다.

생성형 질의응답이란?

출처



질의응답 시스템은 어떻게 구축하나요?

데이터 수집 및 전처리: 가장 먼저 필요한 것은 시스템이 학습할 수 있는 대규모 텍스트 말뭉치입니다. 이 데이터는 뉴스 기사, 책, 데이터베이스 등에서 수집할 수 있습니다. 그다음에는 후속 처리를 위해 데이터를 정제하고 표준 형식으로 변환해야 합니다. 여기에는 불필요한 정보를 제거하고, 단어를 스테밍 또는 표제어 추출로 정규화하며, 텍스트를 개별 단어 또는 구 단위로 토크나이즈하는 작업이 포함될 수 있습니다.
정보 검색: 다음으로, 질문에 답하기 위해 텍스트 말뭉치에서 관련 정보를 추출할 수 있는 알고리즘을 개발해야 합니다. 이를 위해 키워드 검색, 텍스트 분류, 개체명 인식과 같은 기법을 사용할 수 있습니다. 예를 들어, 키워드 검색 알고리즘은 질문에 포함된 단어를 바탕으로 말뭉치에서 가장 관련성이 높은 문서를 식별하는 데 도움이 됩니다.
질문 분석: 질문의 의도를 파악하고 정보 검색 과정을 이끌 핵심 키워드와 구를 식별하기 위해 질문을 분석하는 것이 중요합니다. 이를 위해 품사 태깅, 의존 구문 분석, 개체명 인식 같은 기법을 활용해 질문 속의 중요한 단어와 구를 찾아낼 수 있습니다.
답변 생성: 관련 정보를 검색해 왔다면, Question Answering(QA) 시스템은 이를 바탕으로 자연어로 답변을 생성해야 합니다. 이 과정에는 보통 텍스트 생성과 요약 같은 기법이 활용됩니다. 예를 들어, 텍스트 생성 알고리즘은 앞선 단계에서 검색된 가장 관련성 높은 정보를 근거로 답변을 만들어낼 수 있습니다.
모델 학습: Question Answering(QA) 시스템은 성능과 정확도를 높이기 위해 전처리된 텍스트 데이터와 생성된 답변으로 학습되어야 합니다. 이를 위해 사용할 수 있는 방법으로는 지도 학습 또는 비지도 학습 데이터에서 패턴을 식별하고 생성된 답변의 정확도를 높이기 위한 알고리즘.
모델 평가: 마지막으로, 정밀도(precision), 재현율(recall), F1 점수 같은 지표를 사용해 Question Answering(QA) 시스템의 성능을 평가해야 합니다. 이를 통해 시스템이 질문에 얼마나 정확하게 답하는지 파악하고, 개선이 필요한 부분을 식별할 수 있습니다.

Question Answering(QA)용 데이터셋

SQuAD(Stanford Question Answering Dataset)는 이 분야에서 가장 널리 사용되고 인기 있는 데이터셋 중 하나로, 위키피디아 문서를 기반으로 한 10만 개가 넘는 질문과 답변을 포함합니다.
MS MARCO는 복잡한 질문을 이해하는 질문응답(QA) 시스템의 능력에 초점을 맞추며, 웹 페이지에서 답변을 제공합니다.
TREC QA는 이 분야에서 20년 넘게 활용되어 온 데이터셋으로, 다양한 출처에서 수집한 질문과 답변을 포함합니다.
HotpotQA는 여러 문단에 걸친 추론을 통해 답을 찾아야 하는 멀티홉 질문응답(QA) 데이터셋입니다.
BioASQ는 생의학 분야의 시맨틱 색인과 질문응답(QA)을 위한 벤치마크입니다.
CoQA는 대화형 질문응답(QA) 데이터셋으로, 모델이 문맥을 유지하고 질문과 답변 사이의 관계를 이해할 것을 요구합니다.
MultiRC는 기계 독해에서 여러 문장을 종합해 추론하는 능력을 평가하는 데이터셋이며,
RACE는 영어 기계 독해와 질문응답(QA)을 위한 대규모 데이터셋입니다.

Hugging Face를 활용한 질문응답(QA)

출처

튜토리얼

1단계: 필요한 라이브러리 가져오기

import torch
from transformers import BertForQuestionAnswering, BertTokenizer

2단계: 사전 학습된 모델 불러오기

model = BertForQuestionAnswering.from_pretrained("bert-large-uncased-whole-word-masking-finetuned-squad")
tokenizer = BertTokenizer.from_pretrained("bert-large-uncased-whole-word-masking-finetuned-squad")

3단계: 테스트 샘플 만들기

question = "Where is the Great Barrier Reef located?"

4단계: Answer_text와 질문 토크나이즈하기

input_ids = tokenizer.encode(question, answer_text)

5단계: 어텐션 마스크 만들기

attention_mask = [1] * len(input_ids)

6단계: 모델 출력 얻기

output = model(torch.tensor([input_ids]), attention_mask=torch.tensor([attention_mask]))

7단계: 시작 인덱스와 종료 인덱스 정의하기

start_index = torch.argmax(output[0][0, :len(input_ids) - input_ids.index(tokenizer.sep_token_id)])
end_index = torch.argmax(output[1][0, :len(input_ids) - input_ids.index(tokenizer.sep_token_id)])

8단계: 최종 답변 디코딩하기

answer = tokenizer.decode(input_ids[start_index:end_index + 1], skip_special_tokens=True)
print("Answer:", answer)

출력

Answer: coral sea

결론