머신 러닝을 활용한 문서 정보 추출



GitHub에서 코드를 확인하세요 →

목차

다양한 접근법

템플릿 기반 정보 추출
딥 비주얼 템플릿 프리 양식 파싱
어텐드, 복사, 파싱
그래프 합성곱 신경망
양식형 문서에서 정보 추출을 위한 표현 학습





데이터셋 상세 정보

청구서: 청구서 코퍼스는 두 가지가 있다. 첫 번째 코퍼스에는 14,237개의 청구서가, 두 번째 코퍼스에는 595개의 청구서가 포함되어 있다. 청구서들은 공통 템플릿을 공유하지 않으며, 각 청구서의 템플릿은 서로 모두 다르다.

영수증: 이 데이터셋은 ICDAR 2019 스캔된 영수증 OCR 및 정보 추출(SROIE) 강건 읽기 챌린지의 일환으로 공개된 스캔 영수증 코퍼스입니다.



{
    "company": "BOOK TA .K (TAMAN DAYA) SDN BHD",
    "date": "25/12/2018",
    "address": "NO.53 55,57 & 59, JALAN SAGU 18, TAMAN DAYA, 81100 JOHOR BAHRU, JOHOR.",
    "total": "9.00"
}

관찰사항

각 필드는 대개 잘 정의된 유형과 대응한다. 예를 들어, 다음과 같은 값들은 유력한 후보가 될 수 있다. 총액 숫자 값의 사례가 될 것이다. “Weights & Biases” 같은 텍스트는 해당 항목에 대해 명백히 올바르지 않다. 총액 필드.



각 필드 인스턴스는 키 구문과 연결됩니다. 예를 들어, 그림 1에서 날짜 인스턴스는 항상 키 구문으로 둘러싸여 있음을 추론할 수 있습니다. 날짜 또는 날짜 표시됨또한 키 구문이 항상 같은 줄에 등장하는 것도 아닙니다. 효과적인 해결책은 텍스트 정보와 함께 공간 정보를 포함하는 것입니다.



공간 정보를 어떻게 포함할까요?

핵심 구문 해당 필드에 대해 사용되는 표현은 주로 제한된 어휘에서 나옵니다. 송장에 포함된 날짜 항목의 약 93%는 “date” 또는 “dated”와 같은 핵심 구문과 함께 나타납니다(논문에서). 이는 적은 양의 학습 데이터로도 이 문제를 해결할 수 있음을 시사합니다.





OCR이미지에서 텍스트를 추출하려면 OCR을 적용해야 합니다. 다음과 같은 오픈 소스 도구를 사용할 수 있습니다. EasyOCR, PyTesseract 또는 다음과 같은 클라우드 서비스 Google OCR우리의 경우에는 ICDAR에서 이미 OCR된 텍스트를 제공했습니다.
후보 생성기(엔터티 태깅)앞서 살펴본 내용처럼 우리는 여러 후보 생성기를 사용해 후보를 생성할 것입니다. 전체 시스템의 재현율은 후보 생성기의 재현율을 넘을 수 없기 때문에, 후보 생성기의 재현율을 높게 유지하는 것이 중요합니다.
점수화 및 할당 모듈이 모듈은 신경망 모듈을 사용해 각 후보에 대해 0부터 1 사이의 점수를 독립적으로 계산하고, 그다음 각 필드에 대해 실제 추출값일 가능성이 가장 높은 점수를 받은 후보를 할당합니다.

신경 점수화 모델











결과



neighbor text > candidate position > neighbor position

모델 표현



그림 4(b)를 보면 양성 포인트는 깔끔하게 군집을 이루는 반면, 음성 포인트는 공간적으로 성긴 분포를 보인다는 것이 분명합니다.
중요한 점은 필드 임베딩이 클러스터의 중심이 아니라, 점들로부터 멀리 떨어진 클러스터의 가장자리에 위치한다는 것입니다. 이러한 패턴은 손실 함수가 본질적으로 필드 임베딩과 그 양성 샘플 사이의 코사인 거리를 최소화하고, 음성 샘플과의 거리를 최대화하도록 학습하기 때문이며, 특히 다른 필드의 양성 샘플들과의 거리를 가장 중요하게 멀어지도록 만들려는 데서 예측할 수 있습니다.
그림 4(c)에서 보면 invoice date 해당 예시는 송장 날짜 클러스터에서 멀리 떨어져 있습니다. 이것이 라벨을 지정한 주석자의 실수임이 분명합니다. purchase date 로 invoice date.
그림 4(d)에서 샘플의 후보 인코딩은 사이에 위치합니다 invoice date 및 due date이는 해당 후보가 due date와 date of invoice라는 두 용어로 둘러싸여 있기 때문이라고 설명할 수 있습니다.
그림 4(e)에서 샘플의 후보 인코딩은 …로부터 멀리 떨어져 있습니다 invoice date 클러스터입니다. 면밀히 검토한 결과, 이는 다음과 같은 이유 때문임을 확인했습니다. OCR 스캔 노이즈로 인한 오류.

결론