728x90 반응형 BERT3 [논문 리뷰 #3] 긴 문서를 위한 BERT 기반의 End-to-End 한국어 상호참조 해결 긴 문서를 위한 BERT 기반의 End-to-End 한국어 상호참조해결 : 조경빈, 정영준, 이창기 (강원대학교 빅데이터메디컬융합학과), 류지희, 임준호 (한국전자통신 연구원) (제 33회 한글 및 한국어 정보처리 학술대회 논문집(2021년)) 00. 서론 최근 한국어 상호참조해결 연구에서는 BERT를 이용해 단어의 문맥 표현을 얻어 성능을 향상시켰다. 하지만 512토큰 이상의 긴 문서를 처리하기 위해서는 512이 토큰 이하로 문서를 분할하여 처리하기 때문에 길이가 긴 문서에 대해서는 상호참조해결 성능이 낮아지는 문제가 있다. 이 논문에서는 512토큰 이상의 긴 문서를 위한 BERT기반 End-to-End 상호참조해결 모델을 제안한다. 01. 상호참조해결 상호참조해결이란 동일한 개체(entitiy)를 의.. 2023. 5. 12. [논문 리뷰 #2] 마스크 언어 모델 기반 비병렬 한국어 텍스트 스타일 변환 마스크 언어 모델 기반 비병렬 한국어 텍스트 스타일 변환 : 배장성, 이창기, 황정인, 노형종(강원대학교 컴퓨터 과학과, 엔씨소프트 NLP Center Language AI Lab) (제 33회 한글 및 한국어 정보처리 학술대회 논문집(2021년)) 00.서론 텍스트 스타일 변환은 기계학습모델을 이용해 해결 할 수 있지만 인공지능에서 항상 문제가 되듯 이 문제 또한 대량의 병렬 말뭉치를 필요로 한다. 각 스타일에 대응되는 병렬 말뭉치는 구하기 힘들 뿐더러 구축하는데도 많은 비용과 시간이 필요하다. 따라서 최근에는 비병렬 말뭉치를 이용해 텍스트 스타일 변환을 수행할 수 있도록 하는 많은 연구들이 이뤄지고 있다. 이 논문에서는 입력 텍스트의 내용을 유지하면서 삭제된 스타일 토큰을 원하는 스타일의 토큰으로 변.. 2022. 3. 11. [논문 리뷰 #1] FastText와 Bert를 이용한 자동 용어추출 FastText와 Bert를 이용한 자동 용어추출 : 최규현, 나승훈 (전북대학교 인지컴퓨팅 연구실) (제 33회 한글 및 한국어 정보처리 학술대회 논문집(2021년)) 00. 서론 자연어 처리의 다양한 task에서 핵심이 되는 용어를 추출하는 것은 중요하다. 방대한 데이터를 읽고 사람이 직접 용어를 뽑아내는 것은 굉장히 많은 노동력을 필요로 하는 작업이기 때문에 이를 자동으로 수행하는 자동추출 기술이 요구 되고 있다. 이 논문에서는 용어를 추출하는 모델을 2가지로 제안하고 있다. 01. 용어 추출 용어란 텍스트에서 중요한 역할을 하는 단어를 말한다. 텍스트의 주제에 관계가 깊은 단어라고 생각하면 된다. 전문적인 내용을 담고 있는 문서에서 용어란 그 분야의 도메인에서 우세하게 등장하는 단어를 말한다. 예.. 2021. 11. 30. 이전 1 다음 728x90 반응형
