728x90 반응형 어텐션2 [논문 리뷰 #4] Attention Mechanism에 따른 포인터 네트워크 기반 의존 구문 분석 모델 비교 Attention Mechanism에 따른 포인터 네트워크 기반 의존 구문 분석 모델 비교 : 한미래, 박성식(건국대학교 인공지능학과), 김학수(건국대학교 컴퓨터공학부) (제 33회 한글 및 한국어 정보처리 학술대회 논문집(2021년)) 00. 서론 최근 딥러닝을 활용한 의존 구문 분석 연구가 활발히 진행되고 있다. 딥러닝을 활용한 의존 구문 분석은 크게 3단계로 수행되는데 마지막 단계인 지배소 및 의존 관계 결정 단계에서 포인터 네트워크를 활용하는 방법이 사용된다. 포인터 네트워크는 내부적으로 어텐션(attention)기법을 응용해 동작한다. 이는 어떤 어텐션 기법을 사용하는지에 따라 포인터 네트워크의 성능이 달라지는지를 의미한다. 이 논문은 포인터 네트워크 기반 한국어 의존 구문 분석의 지배소 및 의.. 2023. 5. 13. [논문 리뷰 #3] 긴 문서를 위한 BERT 기반의 End-to-End 한국어 상호참조 해결 긴 문서를 위한 BERT 기반의 End-to-End 한국어 상호참조해결 : 조경빈, 정영준, 이창기 (강원대학교 빅데이터메디컬융합학과), 류지희, 임준호 (한국전자통신 연구원) (제 33회 한글 및 한국어 정보처리 학술대회 논문집(2021년)) 00. 서론 최근 한국어 상호참조해결 연구에서는 BERT를 이용해 단어의 문맥 표현을 얻어 성능을 향상시켰다. 하지만 512토큰 이상의 긴 문서를 처리하기 위해서는 512이 토큰 이하로 문서를 분할하여 처리하기 때문에 길이가 긴 문서에 대해서는 상호참조해결 성능이 낮아지는 문제가 있다. 이 논문에서는 512토큰 이상의 긴 문서를 위한 BERT기반 End-to-End 상호참조해결 모델을 제안한다. 01. 상호참조해결 상호참조해결이란 동일한 개체(entitiy)를 의.. 2023. 5. 12. 이전 1 다음 728x90 반응형
