728x90 반응형 NLP6 [의학용어 탐지 및 해석 모델] 말뭉치 구축 - [1] 크롤링(Crawling) 신뢰도가 높은 의학용어 사전 페이지를 크롤링하여 의학용어와 정의가 담긴 사전을 구축한다. 크롤링(Crawling)이란 쉽게 말해 웹페이지를 긁어와 원하는 정보를 추출하여 사용하는 것으로 생각하면 된다. 파이썬은 다양한 라이브러리가 구현되어있기 때문에 사용법만 익히면 편하게 이용할 수 있다. 크롤링에 필요한 라이브러리 역시 파이썬에 구현된 라이브러리를 사용한다. - beautiful soap - requests 두 라이브러리를 먼저 설치한다. 크롤링을 원하는 페이지에 접속해 F12를 눌러 관리자 모드에 진입한다. 관리자모드에 커서를 올리면 페이지의 어느 부분인지 알 수 있도록 블록처리가 된다. 원하는 정보가 있는 곳을 찾은 후 정규표현을 이용해 긁어오면 크롤링 성공이다. 의학용어 페이지를 크롤링한 코드는 .. 2023. 4. 21. 의학용어 탐지 및 해석 모델 어릴 때 부터 그런 고민을 자주 했다. 어려운 용어들이 많은 문서에서 내가 모르는 단어를 알아서 찾아 번역해주는 게 있다면 얼마나 좋을까. 고등학생때 보던 인터넷 강의에서 강사님이 그런 이야기를 했다. 의사는 환자의 눈높이에서 설명해주어야 한다며, 의학용어를 이용하면 전문가끼리 소통하는건 편하겠지만 이를 잘 모르는 환자는 이해를 잘 못한다는 것이다. 그럼 의학용어를 알아서 찾아서 쉬운말로 해석해주는 모델이 있다면 서로에게 정말 편하겠다는 생각이 들었다. 막연히 상상만 하던 것을 한번 구현해보기로 했다. 이런거 해보려고 열심히 공부한게 아니겠어?! 가장 먼저 해야할 일은 데이터를 구축하는 일이다. 나의 목적에 맞게 데이터를 찾고 구축하는 일은 생각보다 쉽지 않았다. 혼자서 많은 일을 하려니 완벽하게 할 수.. 2023. 4. 1. openNMT 관련 파라미터 Transformer model 사용 - config (quickstart에 있는 ex와 example안에 transformer yml 참고) param_init_glorot & param_init 0: correct initialization of parameters; position_encoding: add sinusoidal position encoding to each embedding; (true) optim: "adam", decay_method: "noam", warmup_steps: 8000: use special learning rate; batch_type: "tokens", normalization: "tokens" : batch and normalize based on number .. 2022. 6. 2. [#1 실습] 정규표현식 함수 사용법 정규표현을 사용하려면 import를 해주어야 한다. 간혹 정규표현식앞에 r이 붙은 것을 볼 수 있는데 이전 버전에는 r을 붙여야 한다더라. 현재는 사용할 때 r을 안붙여도 잘 돌아간다. import re 정규표현식을 이용해서 원하는 문자열을 추출하기 위한 몇가지 함수를 소개하겠다. method search() match() findall() finditer() fullmatch() search()와 match는 매치 될때 객체를 반환하고, 없을 때 None를 반환한다. match객체란 정규식의 검색 결과로 돌려주는 객체를 말한다. re.search(패턴, 문자열, flags) 문자열 전체를 검색해 패턴과 일치하는 지를 조사하는 함수이다. 문자열이 처음부터 있는 경우 뿐만아니라 중간부터 일치하더라도 찾아준.. 2021. 12. 1. [#1 이론] 정규표현식 정규표현식이란? (Regular Expressions) 특정한 규칙을 가진 문자열의 집합을 표현하는 데 사용하는 형식언어를 말한다. 정규 표현식에서 사용되는 기호를 Meta문자라고 표현한다. 표현식에서 내부적으로 특정 의미를 가지는 문자를 말한다. 표현식 의미 ^x 문자열의 시작 x$ 문자열의 끝 x* 문자가 0번이상 반복됨 x? 문자가 있을 수도 있고 없을 수도 있음 x+ 문자가 1번이상 반복됨 x|y x 또는 y (OR) (x) x를 그룹으로 처리 x{n,m} x가 n번 이상 m번이하 반복됨 (n만 쓰면 n번, n,를 쓰면 n번이상) 헷갈리는 것들 정리해 봤다. .은 \n을 제외한 모든 문자를 지칭하는데 $는 \n이 가능하다는 점이 다르다. 한 문장안에 m으로 끝나는 단어가 여러개인 경우 ?이 붙어있.. 2021. 12. 1. 이전 1 2 다음 728x90 반응형
