ML-DL/NLP (1) 썸네일형 리스트형 [개인 프로젝트] BERT 기반으로 비속어 [단어] 탐지 모델 구축 1. 프로젝트 정의비속어 [단어] 탐지 모델을 만들어보려고 하는데 가지고 있는 데이터가 적기 때문에 BERT 기반으로 비속어 감지 모델을 구축하고자 한다. 이때 transformers 라이브러리로 pre-trained BERT 모델을 불러오고, 가지고 있는 데이터로 fine-tuning하려고 한다. 모델을 활용해 주어진 단어가 비속어 인지 아닌지 여부를 예측할 수 있다. 2. 데이터https://jizard.tistory.com/288 자주쓰는 최신 비속어 리스트 (욕설 필터링 txt 첨부파일 제공)인터넷에 떠돌아다니는 비속어 리스트를 보면...적어도 20년은 묵은듯한 단어들이 많이 나오는데, 이건 그래도 비교적 최신(?) 비속어 리스트다.jizard.tistory.com위의 사이트에서 "fword_li.. 이전 1 다음
