D'Touch

대회 상세페이지 2022 관광데이터 AI 경진대회 - DACON 분석시각화 대회 코드 공유 게시물은 내용 확인 후 좋아요(투표) 가능합니다. dacon.io 10/1 각 cat별로 특징적인 단어들 추출하여 dataframe 만들기 - 각 overview별로 해당되는 단어 또는 등장횟수를 구하여 dict형태로 저장 - 모아놓은 dict를 합쳐 dataframe 만들기 - class로 Tokenize, 함수화로 각 카테고리별 진행 - 종합 퍼센티지 or (실측값 vs 예측값)을 (0,1)로 기록 * 클래스, 함수화 하는 도중에 '은', '는', '-다', '또', '에서' 등 조사 및 전치사 등을 제거하고 일반 명사, 대명사만 추출하기 ** 그래프는 단어별 분포도, 분산그래프와 상관계수 컬러맵을 사용하여 시..

Data Scientist/Projects 2022. 10. 1. 19:11

대회 상세페이지 2022 관광데이터 AI 경진대회 - DACON 분석시각화 대회 코드 공유 게시물은 내용 확인 후 좋아요(투표) 가능합니다. dacon.io 9/26 카테고리 분류하기 - Mecab-kor를 사용하여 tokenizer하기 - 각 카테고리별로 등장 빈도수가 높은 단어정렬 - 중복되는 단어이지만 다른 카테고리일 경우 word2vec 사용해보기 - 각 카테고리별로 적용되는 단어들을 다 합친 Dict 만들어 함수적용하기 * 원핫인코딩이 안되게끔 하려면 어떻게 해야할지 찾아보다 pytorch를 사용해볼 예정이다.(이번주동안 유튜브강의시청) 이수안 컴퓨터연구소 ** 다행히 텍스트의 성격이 주관적인 생각이나 감정을 드러내는 것이 아닌 객관적인 사실과 정보를 바탕으로 이루어져있어 pre-trained ..

Data Scientist/Projects 2022. 9. 28. 14:05

대회 상세페이지 2022 관광데이터 AI 경진대회 - DACON 분석시각화 대회 코드 공유 게시물은 내용 확인 후 좋아요(투표) 가능합니다. dacon.io 9/26 텍스트 전처리 - html코드, 기호 삭제 (train data의 1/3) - 첫줄에 가산점 - 핵심단어 찾기 ∙ 같은 카테고리내에 자주 반복되는 단어, 어순 ∙ 첫 단어, 첫 조사앞의 대명사 ∙ 문장 마지막에 명사, 대명사 바로 뒤에 '-이다', '-다.'로 끝나는 경우 * 카테고리 분류가 목적이기에 불필요한 텍스트를 삭제하고 핵심단어를 찾는 전처리가 가장 중요하고 오래걸릴 것 같다. 소분류 카테고리가 아주 유사한 항목들이 있어 정확하게 분류를 해야한다. 대,중,소 별로 dataframe을 나누어 작업중인데 합치는 과정에서 정확도를 더 높..

Data Scientist/Projects 2022. 9. 26. 20:16