D'Touch

대회 상세페이지 2022 관광데이터 AI 경진대회 - DACON 분석시각화 대회 코드 공유 게시물은 내용 확인 후 좋아요(투표) 가능합니다. dacon.io 10/1 각 cat별로 특징적인 단어들 추출하여 dataframe 만들기 - 각 overview별로 해당되는 단어 또는 등장횟수를 구하여 dict형태로 저장 - 모아놓은 dict를 합쳐 dataframe 만들기 - class로 Tokenize, 함수화로 각 카테고리별 진행 - 종합 퍼센티지 or (실측값 vs 예측값)을 (0,1)로 기록 * 클래스, 함수화 하는 도중에 '은', '는', '-다', '또', '에서' 등 조사 및 전치사 등을 제거하고 일반 명사, 대명사만 추출하기 ** 그래프는 단어별 분포도, 분산그래프와 상관계수 컬러맵을 사용하여 시..

Data Scientist/Projects 2022. 10. 1. 19:11

대회 상세페이지 2022 관광데이터 AI 경진대회 - DACON 분석시각화 대회 코드 공유 게시물은 내용 확인 후 좋아요(투표) 가능합니다. dacon.io 9/26 카테고리 분류하기 - Mecab-kor를 사용하여 tokenizer하기 - 각 카테고리별로 등장 빈도수가 높은 단어정렬 - 중복되는 단어이지만 다른 카테고리일 경우 word2vec 사용해보기 - 각 카테고리별로 적용되는 단어들을 다 합친 Dict 만들어 함수적용하기 * 원핫인코딩이 안되게끔 하려면 어떻게 해야할지 찾아보다 pytorch를 사용해볼 예정이다.(이번주동안 유튜브강의시청) 이수안 컴퓨터연구소 ** 다행히 텍스트의 성격이 주관적인 생각이나 감정을 드러내는 것이 아닌 객관적인 사실과 정보를 바탕으로 이루어져있어 pre-trained ..

Data Scientist/Projects 2022. 9. 28. 14:05

대회 상세페이지 2022 관광데이터 AI 경진대회 - DACON 분석시각화 대회 코드 공유 게시물은 내용 확인 후 좋아요(투표) 가능합니다. dacon.io 9/26 텍스트 전처리 - html코드, 기호 삭제 (train data의 1/3) - 첫줄에 가산점 - 핵심단어 찾기 ∙ 같은 카테고리내에 자주 반복되는 단어, 어순 ∙ 첫 단어, 첫 조사앞의 대명사 ∙ 문장 마지막에 명사, 대명사 바로 뒤에 '-이다', '-다.'로 끝나는 경우 * 카테고리 분류가 목적이기에 불필요한 텍스트를 삭제하고 핵심단어를 찾는 전처리가 가장 중요하고 오래걸릴 것 같다. 소분류 카테고리가 아주 유사한 항목들이 있어 정확하게 분류를 해야한다. 대,중,소 별로 dataframe을 나누어 작업중인데 합치는 과정에서 정확도를 더 높..

Data Scientist/Projects 2022. 9. 26. 20:16

대회 상세페이지 2022 관광데이터 AI 경진대회 - DACON 분석시각화 대회 코드 공유 게시물은 내용 확인 후 좋아요(투표) 가능합니다. dacon.io 9/22 텍스트 - 소분류를 대/중분류에서 분류하기 - 내용에서 반복되는 단어들 추출하기 - 핵심단어 추출 * 소개내용이 일관되게 흘러가진 않지만 '-이다.'의 통일성과 특징적인 대명사들이 자주 등장하여 다행이라고 생각한다. 전달하고자 하는 목표 역시 명확하고 오타가 없는 듯 하여 잘 쓰기만 하면 될 것 같다. 다만, 같은 장소에서 이루어지는 체험의 경우에는 중복되는 대명사가 있어 단어가 문장내에 위치하는 곳에따라 가산점을 주는 방식과 두번째, 세번째 문장내에서 어느 단어가 반복되고 강조되는지를 잘 고려해봐야겠다. **tidy data형태로 변환한 ..

Data Scientist/Projects 2022. 9. 22. 19:48

대회 상세페이지 2022 관광데이터 AI 경진대회 - DACON 분석시각화 대회 코드 공유 게시물은 내용 확인 후 좋아요(투표) 가능합니다. dacon.io 9/21 데이터 확인 / 계획 수립 - 텍스트 데이터프레임 훑어보기 - train/valid/test 데이터 분리 (Data Lackage 예방) - 텍스트 추출 / 이미지 분류 계획 * 혼자 진행하는 것이 처음이기에 많이 막막하다. 코버트,이미지 분류 관련 프로젝트를 다시 읽어봐야겠다.

Data Scientist/Projects 2022. 9. 21. 20:19