For Question Marks https://joyae.github.io/ 설치방법, 사용자사전추가방법 - 형태소분석기 Mecab 설치 방법과 사용법, 사용자사전추가하기 우선 다운로드 해야하는 것은 크게 3가지이다. mecab-ko mecab-dic mecab-python 이 후, MeCab을 직접 import하거나, konlpy.tagger.Mecab 으로 import하여 사용할 수 있다. 여기서 KoNLPy는 MeCab(은전한닢), Kkma(꼬꼬마), Hannanum(한나눔), Okt(Twitter), Komoran(코모란) 5새 오픈소스 형태소 분석기를 파이썬 환경에서 사용할 수 있도록 인터페이스를 통일한 한국어 자연어 처리 패키지이다. 직접 MeCab을... Fri, 02 Oct 2020 00:00:00 -0700 https://joyae.github.io/2020-10-02-Mecab/ https://joyae.github.io/2020-10-02-Mecab/ normalized Discounted Cumulative Gain - 추천시스템의 성능을 비교 평가하기 위한 지표인 nDCG nDCG 랭킹기반 추천시스템 에 주로 쓰이는 평가지표 관련성이 높은 결과를 상위권에 노출시켰는지 기반으로 만들어야함 검색엔진, 영상추천, 음악추천 등의 다양한 추천시스템에서 평가지표로 활용 CG(cumulative gain) 상위 p개의 추천 결과들의 관련성(rel, relevance)을 합한 누적값 rel은 단순히 binary value(관련이 있는지 없는지)이거나 문제에 따라 세분화된 값을 가질... Wed, 02 Sep 2020 00:00:00 -0700 https://joyae.github.io/2020-09-02-nDCG/ https://joyae.github.io/2020-09-02-nDCG/ Screen 명령어 간단 정리 - 노트북을 덮어도, 서버와의 연결을 끊어도 해당 세션 내에서는 계속 코드가 돌아가게 하는 방법 Intro 토이 코드를 돌리는데 잠시 노트북을 덮어놓아야하거나, 서버 원격 접속하여 코드를 돌려놓고 잠시 연결을 끊어야하거나, 아님 여러 코드를 한번에 돌려야할 때 활용할 수 있는 screen command이다. screen command는 터미널 상에 apt-get install screen 코드를 쳐서 설치할 수... Fri, 26 Jun 2020 00:00:00 -0700 https://joyae.github.io/2020-06-26-how-to-use-screen/ https://joyae.github.io/2020-06-26-how-to-use-screen/ Text Data + CNN - 변형된 비속어를 잡기 위한 자소 기반 CNN 모델 Intro 현재 Deep Text Lab에서 악성댓글을 탐지하고 문체를 변환하는 프로젝트를 진행 중에 있다. 악성댓글을 탐지하는 단계에서 챌린지가 되는 부분이 2가지가 있는데, 하나는 사용자들이 일부러 비속어를 변형시켜 사용한 형태(변형비속어) 를 잡아내는 것이고, 다른 하나는 비속어가 없는 댓글이지만 문맥적으로 악의가 담긴 댓글 을 탐지하는... Fri, 19 Jun 2020 00:00:00 -0700 https://joyae.github.io/2020-06-19-charCNN/ https://joyae.github.io/2020-06-19-charCNN/ 2018 Recosys Challange Spotify Music Recommendation 2nd Method - Spotify의 플레이리스트에 가장 어울리는 곡들을 어떻게 추천할 수 있을까? Intro 이 포스트는 2018년 Recosys Challange 주제였던 Spotify Music Recommendation에서 2등을 차지했던 팀의 추천 방법을 다루었습니다. 이 ‘hello world!’팀은 자랑스럽게도 우리나라의 성균관대 팀으로, MMCF(Multimodel Collaborative Filtering)이라는 방법을 고안했는데, MMCF: Multimodal Collaborative Filtering for Automatic Playlist Continuation를 참고하여 공부했습니다. 이 챌린지에서 중요하게... Tue, 02 Jun 2020 00:00:00 -0700 https://joyae.github.io/2020-06-02-APC-MMCF/ https://joyae.github.io/2020-06-02-APC-MMCF/ Convolutional Layer, Pooling Layer - 7. 합성곱 신경망(CNN) 이번장에서 배운 내용 합성곱 계층(Convolutional Layer) 풀링 계층(Pooling Layer) 위 두 계층은 im2col(이미지를 행렬로 전개하는 함수) 을 이용하면 효율적으로 구현할 수 있다. CNN을 시각화해보면 계층이 깊어질수록 고급 정보가 추출되는 모습을 확인할 수 있다. 대표적인 CNN에는 LeNet과 AlexNet이 있다. 전체 구조 CNN에서는 합성곱 계층(Convolutional Layer) 와 풀링 계층(Pooling... Thu, 21 May 2020 00:00:00 -0700 https://joyae.github.io/2020-05-21-7-%ED%95%A9%EC%84%B1%EA%B3%B1-%EC%8B%A0%EA%B2%BD%EB%A7%9D/ https://joyae.github.io/2020-05-21-7-%ED%95%A9%EC%84%B1%EA%B3%B1-%EC%8B%A0%EA%B2%BD%EB%A7%9D/ 매개변수 갱신방법, 가중치 초깃값, 배치 정규화, 가중치 감소 및 드롭아웃, 하이퍼파라미터 최적화 - 6. 학습 관련 기술들 이번장에서 배운 내용 매개변수 갱신 방법 - SGD, Momentum, AdaGrad, Adam 가중치 초깃값을 정하는 방법은 올바른 학습을 하는 데 매우 중요하다. 가중치의 초깃값으로는 Xavier 초깃값 과 He 초깃값 이 효과적이다. 배치 정규화를 이용하면 학습을 빠르게 진행할 수 있으며, 초깃값에 영향을 덜 받게 된다. 오버피팅을 억제하는 정규화... Mon, 18 May 2020 00:00:00 -0700 https://joyae.github.io/2020-05-18-6-%ED%95%99%EC%8A%B5-%EA%B4%80%EB%A0%A8-%EA%B8%B0%EC%88%A0/ https://joyae.github.io/2020-05-18-6-%ED%95%99%EC%8A%B5-%EA%B4%80%EB%A0%A8-%EA%B8%B0%EC%88%A0/ 5. 오차역전파법 이번장에서 배운 내용 오차역전파법 은 계산 그래프로 이해할 수 있대. 계산 그래프의 노드는 국소적 계산으로 구성된다. 계산 그래프의 역전파로는 각 노드의 미분 을 구할 수 있다. 오차역전파법 : 신경망의 구성 요소를 계층으로 구현하여 기울기를 효율적으로 계산할 수 있다. 기울기 확인 : 수치 미분과 오차역전파법의 결과를 비교하면 오차역전파법의 구현에... Mon, 11 May 2020 00:00:00 -0700 https://joyae.github.io/2020-05-11-5-%EC%98%A4%EC%B0%A8%EC%97%AD%EC%A0%84%ED%8C%8C%EB%B2%95/ https://joyae.github.io/2020-05-11-5-%EC%98%A4%EC%B0%A8%EC%97%AD%EC%A0%84%ED%8C%8C%EB%B2%95/ 4. 신경망 학습 이번장에서 배운 내용 신경망 학습은 손실 함수를 지표로, 손실 함수의 값이 작아지는 방향으로 가중치 매개변수를 갱신 가중치 매개변수를 갱신할 때는 가중치 매개변수의 기울기를 이용, 기울어진 방향으로 가중치의 값을 갱신하는 작업 반복 아주 작은 값을 주었을 때의 차분으로 미분하는 것을 수치 미분이라고 함 수치 미분을 이용해 가중치 매개변수의... Wed, 06 May 2020 00:00:00 -0700 https://joyae.github.io/2020-05-06-4-%EC%8B%A0%EA%B2%BD%EB%A7%9D-%ED%95%99%EC%8A%B5/ https://joyae.github.io/2020-05-06-4-%EC%8B%A0%EA%B2%BD%EB%A7%9D-%ED%95%99%EC%8A%B5/ 3. 신경망 이번장에서 배운 내용 활성화 함수 Numpy의 다차원 배열을 이용한 신경망의 효율적 구현(이는 기본 개념이므로 아래 정리에서는 생략) Batch 개념 신경망의 예 퍼셉트론 b: 편향을 나타내는 매개변수로, 뉴런이 얼마나 쉽게 활성화되느냐를 제어 w1, w2: 각 신호의 가중치를 나타내는 매개변수로, 각 신호의 영향력을 제어 활성화 함수 위의 h(x) 함수는 활성화... Wed, 06 May 2020 00:00:00 -0700 https://joyae.github.io/2020-05-06-3-%EC%8B%A0%EA%B2%BD%EB%A7%9D/ https://joyae.github.io/2020-05-06-3-%EC%8B%A0%EA%B2%BD%EB%A7%9D/ Spotify 이전, 음악 개인화 추천의 시작이었던 Pandora Pandora 글로벌 음악 스트리밍 서비스 중, 가장 인기가 많은 서비스는 Spotify지만 Apple Music, Soundcloud, Amazon Music Unlimited 등 다양한 서비스가 존재한다. Service Category Spotify Best overall Apple Music Best for Apple users Pandora Best service for passive listening Amazon Music Unlimited Best value... Mon, 20 Apr 2020 00:00:00 -0700 https://joyae.github.io/2020-04-20-pandora-music-genome-project(1)/ https://joyae.github.io/2020-04-20-pandora-music-genome-project(1)/ Spotify의 음악 추천 알고리즘은 어떨까? 딥러닝 기반 음악 추천 프로젝트를 진행하기 전, 교수님께서 건네주신 읽어볼 material 리스트를 읽어보는데 흥미로운 포스트가 있어 정리 겸 공유하고자 한다. 이 글은 먼저 해당 포스트를 참고했음을 밝힌다. Key insights of this article Music recommendation에서 audio signal을 어떻게 활용할 수 있는지 audio signal data를 가지고 CNN을... Tue, 07 Apr 2020 00:00:00 -0700 https://joyae.github.io/2020-04-07-spotify-recommendation(1)/ https://joyae.github.io/2020-04-07-spotify-recommendation(1)/ Attention 이해하기 - Attention 논문과 사람들의 페이퍼 리뷰를 읽어도 와닿지 않던 개념이 이 블로그 글의 Visualization과 설명을 통해 아주 깨끗하게 이해되었다. Thu, 26 Mar 2020 00:00:00 -0700 https://joyae.github.io/2020-03-26-attention/ https://joyae.github.io/2020-03-26-attention/ 독립표본 t-검정 - Independent sample t-test는 독립적인 두 표본집단의 평균 간의 차이에 대한 검정입니다. t-test 관련 포스트 t-test 종류와 one sample t-test paired sample t-test Independent sample t-test(two sample t-test) Independent sample t-test When to use Independent sample t-test는 독립적인 두 표본집단의 평균(means for two groups) 간 유의한 차이가 있는지 검정하는 통계적 방법입니다.... Wed, 25 Mar 2020 00:00:00 -0700 https://joyae.github.io/2020-03-25-ttest(3)/ https://joyae.github.io/2020-03-25-ttest(3)/ 대응표본 t-검정 - paired t-test는 동일한 표본집단을 각기 다른 시점에 관측했을 때 나타나는 평균의 차이가 유의한지 알아보는 검정 방법입니다. t-test 관련 포스트 t-test 종류와 one sample t-test paired sample t-test Independent sample t-test(two sample t-test) Paired sample t-test When to use Paired sample t-test는 동일한 표본집단 내 다른 시점의 평균들(means from the same... Wed, 25 Mar 2020 00:00:00 -0700 https://joyae.github.io/2020-03-25-ttest(2)/ https://joyae.github.io/2020-03-25-ttest(2)/ t-검정의 종류와 단일표본 t-검정 - Note: t-test는 기본적으로 두 집단 간의 평균을 비교하는 검정 방법입니다. Types of t-test t-test에는 크게 세 가지 종류가 있습니다. 어떤 연구 문제를 다루고 있냐에 따라 활용해야하는 t-test가 다릅니다. One sample t-test(단일표본 t-검정): 하나의 표본집단의 평균과 기준값(ex. 모집단의 평균, 특정값) 간의 차이에 대한 검정(mean of a single group against a known... Thu, 19 Mar 2020 00:00:00 -0700 https://joyae.github.io/2020-03-19-ttest(1)/ https://joyae.github.io/2020-03-19-ttest(1)/ os.listdir() - 현재 디렉토리 확인 import os os.getcwd 특정 경로의 파일리스트 가져오기 os.listdir('파일경로') # 이 때 폴더 내에 있는 숨겨진 파일들도 불러낸다. # 예를 들면, .ipynb_checkpoints 와 같은 파일들 # 그래서 이런 숨겨진 파일을 제외한 파일들을 데려오려면 추가 코딩이 필요하다. # 아래의 코드는 해당 파일 경로에 있는 파일들(숨겨진 파일 제외)의 파일명을 가져오는... Sun, 15 Mar 2020 00:00:00 -0700 https://joyae.github.io/2020-03-15-how-to-get-file-list-on-certain-directory/ https://joyae.github.io/2020-03-15-how-to-get-file-list-on-certain-directory/ Jupyter Notebook에서 파일 한번에 다운로드하는 방법 - 하나씩 클릭해서 다운로드할 필요없다! 프로젝트 중 서버에서 만들어진 수백장의 이미지들을 개인 랩탑에 다운로드 하려고 하는데 Jupyter Notebook의 경우, 하나씩 개별로만 클릭해서 다운로드 가능했다. 폴더를 클릭하면 다운로드 버튼이 나타나지 않고.. 수백장의 이미지들을 언제 하나씩 다운로드하나.. 그래서 한번에 다운로드 받는 방법을 찾았다. 다운로드받고 싶은 폴더의 경로 확인 내가 다운로드받고 싶은 이미지들이 있는... Sun, 15 Mar 2020 00:00:00 -0700 https://joyae.github.io/2020-03-15-how-to-download-files-at-once-on-jupyter-notebook/ https://joyae.github.io/2020-03-15-how-to-download-files-at-once-on-jupyter-notebook/ Each post also has a subtitle - You can write regular markdown here and Jekyll will automatically convert it to a nice webpage. I strongly encourage you to take 5 minutes to learn how to write in markdown - it’ll teach you how to transform regular text into bold/italics/headings/tables/etc. Here is some bold text Here is a... Sat, 28 Feb 2015 00:00:00 -0800 https://joyae.github.io/2015-02-28-test-markdown/ https://joyae.github.io/2015-02-28-test-markdown/