[텍스트 분석] NMF

전처리는 [토픽 모델링을 위한 전처리](/course/text-mining/토픽 모델링을 위한 전처리)를 참조

 

SVD로 스크리 플롯

from sklearn.decomposition import TruncatedSVD
svd = TruncatedSVD(n_components=100, random_state=1234)
svd.fit(dtm)

스크리 플롯

import matplotlib.pyplot as plt
plt.plot(svd.explained_variance_)

[<matplotlib.lines.Line2D at 0x182beae9630>]

 

NMF

from sklearn.decomposition import NMF
NUM_TOPICS = 15
nmf = NMF(n_components=NUM_TOPICS, max_iter=500)
doc_emb = nmf.fit_transform(dtm)

 

단어 임베딩

word_emb = nmf.components_.T

words = cv.get_feature_names_out().tolist()
i = words.index('모발')

plt.plot(word_emb[i])

[<matplotlib.lines.Line2D at 0x182c00e8a30>]

코사인 유사도

from sklearn.metrics.pairwise import cosine_similarity
sim = cosine_similarity(word_emb)


import numpy as np
s = np.argsort(sim[i])
related = s[-2:-12:-1]
for j in related:
    print(words[j])

손상
염색
염모제
최소
윤기
트리트먼트
자극
산
피
감소

 

시각화

다차원 척도법

indices = []
target = ['모발', '손상', '두피', '모공',
          '용기', '내용물']
for w in target:
    i = words.index(w)
    indices.append(i)
    print(w, i)

dist = 1 - sim[indices, ][:, indices]

from sklearn.manifold import MDS
mds = MDS(dissimilarity='precomputed', random_state=1234)
pos = mds.fit_transform(dist)

모발 80
손상 159
두피 62
모공 78
용기 206
내용물 47

C:\Users\eupho\anaconda3\lib\site-packages\sklearn\manifold\_mds.py:299: FutureWarning: The default value of `normalized_stress` will change to `'auto'` in version 1.4. To suppress this warning, manually set the value of `normalized_stress`.
  warnings.warn(

한글 글꼴 설정

import matplotlib
matplotlib.rc('font', family='Malgun Gothic')
matplotlib.rc('axes', unicode_minus=False)  # 맑은 고딕에는 유니코드 마이너스 글꼴이 없음

plot에서 글자가 겹치지 않도록 조정해주는 adjustText

!pip install adjusttext

from adjustText import adjust_text
plt.plot(pos[:, 0], pos[:, 1], '.')
texts = [plt.text(pos[i, 0], pos[i, 1], w) for i, w in enumerate(target)]
adjust_text(texts)

4

 

토픽별 관련 단어 보기

for t in range(NUM_TOPICS):
    print(t)
    topic_words_idx = np.argsort(word_emb[:, t])

    for j in topic_words_idx[-1:-11:-1]:
        print(words[j])

0
샴푸
통
발명
부분

...

 

문서별 토픽 보기

0번 문서

doc_id = 0
df.iloc[doc_id]

status                                                     등록
ko_title    개운죽 잎 및 줄기 추출물을 함유하는 컨디셔닝 샴푸 조성물 및 이를 이용한 컨디셔닝...
en_title    Conditioning shampoo composition containing le...
abstract    본 발명은 개운죽 잎 및 줄기 추출물을 함유하여 모발의 윤기와 부드러움의 지속력을 ...
Name: 0, dtype: object

0번 문서 토픽 보기

plt.plot(doc_emb[doc_id])

[<matplotlib.lines.Line2D at 0x182c0000e50>]

0번 문서에서 가장 강한 토픽

topic_id = np.argmax(doc_emb[doc_id])
topic_id

7

해당 토픽의 문서 보기

topic_docs_idx = np.argsort(doc_emb[:,topic_id])[-1:-11:-1]
df.iloc[topic_docs_idx]

토픽 패턴이 가장 비슷한 문서 찾기

sims = cosine_similarity(doc_emb[[doc_id]], doc_emb).flatten()
sim_idx = np.argsort(sims)[-1:-11:-1]
df.iloc[sim_idx]

유사도 보기

sims[sim_idx]

array([1.        , 0.94207604, 0.93535827, 0.93282792, 0.90077393,
       0.8896695 , 0.888722  , 0.88676806, 0.88408099, 0.87945441])