한국어 형태소 분석

!pip install kiwipiepy

from kiwipiepy import Kiwi
kiwi = Kiwi()

text = '오늘은 자연어 처리를 배우기 좋은 날이다.'
result = kiwi.tokenize(text)
result

def extract_nouns(text):
    result = kiwi.tokenize(text)
    for token in result:
        if token.tag in ['NNG', 'NNP']:
            yield token.form

# 사용 예시
list(extract_nouns('어제는 홍차를 마시고, 오늘은 커피를 마셨다.'))

# 데이터
import pandas as pd
df = pd.read_csv('news_ai.csv')

# 고유 명사 추가
kiwi.add_user_word('인공지능', 'NNP')

from sklearn.feature_extraction.text import CountVectorizer

# extract_nouns 함수로 토큰화하여 문서단어행렬 만들기
cv = CountVectorizer(max_features=100, tokenizer=extract_nouns)
dtm = cv.fit_transform(df['본문'])