nlplotが凄い！自然言語を可視化・分析できるPythonライブラリ

import pymongo
from pymongo import MongoClient

#MongoDBに接続（コネクション：clientの作成）
client = pymongo.MongoClient('localhost', 27017)

#データベースsanmpleDBを取得する
db = client.boxcode
 
#コレクションtestを取得する
dbcol = db.test

import pandas as pd

#MongoDBから取得した情報をデータフレーム化
df = pd.DataFrame(list(dbcol.find()))

#リツィートされているものは除外
df1 = df[df['retweeted_status'].isnull()]

#text列のみ取得し、データフレームdf1にセット
df1 = df1.loc [:, ['text']]

#表示
df1

import MeCab

def mecab_text(text):
    
    #MeCabのインスタンスを作成（辞書はmecab-ipadic-neologdを使用）
    mecab = MeCab.Tagger('-d /usr/local/lib/mecab/dic/mecab-ipadic-neologd')
    
    #形態素解析
    node = mecab.parseToNode(text)
    
    #形態素解析した結果を格納するリスト
    wordlist = []
    
    while node:
        #名詞のみリストに格納する
        if node.feature.split(',')[0] == '名詞':
            wordlist.append(node.surface)
        #他の品詞を取得したければ、elifで追加する
        #elif node.feature.split(',')[0] == '形容詞':
        #    wordlist.append(node.surface)
        node = node.next
    return wordlist

#形態素結果をリスト化し、データフレームdf1に結果を列追加する
df1['words'] = df1['text'].apply(mecab_text)

#表示
df1

pip install nlplot

import nlplot

npt = nlplot.NLPlot(df1, target_col='words')

# top_nで頻出上位単語, min_freqで頻出下位単語を指定できる
# ストップワーズは設定しませんでした。。。
stopwords = npt.get_stopword(top_n=0, min_freq=0)

npt.bar_ngram(
    title='uni-gram',
    xaxis_label='word_count',
    yaxis_label='word',
    ngram=1,
    top_n=50,
    stopwords=stopwords,
)

npt.treemap(
    title='Tree of Most Common Words',
    ngram=1,
    top_n=30,
    stopwords=stopwords,
)

# 単語数の分布
npt.word_distribution(
    title='number of words distribution',
    xaxis_label='count',
)

npt.wordcloud(
    max_words=100,
    max_font_size=100,
    colormap='tab20_r',
    stopwords=stopwords,
)

# ビルド（データ件数によっては処理に時間を要します）※ノードの数のみ変更
npt.build_graph(stopwords=stopwords, min_edge_frequency=100)

display(
    npt.node_df.head(), npt.node_df.shape,
    npt.edge_df.head(), npt.edge_df.shape
)

npt.co_network(
    title='Co-occurrence network',
)

npt.sunburst(
    title='All sentiment sunburst chart',
    colorscale=True,
    color_continuous_scale='Oryel',
    width=800,
    height=600,
    save=True
)

npt.ldavis(num_topics=2, passes=5, save=True)