どうもこんにちは。
Aidemy研修生の片岡(@ShotaroKataoka)です。
今回は小説をベクトルに変換して、自分好みの小説を見つけたいと思います。
[キーワード]
自然言語処理, データスクレイピング, 形態素解析, Doc2Vec, 階層的クラスタリング, 類似文書の検索
はじめに
背景
突然ですがみなさん、小説を無料で投稿できるサイトをご存知でしょうか？
僕は（ここ数年ご無沙汰してますが、） 小説家になろうで小説を漁るのが好きです。
最近はこういうサイトからプロになる人が多いみたいで、
アマチュア小説家や出版社にとって機会獲得の場として重要視されているようです。
僕たち消費者にもありがたいサービスなのですが、不満もあります。
それは、面白い小説を見つけるのが難しいことです。
というのも、
- ランキングがあてにならない。
- （個人的に）面白いと思った小説は他の読者に評価されていない。
- 検索機能は充実しているが、うまく機能しない。
- ジャンル検索に関して、もう少し詳しく指定したい。SF⇒超能力？タイムマシン？
- 小説のキーワードが内容に即していない場合があるのでキーワード検索もあてにならない。
ことがあるからです。
「ランキングやキーワードに頼らずに自分好みの小説を探せないか？」
と思ったので、小説の内容から直接似ている小説を探してみます。
手法
手順としては、
- 小説家になろうから小説データをスクレイピングする。
- 集めた小説をDoc2Vecによってベクトル化する。
- 階層的クラスタリングやコサイン類似度を用いて似ている小説を探す。
こんな感じでやってみます。
環境構築
僕はノートパソコンしか持っていないので今回はGoogle Colabratryを用いました。
これはGoogleの提供するサーバでJupyter notebookが動かせちゃうというサービスです。
無料でTPUまで使える（！）ので、貧弱なPCしか持ってない僕にとっては神のようなサービスです。
まずは以下を実行してColabratory上でGoogle driveにアクセスできるようにしておきます。
from google.colab import drive drive.mount('/content/drive')
gensimなどColaboratoryにインストールされていないライブラリは、!pip install gensimこんな感じで適宜インストールします。
学習データの準備
データの取得
小説家になろうから小説をスクレイピングしてきます。
スクレイピングについては今回の本題ではないので詳細は割愛します。
以下の関数を用いて本文のダウンロードを行いました。
import requests from bs4 import BeautifulSoup from time import sleep # 本文をダウンロード def novel_text_dler(url): headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64; Trident/7.0; rv:11.0) like Gecko' } r = requests.get(url, headers=headers) r.encoding = r.apparent_encoding soup = BeautifulSoup(r.text) honbun = soup.find_all("div", class_="novel_view") novel = "" for text in honbun: novel += text.text sleep(1) return novel
［取得した小説について］
まずは以下の条件で検索を行い、検索ページから該当する小説のリンクをスクレイピングしました。
- ファンタジー（異世界含む）小説である。
- 小説家になろうにおいてファンタジー小説は圧倒的に人気があるため。
- 内容に一定のパターン、いくつかのバリエーションがありクラスタリングしやすそう。
- 10000文字以上の小説である。
- すぐに更新が放棄された小説を除くため。
- 初投稿日時が新しい順
- 昔と今では流行が違うはずなので、ある程度のまとまりを担保するために最近の小説に絞った。
検索ページでは2000タイトル以上は遡れなかったため、取得件数を2000タイトルとしました。
スクレイピングしたリンクを辿って、各タイトル５話ずつ×2000タイトルの内容を取得しました。
データの前処理
取得した小説データを解析するためにまずは形態素解析を行います。
# coding: utf-8 import MeCab def keitaiso(text): tagger = MeCab.Tagger("-Ochasen") tagger.parse("") node = tagger.parseToNode(text) word = "" pre_feature = "" while node: # 名詞、形容詞、動詞、形容動詞であるかを判定する。 HANTEI = "名詞" in node.feature HANTEI = "形容詞" in node.feature or HANTEI HANTEI = "動詞" in node.feature or HANTEI HANTEI = "形容動詞" in node.feature or HANTEI # 以下に該当する場合は除外する。（ストップワード） HANTEI = (not "代名詞" in node.feature) and HANTEI HANTEI = (not "助動詞" in node.feature) and HANTEI HANTEI = (not "非自立" in node.feature) and HANTEI HANTEI = (not "数" in node.feature) and HANTEI HANTEI = (not "人名" in node.feature) and HANTEI if HANTEI: if ("名詞接続" in pre_feature and "名詞" in node.feature) or ("接尾" in node.feature): word += "{0}".format(node.surface) else: word += " {0}".format(node.surface) #print("{0} {1}".format(node.surface, node.feature)) pre_feature = node.feature node = node.next return word[1:]
この関数では、
- 入力された文字列に対して形態素解析を行う。
- 名詞、形容詞、動詞、形容動詞のどれかであり、かつストップワードに該当しない単語を選別する。
- 連結すべき名詞は連結する。
- 単語間を半角スペースで区切って出力する。
という処理を行っています。
この関数を実際の小説に対して適用したところ、
'変哲 無い 学校 行き 眠たい 授業 受け 帰っ ゲーム する 在り 来 如く 徹夜 ゲーム ......（以下略）'
こんな感じで学習データを整形できました。
Doc2Vec
Doc2Vecについての概要
さて、本日の本題であるDoc2Vecをやっていきましょう。
Doc2Vecは単語をベクトルに変換するword2vecを応用したもので、
名前のとおり、文書をベクトルに変換することができます。
（Doc2Vecの詳しい理論については元論文[1405.4053] Distributed Representations of Sentences and Documentsをご参照ください。）
今回なぜDoc2Vecを採用したかというと、
- 単語の並び順を考慮してベクトル化できる。
- 単語の意味を考慮してベクトル化できる。
という利点があるからです。
例えば、「魔物」と「モンスター」という単語があったとき、Doc2Vecではこの２つの単語の意味は近いと判断してベクトル化してくれるので表現のブレに対して頑健なモデルになると考えられます。
Doc2Vecを使ってみる
Doc2Vecはgensimのライブラリを用いることで容易に実行することができます。
こちらのサイトを参考に（というかそのまま使って）Doc2Vecを行いました。
#coding: UTF-8 from gensim.models.doc2vec import Doc2Vec from gensim.models.doc2vec import TaggedDocument # 空白で単語を区切り、改行で文書を区切っているテキストデータ with open('drive/My Drive/colab/narou/novel_datas.txt','r') as f: # 文書ごとに単語を分割してリストにする。 trainings = [TaggedDocument(words = data.split(),tags = [i]) for i,data in enumerate(f)] # 学習の実行 m = Doc2Vec(documents= trainings, dm = 1, size=300, window=8, min_count=10, workers=4) # モデルのセーブ m.save("drive/My Drive/colab/narou/doc2vec.model")
上記サイトでは埋め込みベクトルを主成分分析して可視化してくれます。
学習の結果得られた文書ベクトルの分布がどうなっているか見てみましょう。
こうなりました。
もう少し偏りがあるかなと思ったのですが、思ったよりものっぺりと分布しています。
第１主成分から第３主成分までの累積寄与率を調べてみると31.8%になっていました。
累積寄与率は100%に近いほど次元削減したデータが次元削減前のデータの散らばり具合をよりよく説明できていることを表し、70~80%以上が目安だといわれています。
今回は31.8%だったので、可視化したグラフはあまりあてにならないということが分かります。
タイトルからだけでは詳細な内容は分からないですが、とりあえず似た感じの小説は集まって分布しているようです。
次は得られたベクトルをクラスタリングしていこうと思います。
クラスタリング
階層的クラスタリングについて
今回は文書ベクトルをクラスタリングするためにWard法による階層的クラスタリングを用いました。
採用理由は以下の通りです。
- 事前にクラスタ数を決定しなくてもクラスタリングができる。
- デンドログラムによってクラスタリングの過程を可視化できる。
- 乱数を用いないアルゴリズムなので、コントロールしやすい。
Ward法については ウォード法によるクラスタリングのやり方 - 具体例で学ぶ数学このサイトが分かりやすいです。
クラスタリングの実行
下記のプログラムによって、文書ベクトルをクラスタリングします。
def hierarchical_clustering(emb, threshold): # 階層型クラスタリングの実施 # ウォード法 x ユークリッド距離 linkage_result = linkage(emb, method='ward', metric='euclidean') # クラスタ分けするしきい値を決める threshold_distance = threshold * np.max(linkage_result[:, 2]) # クラスタリング結果の値を取得 clustered = fcluster(linkage_result, threshold_distance, criterion='distance') print("end clustering.") return linkage_result, threshold_distance, clustered def plot_dendrogram(linkage_result, doc_index, threshold): # 階層型クラスタリングの可視化 plt.figure(facecolor='w', edgecolor='k') dendrogram(linkage_result, labels=doc_index, color_threshold=threshold) print("end plot.") plt.savefig('drive/My Drive/colab/narou/hierarchy.png') def save_cluster(doc_index, clustered): doc_cluster = np.array([doc_index, clustered]) doc_cluster = doc_cluster.T doc_cluster = doc_cluster.astype("int64") doc_cluster = doc_cluster[np.argsort(doc_cluster[:,1])] np.savetxt('drive/My Drive/colab/narou/cluster.csv', doc_cluster, delimiter=",", fmt="%.0f") print("save cluster.") threshold = 0.4 linkage_result, threshold, clustered = hierarchical_clustering(emb=doc_vecs, threshold=threshold) plot_dendrogram(linkage_result=linkage_result, doc_index=list(range(2000)), threshold=threshold) save_cluster(list(range(2000)), clustered)
クラスタリングの結果、以下のようなデンドログラムが出力されました。
今回は類似度0.6までを１つのクラスタと設定したため、全部で８つのクラスタができました。
この図では低い位置で結合している部分ほど類似度が高いということを表しています。
図からクラスタの大きさはクラスタによってばらばらだということが分かります。
クラスタの分析・評価
ここまでで小説をクラスタリングすることに成功しました。
しかし、クラスタリングしたはいいもののそれぞれのクラスタがどのような集まりなのかは分かっていません。
ここでは小説がジャンル（小分類）ごとにクラスタリングされていると仮定して、それぞれのクラスタがどのようなジャンルを表しているのかを分析します。
クラスタのジャンル推定
他のクラスタには少ないが特定のクラスタには頻出である単語は、クラスタを表す重要な特徴語であると考えられます。
この仮説のもとでクラスタごとにtf-idfを行い、スコア上位の単語をクラスタのジャンル推定語とします。
今回は、
tf：クラスタ内出現頻度
idf：逆文書頻度
として計算しました。
したがってtf-idf値はクラスタ内で高頻度かつクラスタ外では低頻度であるような単語が大きい値を持つようになります。
以下のプログラムでtf-idfの算出を行いました。
import collections # 単語の出現回数 t_counter = [{},{},{},{},{},{},{},{}] for c, words in enumerate(cluster_word): count = collections.Counter(words) t_counter[c] = count # クラスタ内の単語総数 sum_in_c = [] for count in t_counter: num = 0 for i in count.values(): num += i sum_in_c += [num] # tf計算 tf_c = [{},{},{},{},{},{},{},{}] for i, count in enumerate(t_counter): for key, value in count.items(): tf_c[i][key] = value/sum_in_c[i] # 全ての単語の辞書を作成 all_word = {} for c in cluster_word: for word in c: all_word[word] = 0 # 単語がいくつの文書に出いているか for docs in docs_cluster: words = docs[1].split(" ") for word in set(words): all_word[word] += 1 # idfの計算 import math idf_word = {} for key, i in all_word.items(): idf_word[key] = math.log(2000/i + 1) # tf-idfの計算 tf_idf = [{},{},{},{},{},{},{},{}] for i, c in enumerate(tf_c): for key, value in c.items(): tf_idf[i][key] = value * idf_word[key]
クラスタごとにtf-idf値の大きい順に名詞を並べると、
クラスタ0 王子: 0.0061060881712401045 殿下: 0.005718617870189564 ヒウラ: 0.005291476510766952 ダリア: 0.004495722542717447 令嬢: 0.004420107112278445 アデール: 0.004393982261590932 婚約: 0.003952553843864171 婚約者: 0.0039201562684602976 アリーセ: 0.0038517461527137527 アンリエット: 0.0036834659809932492 エルドード: 0.003533883606130579 クラスタ1 ♪: 0.012588412597200886 死: 0.006430398748082015 雄輝: 0.004689613059420405 ノゾミ: 0.004484975398645696 勝: 0.0028733224721530478 奏: 0.002803742480211504 シュヴァルツ様: 0.002609130174877534 世界: 0.0026081004887485997 少女: 0.0024103156993214745 目: 0.0022606678876156837 自分: 0.0022072984665251817 クラスタ2 魔王: 0.0036518093100915143 勇者: 0.0035155562258950535 ギルガメシュ: 0.0029222379980847436 アップル: 0.0028061224713445657 目: 0.0027733169025503006 剣: 0.002671828038293947 男: 0.0025752770310372526 サバタ: 0.0023949840473599733 手: 0.0023649778902316027 前: 0.002325061518001071 声: 0.0022751005162464375 クラスタ3 ラウラ: 0.004840450953776067 スパイル: 0.004821922875957397 リク: 0.004670649187861814 エアリー: 0.00458253663388859 水月ちゃん: 0.0039327739768446855 スクラ: 0.0037104867520665074 目: 0.003492403771020575 マッティア: 0.0034198034581258132 グレタ: 0.0034198034581258132 サーシャ: 0.0033941559428515935 ハラン: 0.0033879243415634573 クラスタ4 魔法: 0.004218870319281262 人: 0.0029387891637282938 自分: 0.002551964550288861 今: 0.002544968129182831 世界: 0.002477627431371742 目: 0.002457369725536437 アミラさん: 0.0023359831990176863 前: 0.0022726743363401924 ー: 0.002245830004095153 顔: 0.002038915048811068 魔力: 0.00201955514478847 クラスタ5 冒険者: 0.006514906115889164 ギルド: 0.005524287477575682 魔法: 0.0035642475431967215 ランク: 0.0028300403141417315 魔物: 0.002774861645050802 ツナ: 0.0027436145973325442 剣: 0.0026404654150312193 セ: 0.002574910917319155 シント: 0.0025600376279171543 ゴブリン: 0.0025443174242620495 男: 0.002455813586393733 クラスタ6 ジエル: 0.007642659286556954 スキル: 0.0071498280961551745 魔法: 0.004392681106475657 ステータス: 0.0038861154483809386 Lv: 0.003779603258126132 ゲーム: 0.003080817252244139 プレイヤー: 0.003022432415983866 スライム: 0.0028334924566530604 世界: 0.002810395893392919 魔力: 0.0027202175798001415 Ｌｖ: 0.002687330699013531 クラスタ7 魔王: 0.003712822589593995 勇者: 0.003529249657469718 世界: 0.0034630886629906524 魔法: 0.0030282997761136234 スキル: 0.0028791184060730957 目: 0.0028063940530826145 今: 0.0025649199509634453 前: 0.002445422848422719 人: 0.0023228743569224234 自分: 0.0021845907678362426 手: 0.0021027100914477945
こうなりました。
クラスタごとにある程度の傾向はみられますが、人名らしきものが多く分かりづらいです。
データの前処理の段階で人名は除外しているのですが、一般名詞のフリをした人名がたくさん残っていました。
これでは、ちゃんとしたジャンル推定ができないので手法を少し改良する必要があります。
ジャンル推定手法の改良
いろいろ分析した結果、上位にくる人名は１つの作品中で連呼されている、ということが分かりました。
つまり、クラスタ全体のtf-idfが１つの小説の表現に引っ張られているということです。
これを改善するためにはどうすればよいでしょう。
作品数が増えれば、１つの作品の影響力は弱まるでしょうが、現在手元には2000作品しかなく増やすのにも時間がかかります。
そこで今回はクラスタ内の単語の出現回数をカウントするときに、１つの作品中では何度出現しても１回として数えることにしました。これにより小説の独特な繰り返し表現などに結果が引っ張られないようになると考えられます。
この手法でジャンル推定をした結果を以下に示します。
クラスタ0 令嬢: 0.0012388965444556815 婚約者: 0.001176390915430671 婚約: 0.0011580712533638608 結婚: 0.0010121023875020517 王子: 0.0009963851628662695 侍女: 0.0009385851967481451 ドレス: 0.0009262200035875142 公爵家: 0.0009179217053831507 貴族: 0.0009107907352958143 殿下: 0.0008597167673604495 恋: 0.0008252621317282777 クラスタ1 自身: 0.00048519030845686257 視線: 0.0004785750684602386 開発: 0.00047510620565140014 思考: 0.0004746269931782623 死: 0.0004719990542338976 存在: 0.0004713207620421417 現象: 0.0004691243740089858 耳: 0.0004662802091167956 黒: 0.00046379072402860373 確認: 0.00045983246060690204 一つ: 0.00045791918220934076 クラスタ2 自ら: 0.0005624009121069802 名: 0.0005370385832063932 国: 0.0005303111689206766 身: 0.0005254908086802654 息: 0.0005252804386547549 表情: 0.0005114196735714632 剣: 0.0005111140827173441 血: 0.0005104912277014727 人々: 0.0005041914574535155 命: 0.000503116192775948 姿: 0.000496684969558635 クラスタ3 静か: 0.0005806335100820448 窓: 0.0005796509100803112 背: 0.0005759772861478314 息: 0.0005602155500439732 肩: 0.0005566822763802123 空: 0.0005522933680195683 頬: 0.0005475829544980129 家: 0.0005451765723259455 首: 0.000540629592020056 隣: 0.0005400951772054877 歩き: 0.0005300151322929097 クラスタ4 人: 0.0005998453047999023 自分: 0.0005978763951012037 今日: 0.0005967663244144118 家: 0.0005963373136994322 目: 0.0005944352435476357 前: 0.0005925481742344472 今: 0.000591265602428745 顔: 0.0005902228111624595 手: 0.0005865973869938234 気: 0.000583170922913859 声: 0.0005781187587719914 クラスタ5 冒険者: 0.0006820327772998922 ギルド: 0.0006656959933021106 依頼: 0.0006569543085879682 カウンター: 0.0006484489486864962 酒場: 0.0006380120783850763 武器: 0.0005927986166789168 受付: 0.0005924436671910869 剣: 0.0005715763584048435 報酬: 0.0005690778616496287 店: 0.0005639439171109118 討伐: 0.0005532194656460136 クラスタ6 ステータス: 0.0009264972963791768 スキル: 0.0008763170045696633 表示: 0.0007413753512329212 レベル: 0.0007399919222877385 アイテム: 0.0007328916159730719 ゲーム: 0.0007178219585290772 モンスター: 0.0006773289277874036 画面: 0.0006710952031576871 装備: 0.0006398252525129832 効果: 0.0006219545148276319 攻撃: 0.0006137250132128857 クラスタ7 異世界: 0.0006146139404875984 世界: 0.0006145745694244645 今: 0.0005963364779569892 前: 0.0005952176477919668 目: 0.0005932608751475265 魔法: 0.0005931994948506662 人間: 0.0005930748515631123 手: 0.0005930396129693039 名前: 0.0005903103819954934 声: 0.0005891284313381556 人: 0.0005856936537451811
人名がきれいになくなり、よりクラスタの特徴らしいものが上位に来るようになりました。
特にクラスタ［０，５，６，７］はこれだけでどういうクラスタなのかが想像できます。
観測によるジャンルの推定
ここまで、小説の文章中の特徴語を見つけることでクラスタのジャンル推定を行ってきましたが、クラスタ［１，２，３，４］は特徴語が一般的で何のクラスタなのか分かりませんでした。
そこで、実際にクラスタに属する小説をいくつか（５～１０作品ずつ）読むことで傾向を測りました。
これまでの結果と合わせて考えると、
クラスタ０：お嬢様への転生，異世界，恋愛，乙女ゲーム クラスタ１：ローファンタジー クラスタ２：ハイファンタジー クラスタ３：ローファンタジー，地の文でキャラクター名を使っている小説が多い。 クラスタ４：あまりまとまっていない クラスタ５：ハイファンタジー，現地の人が主人公？，冒険者とかダンジョンとか クラスタ６：ハイファンタジー，異世界転生，ゲーム風世界観 クラスタ７：ハイファンタジー，異世界転生，ゲーム的ではない感じ
このようなクラスタになっていると推測しました。
全体数に対して調査件数が少ないですが、クラスタごとに小説の内容の傾向が明確に違うことは確認できました。
類似小説の検索
検索機能の実装
小説のジャンルによるクラスタリングは一応できましたが、８つのクラスタに大きく分類したためクラスタ内でも内容の散らばりがありました。
そこで、小説のID（以降、Nコードと呼びます）を与えたときに、類似度の高い順に小説名を表示するプログラムを作りました。
これで気に入った小説と似た小説を探せるようになるはずです！
以下にプログラムの主要部分のみを載せておきます。
def make_docs_cluster(): # 文書ベクトルデータを返す。 def in_cluster(n_code): # 指定した小説が学習済みかを調べる。 def get_novel(n_cluster, in_cluster): # 小説をスクレイピングしてくる。 def novel_infer(n_code): # クラスタデータを読み込み docs_cluster = make_docs_cluster() # 指定したn_codeが学習済みデータであるかチェック is_in_cluster, docs_num = in_cluster(n_code, docs_cluster) # 推測する小説を取ってくる title, text = get_novel(n_code, is_in_cluster) print("検索小説タイトル："+title) text = keitaiso(text) text = text.split(" ") if is_in_cluster: text = docs_cluster[docs_num][1] print("検索小説クラスタ：クラスタ{}".format(docs_cluster[docs_num][2]-1)) else: print("未知の小説です。") print() # モデルのロード m = Doc2Vec.load("drive/My Drive/colab/narou/doc2vec.model") if is_in_cluster: newvec = m.docvecs[docs_num] else: newvec = m.infer_vector(text) most_similar = infer_most_similar(newvec, m, top=5) for i, sim in most_similar: sim_title = novel_title_dler(docs_cluster[i][0]) print("タイトル：{0}\nクラスタ{1} Nコード：{3} similarity={2}".format(sim_title, docs_cluster[i][2]-1, sim, docs_cluster[i][0])) print()
似ている小説を探してみる
実際に学習に用いた小説を使って類似小説を検索してみます。
まずは、追放されたワケあり魔術師～伝説の賢者として世界を救うこちらの小説について似ている小説を探してみます。
検索小説タイトル：追放されたワケあり魔術師～伝説の賢者として世界を救う 検索小説クラスタ：クラスタ5 タイトル：『無能』の俺が強奪スキルで最強へと成り上がる 〜あらゆる才能を俺はねじ伏せる〜 クラスタ5 Nコード：n7067ez similarity=0.735064685344696 タイトル：Wizard Life クラスタ5 Nコード：n8454ey similarity=0.7346222996711731 タイトル：食い扶持探し放浪譚 クラスタ7 Nコード：n9605ey similarity=0.7337366938591003 タイトル：パーティーを追放されました。解雇理由：スキルがゴミ集めだから ２ クラスタ7 Nコード：n6956ey similarity=0.7283002734184265
検索に使った小説とヒットした類似小説は多くが共通して以下の特徴を持っていました。
ハイファンタジー、現地主人公（異世界転生や転移でない）、成り上がり、冒険者、1話くらいで冒険者パーティから追放される
かなり細かい内容まで類似した小説を探すことに成功しました。
未知の小説に適用してみる
Doc2Vecは未知の文書も学習済みモデルを用いてベクトル化することができます。
実装した関数は未知の小説のNコードを指定した場合、自動で小説をスクレイピングして類似小説を検索することができるようにしています。
今回は学習に用いていない、累計ランキング１位の無職転生 - 異世界行ったら本気だす -に類似した小説を探してみます。
検索小説タイトル：無職転生 - 異世界行ったら本気だす - 未知の小説です。 タイトル：最弱で最強の魔法使い ～転生ガチャ大爆死！！ 最強未満から最弱へ。仕方がないので弟子を育成します。再び転生するために～ クラスタ4 Nコード：n4977ez similarity=0.6101943254470825 タイトル：未熟な果実 クラスタ4 Nコード：n6675ey similarity=0.604122519493103 タイトル：最弱付与術師、最強武術家への道！ クラスタ4 Nコード：n5313fa similarity=0.58991539478302 タイトル：いずれ天を刺す大賢者 クラスタ4 Nコード：n2863fa similarity=0.5620313882827759 タイトル：虐げられた奴隷、飼い主の息子として転生する クラスタ4 Nコード：n5414ey similarity=0.5612924695014954
ヒットした小説の内容は、
ハイファンタジー、異世界、魔法が主要な要素となっている
という点で共通して検索小説と合致していました。
「キーワード：魔法」はファンタジー小説ならとりあえずいれとけという感じで多くの小説に設定されていますが、その中で魔法が主要要素となっている小説は一部にすぎません。
そのため、魔法がメインテーマである小説かどうかは読んでみるまで分かりません。
今回の手法では魔法がメインテーマとなっている小説をピンポイントで探し出せているので、従来の小説家になろうの検索システムよりも正確で詳細な検索が行えているのではないかと思います。
まとめ
結果について
- 小説のDoc2Vecを行った。
- 小説の文書ベクトルによるクラスタリングを行った。
- ジャンルによってクラスタ分けできた。
- しかし、意味の分からないクラスタもあった。
- 類似小説の検索を行った。
- 未知の小説に対しても精度よく検索出来た。
考察・今後の展望
- Doc2Vecを行う際のパラメータは適当に決めたのでよりよくなるように調整をする。
- クラスタリングの妥当性
- 他の手法でクラスタリングをしたほうが良かったのではないか。
- クラスタ数についても検討が必要。
- 今回は2000作品で学習したが、もう少し学習データを増やして学習させたい。
- ファンタジー以外の作品も取り入れて実験を行いたい。
- ５話までしか用いなかったが、もう少しデータサイズを増やすとどうなるか。
- ジャンル演算を行う。
- word2vecは意味の演算が行える。（王ー男＋女＝女王）
- ジャンル（例えば「異世界」や「恋愛」）の方向ベクトルが見つけられれば、「こんな感じの雰囲気で異世界要素を抜いた小説が読みたいなぁ」みたいなニーズに答えられるかもしれない。
以上です。
面白い結果が得られて楽しかったです。
ここまで読んでくださりありがとうございました。
