問題描述

如題，最近有需求要做文章相似度分析，需求很簡單，具體就是對比兩篇分別300字左右的文章的相似度情況，目前查到的方法，需要先中文分詞（jieba），然后對比相似度，時(shí)間緊任務(wù)重，不知道有沒有做過類似功能的大神可以指點(diǎn)一二的

問題解答

第一步你已經(jīng)給出了，首先對文章進(jìn)行中文分詞，然后計(jì)算每個(gè)詞在兩篇文章中的tf-idf值。然后計(jì)算兩個(gè)文章的余弦相似度，可以用Python中的gensim實(shí)現(xiàn)。

有疑問請繼續(xù)提問。

補(bǔ)一下一樓的答案在食用余弦相似性或TF-IDF，應(yīng)該首先去掉停止詞。

停止詞，是由英文單詞:stopword翻譯過來的，原來在英語里面會遇到很多a，the，or等使用頻率很多的字或詞，常為冠詞、介詞、副詞或連詞等。因?yàn)楦痹~，連詞這類詞語并不會十分影響我們對語義的判斷。

但是單純的余弦相似性和TF-IDF某種情況下并不能十分的可靠。推一波自己的鏈接2333這里

建議使用textrank和以上算法進(jìn)行結(jié)合