http://txqz.net/blog/2006/12/19/2347 陽坂智佐 「MySQLでTF-IDFの計算、あと2つのベクトルの内積の計算」に関する情報です。 http://txqz.net/blog/2006/12/19/2347 本文を形態素分解し、必要な品詞をtfテーブルとdfテーブルに入れる。分析対象となる文書群すべてについてこの処理を行い、各形態素のTF-IDF値を求めて文書をベクトル化する。他の文書ベクトルと内積を比較し、小さい順に「似ている記事」を求めたい (クラスタリングとかは別途)。 HarmanによるTF値の正規化とSparok JonesによるDF値の正規化をする場合のTF-IDF値の計算式は以下のようになる (参考文献): tfidf(i,j) = log2(freq(i,j) + 1) / log2 …… MySQL SQL TF-IDF ベクトル空間 内積 自然言語処理 2006-12-19T23:47:00+09:00