今日まで2日間、研究室の合宿でグランビュー熱海というコンドミニアムで開発合宿をしていた。これがとてもよくて、先生が授業で営業を精力的に行ったためとかでまず女子の割合が高い。そしてご飯が自動的に出てくる。屋上に風呂があって見晴らしがいい。すぐ前が海でリアルが爆発している。そんな中OB共は怠惰な時間をすごしておりまったく救いようがない。
たとえば私などはyozbotというクソみたいなBotを作成するのみで、これは私の今までの投稿をなんかマルコフ連鎖? とかいうので再構築しているもので、ていうかまず実装したアルゴリズムがマルコフ連鎖になっているのかも不明で、ただPythonの勉強をしたかっただけだった。
まず、自分のタイムラインは古い分がすでにサーバにあるので、新しい部分を1時間おきくらいにでも取得してくる必要がある。こんな感じ:
#!/usr/local/bin/python
# -*- coding: utf-8 -*-
import MySQLdb
import twitter
import time
import calendar
api = twitter.Api()
statuses = api.GetUserTimeline('youzaka')
def tosqltime(created_at):
return time.strftime('%Y-%m-%d %H:%M:%S', time.localtime(calendar.timegm(time.strptime(created_at, '%a %b %d %H:%M:%S +0000 %Y'))))
data = [(s.id, s.text.encode('utf_8'), tosqltime(s.created_at)) for s in statuses]
con = MySQLdb.connect(db='*****', user='*****', passwd='*****')
cur = con.cursor()
for (id, body, date) in data:
sql = "insert ignore into tweets(id, body, date, treated) values(%s, %s, %s, 0)"
cur.execute(sql, (id, body, date))
cur.close()タイムライン取得APIを叩いて、IDと本文と日付を取得して、それをDBにつっこんでいるだけ。tweetsテーブルのidカラムは主キーになっているので、IGNOREをつけておく。15行目で、取得したtextをそのまま使っていたらDBにつっこむところでUnicodeEncodeErrorが出た。Pythonはここら辺が慣れない。
マルコフ連鎖みたいなのが以下:
#!/usr/local/bin/python
# -*- coding: utf-8 -*-
import MeCab
import MySQLdb
import re
import random
mecab = MeCab.Tagger('-Owakati')
con = MySQLdb.connect(db='*****', user='*****', passwd='*****')
cur = con.cursor()
sql = 'select id, body from tweets where treated = 0'
cur.execute(sql)
rows = cur.fetchall()
id_list = []
markov = {}
for row in rows:
id_list.append(row[0])
body = row[1]
first = ""
second = ""
body = re.sub('https?://[^ ]+', '', body)
if body == '':
continue;
parsed = mecab.parse(body.rstrip()).split(' ')
parsed.insert(0, '[start]')
parsed[-1] = '[end]'
for third in parsed:
if first and second:
if (first, second) not in markov:
markov[(first, second)] = []
markov[(first, second)].append(third)
first, second = second, third
cur.close()
cur = con.cursor()
for (first, second), list in markov.items():
for third in list:
sql = "insert into markov(first, second, third) values(%s, %s, %s)"
cur.execute(sql, (first, second, third))
cur.close()
cur = con.cursor()
for id in id_list:
sql = "update tweets set treated = 1 where id = %s"
cur.execute(sql, id)
cur.close()取得したTwitterの書き込みのうち未処理のものについて、URLを削除してMecabに投げて形態素の配列を取得して、先頭と最後にそれぞれ[start]、[end]のマークをつける。で、どんどんDBに投げていく。たとえば、「研究室の合宿で全自動メシをクソBotに変換しました」を形態素分解すると「研究室」「の」「合宿」「で」「全」「自動」「メシ」「を」「クソ」「Bot」「に」「変換」「し」「まし」「た」となる (デフォルトの辞書の場合) ので、この文章から以下のルールを得られる:
| start | second | third |
|---|---|---|
| [start] | 研究 | 室 |
| 研究 | 室 | の |
| 室 | の | 合宿 |
| の | 合宿 | で |
| 合宿 | で | 全 |
| で | 全 | 自動 |
| 全 | 自動 | メシ |
| 自動 | メシ | を |
| メシ | を | クソ |
| を | クソ | Bot |
| クソ | Bot | に |
| Bot | に | 変換 |
| に | 変換 | し |
| 変換 | し | まし |
| し | まし | た |
| まし | た | [end] |
このルールから文章を作成してTwitterに投げるところはこんな感じ:
#!/usr/local/bin/python
# -*- coding: utf-8 -*-
import MySQLdb
import re
import twitter
con = MySQLdb.connect(db='*****', user='*****', passwd='*****')
cur = con.cursor()
sql = "select second, third from markov where first='[start]' order by rand() limit 1"
cur.execute(sql)
row = cur.fetchone()
first = row[0]
second = row[1]
cur.close()
if re.search('[a-zA-Z]$', first) and re.search('^[a-zA-Z]', second):
text = first + ' ' + second
else:
text = first + second
while True:
cur = con.cursor()
sql = "select third from markov where first = %s and second = %s order by rand() limit 1"
cur.execute(sql, (first, second))
row = cur.fetchone()
first, second = second, row[0]
if second == '[end]':
break
if re.search('[a-zA-Z]$', text) and re.search('^[a-zA-Z]', second):
text = text + ' ' + second
else:
text += second
api = twitter.Api('yozbot', '*****')
api.PostUpdate(text.decode('utf_8'))まず、最初の2語をランダムに選んで、その2語から次の単語をランダムに繋げていって、[end]が出たら終わりという単純なもの。次の単語を選ぶのに前の2語を使っているので、バリエーションの少ない組み合わせだとそのままもとの投稿が出力されるということもありえて、そこらへんは調整したい。「北大」→「クラスタ」の連なりが1例しかなかったので、「北大」が選択された場合は100%「北大クラスタ爆発しろ」になってしまう。
| first | second | third |
|---|---|---|
| むしろ | クラスタ | 内 |
| 特定 | クラスタ | 民 |
| 所属 | クラスタ | 以外 |
| 所属 | クラスタ | ごと |
| から | クラスタ | 臭 |
| 操作 | クラスタ | [end] |
| 関東 | クラスタ | は |
| 関東 | クラスタ | と |
| て | クラスタ | 解説 |
| 塚 | クラスタ | の |
| 北大 | クラスタ | 爆発 |
| 「 | クラスタ | 間 |
| 、 | クラスタ | が |
| 、 | クラスタ | 別 |
| 筑波大 | クラスタ | に |
| 筑波大 | クラスタ | よく |
| ない | クラスタ | 乙 |
| の | クラスタ | の |
| 大 | クラスタ | より |
| 大 | クラスタ | っぽい |
| 大 | クラスタ | の |
| 大 | クラスタ | の |
| 大 | クラスタ | 」 |
| 大 | クラスタ | の |
| た | クラスタ | に |
| 会話 | クラスタ | と |
| で | クラスタ | 内 |
| 京大 | クラスタ | の |
| 別 | クラスタ | で |
| 働く | クラスタ | 甲 |
| 高専 | クラスタ | ? |
| 新人 | クラスタ | が |
これ、「大」→「クラスタ」ってなっているもののほとんどが「静大クラスタ」だったはずで、「京大」「北大」はあるのに「静大」はなくて辞書漏れ悲しいですという話ですね。
本屋に行くと刊行順に新書が並んでいて本を探しにくいという話にブックマークがついて曰く:
[アハハ][ハウツー][魔界]「就活だからって普段来ねえ新書の棚にいちゃもんつけてんじゃねーよ、そもそも新書の分類が「政治」「経済」「ビジネス」みたいにスパッと分けられるか。文明開闢以来の「分類」ちう大問題を軽視」…等々、後ほど。
そりゃヒエラルキー型分類に嫌気が差していまフォークソノミーが絶賛流行中なわけで、これは「政治」の本でそれ以外ではない! だなんて言えない。たとえば今日買ってきた新潮新書の『いつまでもデブと思うなよ』にしても、大まかに言うとこれは「健康」の本かもしれないけど、ダイエットの本でもあるしオタキングの本でもあるし中年男性の本でもある。
そういうキーワードから新書間の距離を計算して、より多くのキーワードを共有する本をなるべく近くに置くようなアルゴリズムでも考えてみたら評判になるかも。既存の知見をちょっと応用するだけだけど。
と思ったけど、新書って関連書籍の紹介があるじゃん。手元にあるレーベルで確認したのは講談社現代新書と光文社新書の2つだけど、『行動経済学 経済は「感情」で動いている』の場合は『財政学から見た日本経済』や『経済物理学の発見』、『マルクスだったらこう考える』など経済学つながりの新書が「既刊より」に列挙されているし、『東京の島』には『日本《島旅》紀行』や『郵便局を訪ねて1万局』、『温泉教授の日本全国温泉ガイド』など地理関係や紀行作品が紹介されている。光文社新書は書誌情報の列挙だけど講談社現代新書の場合は紹介文もついていて、『はじめての言語学』の場合は:
本書著者も推薦する好著、井上史雄『敬語はこわくない』は、年々変化するよう例を豊富に紹介する「お求めやすい」入門書。同著者による『日本語は年速一キロで動く』は、綿密な全国調査で明かす図版満載の日本語論。
などとなっている。レーベル側で関係書籍を列挙しててくれているわけで、売り上げを少しでも伸ばそうとする書店がこの情報を活用しない手はない。他のレーベルも、こういう形で本と本をリンクしてくれるといろいろありがたいのでぜひよろしくお願いしたいところ。
本文を形態素分解し、必要な品詞をtfテーブルとdfテーブルに入れる。分析対象となる文書群すべてについてこの処理を行い、各形態素のTF-IDF値を求めて文書をベクトル化する。他の文書ベクトルと内積を比較し、小さい順に「似ている記事」を求めたい (クラスタリングとかは別途)。
HarmanによるTF値の正規化とSparok JonesによるDF値の正規化をする場合のTF-IDF値の計算式は以下のようになる (参考文献):
tfidf(i,j) = log2(freq(i,j) + 1) / log2(NoT) * (log2(N / Dfreq(i)) + 1)tf(i,j) = log2(freq(i,j) + 1) / log2(NoT)idf(i) = log2(N / Dfreq(i)) + 1SELECT log2(times + 1) FROM tf WHERE item='j' AND tag='i';SELECT log2(count(tag)) FROM tf WHERE item='j' GROUP BY item;SELECT count(id) FROM article;SELECT times FROM df WHERE tag = 'i';全部くっつけると:
SELECT item, tag, log2(tf.times + 1) / log2(total) * (log2(n / df.times) + 1) AS tfidf
FROM tf
LEFT JOIN df USING(tag)
LEFT JOIN (SELECT item, count(tag) total FROM tf GROUP BY item) AS a USING(item)
CROSS JOIN (SELECT count(id) AS n FROM items) AS b
WHERE item="j";実際はユーザ変数を使った方がSQLが短くなっていいと思う。
SELECT @total := count(tag) FROM tf WHERE item = "j";
SELECT @n := count(id) FROM items;
SELECT item, tag, log2(tf.times + 1) / log2(@total) * (log2(@n / df.times) + 1) AS tfidf
FROM tf LEFT JOIN df USING(tag)
WHERE item="j";これで記事の各形態素のTFIDF値が求められたので、tfidfテーブルに保管しておく。
とりあえず各記事の上位100単語くらいを使うことにする。
INSERT INTO tfidf
SELECT item, tag, log2(tf.times + 1) / log2(@total) * (log2(@n / df.times) + 1) AS tfidf
FROM tf LEFT JOIN df USING(tag)
WHERE item="j"
ORDER BY tfidf DESC
LIMIT 100;ある文書wがn次元のベクトルで表せる (w = {w1 w2 ... wn})とき、文書wとxの内積は
Σ(wi * vi) / √(Σ(wi2) * Σ(vi2))MySQLで書くと
CREATE TEMPORARY TABLE inp
SELECT self.tag, self.tfidf self, target.tfidf target
FROM tfidf self
LEFT JOIN (SELECT tag,tfidf FROM tfidf WHERE item='v') target USING(tag)
WHERE self.item = 'w';
SELECT sum(self * target) / sqrt(sum(pow(self,2))*sum(pow(target,2))) inp FROM inp実際にニュー速各板のスレでやってみた。だいたい同じニュースの続きのスレだと0.6以上の高い値に、似たようなネタの異なるニュースの場合は0.3～0.4くらいになった。以下はそれらの例。カッコ内が内積
今回やってみて、同じニュースのスレッドは★１だろうが★８だろうが同じようなことを延々と話しているのではないかと感じた。何スレも立つような息の長いニュースについて、スレッドごとの単語の登場の仕方とか共起の仕方を見ていくと、ニュー速民のニュースへの態度を表せたりするかも。面白いのはフィギュアスケート選手の体調不良の記事とカキの風評被害の記事が関連付けられたこと。フィギュアスケートの記事中に「カキ」への言及がなくても、ニュー速民による噂話の可視化によって、実は関係あるかもしれない2つの記事が結びついた。なんか集合知かも～。
このとき使ったのと似たような手法を候補者ブログクローラでも使っています。
Wikipedia日本語版のタイトル一覧を持ってきてSenのユーザ辞書に突っ込んだのはいいけれども、名詞は名詞だけどどんな名詞か判断できないので一律に「名詞-from_wikipedia」として登録したら適切に使われなかった。そりゃ"from_wikipedia"なんてサブ品詞は形態素解析マシンが理解できないのだから当然。悔い改めて一律に「名詞-固有名詞」として、コストもテキトーな値にして登録してみた。
で、たとえば「クーリングオフ」という単語なのだけれども、「クーリングオフをする」とかいう文脈だと、ちゃんと「クーリングオフ」という新しい形態素が抽出される。しかし、「クーリングオフされた」だと「クー」「リング」「オフ」「さ」「れ」「た」になってしまう。それは、「クーリングオフ」は本当はサ変接続の名詞なのにもかかわらず「固有名詞」として登録してしまったのが悪い。
デフォルト辞書に含まれていない新しい語彙をまとめて登録するのにWikipediaを使えば楽かなと思ったけれども、実際は、少なくとも普通の名詞とサ変動詞にくっつく名詞というのを区別して登録しないといけない。30万弱もあるのにそんなのいちいちやってられない。あと、数字や化学式まで「固有名詞」として登録されてしまうから、「2007」が「2」と「007」に別れてしまったりする。そりゃ007はゼロゼロセブンのことなのだけれども、そんな誤爆しそうなフレーズを登録したら死ぬ。数字やアルファベットだったら、ほっておけば未知語として出てくるだろうから、数字やアルファベットだけからなる行は削除するとかしないといけない。
あとはてなキーワード一覧も用意したのだが、何も考えないでやったら文字コードがEUC-JPになってしまった。そのほかはUTF-8なのでいかにも都合が悪い。ということでlvを使った。
lv -Ou8 motoneta.txt > henkan.txtでUTF-8に変換できる。よく文字コード変換というとnkfが言及されるが、どっちが良いんだろう。GNOMEエディタだと「無効な文字がありました」と言われるファイルでも無理やり変換できる。