http://txqz.net/genre/MySQL 陽坂智佐 最新15件を表示します。 http://txqz.net/blog/2008/05/05/1837 先日の正規化ネタの件でid:teramakoさんがdel.icio.usでの例を紹介して下さったので移行してみた。 今までの構造 今までこのブログで記事とタグの関係がどうなっていたかというと、教科書どおりに正規化していた。ただ、タグそのものにIDをふって [items] - [item_tag] - [tags] という構造ではなくて、[items] - [tags]という形になっていた。以下のような感じ: items idtitlebodydate 1地球空冷化<p …… このサイト MySQL スキーム SQL 2008-05-05T18:37:00+09:00 http://txqz.net/blog/2008/03/20/1834 いま後輩が悩んでいるネタ。たとえば、以下のようなデータをデータベースにどう格納するかを考える。 夜行バスと割引 名前行き先片道運賃割引 セレナーデ号広島駅8400早売14、ネット割2%、往復割引 出雲・松江ドリーム名古屋号出雲市駅9000早売21、ネット割2%、往復割引 オリーブ松山号JR松山支店10000往復割引 手元に資料があるもので適当に問題を置き換えたので例が悪いが、とにかくこういうデータをどういうスキーマで格納するかを考える。教科書どおりに沿って考えると …… MySQL SQL データベース 正規表現 2008-03-20T18:34:00+09:00 http://txqz.net/blog/2007/07/21/1821 変更点は主にBug Fixとなります。詳しくはChangelogを御覧下さい。　なお、今回のリリースから配布形式をパッチ単体ではなく、MySQLのソースコードにパッチ組み込んだ形に変更しました これはうれしい。 MySQL senna tritonn 全文検索 2007-07-21T18:21:00+09:00 http://txqz.net/blog/2007/06/07/2026 以前書いたMySQLにSennaを当てたときのメモが地味に注目を集めているらしく、ときたまSBMにブクマされたりしている。あのときは、お手本がDebianでパスの指定がCentOSと違っていたり、何か自分の環境で用を全うするのに必要な知識が分散していたりして無駄に時間がかかったので、一応CentOSユーザな私がやったことを一括に並べておいて、後から同じことをするのに都合の良いようにするためにあれを書いた。今はTritonnがあり、Tritonnのドキュメントをそのままなぞれば (--prefixとか …… MeCab MySQL Senna SuffixArray Tritonn 全文検索 語彙 辞書 2007-06-07T20:26:00+09:00 http://txqz.net/blog/2007/05/18/1525 いままでMySQL5.0.33+Senna0.8.2だった環境をMySQL5.0.37+Senna1.0.4+MeCab0.95+Tritonn1.0.2に変えた。 従来の環境では、MeCabの辞書で全文検索インデックスを作るよりN-gramの方が早いし良いかと思っていたが、Sennaがついにバージョン1になったり、やっぱり多少速度がアレになってもより正確な方が良いよねということになったりしたので、バージョンアップをすることにした。 いろいろ試行錯誤があったものも、最終的にはMySQL5.0.3 …… MySQL Senna snippet トラブル 2007-05-18T15:25:00+09:00 http://txqz.net/blog/2007/05/01/1552 複数テーブルにまたがるJOINは避ける非正規化ロジックで対応 まっとうなクエリスキーマをデザインすること。テーブルの結合を怖がることはない、大抵非正規化よりも速い 結局どっちなんだ? MySQL RDBMS SQL 2007-05-01T15:52:00+09:00 http://txqz.net/blog/2007/01/17/1920 すでにテーブルにある主キーやユニークキーと同じ値をふくむ行を挿入しようとするときに、こちらの想定する振る舞いをさせる方法のまとめ。まぁ、リファレンスマニュアルの INSERT 構文のところを見れば話は終わりなのだけれども。 ID (主キー)値 1100 2800 3400 間違って主キーと同じ値を含む行を挿入しようとしたらエラーを出して教えてほしいとき INSERT INTO test VALUES(1,100); とすると、ERROR 1062 (23000): D …… MySQL 2007-01-17T19:20:00+09:00 http://txqz.net/blog/2006/12/19/2347 本文を形態素分解し、必要な品詞をtfテーブルとdfテーブルに入れる。分析対象となる文書群すべてについてこの処理を行い、各形態素のTF-IDF値を求めて文書をベクトル化する。他の文書ベクトルと内積を比較し、小さい順に「似ている記事」を求めたい (クラスタリングとかは別途)。 HarmanによるTF値の正規化とSparok JonesによるDF値の正規化をする場合のTF-IDF値の計算式は以下のようになる (参考文献): tfidf(i,j) = log2(freq(i,j) + 1) / log2 …… MySQL SQL TF-IDF ベクトル空間 内積 自然言語処理 2006-12-19T23:47:00+09:00 http://txqz.net/blog/2006/12/13/0943 いろいろな本からメモってきたメモのメモ。出典を書いておくのを忘れた。思い出し次第補完するかも。 deleteのコストは高いので、無効化を示すフィールドを作ってupdateすべき slow query logに要注意 多くのエントリでほとんどのフィールドが同じ値を持つ場合はインデックスの効果が小さい →複合インデックスの効果が大きい 複合インデックスは指定の順番が大切。AとBという指定の場合、A単独でもインデックスの効果がある。逆は真でない。 インデックスが使われる場面は フィールド …… MySQL 2006-12-13T09:43:00+09:00 http://txqz.net/blog/2006/11/23/0000 138000秒(38時間+)経ってもまだ終わらない。 MySQL 2006-11-23T00:00:00+09:00 http://txqz.net/blog/2006/11/22/0959 なんか電車の中からsunameri経由でkurageにログインしてMySQLの調子を観測するのがたるいのでなにかソリューションを考え中、ていうかsunameriにPHPMyAdminとか入れればいいのか。んー で、このあいだのニュース板クローラに続き実況板クローラも、updateがぜんぜん終わらなくてkillしてもCommandがkilledのまま終わらなくてrepair table したらそれが30000秒経っても終わらないという状態になってしまったので、ていうか実況板クローラで遊ぶよりも卒論と …… MySQL tv.oshira.se クローラ 2006-11-22T09:59:00+09:00 http://txqz.net/blog/2006/11/11/2202 大学祭。ミナミにいたらひーろんが来たので、彼と相合い傘（はーと←ぉぇ）佐世保バーガーがおいしかった。午後から行列になったそうだし、午前の早いうちに味わっておいてよかった。 戻ってきてからcronプロセスの監視。なんかエラーがでてたとこがあったのでパーサを少し書き直した。バージョンの古いのと新しいのがごちゃごちゃしていて、直したと思ったのがそれが実運用に入っていなかったりする。あとですっきりさせないといけない。jarファイルにまとめるとか。 そのあとはMySQLのレプリケーションに手を出す。なんか …… MySQL レプリケーション 佐世保バーガー 大学祭 静岡大学 2006-11-11T22:02:00+09:00 http://txqz.net/blog/2006/11/08/1006 MySQL 4.1 リファレンスマニュアル の 「日付と時刻関数」には、このクエリでは、過去 30 日以内の日付の date_col 値を持つすべてのレコードが選択されますとして SELECT something FROM tbl_name WHERE TO_DAYS(NOW()) - TO_DAYS(date_col) <= 30; という SQL 文が紹介されているけれども、これって INDEX が使われないわけで。 30日前の日付が他で分かるなら、それを BETWEEN で指定してあげ …… MySQL インデックス 2006-11-08T10:06:00+09:00 http://txqz.net/blog/2006/10/17/2115 Sennaのsnippet udfを使うSQLは: SELECT snippet(文書, snippetの長さの最大バイト数, snippetの最大個数, 文書の文字コード, htmlエンコーディングの有無, snippetの開始タグ, snippetの終了タグ, 単語1, 単語1の前につけられるタグ, 単語1の後につけられるタグ, 単語2, 単語2の前につけられるタグ, 単語2の後につけられるタグ, ...); となっている。単語の数に応じて引数の数が変化するので、PreparedStatem …… MySQL PHP Senna Snippet 検索エンジン 2006-10-17T21:15:00+09:00 http://txqz.net/blog/2006/08/27/0253 日本語で全文検索をするために MySQL に Senna を組み込むメモ。少し前は個人ニュースサイトめぐり→日記書きに数時間を要していた私が次に目をつけたのがRSSめぐり→はてブ登録なのだがそれでも依然として数時間かかる。そんなあなた (私) に朗報です。私の代わりにブックマークしてくれるエージェントを作ればいいのです。そしてそのエージェントが今日よく使われていた単語やタグとか出してくれて、1次ソースAについてBさんとCさんとDさんがそれぞれの立場でこんなことを書いているとかいうのが俯瞰できて、さら …… CentOS Linux MeCab MySQL PHP Senna インストール メモ 文字コード 2006-08-27T02:53:00+09:00