Yahoo! 株板の計量

Yahoo! 株板は;

• 総トピック数 (上場企業数プラスアルファ) は4000弱
• 総レス数は1400万弱
• 1日に約26000投稿

いまのクローラの性能で、すべてのトピックを1秒で取得できたとして162日かかる。もともとの趣旨を考えると、投稿文をいちいち取得する必要はない。この銘柄は1日に何人によって何個の投稿があったのかがわかればよい。ということで方針を変更。

企業ごとに日付とその日の投稿数からなる CSV ファイルを生成するようにする。ユニークID数はもうすこし置いておく。