- 総トピック数 (上場企業数プラスアルファ) は4000弱
- 総レス数は1400万弱
- 1日に約26000投稿
いまのクローラの性能で、すべてのトピックを1秒で取得できたとして162日かかる。もともとの趣旨を考えると、投稿文をいちいち取得する必要はない。この銘柄は1日に何人によって何個の投稿があったのかがわかればよい。ということで方針を変更。
企業ごとに日付とその日の投稿数からなる CSV ファイルを生成するようにする。ユニークID数はもうすこし置いておく。
いまのクローラの性能で、すべてのトピックを1秒で取得できたとして162日かかる。もともとの趣旨を考えると、投稿文をいちいち取得する必要はない。この銘柄は1日に何人によって何個の投稿があったのかがわかればよい。ということで方針を変更。
企業ごとに日付とその日の投稿数からなる CSV ファイルを生成するようにする。ユニークID数はもうすこし置いておく。