解析した情報をデータベースへ格納するテーブル定義を考える クローラ管理の「crawl_control」 アプリ情報「mixi_app_info」(更新頻度低) ランキング履歴「mixi_app_rank_log」(更新頻度高)と分ける 利用者数とかは、2個所のテーブルで保持してます（ランキ…

WWW::Mixi::Scraperにはmixiアプリを取得するpluginは入っていないので取得するpluginを自分で作成 pluginをパッケージを作成 /usr/lib/perl5/site_perl/5.8.8/WWW/Mixi/Scraper/Plugin下に「SearchAppli.pm」パッケージを作成する (パッケージ名は対象URLを…

まずはmixiアプリランキングを眺めて 抜き出したい項目について考える。URL http://mixi.jp/search_appli.pl パラメータ mode new 新着 mymixi マイミクに人気 ranking ランキング category 1 ゲーム 2 エンターテイメント 3 コミュニケーション 4 つくる・…

perl mysql WWW::Mixi::Scraper(CPANモジュール)

わざわざmixiページを見に行くのがものぐさだったので cronバッチでmixiアプリランキングを抜き出す事を考えた。