2010-02-01から1ヶ月間の記事一覧

catalystによるアプリ一覧の取得

今度はデータベースから先日作成したmixiアプリの一覧を取得して表示するまずはコントローラのひな型を作成 $ ./script/hoge_create.pl controller Top 「/home/hoge/lib/hoge/Controller/Top.pm」というファイルができる catalystは「http://mydomain.com/t…

catalystのインストール

前回アプリの一覧とランキングのデータの格納ぐらいまでやりました。 今度は表示側の処理を作成しようかなと思います。 今回はperlのMVCフレームワークであるcatalystさんを利用してみます まずはおもむろにCPANでinstallしてみる。 色々と依存モジュールの…

4. データを格納

解析した情報をデータベースへ格納するテーブル定義を考える クローラ管理の「crawl_control」 アプリ情報「mixi_app_info」(更新頻度低) ランキング履歴「mixi_app_rank_log」(更新頻度高)と分ける 利用者数とかは、2個所のテーブルで保持してます(ランキ…

3. データを取得

WWW::Mixi::Scraperにはmixiアプリを取得するpluginは入っていないので取得するpluginを自分で作成 pluginをパッケージを作成 /usr/lib/perl5/site_perl/5.8.8/WWW/Mixi/Scraper/Plugin下に「SearchAppli.pm」パッケージを作成する (パッケージ名は対象URLを…

2. 取得情報を検討

まずはmixiアプリランキングを眺めて 抜き出したい項目について考える。URL http://mixi.jp/search_appli.pl パラメータ mode new 新着 mymixi マイミクに人気 ranking ランキング category 1 ゲーム 2 エンターテイメント 3 コミュニケーション 4 つくる・…

1. 前もって準備するもの

perl mysql WWW::Mixi::Scraper(CPANモジュール)

mixi アプリランキングの取得

わざわざmixiページを見に行くのがものぐさだったので cronバッチでmixiアプリランキングを抜き出す事を考えた。