news_crawler

Google Newsのスクレイピングと管理

クローリングの開始

crawler/main.phpでクローラが芋づる式に動作。
crawler/main.phpはGETで引数を取り、crawler/main.php?tpc=hのように使う。
引数の値はGoogle Newsのトピック引数と同じ。
以下のサイトを参考に。
Googleニュースのトピックと地域版の一覧

また、crontabのようにスケージュールを組んで実行したい場合はcrawler/crawling.shを叩けば動作する。

記事の参照

debug/topics.phpにてトピックごとに分類された記事一覧が取得できる（html形式）。
debug/topics.php?order=dで最新の数件を取得できる。