MY-NOTEBOOK

Thursday, January 8, 2009

wgetでウェブサイトをまるごとダウンロード

Webの仕事の打診で、○○のサイトを少しなおしたいんだけど、
サンプル出してください・・・
と言われたときに便利なのが、wget のミラー機能。

wget でミラー

ちょっとサンプル打診というくらいなので、ソースはもらえない。
まずは、こちらでネット公開されているウェブページをそっくり手元のPCにダウンロードして、修正して提出・・・という仕事の流れになる。
wgetのmirror機能を使えば、簡単にできる。

$ wget -m http://osima.jp/java/

のようにすると、ミラーをローカルにつくる(ダウンロード)することができるのだが・・・
しかし、java/ 以下だけでなく、よりルートに近い方のディレクトリにもさかのぼってミラーしてしまうのが、不都合。

そのような場合は、以下のオプションで実行。

$ wget -r -np -m -k http://osima.jp/java/

これで java/ 以下だけを再帰的に取得できる。

基本認証がかかっているページでも wget を使う場合

© 2006-2012 Tomoaki Oshima