Как да изтеглим цял сайт чрез wget
Привет,
Сигурно много хора като мен навремето са се чудили как могат да изтеглят цял един сайт. Спомням си преди години че съм го правил с wget с опцията -r , но днес открих бруталния начин да се изтърмъчи всичко чрез една команда под линукс.
Ето я и нея:
wget --random-wait -r -p -e robots=off -U mozilla http://www.site.com
Като накратно възможните опции които могат да се използват са следните :
-p parameter tells wget to include all files, including images.
-e robots=off you don’t want wget to obey by the robots.txt file
-U mozilla as your browsers identity.
–random-wait to let wget chose a random number of seconds to wait, avoid get into black list.
Other Useful wget Parameters:
–limit-rate=20k limits the rate at which it downloads files.
-b continues wget after logging out.
-o $HOME/wget_log.txt logs the output