К основному контенту

Команда wget Linux

Работая в консоли, нам достаточно часто приходится взаимодействовать с сетью, например скачивать файлы или целые интернет страницы. Если интернет страницы мы скачиваем довольно редко, то с файлами дело обстоит совсем по другому. Это могут быть различные скрипты, установочные пакеты, программы, ключи, списки пакетов и многое другое. Скачать файл в консоли Linux можно с помощью утилиты wget. Ее мы и рассмотрим в этой статье.

Это очень мощная утилита, способная работать по протоколам HTTP, HTTPS и FTP. Кроме того поддерживается работа через прокси. Команда wget linux, может выполнять загрузку файлов даже в фоновом режиме - без участия пользователя, в отличии от большинства веб браузеров.

Кроме скачивания файлов, есть возможность сохранять веб страницы или даже целые веб-сайты, благодаря функции открытия ссылок на страницах. Такую возможность еще называют рекурсивной загрузкой. Это все мы и рассмотрим в сегодняшней статье, но начнем, как всегда, с синтаксиса и основных опций утилиты.

Содержание статьи: Синтаксис Wget Опции Использование wget Linux 1. Загрузка файла 2. Сохранить файл с другим именем 3. Скачать несколько файлов 4. Взять URL из файла 5. Продолжить загрузку 6. Загрузка файлов в фоне 7. Ограничение скорости загрузки 8. Подключение по логину и паролю 9. Загрузить и выполнить 10. Сохранить файл в папке 11. Передать информацию о браузере 12. Количество попыток загрузки 13. Квота загрузки 14. Скачать сайт Выводы Синтаксис Wget

Команда wget linux имеет очень простой синтаксис:

$ wget опции аддресс_ссылки

Можно указать не один URL для загрузки, а сразу несколько. Опции указывать не обязательно, но в большинстве случаев они используются для настройки параметров загрузки. Опции

Синтаксис опций очень свободный. У каждой опции, как правило есть как длинное, так и короткое имя. Их можно записывать как до URL, так и после. Между опцией и ее значением не обязательно ставить пробел, например вы можете написать -o log или -olog. Эти значения эквивалентны. Также если у опций нет параметров, не обязательно начинать каждую с дефиса, можно записать их все вместе: -drc и -d -r -c. Эти параметры wget тоже эквивалентны.

А теперь давайте перейдем к списку опций. У wget слишком много опций, мы разберем только основные. -V (--version) - вывести версию программы -h (--help) - вывести справку -b (--background) - работать в фоновом режиме -o файл (--out-file) - указать лог файл -d (--debug) - включить режим отладки -v (--verbose) - выводить максимум информации о работе утилиты -q (--quiet) - выводить минимум информации о работе -i файл (--input-file) - прочитать URL из файла --force-html - читать файл указанный в предыдущем параметре как html -t (--tries) - количество попыток подключения к серверу -O файл (--output-document) - файл в который будут сохранены полученные данные -с (--continue) - продолжить ранее прерванную загрузку -S (--server-response) - вывести ответ сервера --spider - проверить работоспособность URL -T время (--timeout) - таймаут подключения к серверу --limit-rate - ограничить скорость загрузки -w (--wait) - интервал между запросами -Q (--quota) - максимальный размер загрузки -4 (--inet4only) - использовать протокол ipv4 -6 (--inet6only) - использовать протокол ipv6 -U (--user-agent)- строка USER AGENT отправляемая серверу -r (--recursive)- рекурсивная работа утилиты -l (--level) - глубина при рекурсивном сканировании -k (--convert-links) - конвертировать ссылки в локальные при загрузке страниц -P (--directory-prefix) - каталог, в который будут загружаться файлы -m (--mirror) - скачать сайт на локальную машину -p (--page-requisites) - во время загрузки сайта скачивать все необходимые ресурсы

Кончено это не все ключи wget, но здесь и так слишком много теории, теперь давайте перейдем к практике. Примеры wget намного интереснее. Использование wget Linux

Команда wget linux, обычно поставляется по умолчанию в большинстве дистрибутивов, но если нет, ее можно очень просто установить. Например установка с помощью yum будет выглядеть следующим образом:

yum -y install wget

А в дистрибутивах основанных на Debian:

sudo apt install wget

Теперь перейдем непосредственно к примерам:

1. Загрузка файла

Команда wget linux скачает один файл и сохранит его в текущей директории. Во время загрузки мы увидим прогресс, размер файла, дату его последнего изменения, а также скорость загрузки:

wget http://ftp.gnu.org/gnu/wget/wget-1.5.3.tar.gz



2. Сохранить файл с другим именем

Опция -О позволяет задать имя сохраняемому файлу, например, скачать файл wget с именем wget.zip:

wget -O wget.zip http://ftp.gnu.org/gnu/wget/wget-1.5.3.tar.gz



3. Скачать несколько файлов

Вы можете скачать несколько файлов одной командой даже по разным протоколам, просто указав их URL:

wget http://ftp.gnu.org/gnu/wget/wget-1.5.3.tar.gz ftp://ftp.gnu.org/gnu/wget/wget-1.10.1.tar.gz.sig



4. Взять URL из файла

Вы можете сохранить несколько URL в файл, а затем загрузить их все, передав файл опции -i. Например создадим файл tmp.txt, со ссылками для загрузки wget, а затем скачаем его:

wget -i /wget/tmp.txt