GNU Wget — это утилита командной строки для загрузки файлов из Интернета. С Wget вы можете загружать файлы, используя протоколы HTTP, HTTPS и FTP. Wget предоставляет ряд параметров, позволяющих загружать несколько файлов, возобновлять загрузки, ограничивать пропускную способность, рекурсивные загрузки, загружать в фоновом режиме, зеркалировать веб-сайт и многое другое.
В этой статье показано, как использовать команду wget на практических примерах и подробных объяснениях наиболее распространенных параметров.
Содержание
Установка Wget
Пакет wget предустановлен на сегодняшний день в большинстве дистрибутивов Linux.
Чтобы проверить, установлен ли пакет Wget в вашей системе, откройте консоль, введите wget и нажмите Enter. Если у вас установлен wget, система напечатает wget: missing URL . В противном случае он напечатает wget command not found .
Если wget не установлен, вы можете легко установить его с помощью диспетчера пакетов вашего дистрибутива.
Установка Wget в Ubuntu и Debian
sudo apt install wgetУстановка Wget на CentOS и Fedora
sudo yum install wgetСинтаксис команды Wget
Прежде чем перейти к использованию команды wget , давайте начнем с обзора основного синтаксиса.
Выражения утилиты wget имеют следующую форму:
wget [options] [url]
options— Параметры Wget-
url— URL-адрес файла или каталога, который вы хотите скачать или синхронизировать.
Как скачать файл с помощью wget
В простейшей форме, при использовании без какой-либо опции, wget загрузит ресурс, указанный в [url], в текущий каталог.
В следующем примере мы загружаем tar-архив ядра Linux:
wget https://cdn.kernel.org/pub/linux/kernel/v4.x/linux-4.17.2.tar.xz
Как вы можете видеть на изображении выше, wget начинает с разрешения IP-адреса домена, затем подключается к удаленному серверу и начинает передачу.
Во время загрузки wget показывает индикатор выполнения, а также имя файла, размер файла, скорость загрузки и приблизительное время завершения загрузки. После завершения загрузки вы можете найти загруженный файл в своем текущем рабочем каталоге .
Чтобы отключить вывод, используйте параметр -q .
Если файл уже существует, wget добавит .N (число) в конец имени файла.
Сохранение загруженного файла под другим именем
Чтобы сохранить загруженный файл под другим именем, передайте параметр -O за которым следует выбранное имя:
wget -O latest-hugo.zip https://github.com/gohugoio/hugo/archive/master.zipПриведенная выше команда сохранит последний zip-файл hugo с GitHub как latest-hugo.zip вместо его исходного имени.
Загрузка файла в определенный каталог
По умолчанию wget сохраняет загруженный файл в текущем рабочем каталоге. Чтобы сохранить файл в определенном месте, используйте параметр -P :
wget -P /mnt/iso http://mirrors.mit.edu/centos/7/isos/x86_64/CentOS-7-x86_64-Minimal-1804.isoПриведенная выше команда сообщает wget нужно сохранить iso-файл CentOS 7 в каталог /mnt/iso .
Ограничение скорости загрузки
Чтобы ограничить скорость загрузки, используйте параметр --limit-rate . По умолчанию скорость измеряется в байтах в секунду. Добавьте k для килобайт, m для мегабайт и g для гигабайт.
Следующая команда загрузит двоичный файл Go и ограничит скорость загрузки до 1 МБ:
wget --limit-rate=1m https://dl.google.com/go/go1.10.3.linux-amd64.tar.gzЭта опция полезна, если вы не хотите, чтобы wget занимал всю доступную полосу пропускания.
Возобновление загрузки
Вы можете возобновить загрузку с помощью параметра -c . Это полезно, если ваше соединение прерывается во время загрузки большого файла, и вместо того, чтобы начинать загрузку с нуля, вы можете продолжить предыдущую.
В следующем примере мы возобновляем загрузку iso-файла Ubuntu 18.04:
wget -c http://releases.ubuntu.com/18.04/ubuntu-18.04-live-server-amd64.isoЕсли удаленный сервер не поддерживает возобновление загрузки, wget начнет загрузку с самого начала и перезапишет существующий файл.
Загрузка в фоновом режиме
Для загрузки в фоновом режиме используйте параметр -b . В следующем примере мы загружаем iso-файл OpenSuse в фоновом режиме:
wget -b https://download.opensuse.org/tumbleweed/iso/openSUSE-Tumbleweed-DVD-x86_64-Current.isoПо умолчанию вывод перенаправляется в файл wget-log в текущем каталоге. Чтобы посмотреть статус загрузки, используйте команду tail :
tail -f wget-logСмена пользовательского агента Wget
Иногда при загрузке файла удаленный сервер может быть настроен на блокировку агента пользователя Wget. В подобных ситуациях для эмуляции другого браузера передайте параметр -U .
wget --user-agent="Mozilla/5.0 (X11; Linux x86_64; rv:60.0) Gecko/20100101 Firefox/60.0" http://wget-forbidden.com/Приведенная выше команда wget-forbidden.com Firefox 60, запрашивающий страницу с wget-forbidden.com
Загрузка нескольких файлов
Если вы хотите загрузить несколько файлов одновременно, используйте параметр -i за которым следует путь к локальному или внешнему файлу, содержащему список URL-адресов для загрузки. Каждый URL-адрес должен быть в отдельной строке.
В следующем примере показано, как загрузить iso-файлы Arch Linux, Debian и Fedora, используя URL-адреса, указанные в linux-distros.txt :
wget -i linux-distros.txthttp://mirrors.edge.kernel.org/archlinux/iso/2018.06.01/archlinux-2018.06.01-x86_64.iso
https://cdimage.debian.org/debian-cd/current/amd64/iso-cd/debian-9.4.0-amd64-netinst.iso
https://download.fedoraproject.org/pub/fedora/linux/releases/28/Server/x86_64/iso/Fedora-Server-dvd-x86_64-28-1.1.iso
Если вы укажете - в качестве имени файла, URL-адреса будут считываться из стандартного ввода.
Скачивание через FTP
Чтобы загрузить файл с FTP-сервера, защищенного паролем, укажите имя пользователя и пароль, как показано ниже:
wget --ftp-user=FTP_USERNAME --ftp-password=FTP_PASSWORD ftp://ftp.example.com/filename.tar.gzСоздание зеркала веб-сайта
Чтобы создать зеркало веб-сайта с помощью wget , используйте параметр -m . Это создаст полную локальную копию веб-сайта, следуя и загружая все внутренние ссылки, а также ресурсы веб-сайта (JavaScript, CSS, изображения).
wget -m https://example.comЕсли вы хотите использовать загруженный веб-сайт для локального просмотра, вам нужно будет передать несколько дополнительных аргументов команде выше.
wget -m -k -p https://example.comПараметр -k заставит wget преобразовать ссылки в загруженных документах, чтобы сделать их пригодными для локального просмотра. Параметр -p сообщает wget нужно загрузить все необходимые файлы для отображения HTML-страницы.
Пропуск проверки сертификата
Если вы хотите загрузить файл по HTTPS с хоста с недействительным сертификатом SSL, используйте параметр --no-check-certificate :
wget --no-check-certificate https://domain-with-invalid-ss.comЗагрузка на стандартный вывод
В следующем примере wget незаметно (флаг -q ) загрузит и выведет последнюю версию WordPress на стандартный вывод (флаг -O - ) и направит ее в утилиту tar , которая распакует архив в каталог /var/www .
wget -q -O - "http://wordpress.org/latest.tar.gz" | tar -xzf - -C /var/wwwВыводы
С помощью wget вы можете загружать несколько файлов, возобновлять частичные загрузки, зеркалировать веб-сайты и комбинировать параметры Wget в соответствии с вашими потребностями.
Чтобы узнать больше о Wget, посетите страницу руководства GNU wget .
