В этой статье мы рассмотрим утилиту wget, которая загружает файлы из Всемирной паутины (WWW) с использованием широко используемых протоколов, таких как HTTP, HTTPS, FTP, и FTPS.
Wget – это бесплатная утилита командной строки и загрузчик файлов по сети, которая обладает множеством функций, упрощающих загрузку файлов, включая:
- Загрузку больших файлов или отображение полных веб- или FTP-сайтов.
- Загрузку нескольких файлов одновременно.
- Настройку полосы пропускания и ограничение скорости загрузки.
- Загрузку файлов через прокси.
- Возможность возобновления прерванных загрузок.
- Рекурсивное отображение каталогов.
- Работает на большинстве операционных систем, похожих на UNIX, а также на Windows.
- Автоматический / фоновый режим работы.
- Поддержка постоянных HTTP-соединений.
- Поддержка SSL/TLS для зашифрованных загрузок с использованием библиотек OpenSSL или GnuTLS.
- Поддержка загрузок через IPv4 и IPv6.
Содержание
Синтаксис команды Wget
Базовый синтаксис Wget следующий:
$ wget [option] [URL]
Сначала проверьте, установлен ли утилита wget на вашем компьютере с Linux, используя следующую команду.
$ rpm -q wget [On RHEL/CentOS/Fedora and Rocky Linux/AlmaLinux] $ dpkg -l | grep wget [On Debian, Ubuntu and Mint]
Установите Wget на Linux
Если Wget не установлен, вы можете установить его, используя менеджер пакетов вашей системы Linux, как показано ниже.
$ sudo apt install wget -y [On Debian, Ubuntu and Mint] $ sudo yum install wget -y [On RHEL/CentOS/Fedora and Rocky Linux/AlmaLinux] $ sudo emerge -a net-misc/wget [On Gentoo Linux] $ sudo pacman -Sy wget [On Arch Linux] $ sudo zypper install wget [On OpenSUSE]
Опция -y, используемая здесь, предназначена для предотвращения запросов подтверждения перед установкой любого пакета. Для получения дополнительной информации о командах и параметрах YUM и APT читайте наши статьи по ссылкам:
- 20 команд YUM для управления пакетами Linux
- 15 Примеров команд APT в Ubuntu/Debian & Mint
- 45 Примеров команд Zypper для управления Linux OpenSUSE
1. Скачать файл с помощью Wget
Эта команда загрузит один файл и сохранит его в текущем каталоге. Она также показывает прогресс загрузки, размер, дату и время во время загрузки.
# wget http://ftp.gnu.org/gnu/wget/wget2-2.0.0.tar.gz --2021-12-10 04:15:16-- http://ftp.gnu.org/gnu/wget/wget2-2.0.0.tar.gz Resolving ftp.gnu.org (ftp.gnu.org)... 209.51.188.20, 2001:470:142:3::b Connecting to ftp.gnu.org (ftp.gnu.org)|209.51.188.20|:80... connected. HTTP request sent, awaiting response... 200 OK Length: 3565643 (3.4M) [application/x-gzip] Saving to: ‘wget2-2.0.0.tar.gz’ wget2-2.0.0.tar.gz 100%[==========>] 3.40M 2.31MB/s in 1.5s 2021-12-10 04:15:18 (2.31 MB/s) - ‘wget2-2.0.0.tar.gz’ saved [3565643/3565643]
2. Загрузить файл с помощью Wget с другим именем
Используя опцию -O (прописные), загружаются файлы с разными именами. Здесь мы указываем имя файла wget.zip, как показано ниже.
# wget -O wget.zip http://ftp.gnu.org/gnu/wget/wget2-2.0.0.tar.gz --2021-12-10 04:20:19-- http://ftp.gnu.org/gnu/wget/wget-1.5.3.tar.gz Resolving ftp.gnu.org (ftp.gnu.org)... 209.51.188.20, 2001:470:142:3::b Connecting to ftp.gnu.org (ftp.gnu.org)|209.51.188.20|:80... connected. HTTP request sent, awaiting response... 200 OK Length: 446966 (436K) [application/x-gzip] Saving to: ‘wget.zip’ wget.zip 100%[===================>] 436.49K 510KB/s in 0.9s 2021-12-10 04:20:21 (510 KB/s) - ‘wget.zip’ saved [446966/446966]
3. Загрузить несколько файлов с помощью HTTP и протокола FTP
Здесь мы видим, как загружать несколько файлов с использованием команды wget одновременно через протоколы HTTP и FTP.
$ wget http://ftp.gnu.org/gnu/wget/wget2-2.0.0.tar.gz ftp://ftp.gnu.org/gnu/wget/wget2-2.0.0.tar.gz.sig --2021-12-10 06:45:17-- http://ftp.gnu.org/gnu/wget/wget2-2.0.0.tar.gz Resolving ftp.gnu.org (ftp.gnu.org)... 209.51.188.20, 2001:470:142:3::b Connecting to ftp.gnu.org (ftp.gnu.org)|209.51.188.20|:80... connected. HTTP request sent, awaiting response... 200 OK Length: 3565643 (3.4M) [application/x-gzip] Saving to: ‘wget2-2.0.0.tar.gz’ wget2-2.0.0.tar.gz 100%[==========>] 4.40M 4.31MB/s in 1.1s 2021-12-10 06:46:10 (2.31 MB/s) - ‘wget2-2.0.0.tar.gz’ saved [3565643/3565643]
4. Загрузка нескольких файлов с помощью Wget из файла
Для загрузки нескольких файлов одновременно используйте опцию -i с местоположением файла, содержащего список URL-адресов для загрузки. Каждый URL должен быть добавлен на отдельной строке, как показано ниже.
Например, следующий файл ‘download-linux.txt‘ содержит список URL-адресов для загрузки.
# cat download-linux.txt https://releases.ubuntu.com/20.04.3/ubuntu-20.04.3-desktop-amd64.iso https://download.rockylinux.org/pub/rocky/8/isos/x86_64/Rocky-8.5-x86_64-dvd1.iso https://cdimage.debian.org/debian-cd/current/amd64/iso-dvd/debian-11.2.0-amd64-DVD-1.iso
# wget -i download-linux.txt --2021-12-10 04:52:40-- https://releases.ubuntu.com/20.04.3/ubuntu-20.04.3-desktop-amd64.iso Resolving releases.ubuntu.com (releases.ubuntu.com)... 91.189.88.248, 91.189.88.247, 91.189.91.124, ... Connecting to releases.ubuntu.com (releases.ubuntu.com)|91.189.88.248|:443... connected. HTTP request sent, awaiting response... 200 OK Length: 3071934464 (2.9G) [application/x-iso9660-image] Saving to: ‘ubuntu-20.04.3-desktop-amd64.iso’ ubuntu-20.04.3-desktop-amd64 4%[=> ] 137.71M 11.2MB/s eta 3m 30s ...
Если ваш список URL-адресов имеет определенный числовой шаблон, вы можете добавить фигурные скобки для извлечения всех URL-адресов, соответствующих шаблону. Например, если вы хотите загрузить серию ядер Linux, начиная с версии 5.1.1 по 5.1.15, вы можете сделать следующее.
$ wget https://mirrors.edge.kernel.org/pub/linux/kernel/v5.x/linux-5.1.{1..15}.tar.gz
--2021-12-10 05:46:59-- https://mirrors.edge.kernel.org/pub/linux/kernel/v5.x/linux-5.1.1.tar.gz
Resolving mirrors.edge.kernel.org (mirrors.edge.kernel.org)... 147.75.95.133, 2604:1380:3000:1500::1
Connecting to mirrors.edge.kernel.org (mirrors.edge.kernel.org)|147.75.95.133|:443... connected.
WARNING: The certificate of ‘mirrors.edge.kernel.org’ is not trusted.
WARNING: The certificate of ‘mirrors.edge.kernel.org’ is not yet activated.
The certificate has not yet been activated
HTTP request sent, awaiting response... 200 OK
Length: 164113671 (157M) [application/x-gzip]
Saving to: ‘linux-5.1.1.tar.gz’
linux-5.1.1.tar.gz 100%[===========>] 156.51M 2.59MB/s in 61s
2021-12-10 05:48:01 (2.57 MB/s) - ‘linux-5.1.1.tar.gz’ saved [164113671/164113671]
--2021-12-10 05:48:01-- https://mirrors.edge.kernel.org/pub/linux/kernel/v5.x/linux-5.1.2.tar.gz
Reusing existing connection to mirrors.edge.kernel.org:443.
HTTP request sent, awaiting response... 200 OK
Length: 164110470 (157M) [application/x-gzip]
Saving to: ‘linux-5.1.2.tar.gz’
linux-5.1.2.tar.gz 19%[===========] 30.57M 2.58MB/s eta 50s
5. Возобновление незавершенной загрузки с помощью Wget
В случае загрузки большого файла может иногда случиться прерывание загрузки, в этом случае мы можем возобновить загрузку того же файла с того момента, где она была прервана с помощью опции -c.
Но когда вы начинаете загрузку файлов без указания опции -c, опция wget добавит расширение .1 в конце имени файла, что считается новой загрузкой. Поэтому хорошей практикой является добавление переключателя -c при загрузке больших файлов.
# wget -c https://releases.ubuntu.com/20.04.3/ubuntu-20.04.3-desktop-amd64.iso --2021-12-10 05:27:59-- https://releases.ubuntu.com/20.04.3/ubuntu-20.04.3-desktop-amd64.iso Resolving releases.ubuntu.com (releases.ubuntu.com)... 91.189.88.247, 91.189.91.123, 91.189.91.124, ... Connecting to releases.ubuntu.com (releases.ubuntu.com)|91.189.88.247|:443... connected. HTTP request sent, awaiting response... 206 Partial Content Length: 3071934464 (2.9G), 2922987520 (2.7G) remaining [application/x-iso9660-image] Saving to: ‘ubuntu-20.04.3-desktop-amd64.iso’ ubuntu-20.04.3-desktop-amd64.iso 5%[++++++> ] 167.93M 11.1MB/s ^C [root@tecmint ~]# wget -c https://releases.ubuntu.com/20.04.3/ubuntu-20.04.3-desktop-amd64.iso --2021-12-10 05:28:03-- https://releases.ubuntu.com/20.04.3/ubuntu-20.04.3-desktop-amd64.iso Resolving releases.ubuntu.com (releases.ubuntu.com)... 91.189.88.248, 91.189.91.124, 91.189.91.123, ... Connecting to releases.ubuntu.com (releases.ubuntu.com)|91.189.88.248|:443... connected. HTTP request sent, awaiting response... 206 Partial Content Length: 3071934464 (2.9G), 2894266368 (2.7G) remaining [application/x-iso9660-image] Saving to: ‘ubuntu-20.04.3-desktop-amd64.iso’ ubuntu-20.04.3-desktop-amd64.iso 10%[+++++++=====> ] 296.32M 17.2MB/s eta 2m 49s ^
6. Зеркалирование всего веб-сайта с помощью Wget
Чтобы загрузить или создать зеркало веб-сайта для офлайн-просмотра, вы можете использовать следующую команду, которая сделает локальную копию веб-сайта вместе со всеми ресурсами (JavaScript, CSS, изображения).
$ wget --recursive --page-requisites --adjust-extension --span-hosts --convert-links --restrict-file-names=windows --domains yoursite.com --no-parent yoursite.com
Объяснение вышеуказанной команды.
wget \
--recursive \ # Download the whole site.
--page-requisites \ # Get all assets/elements (CSS/JS/images).
--adjust-extension \ # Save files with .html on the end.
--span-hosts \ # Include necessary assets from offsite as well.
--convert-links \ # Update links to still work in the static version.
--restrict-file-names=windows \ # Modify filenames to work in Windows as well.
--domains yoursite.com \ # Do not follow links outside this domain.
--no-parent \ # Don't follow links outside the directory you pass in.
yoursite.com/whatever/path # The URL to download
7. Загрузка файлов Wget в фоновом режиме
С помощью опции -b вы можете отправить загрузку в фоне сразу после начала загрузки, а журналы будут записаны в файл wget.log.
$ wget -b wget.log https://releases.ubuntu.com/20.04.3/ubuntu-20.04.3-desktop-amd64.iso Continuing in background, pid 8999. Output will be written to ‘wget.log’.
8. Установка ограничений скорости загрузки файлов Wget
С опцией --limit-rate=100k ограничивается скорость загрузки до 100 кб/с, а журналы будут созданы в wget.log, как показано ниже.
$ wget -c --limit-rate=100k -b wget.log https://releases.ubuntu.com/20.04.3/ubuntu-20.04.3-desktop-amd64.iso Continuing in background, pid 9108. Output will be written to ‘wget-log’.
Просмотрите файл wget.log и проверьте скорость загрузки wget.
$ tail -f wget-log 5600K .......... .......... .......... .......... .......... 0% 104K 8h19m 5650K .......... .......... .......... .......... .......... 0% 103K 8h19m 5700K .......... .......... .......... .......... .......... 0% 105K 8h19m 5750K .......... .......... .......... .......... .......... 0% 104K 8h18m 5800K .......... .......... .......... .......... .......... 0% 104K 8h18m 5850K .......... .......... .......... .......... .......... 0% 105K 8h18m 5900K .......... .......... .......... .......... .......... 0% 103K 8h18m 5950K .......... .......... .......... .......... .......... 0% 105K 8h18m 6000K .......... .......... .......... .......... .......... 0% 69.0K 8h20m 6050K .......... .......... .......... .......... .......... 0% 106K 8h19m 6100K .......... .......... .......... .......... .......... 0% 98.5K 8h20m 6150K .......... .......... .......... .......... .......... 0% 110K 8h19m 6200K .......... .......... .......... .......... .......... 0% 104K 8h19m 6250K .......... .......... .......... .......... .......... 0% 104K 8h19m ...
9. Загрузка защищенных паролем файлов Wget через FTP и HTTP
Для загрузки файла с защищенного паролем FTP-сервера вы можете использовать опции --ftp-user=username и --ftp-password=password, как показано ниже.
$ wget --ftp-user=narad --ftp-password=password ftp://ftp.example.com/filename.tar.gz
Чтобы загрузить файл с защищенного паролем HTTP-сервера, вы можете использовать опции --http-user=username и --http-password=password, как показано.
$ wget --http-user=narad --http-password=password http://http.example.com/filename.tar.gz
10. Игнорирование проверки SSL-сертификата в Wget
Чтобы игнорировать проверку SSL-сертификата при загрузке файлов по протоколу HTTPS, вы можете использовать опцию --no-check-certificate:
$ wget --no-check-certificate https://mirrors.edge.kernel.org/pub/linux/kernel/v5.x/linux-5.1.1.tar.gz --2021-12-10 06:21:21-- https://mirrors.edge.kernel.org/pub/linux/kernel/v5.x/linux-5.1.1.tar.gz Resolving mirrors.edge.kernel.org (mirrors.edge.kernel.org)... 147.75.95.133, 2604:1380:3000:1500::1 Connecting to mirrors.edge.kernel.org (mirrors.edge.kernel.org)|147.75.95.133|:443... connected. WARNING: The certificate of ‘mirrors.edge.kernel.org’ is not trusted. WARNING: The certificate of ‘mirrors.edge.kernel.org’ is not yet activated. The certificate has not yet been activated HTTP request sent, awaiting response... 200 OK Length: 164113671 (157M) [application/x-gzip] Saving to: ‘linux-5.1.1.tar.gz’ ...
11. Версия и помощь в Wget
С опциями --version и --help вы можете просмотреть версию и помощь по необходимости.
$ wget --version $ wget --help
В этой статье мы рассмотрели команды Wget для Linux с опциями для ежедневных административных задач. Если вы хотите узнать больше об этом, посмотрите man wget? Пожалуйста, поделитесь своими комментариями или дайте нам знать, если мы что-то упустили.
Source:
https://www.tecmint.com/10-wget-command-examples-in-linux/