Изградете изтегляне Scheduler с малко умение за програмиране

Ние всички обичаме да изтегляме неща от интернет, а има и куп чудесни инструменти за управление на изтеглянията, които можем да използваме, за да планираме изтеглянето. Може би ще е по-лесно да използвате мениджър за изтегляне, но няма нищо лошо в проучването на инструментите, които вече са налични в нашата Ubuntu, и да го използвате пълноценно..

В тази статия ще ви покажем вграден софтуер в Ubuntu, който можем да използваме за изтегляне на материали от интернет Wget. Освен това ще ви покажем как да планирате изтеглянето с помощта на Cron.

Изтеглете Използване на Wget

Wget е безплатен софтуер за изтегляне на файлове чрез HTTP, HTTPS и FTP, най-широко използваните интернет протоколи. Това е неинтерактивен инструмент на командния ред, така че може лесно да бъде извикан от скриптове, cron задачи, терминали без поддръжка на X-Windows и т.н..

Отворете своя терминал и нека да проучим как можем да използваме wget, за да изтегляме неща от мрежата. Основният синтаксис на изтегляне с wget е следният:

wget [опция]… [URL]…

Тази команда ще изтегли ръководството wget в локалното ви устройство

wget http://www.gnu.org/software/wget/manual/wget.pdf

Linux Cron

Ubuntu идва с cron демон, използван за задачите за планиране, които трябва да бъдат изпълнени в определено време. Crontab ви позволява да укажете действия и времена, в които трябва да бъдат изпълнени. Така обикновено планирате задача, като използвате инструмента за командния ред.

Отворете прозореца на терминала и въведете crontab -e.

Всяка от секциите в crontab е разделена от пространство, като последната част има едно или повече пространства в нея. Записът от cron се състои от минута (0-59), час (0-23, 0 = полунощ), ден (1-31), месец (1-12), ден от седмицата (0-6, 0 = неделя), команда. Третият запис в горния crontab изтегля wget.pdf в 2 часа сутринта. Първото вписване (0) и второто вписване (2) означава 2:00. Третият до петия запис (*) означава всяко време на деня, месеца или седмицата. Последният запис е командата wget за изтегляне на wget.pdf от посочения URL адрес.

Това е основата на wget и как работи Cron. Нека вземем плячка в реалния пример как да планирате изтеглянето.

Планиране на изтеглянето

Ще изтеглим Firefox 3.6 в 2 AM. Тъй като нашият ISP дава само ограничено количество данни, трябва да спрем изтеглянето в 8 часа. Така изглежда инсталацията.

Игнорирайте първите 2 записа в горния crontab. Третата и четвъртата команда са единствените 2 команди, от които се нуждаете. Третата команда настройва задача, която ще изтегли Firefox в 2:

[Код]
0 2 * * * wget -c http://download.mozilla.org/?product=firefox-3.6.6&os=win&lang=en-GB
[/ Код]

Опциите -c означават, че wget трябва да възобнови съществуващото изтегляне, ако не е завършено.

Четвъртата команда ще спре wget в 8 часа сутринта. 'Killall' е unix команда, която убива процесите по име.

[Код]
0 8 * * * killall wget
[/ Код]

Устройството killall казва на Ubuntu да спре Wget да свали файла в 8 часа сутринта.

Други полезни команди wget

1. Задаване на директория за изтегляне на файл

[Код]
wget -output-document = / home / zainul / Изтегляния / wget manual.pdf http://www.gnu.org/software/wget/manual/wget.pdf
[/ Код]

опцията -output-document ви позволява да укажете директорията и името на файла, който сте изтеглили

2. Изтегляне на уебсайт

wget също е в състояние да изтеглите уебсайт.

[Код]
wget -m http://www.google.com/profiles/zainul.franciscus
[/ Код]

Горната команда ще изтегли цялата ми уеб страница в профила в google. Опцията „-m“ казва на Wget да изтегли „огледално“ изображение на посочения URL.

Друг важен вариант е да кажете на Wget колко връзки трябва да следва, когато изтеглите уеб сайт.

[Код]
wget -r -l1 http://www.google.com/profiles/zainul.franciscus
[/ Код]

Горната команда wget използва две опции. Първата опция '-r' казва на Wget да изтегли указания уебсайт рекурсивно. Втората опция '-l1' казва на Wget да получи само първото ниво на връзки от посочения уебсайт. Можем да настроим до три нива „-l2“ и „-l3“.

3. Игнориране на влизане на робот

Уеб майстор поддържа текстов файл, наречен Robot.txt. „Robot.txt“ поддържа списък с URL адреси, които роботът на уеб страница като wget не трябва да обхожда. Можем да кажем на Wget да игнорира 'Robot.txt' с опцията '-erobots = off'. Следната команда казва на Wget да изтегли първата страница от моя профил в google и да игнорира 'Robot.txt.

[Код]
wget -erobots = изключено http://www.google.com/profiles/zainul.franciscus
[/ Код]

Друг полезен вариант е -U. Тази опция ще маскира wget като браузър. Обърнете внимание, че маскирането на приложение като друго приложение може да наруши срока и услугата на доставчика на уеб услуги.

[Код]
wget -erobots = извън -U Mozilla http://www.google.com/profiles/zainul.franciscus
[/ Код]

заключение

Wget е много стар, но все пак хакерски софтуерен пакет GNU, който можем да използваме за изтегляне на файлове. Wget е интерактивен инструмент за команден ред, което означава, че можем да го оставим да работи на нашия компютър във фонов режим, без да се налага да стартирате някое приложение. Разгледайте страницата на мъжа wget

[Код]
$ man wget
[/ Код]

да разберем други опции, които можем да използваме с wget.

звена

Ръководство за Wget
Как да комбинирате два изтеглени файла Когато Wget се провали по средата
Linux QuickTip: Изтегляне и премахване на тарифи в една стъпка