Hvernig á að nota wget Linux Command til að hlaða niður vefsíðum og skrám

The wget gagnsemi gerir þér kleift að hlaða niður vefsíðum, skrám og myndum af vefnum með því að nota Linux skipanalínuna.

Þú getur notað eina wget stjórn á eigin spýtur til að hlaða niður af vefsíðu eða setja upp inntakslista til að hlaða niður mörgum skrám yfir margar síður.

Samkvæmt handbókinni má nota Wget jafnvel þegar notandinn hefur skráð sig út úr kerfinu. Til að gera þetta myndi þú nota nohup stjórnina.

The wget gagnsemi mun reyna aftur að hlaða niður jafnvel þegar tengingin fellur, haldið áfram þar sem það fór af stað ef mögulegt er þegar tengingin skilar.

Þú getur hlaðið niður öllum vefsíðum sem nota wget og umbreyta tenglum til að benda á staðbundnar heimildir svo þú getir skoðað vefsíðu án nettengingar.

Eiginleikar wget eru sem hér segir:

Hvernig á að hlaða niður vefsíðu með Wget

Fyrir þessa handbók mun ég sýna þér hvernig á að hlaða niður persónulegu blogginu mínu.

Wget www.everydaylinuxuser.com

Það er þess virði að búa til eigin möppu á vélinni þinni með því að nota mkdir stjórnina og flytja síðan inn í möppuna með því að nota geisladiskinn .

Til dæmis:

mkdir everydaylinuxuser
CD everydaylinuxuser
Wget www.everydaylinuxuser.com

Niðurstaðan er einn index.html skrá. Í sjálfu sér er þessi skrá nokkuð gagnslaus þar sem efni er enn dregið af Google og myndirnar og stíllnar eru ennþá haldnar á Google.

Til að hlaða niður öllum vefsíðum og öllum síðum er hægt að nota eftirfarandi skipun:

wget -r www.everydaylinuxuser.com

Þetta niðurhal síðurnar endurtekið að hámarki 5 stigum djúpt.

5 stig djúpt gæti ekki verið nóg til að fá allt frá síðunni. Þú getur notað -l rofann til að stilla fjölda stiga sem þú vilt fara á sem hér segir:

wget -r-l10 www.everydaylinuxuser.com

Ef þú vilt óendanlega endurferð geturðu notað eftirfarandi:

wget -r -l inf www.everydaylinuxuser.com

Þú getur einnig skipt út inf með 0 sem þýðir það sama.

Það er enn eitt vandamál. Þú gætir fengið allar síðurnar á staðnum en allar tenglar á síðum benda enn á upprunalegu staðinn. Það er því ekki hægt að smella á milli tengla á síðum.

Þú getur komið í kringum þetta vandamál með því að nota -k skipta sem breytir öllum tenglum á síðum til að benda á staðbundið niðurlagið samsvarandi sem hér segir:

wget -r -k www.everydaylinuxuser.com

Ef þú vilt fá heill spegil vefsíðu getur þú einfaldlega notað eftirfarandi skipta sem tekur í burtu nauðsyn þess að nota -r -k og -l rofar.

wget -m www.everydaylinuxuser.com

Því ef þú hefur eigin vefsvæði getur þú búið til fullkomið öryggisafrit með því að nota þetta eina einfalda skipun.

Hlaupa wget sem bakgrunni stjórn

Þú getur fengið Wget til að keyra sem bakgrunnur stjórn sem gerir þér kleift að komast í vinnuna þína í flugstöðinni þegar skrárnar sækja.

Notaðu einfaldlega eftirfarandi skipun:

wget -b www.everydaylinuxuser.com

Þú getur auðvitað sameinað rofa. Til að keyra Wget stjórnin í bakgrunni meðan speglun á síðuna sem þú myndir nota eftirfarandi stjórn:

wget -b -m www.everydaylinuxuser.com

Þú getur einfaldað þetta frekar sem hér segir:

wget-bm www.everydaylinuxuser.com

Skógarhögg

Ef þú ert að keyra wget stjórnin í bakgrunni, muntu ekki sjá neinar venjulegar skilaboð sem það sendir á skjáinn.

Þú getur fengið allar þessar skilaboð sendar til skráarskrár svo að þú getir athugað framfarir hvenær sem er með því að nota halastjórann .

Til að framleiða upplýsingar úr wget stjórninni í logg skrá notarðu eftirfarandi skipun:

wget -o / path / to / mylogfile www.everydaylinuxuser.com

The andstæða, auðvitað, er að krefjast enga skógarhögg alls og engin framleiðsla á skjánum. Til að sleppa öllum framleiðsla skaltu nota eftirfarandi skipun:

wget -q www.everydaylinuxuser.com

Hlaða niður úr mörgum vefsíðum

Þú getur sett upp inntakslista til að hlaða niður af mörgum mismunandi stöðum.

Opnaðu skrá með uppáhalds ritstjóranum þínum eða jafnvel skipuninni um köttinn og byrjaðu einfaldlega að skrá þær síður eða tengla sem þú vilt hlaða niður á hverjum lína í skránni.

Vista skrána og þá keyra eftirfarandi wget stjórn:

wget -i / path / to / inputfile

Burtséð frá því að afrita eigin vefsvæði eða kannski að finna eitthvað til að hlaða niður til að lesa á lestinni, er ólíklegt að þú viljir hlaða niður heilt vefsvæði.

Þú ert líklegri til að hlaða niður einum vefslóð með myndum eða kannski sækja skrár eins og zip skrár, ISO skrár eða myndskrár.

Með það í huga að þú viljir ekki þurfa að slá inn eftirfarandi í innsláttarskrá þar sem það er tímafrekt:

Ef þú veist að grunnslóðin er alltaf að vera sú sama þá geturðu bara tilgreint eftirfarandi í innsláttarskránni:

Þú getur þá gefið grunnslóðina sem hluta af wget stjórninni sem hér segir:

wget -B http://www.myfileserver.com -i / path / to / inputfile

Endurkrafa Valkostir

Ef þú hefur sett upp biðröð skráa til að hlaða niður í inntakaskrá og þú leyfir tölvunni þinni að keyra alla nóttina til að hlaða niður skrám þá verður þú frekar pirruður þegar þú kemur niður á morgnana til að komast að því að það festist á fyrstu skrá og hefur verið að reyna aftur alla nóttina.

Þú getur tilgreint fjölda retries með eftirfarandi skipta:

wget -t 10 -i / path / to / inputfile

Þú gætir viljað nota ofangreind skipun í tengslum við -T skipta sem leyfir þér að tilgreina tímann í sekúndum sem hér segir:

wget -t 10 -T 10 -i / path / to / inputfile

Ofangreind stjórn mun reyna aftur 10 sinnum og mun reyna að tengjast í 10 sekúndur fyrir hvern tengil í skránni.

Það er líka frekar pirrandi þegar þú hefur að hluta hlaðið niður 75% af 4 gígabæti skrá á hægum breiðbands tengingu eingöngu til að tengingin þín sleppi.

Þú getur notað wget til að reyna aftur frá því hvar það hætti að hlaða niður með því að nota eftirfarandi skipun:

wget -c www.myfileserver.com/file1.zip

Ef þú ert að hamra á netþjóni gæti gestgjafi ekki líkað það of mikið og gæti annað hvort lokað eða bara drepið beiðnir þínar.

Þú getur tilgreint biðtíma sem tilgreinir hversu lengi á að bíða eftir hverri sókn sem hér segir:

wget -w 60 -i / path / to / inputfile

Ofangreind skipun bíður 60 sekúndur á milli hvers niðurhals. Þetta er gagnlegt ef þú hleður niður fullt af skrám úr einni uppsprettu.

Sumir vefur gestgjafi gæti blett tíðni þó og mun loka þér engu að síður. Þú getur gert biðtímabilið handahófi til að það lítur út eins og þú notar ekki forrit eins og hér segir:

wget - bindi-bíddu -i / leið / til / inputfile

Verndun niðurhals

Margir þjónustuveitendur sækja enn um niðurhalarmörk fyrir breiðbandsnotkun þína, sérstaklega ef þú býrð utan borgar.

Þú gætir viljað bæta við kvóti svo að þú bláir ekki niðurhalsmarkið. Þú getur gert það á eftirfarandi hátt:

wget -q 100m -i / path / to / inputfile

Athugaðu að -q stjórnin mun ekki virka með einni skrá.

Svo ef þú hleður niður skrá sem er 2 gígabæta í stærð, notar -q 1000m ekki að stöðva skrána niðurhal.

Kvóti er aðeins beitt þegar endurhlaða niður á síðu eða þegar inntakaskrá er notuð.

Að komast í gegnum öryggi

Sumar síður þurfa að skrá þig inn til að geta nálgast efni sem þú vilt hlaða niður.

Þú getur notað eftirfarandi skipta til að tilgreina notandanafn og lykilorð.

wget --user = yourusername --password = passordið þitt

Athugaðu á fjölnotakerfinu ef einhver rekur PS skipunina þá geta þeir séð notandanafnið og lykilorðið þitt.

Aðrir niðurhalarvalkostir

Sjálfgefið mun -r skipta endurtekið sækja efni og búa til möppur eins og það fer.

Þú getur fengið allar skrárnar til að hlaða niður í eina möppu með eftirfarandi skipta:

wget -nd -r

The andstæða þessarar er að þvinga stofnun framkvæmdarstjóra sem hægt er að ná með því að nota eftirfarandi stjórn:

wget -x -r

Hvernig á að hlaða niður ákveðnum gerðum skráa

Ef þú vilt hlaða niður afturvirkt frá vefsvæði en þú vilt bara hlaða niður tiltekinni skráartegund eins og mp3 eða mynd, svo sem png, þá getur þú notað eftirfarandi setningafræði:

wget -A "* .mp3" -r

The andstæða af this er að hunsa ákveðnar skrár. Kannski viltu ekki hlaða niður executables. Í þessu tilfelli myndi þú nota eftirfarandi setningafræði:

wget -R "* .exe" -r

Cliget

Það er Firefox viðbót sem heitir Cliget. Þú getur bætt þessu við Firefox á eftirfarandi hátt.

Farðu á https://addons.mozilla.org/en-US/firefox/addon/cliget/ og smelltu á "bæta við Firefox" hnappinn.

Smelltu á uppsetningarhnappinn þegar það birtist. Þú verður að endurræsa Firefox.

Til að nota cliget heimsækja síðu eða skrá sem þú vilt hlaða niður og hægri smella. Samhengisvalmynd birtist sem kallast cliget og það verður möguleiki að "afrita til wget" og "copy to curl".

Smelltu á "copy to wget" valið og opnaðu stöðuglugga og smelltu svo á hægri og smelltu. Viðeigandi wget stjórn verður lögð inn í gluggann.

Í grundvallaratriðum, þetta spara þér að þurfa að slá stjórnina sjálfur.

Yfirlit

The Wget stjórn eins og a gríðarstór tala af valkostum og rofa.

Það er þess virði því að lesa handbókina fyrir wget með því að slá inn eftirfarandi í flugstöðinni:

maðurinn Wget