A robots.txt skrá sem er geymd í rót vefsvæðis þíns mun segja vefur vélmenni eins og leitarvél köngulær hvaða möppur og skrár sem þeim er heimilt að skríða. Það er auðvelt að nota robots.txt skrá, en það eru nokkur atriði sem þú ættir að muna:
- Svörtu húfur vefur vélmenni mun hunsa robots.txt skrá þína. Algengustu tegundir eru malware bots og vélmenni að leita að netföngum til uppskeru.
- Sumir nýrir forritarar munu skrifa vélmenni sem hunsa robots.txt skrána. Þetta er venjulega gert með mistökum.
- Hver sem er getur séð robots.txt skrána þína. Þeir eru alltaf kallaðir robots.txt og eru alltaf geymdar á rót vefsvæðisins.
- Að lokum, ef einhver tengist skrá eða möppu sem er útilokuð af robots.txt skránni þinni frá síðu sem ekki er útilokuð af robots.txt skránni, þá geta leitarvélar fundið það samt.
Ekki nota robots.txt skrár til að fela nokkuð mikilvægt. Þess í stað ættir þú að setja mikilvægar upplýsingar á bak við örugga lykilorð eða láta það alveg af vefnum.
Hvernig á að nota þessar skrár
Afritaðu texta úr sýninu sem er næst því sem þú vilt gera og límdu það í robots.txt skrána þína. Breyttu vélinni, möppunni og skráarnafnunum til að passa við valinn stillingu.
Tvær Basic Robots.txt skrár
Notandi-umboðsmaður: *
Afneita: /
Þessi skrá segir að allir vélmenni (Notandi-umboðsmaður: *) sem nálgast það ætti að hunsa allar síður á vefsvæðinu (Disallow: /).
Notandi-umboðsmaður: *
Ekki leyfa:
Þessi skrá segir að allir vélmenni (Notandi-umboðsmaður: *) sem nálgast það er heimilt að skoða hverja síðu á síðunni (Disallow:).
Þú getur líka gert þetta með því að fara úr robots.txt skránni þinni eða ekki hafa einn á síðuna þína yfirleitt.
Vernda sérstakar möppur frá vélmenni
Notandi-umboðsmaður: *
Ekki leyfa: / cgi-bin /
Ekki leyfa: / temp /
Þessi skrá segir að allir vélmenni (Notandi-umboðsmaður: *) sem nálgast það ætti að hunsa möppurnar / cgi-bin / og / temp / (Disallow: / cgi-bin / Disallow: / temp /).
Vernda sérstakar síður frá vélmenni
Notandi-umboðsmaður: *
Afsakið: /jenns-stuff.htm
Ekki leyfa: /private.php
Þessi skrá segir að allir vélmenni (Notandi-umboðsmaður: *) sem nálgast það ætti að hunsa skrárnar /jenns-stuff.htm og /private.php (Disallow: /jenns-stuff.htm Disallow: /private.php).
Koma í veg fyrir sérstaka vél frá aðgang að vefsvæðinu þínu
Notandi-umboðsmaður: Lycos / xx
Afneita: /
Þessi skrá segir að Lycos látin (notandi-umboðsmaður: Lycos / xx) er ekki leyft að fá aðgang hvar sem er á vefnum (Disallow: /).
Leyfa aðeins einn sértilbúnað fyrir vélmenni
Notandi-umboðsmaður: *
Afneita: /
Notandi-umboðsmaður: Googlebot
Ekki leyfa:
Þessi skrá fjallar fyrst fyrir alla vélmenni eins og við gerðum hér að ofan og leyfir Googlebot (User-Agent: Googlebot) að hafa aðgang að öllu (Disallow:).
Sameina mörg línur til að fá nákvæmlega þær útilokanir sem þú vilt
Þó að betra sé að nota mjög innifalið User-Agent línu, eins og User-umboðsmaður: *, getur þú verið eins nákvæmur og þú vilt. Mundu að vélmenni lesa skrána í röð. Svo ef fyrstu línurnar segja að allir vélmenni séu lokaðir frá öllu, og þá seinna í skránni segir að allir vélmenni hafi aðgang að öllu, munu vélmenni hafa aðgang að öllu.
Ef þú ert ekki viss um að þú hafir skrifað robots.txt skrá þína rétt, getur þú notað vefstjóraforrit Google til að athuga robots.txt skrána þína eða skrifa nýjan.