Skapa ett robots.txt fil, manuellt eller autogenererad plugin för WordPress

Vad är och varför behöver man en robots.txt fil?

En robots.txt fil kan användas för att meddela sökmotorerna vilka sidor eller länkar de inte ska följa och alltså inte indexera.

Exempelvis så finns det ingen anledning att spindlarna ska kolla genom admin, login, content sidor, kontaktsida och eventuellt andra sidor som inte du tycker behöver dyka upp på söksidorna i Google. Om man inte namngett sida foton/bilder så behöver inte spindlarna att söka genom dem heller och framförallt vill du inte cloakade länkar skall genomsökas …

Du vill självklart att Google, Yahoo och Bing ska komma förbi och kolla in din sida, i alla fall om du vill hamna högt i rankingen för att kunna tjäna pengar på din sida. Det som ingen vill ha besök från dock är alla de så kallade spambots som finns, en del av dem går att hindra med rätt text i robots-filen 🙂

 

Nedan så finns instruktioner för att manuellt skapa en fil och lite info gällande bloggplattformen Blogger, samt ett superbra plugin för WordPress.

Kontrollera din installerade robots.txt fil.

Jätteenkelt, lägg till /robots.txt/ i adressfältet efter din sidas URL och då ska all text som finns i filen listas. Den listan ska även innehålla adressen till Sitemap om du har en sådan (det bör du ha).

Exempel på robots.txt utan några kommandon (dvs sök allt) och med sitemap adress:

User-agent: *

Disallow:

Sitemap: http://dinhemsidesadress/sitemap.xml.gz

* betyder att det gäller alla sökmotorer tills nästa ”User-agent” skrivs.

Att manuellt skapa en robots.txt fil.

Enkelt, skapa ett nytt text dokument och döp den till robots och skriv de kommandon du vill att det ska innehålla, så här kan en robots.txt fil med några kommandon se ut:

bild_robots

 

 

 

 

 

Detta betyder exempelvis att det gäller alla sökmotorer (*) och att inga jpg-bilder ska sökas (Disallow: /jpg/)

Robots.txt filen skall läggas upp i rot katalogen, kontakta ditt webbhotell om du inte vet vart roten finns.

 

Enkelt att ändra i Blogger.

Google Supporten har en bra beskrivning hur man går tillväga, gå till: http://support.google.com/webmasters/bin/answer.py?hl=sv&answer=156449 och följ instruktionerna under ”Skapa en robots.txt-fil med hjälp av verktyget skapa robots.txt”

 

Att skapa ett autogenererad robots.txt för WordPress.org

WordPress.org, dvs webbhostad WordPress, autogenererar en robots.txt fil automatiskt, det gör att du inte kan hitta en sådan fil någonstans i någon katalog. Här kommer att riktigt bra plugin för att enkelt kunna ändra den autogenererade filen!

Ladda ned PC Robots från http://wordpress.org/extend/plugins/pc-robotstxt/ installera via Plugins > Add New > Upload sedan kan du lägga till kommandon via Settings > PC Robots, så smidigt, när man vill uppdatera filen tar det bara några sekunder 🙂

En extra trevlig bonus med detta plugin är att den inkluderat en lång lista med spambots med kommando att de inte ska söka genom din sida, ok, många bryr sig inte om dessa kommandon men en del gör faktiskt det. Jag får definitivt färre spam trackbacks efter jag installerade pluginet !!

list_bots

 

 

 

 

 

 

Om du inte använder pluginet ovan så kan du ändå hitta listan med spam bots som ingår. Gå till http://www.clickability.co.uk/robotstxt.html klicka på fliken Bad robots och markera rutan vid ”Allow this type of bot to access anywhere?” så poppar listan upp.

Dessvärre kan man inte ändra robots.txt filen i WordPress.com utan man måste använda den webbhostade versionen WordPress.org, vi kan alltid hoppas att det ändras med kommande uppdateringar.

Kommentera

E-postadressen publiceras inte. Obligatoriska fält är märkta *

Lös uppgiften nedan: * Time limit is exhausted. Please reload CAPTCHA.