Sitemap & robots.txt - enkelt förklarat
Vare sig du utvecklar eller är ansvarig för en webbsajt stöter du snart på begreppen sitemap och robots.txt. Båda handlar om hur sökmotorer “ser” på en sajt, men de har olika roller. Här går vi igenom vad de gör, varför de båda är viktiga för SEO, och vad som kan gå fel – samt hur du kan tänka när du sätter upp eller granskar dem.
Vad är en sitemap?
En sitemap (eller sajtmapp) är en XML-fil (eller HTML-variant) som listar viktiga sidor på en webbsajt. Den hjälper sökmotorer som Google att hitta och indexera dem effektivt. Den fungerar som en webbplatskarta för sökmotorer, och innehåller information som URL:ar, datum för senaste ändring och ibland prioritet vilket gör det lättare att hitta och förstå innehållet. Sitemaps finns i olika format, men den vanligaste är en XML-fil, som inte är menad att ses av vanliga användare. Kolla själv och se hur rolig den kan vara: https://040.se/sitemap.xml
Vad är robots.txt?
En robots.txt är en textfil i roten av webbsajten, och som berättar vilka delar av sajten som får eller inte får besökas av sökmotorers “spindlar”. Filen är viktig för att du ska kunna bestämma vilka delar av webbsajten som sökmotorerna ska indexera.
När sökrobotar söker igenom din sida gör de det under begränsad tid och med begränsad kapacitet. Genom att blockera innehåll som inte är viktigt för din sidas rankning kan du maximera den tid robotarna har att arbeta med. För att underlätta genomsökningen ytterligare kan du också placera URL:en till din sitemap.xml i filen. Det hjälper sökmotorerna att hitta din webbplatskarta snabbare.
En robots.txt fil kan hindra sökmotorer från att indexera vissa kataloger eller sidor – men det är inte en garanti för att de inte dyker upp (om andra länkar pekar mot dem).
Så här rolig kan den se ut: https://040.se/robots.txt
Skillnaderna i ett nötskal
Syftet med en sitemap är att hjälpa sökmotorerna att hitta innehåll medan syftet för en robots.txt är att styra vad som ska hittas och besökas.
Sitemapen är en XML-fil och robots.txt en textfil.
Sitemappen ökar chansen för indexering medan en robots.txt kan minska åtkomst för sökmotorer.
Observera att en sitemap inte automatiskt betyder full indexering – och att ha en robots.txt som blockerar något inte betyder absolut skydd.
Vanliga fallgropar
Här går vi igenom konkreta exempel på vad som kan ställa till det:
- En ny sida finns inte i sitemapen med risk för att den blir “osynlig” för sökmotorer
- Sitemapen är inte uppdaterad – exempelvis kan datumet “<lastmod>” vara felaktigt eller URL-strukturen har ändrats men inte speglats
- robots.txt blockerar kataloger av misstag – exempelvis blockeras “/public/” istället för “/private/”
- En modul i Drupal (eller WordPress) har inte uppdaterats och genererar en ogiltig sitemap och/eller robots.txt
- Cache-problem – sökmotorer läser en gammal version av filerna
Tips för att få rätt – checklistan
Här listar vi några konkreta tips för att säkerställa att både sitemap och robots.txt används på bästa sätt:
- Se till att sitemap finns och är registrerad i till exempel Google Search Console
- Kontrollera att sitemappen innehåller de sidor du vill indexera – och att inga “noindex”-taggar blockerar dem
- Håll <lastmod> och URL-struktur uppdaterade när sajten ändras
- Granska sitemappen exempelvis med https://www.xmlvalidation.com eller https://validator.w3.org/
- Granska robots.txt – är rätt kataloger blockerade/ tillåtna? (Testa med verktyg som Google search console eller gör ett terminaltest med curl https://www.dindomän.se/robots.txt
- Om du använder ett CMS: se till att modul/plugin för sitemap/robots.txt är aktuell och kompatibel
- Efter större ändringar – rensa eventuell cache och låt sökmotorer åter-crawla
- Mät och följ upp: vilka sidor indexeras? Finns sidor som borde vara indexerade men inte är det?
Det enklaste är att ta för vana att då och då besöka din sajts sitemap och robots.txt och se så att de ser ut att stämma. Det finns såklart också flera verktyg som varnar dig om något ser fel ut, eller om filerna inte finns.
När ska du bry dig extra mycket?
- Vid omstrukturering av sajten, byte av CMS eller URL-schema.
- Vid lansering av ny webbplats.
- Om du märker att vissa sidor inte syns i sökresultaten trots att de borde.
- När SEO-krav eller tillgänglighets-/lagkrav (WCAG, etc) ställer högre krav.
© 040 2025