Hvad er et crawl delay i min robots.txt?
Måske advarede Morningscores helbredsscanner dig om, at vi crawler langsomt på grund af en regel om crawlforsinkelse i din robots.txt, og så endte du her.
Eller også fandt du denne guide ved at søge.
Uanset hvad, lad os prøve at forklare Crawl-delay i robots.txt.
Tjek din egen robots.txt
Gå først til dinhjemmside.com/robots.txt (erstat første del med din egen hjemmeside).
Nu skulle du gerne se en tekstfil i din browser.
Prøv at søge efter "Crawl-delay" i teksten (Ctrl+F). Hvis du finder noget, ser det sandsynligvis sådan her ud:
Hvis crawl delay er 10, betyder det, at vi venter 10 sekunder, efter at hver sidescanning er færdig. Så 10 som i eksemplet ovenfor betyder, at maks. 6 sider på din hjemmeside bliver crawlet i minuttet af webcrawler-robotter som Morningscore og Google.
Ændre Crawl-delay kun for Morningscore
Du kan sørge for, at Morningscores scanner med normal hastighed, selv om du normalt har Crawl-delay aktiveret for andre robotter som denne:
Så her fortæller du, at Morningscores robot kan crawle ved vores normale hastighed med "Crawl-delay: 0". Du udelukker os dybest set fra reglen. Hele denne del skal placeres i bunden af din robots.txt-fil, for at den virker:
Du kan også indstille den til Crawl-delay: 3, 10 eller endda 60 (60 er vores maksimale respekterede værdi - hvilket er 60 sekunder eller 1 minuts forsinkelse pr. side, vi scanner).
Test, om det virker, ved at lave endnu en fuld scanning med Morningscores sundhedsscanner og se, at vi scanner hurtigere + at der er ingen crawl delay-advarsel længere.
Er det smart at bruge Crawl-delay?
Crawl-delay er ikke noget, vi rigtig anbefaler, da det gør robotter som Google og Morningscore langsommere. Men der kan være legitime grunde til det, som du bør spørge din tekniske kontakt om. Hvis din server ikke kan håndtere hurtigere hastigheder, så er det generelt en meget svag server, og det bør efter vores mening sætte spørgsmålstegn ved, om det er et klogt valg. Mere serverkraft er billigt i dagens konkurrenceprægede hostingverden.
Eller også fandt du denne guide ved at søge.
Uanset hvad, lad os prøve at forklare Crawl-delay i robots.txt.
Tjek din egen robots.txt
Gå først til dinhjemmside.com/robots.txt (erstat første del med din egen hjemmeside).
Nu skulle du gerne se en tekstfil i din browser.
Prøv at søge efter "Crawl-delay" i teksten (Ctrl+F). Hvis du finder noget, ser det sandsynligvis sådan her ud:
User-agent: *
Crawl-delay: 10Hvis crawl delay er 10, betyder det, at vi venter 10 sekunder, efter at hver sidescanning er færdig. Så 10 som i eksemplet ovenfor betyder, at maks. 6 sider på din hjemmeside bliver crawlet i minuttet af webcrawler-robotter som Morningscore og Google.
Ændre Crawl-delay kun for Morningscore
Du kan sørge for, at Morningscores scanner med normal hastighed, selv om du normalt har Crawl-delay aktiveret for andre robotter som denne:
User-agent: *
Crawl-delay: 60
User-agent: Morningscore Bot
Crawl-delay: 0Så her fortæller du, at Morningscores robot kan crawle ved vores normale hastighed med "Crawl-delay: 0". Du udelukker os dybest set fra reglen. Hele denne del skal placeres i bunden af din robots.txt-fil, for at den virker:
User-agent: Morningscore Bot
Crawl-delay: 0Du kan også indstille den til Crawl-delay: 3, 10 eller endda 60 (60 er vores maksimale respekterede værdi - hvilket er 60 sekunder eller 1 minuts forsinkelse pr. side, vi scanner).
Test, om det virker, ved at lave endnu en fuld scanning med Morningscores sundhedsscanner og se, at vi scanner hurtigere + at der er ingen crawl delay-advarsel længere.
Er det smart at bruge Crawl-delay?
Crawl-delay er ikke noget, vi rigtig anbefaler, da det gør robotter som Google og Morningscore langsommere. Men der kan være legitime grunde til det, som du bør spørge din tekniske kontakt om. Hvis din server ikke kan håndtere hurtigere hastigheder, så er det generelt en meget svag server, og det bør efter vores mening sætte spørgsmålstegn ved, om det er et klogt valg. Mere serverkraft er billigt i dagens konkurrenceprægede hostingverden.
Opdateret den: 01/02/2024