Grovik

Lad Grovik læse din hjemmeside

Den indstilling du skal ændre, i de produkter hvor den plejer at ligge

Nogen har bedt om en SEO-audit fra Grovik af en hjemmeside du står for, og hjemmesiden afviste vores læser før den kunne se nogen sider. Her kan du se hvordan du lukker den ind. Det tager som regel et par minutter.

Du leder efter en indstilling der hedder noget med bot protection, firewall eller allow list, alt efter hvad du bruger.

Cloudflare

  1. Åbn Cloudflare-dashboardet og vælg hjemmesiden.
  2. Gå til Security → WAF → Tools.
  3. Under User Agent Blocking tjekker du at intet dér matcher GrovikBot.
  4. Gå derefter til Security → Settings. Er Bot Fight Mode slået til, så tilføj en regel der springer over: Security → WAF → Custom rules → Create rule, med udtrykket (http.user_agent contains "GrovikBot") og handlingen Skip → All remaining custom rules.

Bruger du Super Bot Fight Mode i Cloudflare, så sæt Definitely automated til Allow for den regel, eller læg den samme regel over den.

Wordfence (WordPress)

Wordfence → Firewall → Blocking, og fjern eller slå enhver regel fra der blokerer GrovikBot eller blokerer ud fra user agent. Er rate limiting slået til, har Wordfence → Firewall → Rate Limiting et felt hvor du kan tillade crawlere.

Sucuri

Firewall (WAF) → Access Control → Whitelist, og tilføj GrovikBot under Whitelist a User-Agent.

Squarespace, Wix, Shopify og andre hostede platforme

De har ikke en liste hvor du kan tillade bots. Bliver en SEO-audit afvist på en af dem, er det næsten altid en midlertidig begrænsning og ikke en blokering. Som regel er det nok at vente et par minutter og køre det igen.

Din egen server (nginx, Apache eller en WAF foran den)

Kig efter en regel der matcher på user agent. Vores præsenterer sig sådan:

GrovikBot/1.0 (+https://grovik.ai/bot)

Den henter kun HTML-sider, op til tyve af dem ved en gratis SEO-audit, nogle få ad gangen, og den udfylder aldrig en formular eller logger ind.

Hvis du hellere vil holde den ude

Det er et fint svar, og det kræver ingen firewall-regel. Sæt det her i hjemmesidens /robots.txt:

User-agent: GrovikBot
Disallow: /

Den gratis SEO-audit læser den fil før den henter noget, så intet på hjemmesiden bliver læst, og den der bad om SEO-auditten, får at vide at hjemmesiden har sagt nej.

Én undtagelse, med vilje: En SEO-audit som en kunde kører på en hjemmeside de selv har tilføjet til deres Grovik-konto, bliver gennemført. Har nogen bedt os om en SEO-audit af deres egen hjemmeside, har de selv svaret på spørgsmålet.

Sidder du stadig fast?

Skriv til support@grovik.ai med domænet, så fortæller vi præcis hvad vi så, også det svar din server sendte os.