Geavanceerde XML Sitemap Tips: 4 Pagina's uit te sluiten in een Robots txt-bestand

Een Robots TXT-bestand werkt samen met een XML sitemap te communiceren met robots zoekmachines ', ook wel bekend als zoekmachine spiders of bots. Dit zijn de automatische scripts die het World Wide Web te reizen met het oog op het indexeren content. Terwijl een XML sitemap vertelt de robots wat webpagina's die u wilt hebben geïndexeerd, een Robots TXT-bestand doet het tegenovergestelde, met een opsomming van web content die u niet wilt robots te bezoeken omdat je ze wilt uitsluiten van zoekmachines. Uw Robots TXT-bestand kan de toegang tot uw gehele website, bepaalde mappen of specifieke webpagina's te verbieden. Het bestand kan worden gemaakt met behulp van Kladblok in Windows of Teksteditor in Mac, en moet in de root van uw domein worden opgeslagen.

Er zijn 4 belangrijkste vormen van web content die u zou willen van zoekmachines te sluiten met behulp van een Robots TXT-bestand:

1. In-Progress Content

Stel je vernieuwen van een grote website. Wanneer u een kijkje in de website bestanden, vindt u dat het is gevuld met verouderde webpagina's en het ergste nog, pagina's die brengen fouten of omleiden wanneer mensen proberen om ze te openen. Deze moeten uit je XML sitemap worden uitgesloten en toegevoegd aan je Robots TXT-bestand, zodat zoekmachines niet per ongeluk index en stuur het verkeer naar hen. Er is niets meer frustrerend voor een web-gebruiker dan denken dat ze zijn gekomen over de exacte informatie die ze nodig hebben, alleen te vinden dat de pagina niet echt meer bestaat. Als je werkt op je hele site voor een tijdje, kunt u zelfs gebruik maken van het bestand Robots TXT om de toegang tot uw gehele website te weigeren, zodat de spiders van zoekmachines hebben uw site niet te bezoeken op alle.

2. Private Content

Als een bedrijf, is het waarschijnlijk dat u hebt of denkt aan het posten speciale content voor mensen die betalen of meld je aan. Ook kunt u een wachtwoord beveiligen delen van uw website alleen voor bepaalde leden van uw team te zien. Uiteraard wil je niet een van deze pagina's weergegeven in de zoekmachines voor de hele wereld te zien. Door deze pagina's te verwijderen van uw XML sitemap en u ze in uw Robots TXT-bestand, je een duidelijke boodschap sturen aan zoekmachines dat de pagina's zijn privé en zal niet worden weergegeven als de openbare toegangspunten naar uw website.

3 . Lage prioriteit Content

Gezien hoe zoekmachine spiders zijn automatische programma's, kun je niet verwachten dat ze gezond verstand te gebruiken wanneer ze controleren of uw website. Ze maken hun beslissingen op basis van berekeningen, zodat ze niet bewust weten welke webpagina's die u belangrijker dan anderen te overwegen. Om redenen die variëren van verkeer naar externe links, een triviale pagina zoals uw privacybeleid kon laten zien aan de top van de zoekmachine resultaten voor bepaalde zoekwoorden. Als u niet wilt dat bepaalde pagina's om uw eerste indruk aan potentiële klanten en klanten zijn, je moet hun prioriteit instellingen in uw XML sitemap

4 veranderen en dan een lijst van hen in uw Robots TXT-bestand.. Duplicate Content

Zoekmachines bestraffen websites voor duplicate content omdat spammers gebruikt om deze tactiek te gebruiken om te proberen en bedriegen het systeem. Dit betekent dat je in de problemen als je je kijkers een kopie van dezelfde webpagina voor het afdrukken te bieden, gebruiken http veilig (https) en minder veilig (normale http) versies van dezelfde pagina's, of verschillende URL's die verwijzen naar de Hetzelfde e-commerce winkel voorwerp bijvoorbeeld. Zorg ervoor dat de zoekmachines weet dat je ze niet bedriegen op de daartoe door duidelijk de canonieke (of bij voorkeur) pagina in uw XML sitemap en notering duplicaten in uw Robots TXT-bestand voor uitsluiting
.