Magyarázat
A robots.txt egy egyszerű szövegfájl, amelyet a weboldal gyökérkönyvtárába helyeznek, hogy utasításokat adjanak a keresőmotorok robotjainak (pl. Googlebot) arról, mely oldalakat indexelhetik vagy hagyhatják figyelmen kívül. Például megtilthatja a belépési oldalak (pl. `/login`) vagy duplikált tartalmak feltérképezését. Ez a fájl nem kötelező, de kulcsfontosságú a technikai SEO szempontjából.
Fontos, hogy nem biztonsági eszköz, mert bárki megtekintheti.
Hogyan működik a gyakorlatban?
A robots.txt sorokat tartalmaz, mint `User-agent: *` (minden robotra vonatkozik) és `Disallow: /admin/`, amely tiltja az admin oldalak indexelését. A fájlt a szerverre kell feltölteni, és ellenőrizhető a Google Search Console-ban a helyesség érdekében. Ha rosszul van konfigurálva, akár az egész weboldalt kizárhatja az indexelésből, ezért óvatosan kell használni.
A CMS-ek, mint a WordPress, gyakran automatikusan generálnak robots.txt-t, de manuálisan is testreszabható. Ez a technológia segít az erőforrások optimalizálásában és a nem kívánt tartalom elrejtésében a keresőktől.
Miért fontos a gyakorlatban?
A robots.txt irányítja a keresőrobotokat, így védi az érzékeny vagy irreleváns oldalakat az indexeléstől. Gyakorlatilag csökkenti a szerver terhelését és javítja az SEO-t a releváns tartalom kiemelésével. Rossz konfiguráció esetén viszont káros lehet.
Hogyan használható fel?
Robots.txt-t szerkeszthetsz egy bloghoz, hogy kizárd a `/wp-admin/` elérést (`Disallow: /wp-admin/`), így csak a publikus tartalom indexelődik. Tesztelheted a Search Console-ban. Ez növeli a kulcsszavakra fókuszált oldalak láthatóságát.
