A honlap megtervezését követően azt is érdemes megtervezni, mik lesznek a weboldal legfontosabb tartalmai, és hogy irányítsuk az elkészült tartalmakban a keresőrobotokat, már a céges weboldal készítése előtt. Ezeket tehetjük meg a meta robots címkék segítségével.
Két féle META irányelv van, ami alkalmazható. A HTML oldal forráskódjába illesztett META adatok (ezek látszódnak a forráskódban), vagy használható az x-robots-tag amit a webszerver HTTP fejlécként (HEADER utasítás) küld. Ez nem látható a forráskódban!
Mind a két esetben ugyanazok a paraméterek (azaz azok a bejárási vagy indexelési utasítások, vannak amelyeket egy HTML meta címke nyújt, mint például a „noindex” vagy a „nofollow”) használhatók mind a meta robotokkal, mind az x-robots-tag alkalmazásával. Csak a módszer különbözik, hogy ezeket a paramétereket hogyan továbbítják az indexelő robotoknak.
Az alábbiakban felsoroljuk milyen paramétereket lehet használni, amiket az indexelést végző robotok értelmezni tudnak és "követnek".
Figyelem! A paraméterekben lévő kis- és nagybetűk közötti különbséget nem értelmezik a robotok. Soha ne felejtsük el azt sem, hogy az alábbi módszerekkel ha teljesen el szeretnénk tüntetni egy tartalmat a feltérképező robotok elöl, akkor ezek a módszerek nem alkalmasak a használatra, ugyanis sok esetben figyelmen kívül hagyhatják, vagy egyes irányelveket nem vagy eltérően kezelnek.
Hogy is néz ki a META ROBOT kódsor és hol helyezkedik el
Az indexelést vezérlő paraméterek az alábbiak lehetnek
NOINDEX: Azt mondja a keresőrobotnak, hogy ne indexelje az adott oldalt.
INDEX: Engedélyezi az adott oldal indexelését. Ha indexeltetni szeretnéd a weboldalt akkor nem szükséges ezt a címkét hozzáadni, mert ez az alapértelmezett. Ennek ellenére így szokták megadni a teljes engedélyt „index,follow” az INDEX paraméter minden robotnak engedélyt adunk , és minden linket követhet a FOLLOW paraméter megadásával.
FOLLOW: Az adott oldalon minden link követhető. Tehát még akkor is követheti a robot a linkeket, és átadhat linkerőt, ha az oldal NOINDEX paraméterrel ellátott.
NOFOLLOW: A FOLLOW ellentéte. Az oldalon elhelyezett összes link követésének letiltása, és a linkerő átadásának megakadályozása.
NOIMAGEINDEX: Az adott oldalon, nem indexelhet egyetlen képet sem.
NONE: Egyenértékű a „NOINDEX, NOFOLLOW” egyszerre történő használatával. Ez egy egyszerűsítő paraméter.
NOARCHIVE: A keresőmotorok nem jeleníthetik meg a gyorsítótárazott hivatkozást, az oldalra vonatkozóan a SERP-ben (keresési találati lista).
NOCACHE: Ugyanaz, mint a NOARCHIVE, de csak az Internet Explorer és a Firefox használja.
NOSNIPPET: Azt mondja a keresőmotornak, hogy ne jelenítse meg az oldal meta leírást a SERP-ben.
UNAVAIABLE_AFTER: A keresőmotorok nem jeleníthetik meg az oldalt egy adott dátum után.
META ROBOTS TAG elhelyezkedése és alkalmazása
A metarobots címke ahogy fentebb is írtuk, a HTML kód része és a <HEAD> </HEAD> között helyezkedik el.
Kódminta
<meta name= “robots” content = “PARAMÉTER” />
A fenti kódminta az összes keresőrobotra nézve szabványos, viszont vannak ritka esetek amikor egyes keresőrobotokra vonatkozóan szeretnénk plusz szabályokat érvényesíteni. Ebben az esetben a ROBOTS szót kicserélheted a feltérképező robot nevére. Ha pl. A Google robotjára szerénél külön szabályt alkalmazni, akkor így használd:
<meta name= “googlebot” content = “[PARAMÉTER]” />
Nagyon sok keresőrobot cirkál az interneten, pár közismertebb neve: googlebot, Bingbot, Slurp, DuckDuckBot, Baiduspider, YandexBot, ia_archiver
Ha egyéni szabályokat akarsz alkalmazni robotokra, akkor érdemes megkeresni a pontos nevet!
Egyszerre több szabály is alkalmazható, nem kell külön címkeként felsorolni, hanem vesszővel elválasztva felsorolhatók a paraméterek.
<meta name= “robotos” content= “noimageindex”, “nofollow”, “nosnippet” />
Ez a kódsor azt mondja a robotoknak, hogy ne indexeljék az oldal képeit, ne kövessék a linkeket, és nem mutatják a meta adatokat, a SERP-ben. Ha több robotra szeretnéd alkalmazni, akkor külön TAG-ben kell megadni.
X-robots-tag
Ahogy fentebb is írtuk a metarobot címke lehetővé teszi, hogy a forráskód megnyitásával is ellenőrizhetőek a beállított paraméterek, az x-robots-tag a HTTP fejlécébe helyezkedik el. Ez egy egyszerű forráskód ellenőrzésével nem látható, viszont a robotok ugyan úgy értelmezik és keresik mivel a HTTP fejlécet is olvassák.
Noha az x-robots-tag segítségével végrehajtható ugyanazok az indexelési irányelvek, mint a metarobotok esetében, az x-robots-tag irányelv lényegesen nagyobb rugalmasságot és funkcionalitást kínál, mint a meta robotots címke. Pontosabban, az x-robots lehetővé teszi a reguláris kifejezések használatát, a feltérképezési irányelvek végrehajtását a nem HTML fájlokon is, és a paraméterek globális szintű alkalmazását is lehetővé teszi.
A HTTP fejlécben elküldött adatcsomagok létrehozásához, érdemes legalább egy alapszintű programozást elsajátítani. Ha CMS rendszerben dolgozol, hozzá kell férned a PHP vagy a .htaccess fájlokhoz.
Mikor érdemes használni az x-robots-tag-et?
- A nem HTML-ben írt tartalom indexelésének irányítása (például flash vagy video)
- Az oldal egy adott elemének (például kép vagy videó), de nem az egész oldal indexelésének blokkolása
- Az indexelés ellenőrzése, ha nem férsz hozzá az oldal HTML-hez (különösen a head szakaszhoz), vagy ha webhelyed globális fejlécet használ, amelyet nem lehet megváltoztatni
- Szabályok hozzáadása ahhoz, hogy egy oldalt indexelni kell-e vagy sem (pl., Ha egy felhasználó több mint 20 alkalommal kommentel, indexelje-e profiloldalát)
Egyszerre ne használj azonos szabályokat a META ROBOTS és az x-robots-tag-ben.
Mivel az x-robots-tag-hez olvasóink közül kevesen férnek hozzá ezért nem megyünk bele mélyebben az alkalmazásának részleteibe.
A keresőoptimalizálás (SEO) kapcsolata a META ROBOS-al
Keresőoptimalizálási feladataink során többször tapasztaltuk, hogy az indexelési szabályokra a weboldal készítésekor nem figyeltek oda a készítők. Vagy minden oldalon ugyan azt a szabályt alkalmazták, vagy egyszerűen a robots.txt-ben lett meghatározva a feltérképezési szabály.
A feltérképezési büdzséről már említést tettünk. A lényeg az, hogy feleslegesen ne terheljük a keresőrobotokat. A felesleges terhelés, lassabb indexelést is jelenthet, ami nem előnyös a weboldalra nézve. Meg kell határozni, hogy a weboldalon belül mely tartalmakat engedjük indexeltetni, és melyeket tiltjuk ki a keresőrobotok elöl.
A META ROBOTS lehetőséget ad arra, hogy leválogathasd a tartalmaidat, és egyedi szabályokat alkalmazz rá.
Érdemes kizárni minden olyan tartalmat, ami vékony tartalom, a weboldal jellegétől függően 300 – 500 szót tartalmaz, vagy azokat, amelyek a weboldal összességére nézve felesleges információkkal bír, mint pl. az adatkezelési tájékoztató.
Apropó adatkezelési tájékoztató.
Ez pont egy olyan tartalom, amit az EU is szabályoz, aminek az egyik passzusa, hogy minden oldalon elérhetőnek kell lennie.
Ebben az esetben érdemes NOINDEX-re tenni, mert olyan tartalommal bír, amit egyáltalán nem fontos indexbe helyezni, továbbá kombinálni lehet a HREF hivatkozás NOFOLLOW-tag-el, mivel a szabályozás miatt minden oldalon megtalálható a hivatkozása.
Így ez a tartalom teljesen körbe van védve. Nem engedjük indexelni, és a robotokról levesszük a terhet, hogy a link követésével meg kelljen nyitnia a linket, és beolvasnia a rá vonatkozó szabályokat. Továbbá a belső linkerőt sem osztja tovább ez az értéktelen tartalom.
Hogy kezeld a robotokat a HW Plus CMS-ben?
A CMS fel van készítve minden olyan feladatra, amit egy átlag felhasználónak el kell végeznie a robotok irányítására.
Elsőként a robots.txt elérhető és módosítható az adminisztrációs felületről.
Fentebb is említettük a noindex parancs szeptember elsejével nem él, azt már nem érdemes használni, de a többi parancs még szabványos és használható
- Noindex (elavult 2019.09.01)
- User-agent
- Disallow
- Crawl-delay
- Visit-time
- Request-rate
- Allow
A HW Plus CMS-ben a SEO beállítások / robots.txt menüpontban lehet bármilyen szabályt megalkotni. Természetesen a CMS súgójában segítséget is kaphatsz a szabályok létrehozására.
Tartalmak indexelésének beállítása a HW Plus CMS-ben
Minden tartalom beállításánál lehetőség van a robotokat irányítani. A tartalom szerkesztő alatt, megtalálható az indexelés doboz, amiben felállíthatod a szabályrendszert.
index, follow
Ez az alapértelmezett beállítás, itt minden robotnak engedélyt adsz a tartalom indexelésére.
index, nofollow
A tartalom indexelésére engedélyt adsz, de a linkek követésére nem. Erre akkor lehet szükség, ha pl. létrehoztunk egy partner oldalt, amit indexelni szeretnél, de a partnereknek nem akarsz linkerőt átadni, és nem is szeretnéd, hogy tovább kövesse a feltérképező robot a hivatkozást.
noindex, follow
Lényegében megegyezik a noindex paranccsal. Egyes robotok másképp értelmezhetik a noindex utasítást, vagy figyelmen kívül hagyják. Ennek eredményeként előfordulhat, hogy továbbra is megjelenik majd más keresők találatai között a tartalom.
noindex, nofollow
Ezzel megakadályozod a tartalom indexelését, és egy még erősebb szabályt alkotsz, hogy a tartalmon belül a linkeket sem követheti a robot. Jogosan felteheted a kérdést, ha egyszer kizártad a tartalmat az indexből, akkor miért kell a követést is leállítani.
Sajnos a tapasztalat az, hogy sok esetben maga a Google keresője is néha nem hajtja végre a noindex parancsot. Így még a követés tiltásával is szabályozhatunk. Ha a tiltott tartalomban saját belső hivatkozások szerepelnek, amik nyilvánosak akkor nem érdemes ezt a paramétert használni.
Tettem egy említést az adatkezelési tájékoztató szabályozására, hogy nem csak noindexet érdemes alkalmazni, hanem globálisan érdemes leállítani a link követését, tehát bárhova helyezed a linket (lábléc, fejléc, oldalsó menü) a HREF attribútumban minden esetben nofollow parancsot kap.
A CMS-ben ezt a menüpont beállításainál találod.
Összegzés
A feltérképező robotokat irányítani kell ahhoz, hogy a keresőoptimalizálásban minél jobb helyezést érjetek el. Minden tartalmat érdemes átnézni milyen szabályok vonatkoznak rá, és ha hibát találtok javítani kell. Ha a HW Plus CMS rendszerét választod a weboldalad elkészítéséhez, ezekre a beállításokra nem lesz gondod nem kell külön programozót vagy SEO szakembert alkalmaznod!
