Какво представляват ботовете и каква е тяхната цел?

Търсещите машини като Google, Yahoo, Bing, Yandex и много други съдържат информация за трилиони сайтове. Тяхната първоначална задача е да изведат дадена група сайтове като отговор на Ваше търсене. За да попадне тази информация в базите данни на тези сайтове, те използват специализирани ботове, наречени crawl-bots. Те посещават Вашият сайт и започват да го “обхождат” – проверяват всяка страница, свързана с менюто и вътрешните връзки на страниците, като подават информация за съдържанието в базата си данни. Съществуват хиляди ботове, които вършат идентична работа и тяхната единствена цел е да обхождат регулярно Вашият сайт.

Кога ботовете посещават сайта ми?

Важно е да се осъзнае, че наличието на трилиони сайтове означава, че ботовете няма да имат възможност да посещават сайта Ви постоянно. Стандартно, нов сайт бива индексиран в най-големите търсещи машини след няколко месеца, а това може да е критичен период, особено, ако не желаете да давате пари за реклама. След индексирането на сайта Ви, част от съдържанието му ще започне да се показва при търсене, като е малко вероятно да бъдете позиционирани на първите няколко страници.

Когато ботът види линк към Вашият сайт на друг сайт – например във Facebook, той е много вероятно да го последва, което ще го накара отново да обходи сайта Ви. Ако се забележи, че нямате нова информация, която да бъде добавена към индекса, ботът ще намали приоритета за обхождане на Вашият сайт. След като Вие не намирате за нужно да добавяте нови данни в сайта си, няма причина ботовете да следят за новости.

Как мога да накарам ботовете да посещават по-често сайта ми?

Логичният извод от предходната информация е, че трябва да добавяте регулярно информация в сайта си. Затова и сред най-посещаваните сайтове в света са новинарските. Те имат и най-актуална информация, когато търсите нещо в Google, например. Можете да забележите, че често информацията е обновена в деня на търсенето, което означава, че ботовете регулярно посещават сайта, чиято информация гледате.

Вторият начин е да имате много линкове, водещи към сайта си. Така нареченият линк билдинг бе популярен в близкото минало, но към момента не е препоръчителен, тъй като води към лоши практики. Множество сайтове плащат за нерелевантни линкове към техните страници, което заблуждава ботовете и в крайна сметка води до нежелани резултати. Например, не е особено логично в блог за авточасти да има линкове към сайтове на болнични услуги, например.