Боты поисковых систем
Бот — робот поисковой системы (сокр. от английского robot).
Он ходит по всем сайтам и вносит в индекс их контент. Боты отличаются по своим функциям. Есть боты которые индексируют контент, индексируют видео, аудио и т.п. Если дело касается поисковых ботов, то можно ограничить им индексацию в файле robots.txt или .htaccess вашего блога/сайта.
| Друзья, пожалуйста твитните эту статью и расскажите знакомым! >> | Твитнуть |
|
|
