О боте LastModBot
Бот LastModBot проверяет, отдает ли сервер время последней модификации страницы (Last-Modified) и правильно ли отвечает на запрос If-Modified-Since.
Какие User-Agent использует LastModBot
Mozilla/5.0 (compatible; LastModBot/0.1; +https://last-modified.com)Как заблокировать LastModBot
User-agent: LastModBot
Disallow: /Как разрешить доступ LastModBot
User-agent: LastModBot
Allow: /Как разрешить доступ LastModBot, остальных заблокировать
User-agent: LastModBot
Allow: /
User-agent: *
Disallow: /