О боте LastModBot
Бот LastModBot проверяет, отдает ли сервер время последней модификации страницы (last-modified) и правильно ли отвечает на запрос If-Modified-Since.
Какие User-Agent использует LastModBot
Mozilla/5.0 (compatible; LastModBot/0.1; +https://last-modified.com)
Mozilla/5.0 (compatible; LastModBot/0.1; +https://last-modified.com/en)Как заблокировать LastModBot
User-agent: LastModBot
Disallow:/Как разрешить доступ LastModBot
User-agent: LastModBot
Allow: /Как разрешить доступ LastModBot, остальные блокировать
User-agent: LastModBot
Allow: /
User-agent: *
Disallow: /