Пока не могу сообразить, как подойти к решению этой задачи. До чего докопался - поисковик делает запрос на сайт с заголовком If-Modified-Since или If-None-Match и если контент страницы не изменился, движок отдает код "304 Not Modified" - именно в этом случае возникает ошибка.