Вот ответ сервера в сервисе "Проверка ответа сервера" Яндекса при отправке заголовка If-Modified-Since:

Код статуса HTTP 304 Not Modified
Время ответа сервера 109 мс
IP сайта -
Размер страницы 0 Б

И в логах есть варнинг.

А это ответ без заголовка If-Modified-Since (и без варнинга):

Код статуса HTTP 200 OK
Время ответа сервера 142 мс
IP сайта -
Кодировка UTF-8(unicode-1-1-utf-8, UTF8)
Размер страницы 118,71 КБ

Все работает правильно.
Попробую дебаг в Nginx включить, посмотреть, что он покажет.