В общем, более менее разобрался, виноват был open_file_cache, интересная ситуация с ним выходит:
у нас есть файл 10 кбайт, мы его запросили единожды и он попал в этот кэш. (если срок жизни кэша большой) Далее файл изменился, стал 15 кбайт и nginx при запросе файла отдает с диска уже измененный файл, НО обрезает его до длины, данные о которой все еще лежат в open_file_cache (10 кбайт) в итоге мы получаем обрезанный / не полный файл на выходе.