В общем все же разобрался. Действительно многое было в кеше но суть не в этом. Медленная отдача файлов с кеш сервера конечному клиенту была из-за указания ssl_protocols брал их из настроек сайта видимо шифрование медленно проходило или что-то вроде этого. Оставил просто ssl on; и пути до сертификатов теперь отдача работает значительно быстрее. Большое спасибо за направление в сторону логов.

конфиг кеширования оставлю тут вдруг кому понадобится

location = /video/ {
access_log /var/log/nginx/timed.log timed;
mp4;
mp4_buffer_size 1M;
mp4_max_buffer_size 15M;
aio threads=default;
aio_write on;
proxy_http_version 1.1;
proxy_set_header Connection "";
slice 1m;
proxy_set_header Range $slice_range;
proxy_cache_valid 200 206 24h;
proxy_cache ssd_cache;
proxy_cache_key $uri$slice_range;
proxy_pass http://backend;
proxy_cache_lock on;
proxy_cache_lock_age 50s;
proxy_cache_lock_timeout 0s;
proxy_cache_use_stale updating;

}

Еще раз большое спасибо за правильное направление в сторону логов помогло при поиске проблем.