Спасибо за конструктивный ответ. Был очень занят на днях.

Ну да, по сути все так и должно работать, точнее прокси сервер и должен передавать referer в обычных условиях.
Видимо поэтому мой самописный сервер сразу стал работать, так как он по сути он скачивает от своего лица, а дальше уже я сам вручную указал отдавать ждущему соединению.

Спасибо, извиняюсь за свою не компетентность. :)