Да, действительно, номера были написаны неверно, их необходимо писать без двоеточий в виде 00112233445566778899AA. И тут же выпала ошибка:


752#0: *3 user "nginx1": password mismatch, client: 192.168.2.38, server: nginx1, request: "GET / HTTP/1.0", host: "192.168.2.38"

о который Вы, видимо, и говорили касательно переводов строк. Переводы убрал, но ошибка все равно остается.
Так данные выглядят в htpasswd (nginx1:nginx1):
nginx1:a02t8DaNLi4po

Так в base.conf:
map $ssl_client_serial $auth_base {
45C68DA10001000005A7 bmdpbngxOm5naW54MQo=;
}

Где я недосмотрел или неверно что-то указал? Может быть, забрать в ковычки серийный номер и результат base64 или ничего не изменится?

Простите за навященность, но чень хочется, чтобы это заработало :)

С уважением,
deVox
de.vox@gmx.com