приятно видеть самого себя в начале пути :)

могу дать совет - начинайте дорабатывать бекенд. реально снять эту проблему можно только на стороне, путем определения по ip кто именно пришел (яндекс гугл или другой бот), там же можно выставить политику для других ботов, а так же поставить нормальную защиту от парсинга

а по вашей методике, Вам очень быстро надоест добавлять новых ботов, а их поверьте мне сотни, если не тысячи. вот недавно совсем приходил бот поисковой системы которая ищет сайты по торговле продуктами не содержащими толи глютамат натрия толи что то в этом роде