Я думаю, враг - нечто долгосрочное. Как назвать обобщённо какого-нибудь трамвайного хама или "злобную бабку у подъезда", по отношению к которому ты испытываешь негативные эмоции, который хочет причинить тебе вред или его причиняет, пусть малозначительный, пусть чисто психологический - я не придумал.
Немцов - человек, который в случае обладания властью принимал бы меря для ухудшения условий жизни и дискриминации вплоть до уничтожения тех групп, к которым я себя отношу. Поэтому - враг. Поскольку властью этой он не обладал - враг неопасный.
Как-то так.