Вопрос в установке забора

По меже установил забор полностью за свой счет. При установке соблюдал требования и нормы к возведению сооружения. Сосед не участвовал( финансово), но устно дал согласие на установку забора. Через полгода сосед повесил цветник на забор. Я попросил убрать цветник , ведь это не предусмотрено конструкцией забора, но сосед отказался ссылаясь на то что моя сторона что хочу то и делаю, ведь письменного соглашения я не давал. Что делать?