Всем не сможете угодить, люди разные. Надо знать собеседника, чтобы угадать форму общения, которой он будет доволен. И от ситуации зависит, кто больше заинтересован и зависим от действия партнёра.
Одни (роль «подчинённый») хотят, чтобы им указывали и ими повелевали – тем «спускайтесь».
Другие (роль «свободный человек») этим будут возмущаться типа «чего это вы нам приказываете» – таким нужно «можете спускаться».
Но и на такую фразу могут найтись недовольные типа «чего это она нам соизволение делает ... мы и сами знаем, чего можем и чего не можем».
Казалось бы, можно выбрать третью форму, говоря не о собеседнике, а о себе, использовав нейтральное и культурное «я жду внизу» в надежде на то, что собеседник хорошо воспитан и догадается, что надо спуститься. Однако и в этом случае иногда можно нарваться на тупого, на хама, на лентяя или пофигиста, который либо не поймёт, чего от него хотят, либо подумает «а-а ... подождёт».
Так что не заморачивайтесь и действуйте по ситуации.