Можно отказаться вежливо и тактично, чтобы не обидеть его. Вот несколько вариантов:
Честный отказ: "Спасибо за приглашение, но у меня уже есть планы на завтра."
Подход с благодарностью: "Мне очень приятно, что ты пригласил меня прогуляться, но, к сожалению, я не смогу."
Предложение альтернативы: "Спасибо за предложение! Завтра не смогу, но может быть, мы сможем прогуляться в другой раз?"
Нейтральный ответ: "Очень жаль, но завтра мне не подходит."
Важно выразить свои чувства искренне и уважительно.