Если ты не хочешь идти разговаривать, можно ответить на сообщение "жду" так, чтобы быть вежливым, но при этом выразить своё нежелание. Например, можно сказать:
"Спасибо за понимание, но сейчас мне не совсем удобно. Может быть, позже?"
Или:
"Я понимаю, но сейчас не могу поговорить. Давай свяжемся в другой раз."
Таким образом, ты дашь понять, что ты ценишь общение, но у тебя есть свои причины не идти сейчас.