A: (Sam/visit) his grandparents last weekend? B: No, he

На вопрос "Сэм навещал своих бабушку и дедушку на прошлых выходных?" ответ может быть: "Нет, он не навещал."

Если нужно дополнить, можно сказать: "Нет, он не навещал своих бабушку и дедушку на прошлых выходных." Это полное предложение передает ясную информацию о том, что Сэм не совершал визит.