"начался дождь, когда мы вышли из дома" правильно?

Да, правильно. Нужно только начать предложение с заглавной буквы и поставить точку:

Начался дождь, когда мы вышли из дома.

• Начался — согласуется со словом дождь: мужской род, единственное число.
• Когда мы вышли из дома — придаточная часть времени.
• Она отвечает на вопрос: дождь начался когда?
• Перед союзом когда ставится запятая.

Можно сказать и так: Когда мы вышли из дома, начался дождь.