Для решения задачи нужно подставить заданные значения переменных \( a = \sqrt{5} \) и \( b = \sqrt{3} \) в выражение \( 3ab + (5b - 3a)^2 \) и упростить его.
Вычисление \( 3ab \):
\[ 3ab = 3 \times \sqrt{5} \times \sqrt{3} = 3 \times \sqrt{15} \]
Вычисление \( (5b - 3a)^2 \):
Найдем \( 5b \) и \( 3a \):
\[ 5b = 5 \times \sqrt{3} = 5\sqrt{3} \]
\[ 3a = 3 \times \sqrt{5} = 3\sqrt{5} \]
Теперь подставим в выражение:
\[ 5b - 3a = 5\sqrt{3} - 3\sqrt{5} \]
Возведем в квадрат:
\[ (5\sqrt{3} - 3\sqrt{5})^2 = (5\sqrt{3})^2 - 2 \times 5\sqrt{3} \times 3\sqrt{5} + (3\sqrt{5})^2 \]
\[ = 25 \times 3 - 2 \times 15\sqrt{15} + 9 \times 5 \]
\[ = 75 - 30\sqrt{15} + 45 \]
\[ = 120 - 30\sqrt{15} \]
Сложим результаты:
\[ 3ab + (5b - 3a)^2 = 3\sqrt{15} + 120 - 30\sqrt{15} \]
\[ = 120 - 27\sqrt{15} \]
Таким образом, значение выражения равно:
\[ \boxed{120 - 27\sqrt{15}} \]