Краткий ответ:
\((x,y)=(4,9)\) или \((9,4)\).
\(\displaystyle (x,y)=\left(10+4\sqrt6,\;10-4\sqrt6\right)\).
1)
Сделаем замену:
\[ a=\sqrt{x},\qquad b=\sqrt{y},\qquad a,b\ge 0. \]
Тогда
\[ ab=\sqrt{xy}=\sqrt{36}=6,\qquad a+b=5. \]
Числа \(a\) и \(b\) — корни уравнения
\[ t^2-5t+6=0, \]
\[ (t-2)(t-3)=0. \]
Значит, \((a,b)=(2,3)\) или \((3,2)\). Поэтому
\[ (x,y)=(a^2,b^2)=(4,9)\quad\text{или}\quad(9,4). \]
Проверка: \(4\cdot9=36\), \(\sqrt4+\sqrt9=2+3=5\).
2)
Пусть снова
\[ a=\sqrt{x},\qquad b=\sqrt{y},\qquad a,b\ge0. \]
Система принимает вид
\[ \begin{cases} a-b=2ab,\\ a^2+b^2=20. \end{cases} \]
Обозначим \(q=ab\). Тогда \(a-b=2q\), и
\[ a^2+b^2=(a-b)^2+2ab=(2q)^2+2q. \]
Получаем:
\[ 4q^2+2q=20, \]
\[ 2q^2+q-10=0. \]
Отсюда \(q=2\), так как \(q=ab\ge0\). Значит,
\[ ab=2,\qquad a-b=4. \]
Тогда \(a=b+4\), и
\[ b(b+4)=2, \]
\[ b^2+4b-2=0. \]
С учётом \(b\ge0\):
\[ b=\sqrt6-2,\qquad a=\sqrt6+2. \]
Следовательно,
\[ x=a^2=(\sqrt6+2)^2=10+4\sqrt6, \]
\[ y=b^2=(\sqrt6-2)^2=10-4\sqrt6. \]
Проверка:
\[ x+y=20, \]
\[ \sqrt{x}-\sqrt{y}=a-b=4, \qquad 2\sqrt{xy}=2ab=4. \]