Ответ: ∠AMB = 75°.
Координаты возьмем так: A(0,0), B(a,0), D(0,a) для стороны квадрата a. Так как AMD равносторонний, третья вершина M находится на правой стороне AD и равна по координатам: M = (√3/2 a, a/2).
Тогда векторы: MA = A − M = (−√3/2 a, −a/2), MB = B − M = (a − √3/2 a, −a/2) = (a(1 − √3/2), −a/2).
Скалярное произведение: MA · MB = a^2(1 − √3/2).
Длины: |MA| = a (AM = AD = a), |MB|^2 = a^2[(1 − √3/2)^2 + (1/2)^2] = a^2(2 − √3), |MB| = a√(2 − √3).
Тогда cos∠AMB = (MA · MB) / (|MA||MB|) = (1 − √3/2) / √(2 − √3) = cos75°.
Следовательно, ∠AMB = 75°.