Краткий ответ:
\[
\boxed{AB^2=289}, \qquad \boxed{AB=17}.
\]
Используем теорему косинусов для стороны \(AB\):
\[ AB^2=AC^2+BC^2-2\cdot AC\cdot BC\cdot\cos\angle ACB. \]
Подставим данные:
\[ AB^2=17^2+17^2-2\cdot17\cdot17\cdot\cos60^\circ. \]
Так как \(\cos60^\circ=\frac12\), получаем:
\[ AB^2=289+289-2\cdot17\cdot17\cdot\frac12 =578-289=289. \]
Следовательно,
\[ \boxed{AB^2=289}. \]
Проверка: \(AC=BC\), а угол между ними равен \(60^\circ\), значит треугольник равносторонний и \(AB=AC=BC=17\). Тогда \(AB^2=17^2=289\).