Краткий ответ: \[ \boxed{x\in(0;5)} \]
Решение методом интервалов
Найдём нули выражения: \[ x^3(x-8)^{10}(x-5)^5=0. \]
Отсюда: \[ x=0,\qquad x=5,\qquad x=8. \]
Разобьём числовую прямую на интервалы: \[ (-\infty;0),\quad (0;5),\quad (5;8),\quad (8;+\infty). \]
Учитываем кратность корней:
- у \(x=0\) кратность \(3\) — знак меняется;
- у \(x=5\) кратность \(5\) — знак меняется;
- у \(x=8\) кратность \(10\) — знак не меняется.
Знак выражения:
\[ \begin{array}{c|cccc} x & (-\infty;0) & (0;5) & (5;8) & (8;+\infty)\\ \hline x^3(x-8)^{10}(x-5)^5 & + & - & + & + \end{array} \]
Нужно, чтобы выражение было отрицательным: \[ x^3(x-8)^{10}(x-5)^5<0. \]
Подходит только интервал: \[ \boxed{(0;5)}. \]
Точки \(0\), \(5\) и \(8\) не включаются, так как неравенство строгое.