8а³-60a²b+150ab²-125b³ при a=0,935 b=0,174 должно получится 1

Это неверно. При данных значениях a и b, результат этого выражения не будет равен 1.