если решать сходу, то замечу, что cos^2x не равен 0 ни в коем случае. Почему? Если бы он был бы равен 0, то и cos^3 x был бы равен 0, в таком случае равенства быть не может. (0 + 1 не равно 0).
Поэтому можем спокойно разделить обе части выражения на cos^2x.
Делим, и получаем
5 - 5cos x + 1/cos^2x = 0
Теперь вводим замену, пусть cos x = t, |t| <= 1, разумеется