Кажется, я уже решал подобную задачу
{ ax + y + z = 1
{ x + ay + z = a
{ x + y + az = a^2
Умножаем 2 уравнение на -а и складываем с 1. Умножаем 3 уравнение на -1 и складываем со 2.
{ ax + y + z = 1
{ 0x + (-a^2+1)y + (-a+1)z = -a^2+1
{ 0x + (a-1)y + (1-a)z = -a^2+a
Упрощаем
{ ax + y + z = 1
{ -(a+1)(a-1)y - (a-1)z = -(a+1)(a-1)
{ (a-1)y - (a-1)z = -a(a-1)
Если а = 1, то 2 и 3 уравнения обращаются в 0, остается 1 уравнение.
x + y + z = 1
У него бесконечное множество решений, это нам не подходит.
Значит, a =/= 1. Делим 2 и 3 уравнения на (a-1)
{ ax + y + z = 1
{ -(a+1)y - z = -(a+1)
{ y - z = -a
Выразим z через y
{ ax + y + z = 1
{ -(a+1)y +(a+1) = z
{ y + a = z
Уравниваем левые части 2 и 3 уравнений
(a+1)(-y+1) = y + a
-ay - y + a + 1 = y + a
-ay - 2y + 1 = 0
1 = ay + 2y = y(a + 2)
y = 1/(a + 2)
При a = -2 у системы решений нет.