Система уравнений
x^2+y^2=96
x-y=8

возведем второе уравнение в квадрат , так как обе части левая и правая больше 0 = 8 и поддставим из первого во второе

x^2 - 2xy + y^2 = 64

96 - 2xy = 64

2xy = 32

xy = 16

x = 8 + y

y(8+y)=16

y^2 + 8y - 16 = 0

D = 64 + 4*16 = 128 = 64*2

y12=(-8 +- 8√2)/2 = -4 +- 4√2

x12 = 8 -4 +- 4√2 = 4 +- 4√2

ответ (4 - 4√2, -4 - 4√2) (4 +4√2, -4 + 4√2)