Обозначим корни через m и n. По сути, необходимо найти максимум
(m^2-mn+n^2)=(m+n)((m+n)^2-3mn))
По теореме Виета:

Подставляем вместо m+n и mn эти выражения. Получим некоторое другое выражение, содержащее только a. Теперь осталось найти максимум этого выражения, и найти a при котором этот максимум достигается. Но не забудьте про
