Помогите со вторым способом, пожалуйста.

Представим фигуру как прямоугольник, его площадь равна S1. Тогда S1=a*b (т.к. противолежащие стороны прямоугольника равны)

Возьмем маленький квадрат как отдельную фигуру с площадью S2. Тогда S2=x*y

Значит, площадь фигуры S будет равна разности площадей S1 и S2, т.е. S1-S2=a*b-x*y