оптовая цена учебника 120 рублей. розничная цена 25%ввше оптовой. Какое наибольшее число таких учебников можно купить по розничной цене по 7800 рублей

Видимо, «за 7800 рублей», а не «по 7800» рублей. :)

Розничная цена:
120 × 125% = 150 рублей.
Всего можно купить:
7800 / 150 = 65 учебников.

65.0 штук, если можно покупать дробные части учебника, и 65 штук, если можно покупать только целые учебники.