Задача видимо предполагает загрузку в память ровно одного кадра в каждый момент времени, раз не дана частота. Но зачем тогда длительность?
Итак, предполагаем частоту 29.97 и полный объем фильма в растровом виде после декодирования.
(1600 * 900 * 29.97 * 300 * 9) / 8 / 1024^3 = 13.57 ГБ
Пояснение: умножаем пиксели на частоту на длительность на глубину цвета в битах, переводим в байты, потом в гигабайты.