будет ли грамматически правильно написать так:
At the same time, many others prefer to disagree with this allegation.

(В то же время многие другие предпочитают не соглашаться с этим утверждением.) написано правильно. Например, при переводе в интернете, всё правильно. Если же переводить в словаре, то так-же все слова на своём месте.