Да, выделяется, т.к. это фразеологический оборот, который выделяется в обоих сторон запятыми.
Например:
Вдруг,откуда ни возьмись, выскакивает теленок...(А. Куприн)
Если стоит в начале, то не выделяется:
Откуда ни возьмись речушка с красивым названием Волга(В. Солоухин)