Чтобы определить, в какой из предложенных фраз существительные употреблены в современной литературной форме, необходимо проанализировать каждое предложение с точки зрения грамматики и современного русского языка.
а) "входит Маша, в шапке вуалем, я останавливается ,не найдя до середины комнаты." — Здесь слово "вуальем" употреблено в родительном падеже, что является устаревшей формой. Правильная современная форма — "вуаль".
б) "правитель канцелярии с портфелью ждёт у дверей кабинета." — В этом предложении "портфелью" также в дательном падеже, которое можно считать устаревшим. Современная форма — "портфелем".
в) "Анна Петровна сидит за роялью, склонив голову к клавишам." — Слово "роялью" также является устаревшей формой. Современное правильное использование — "роялем".
г) "орган плох, а в других церквах он заменяется виолончелию и флейтой." — Здесь слово "виолончелию" употреблено в дательном падеже, но в данном контексте оно звучит достаточно современно.
На основании приведенного анализа, фраза, в которой существительные употреблены в современной литературной форме, - это именно г). Здесь все слова соответствуют современному употреблению.