Ваше предложение в целом понятно, но есть некоторые моменты, которые можно улучшить для большей ясности и грамматической правильности.
Правильный вариант мог бы звучать так: "Мои любимые коллеги уволились с работы, и сейчас остались девочки, с которыми у меня нет общего языка."
В этом предложении просто уточняется, что у вас нет общего языка именно с оставшимися коллегами. Это поможет передать вашу мысль более чётко. Если у вас есть ещё вопросы по языку или другим темам, не стесняйтесь спрашивать!