Нужно ли после "по приезде" ставить запятую?

Коротко: запятая после оборота по приезде не нужна. Это обычное обстоятельство времени, которое относится к сказуемому и не является вводным или обособляемым оборотом.

Пояснение по правилам

• по приезде — это обстоятельство времени (предлог по + существительное в творительном падеже). Оно не вводит предложение и обычно не обособляется.
• Ставится запятая между частями сложного предложения только по общим правилам пунктуации (например, перед союзами и при разделении двух простых предложений). Сам по себе оборот в начале предложения не требует запятой.

Примеры

• Правильно: По приезде мы отправились в кафе.
• Неправильно/обычно не употребляется так же: По приезде, мы отправились в кафе. (такой вариант звучит некорректно в нормальной стилистике)
• Другие примеры без запятой после оборота:
  • По приезде в Москву мы остановились у друга.
  • По приезде они сразу позвонили родителям.

Когда возможны особые случаи (редко и стилистически специфично)

• Теоретически можно встретить обособление при очень длинном или подчеркнутом вводном обороте, но в любом случае это редкость и не стандартная норма; обычно такие случаи оформляются по другому (передвижение фокуса, изменение структуры предложения).
• В обычной школьной и речевой практике таких обособлений почти не требуется.

Итог

• Ответ: запятая после "по приезде" не ставится. Если предложение простое и начинается с этого обстоятельства, пишем без паузы: "По приезде мы сделали X."