Вопрос

Не является ли словосочетание каждый по отдельности избыточным? Все равно что фраза: "все присутствовавшие собрались вместе". Нельзя ли так: "они отправились отдыхать по отдельности (то бишь обособленно, врозь, порознь)". То есть "каждый по отдельности" лучше заменить на "порознь". И никакого намека на плеоназм. Или все-таки можно так говорить? 

В «Толковом словаре русского языка» С. И. Ожегова и Н. Ю. Шведовой (М., 1997) на в отдельности и (разг.) по отдельности приведено речение Объяснять каждому в отдельности. Cр. также: каждый из нас; всех и каждого, всем и каждому (всех, всем без исключения).

Так что ошибки в каждый по отдельности нет (обратите внимание и на значение каждый  – всякий, любой из себе подобных), но это выражение имеет разговорную окраску.

Правильно

каждый в отдельности и (разг.) каждый по отдельности.