Подмышка – имя существительное. Оно пишется слитно и склоняется: пиджак жмет в подмышках. А вот слова под мышкой, под мышками, под мышки, под мышку – это действительно наречия, они пишутся раздельно: держать сверток под мышками, подхватить ребенка под мышки. Наречия не имеют окончаний, это неизменяемые слова; под мышкой, под мышками, под мышки, под мышку – это не формы одного и того же наречия, а разные слова.
Правильно: под мышкой (наречие: нести под мышкой, держать под мышкой), но: подмышкой (форма творительного падежа сущ. подмышка).
«Но» относится к раздельному написанию вместо слитного.