Если это официальное название музея, то корректно писать с заглавной буквы: Музей воинской славы. Если сочетание выступает как родовое обозначение, то нужно писать со строчной.
Правильно: воинский контингент.
Корректно: признать не годным к воинской службе.
Правильно: Город воинской славы.
Верно: Воронеж – город воинской славы.
Как собственное название - Монумент воинской славы.
Предлагаем обратиться к нашим электронным словарям (толково-словообразовательный словарь) в окне «Искать на Грамоте».
Вы написали правильно, см. в академическом орфографическом словаре фиксацию почетных званий городов: город-герой, город воинской славы, город трудовой доблести.