Crkva je izgrađena u neoromaničkom stilu, a projektirao ju je i izgradio arhitekt Karlo Paržik. On je koristeći neoromanski stil i bogato iskustvo napravio objekt koji se dimenzijama i ukupnom vizurom potpuno uklopio u okolinu. Skladnih proporcija, s tlocrtom u obliku latinskog križa, i trostrukim prozorima na završecima, ova crkva od bijelog hercegovačkog kamena bila je posljednje Paržikovo remek-djelo arhitekture.

U crkvi se nalaze i vitraži izvanredne umjetničke vrijednosti, među kojima se ističu oni sv. Petra i sv. Andrije, koji su teško oštećeni tokom opsade Sarajeva. Crkva sv. Josipa ima dvije lađe, dvije sakristije i dva oratorija, župni muzej u kripti, a bogato ukrašeni mramorni oltar poklon je tadašnjeg pape Pija XII.
Trg ispred crkve od 2008. godine nosi naziv Karla Paržika, projektanta crkve.