Il suo nome deriva dalla torre di guardia sulla collina Vela Glava, alta 311 metri, costruita per la difesa contro i turchi e per l'allarme antincendio. Nelle vicinanze si trova un castelliere illirico costruito intorno al 1000 a.C.
Zastražišće si trova a 193 metri sul livello del mare, a 19 km da Jelsa e a 37 km da Sućuraj. È composto dai borghi di Mala Bonda, Donje Polje, Grudac, Jerkov Dvor, Kuzmičić Dvor e Postranje, estendendosi per 5 km. Condividono una scuola, un cimitero e la chiesa parrocchiale di San Nicola del XVI secolo, ampliata nel XVIII secolo. San Nicola è anche il santo patrono del paese. La chiesa di Santa Barbara, costruita nel 1407, è un monumento culturale protetto. A Postranje nel 1624 fu costruita una torre fortezza per la difesa contro i turchi.
I borghi di Zastražišće hanno baie e spiagge sia sul lato settentrionale che su quello meridionale di Hvar. Sul lato nord si trovano le baie di Vela Stiniva, Stunji Mir, Sinjava, Dubac, Kljušna, Kruševa e Pokrivenik, dove c'è una grotta a 20 metri sopra il mare, profonda 27 metri, abitata nel Neolitico e protetta come monumento culturale. Sul lato sud si trovano le baie di Prisinjak e Črvanj.
Tra i vigneti e gli uliveti sono sparsi ovunque i "TRIMI", piccole case rotonde di campagna con una circonferenza di 2-3 metri.
I nomi di questi due paesi vicini, Zastražišće e Gdinj, significano "guardia" o "vedetta", e qui si trova un ulivo di 2500 anni con un tronco di 6 metri di circonferenza, in un luogo chiamato Huharača.
Il tronco simile a una fenice di uno degli esseri viventi più antichi della Terra sopravvive probabilmente grazie alla vigilanza umana che storicamente ha impedito la diffusione di alcuni incendi, assicurando così la sopravvivenza di questo essere incredibilmente antico e garantendone l'esistenza nel futuro.