Su nombre proviene de la torre de vigilancia en la colina Vela Glava, de 311 metros de altura, construida para la defensa contra los turcos y para alertar de incendios. Cerca se encuentra un castro ilirio construido hacia el año 1000 a. C.
Zastražišće se encuentra a 193 metros sobre el nivel del mar, a 19 km de Jelsa y a 37 km de Sućuraj. Está formado por las aldeas de Mala Bonda, Donje Polje, Grudac, Jerkov Dvor, Kuzmičić Dvor y Postranje, extendiéndose a lo largo de 5 km. Comparten una escuela, un cementerio y la iglesia parroquial de San Nicolás del siglo XVI, ampliada en el siglo XVIII. San Nicolás es también el santo patrón del pueblo. La iglesia de Santa Bárbara, construida en 1407, es un monumento cultural protegido. En Postranje se construyó en 1624 una torre fortaleza para la defensa contra los turcos.
Las aldeas de Zastražišće tienen bahías y playas tanto en el lado norte como en el sur de Hvar. En el lado norte están las bahías de Vela Stiniva, Stunji Mir, Sinjava, Dubac, Kljušna, Kruševa y Pokrivenik, donde hay una cueva a 20 metros sobre el mar, de 27 metros de profundidad, habitada en el Neolítico y protegida como monumento cultural. En el lado sur están las bahías de Prisinjak y Črvanj.
Entre los viñedos y olivares, los "TRIMI", pequeñas casas de campo redondas con una circunferencia de 2 a 3 metros, están esparcidos por todas partes.
Los nombres de estos dos pueblos vecinos, Zastražišće y Gdinj, significan "vigilancia" o "guardia", y allí se encuentra un olivo de 2500 años con un tronco de 6 metros de circunferencia, en un lugar llamado Huharača.
El tronco, semejante al fénix, de uno de los seres vivos más antiguos de la Tierra sobrevive probablemente gracias a la vigilancia humana que históricamente impidió la propagación de ciertos incendios, asegurando así la supervivencia de este ser increíblemente antiguo y garantizando su existencia en el futuro.