Son nom vient de la tour de guet sur la colline Vela Glava, haute de 311 mètres, construite pour la défense contre les Turcs et pour donner l'alerte en cas d'incendie. À proximité se trouve un fort illyrien construit vers 1000 av. J.-C.
Zastražišće se situe à 193 mètres d'altitude, à 19 km de Jelsa et à 37 km de Sućuraj. Il se compose des hameaux de Mala Bonda, Donje Polje, Grudac, Jerkov Dvor, Kuzmičić Dvor et Postranje, s'étendant sur 5 km. Ils partagent une école, un cimetière et l'église paroissiale Saint-Nicolas du XVIe siècle, agrandie au XVIIIe siècle. Saint Nicolas est aussi le saint patron du village. L'église Sainte-Barbe, construite en 1407, est un monument culturel protégé. À Postranje, une tour-forteresse fut construite en 1624 pour la défense contre les Turcs.
Les hameaux de Zastražišće possèdent des baies et des plages sur les côtés nord et sud de Hvar. Au nord se trouvent les baies de Vela Stiniva, Stunji Mir, Sinjava, Dubac, Kljušna, Kruševa et Pokrivenik, où se trouve une grotte à 20 mètres au-dessus de la mer, profonde de 27 mètres, habitée au Néolithique et protégée comme monument culturel. Au sud se trouvent les baies de Prisinjak et Črvanj.
Parmi les vignobles et les oliveraies, des "TRIMI", petites maisons rondes des champs d'une circonférence de 2 à 3 mètres, sont disséminées partout.
Les noms de ces deux villages voisins, Zastražišće et Gdinj, signifient "garde" ou "guet", et on y trouve un olivier vieux de 2500 ans avec un tronc de 6 mètres de circonférence, en un lieu appelé Huharača.
Le tronc semblable au phénix de l'un des plus anciens êtres vivants de la Terre survit probablement grâce à la vigilance humaine qui a historiquement empêché la propagation de certains incendies, assurant ainsi la survie de cet être incroyablement ancien et garantissant son existence pour l'avenir.