Der Name stammt vom Wachtturm auf dem 311 Meter hohen Hügel Vela Glava, der zur Verteidigung gegen die Türken und zur Feuerwarnung errichtet wurde. In der Nähe liegt eine illyrische Wallburg, die um 1000 v. Chr. errichtet wurde.
Zastražišće liegt 193 Meter über dem Meeresspiegel, 19 km von Jelsa und 37 km von Sućuraj entfernt. Es besteht aus den Weilern Mala Bonda, Donje Polje, Grudac, Jerkov Dvor, Kuzmičić Dvor und Postranje und erstreckt sich über 5 km. Sie teilen sich eine Schule, einen Friedhof und die Pfarrkirche des heiligen Nikolaus aus dem 16. Jahrhundert, die im 18. Jahrhundert erweitert wurde. Der heilige Nikolaus ist auch der Schutzpatron des Dorfes. Die 1407 erbaute Kirche der heiligen Barbara ist ein geschütztes Kulturdenkmal. In Postranje wurde 1624 ein Wehrturm zur Verteidigung gegen die Türken errichtet.
Die Weiler von Zastražišće haben Buchten und Strände sowohl auf der Nord- als auch auf der Südseite von Hvar. Auf der Nordseite liegen die Buchten Vela Stiniva, Stunji Mir, Sinjava, Dubac, Kljušna, Kruševa und Pokrivenik, wo sich 20 Meter über dem Meer eine 27 Meter tiefe Höhle befindet, die im Neolithikum bewohnt war und als Kulturdenkmal geschützt ist. Auf der Südseite liegen die Buchten Prisinjak und Črvanj.
Zwischen den Weinbergen und Olivenhainen sind überall "TRIMI" verstreut, kleine runde Feldhäuser mit einem Umfang von 2-3 Metern.
Die Namen dieser beiden Nachbarorte, Zastražišće und Gdinj, bedeuten "Wache" oder "Wacht", und hier steht ein 2500 Jahre alter Olivenbaum mit einem Stammumfang von 6 Metern, an einem Ort namens Huharača.
Der phönixgleiche Stamm eines der ältesten Lebewesen der Erde überlebt wahrscheinlich dank der menschlichen Wachsamkeit, die historisch die Ausbreitung mancher Brände verhinderte und so das Überleben dieses unglaublich alten Wesens sicherte und seine Existenz in der Zukunft gewährleistet.