Ime mu dolazi od stražarnice na brdu Vela Glava, visokom 311 metara, izgrađene za obranu od Turaka i za dojavu požara. U blizini je ilirska gradina podignuta oko 1000. pr. Kr.
Zastražišće leži na 193 metra nadmorske visine, 19 km od Jelse i 37 km od Sućurja. Sastoji se od zaselaka Mala Banda, Donje Polje, Grudac, Jerkov Dvor, Kuzmičić Dvor i Postranje, protežući se preko 5 km. Dijele školu, groblje i župnu crkvu sv. Nikole iz 16. stoljeća, proširenu u 18. stoljeću. Sv. Nikola ujedno je i zaštitnik sela. Crkva sv. Barbare, izgrađena 1407., zaštićeni je spomenik kulture. U Postranju je 1624. izgrađena kula-tvrđava za obranu od Turaka.
Zastražiški zaseoci imaju uvale i plaže i na sjevernoj i na južnoj strani Hvara. Na sjevernoj strani su uvale Vela Stiniva, Stunji Mir, Sinjava, Dubac, Kljušna, Kruševa i Pokrivenik, gdje je špilja 20 metara iznad mora, duboka 27 metara, naseljena u neolitiku i zaštićena kao spomenik kulture. Na južnoj strani su uvale Prisinjak i Črvanj.
Među vinogradima i maslinicima posvuda su razasuti "TRIMI" · male okrugle poljske kućice opsega 2-3 metra.
Imena ovih dvaju susjednih mjesta, Zastražišće i Gdinj, prevode se kao "straža" ili "čuvanje", a dom su 2500 godina stare masline s opsegom debla od 6 metara, na mjestu zvanom Huharača.
Feniksovsko deblo jednog od najstarijih živih bića na Zemlji vjerojatno preživljava zahvaljujući ljudskoj budnosti koja je kroz povijest sprječavala širenje pojedinih požara, osiguravajući tako opstanak ovog nevjerojatno drevnog bića i njegovu egzistenciju u budućnosti.