Općina Jelsa pokriva 55% otoka Hvara. Grad Jelsa 1900. imao je 1.550 stanovnika, a 2021. godine 1.750 stanovnika.
Općina Jelsa imala je 6.600 stanovnika 1900. godine, a 3.500 u 2021.
Iako se broj stanovnika općine Jelsa gotovo prepolovio, grad Jelsa bilježi porast broja stanovnika. U tom smislu, grad Hvar zabilježio je još veći porast stanovništva, s 2039 u 1919. na 3519 u 2021.
Južno od Jelse prema Pitvama nalaze se ostaci ilirske utvrde iz 4. stoljeća pr. Kr. zvane Kula Tor, s koje su Pitovci najvjerojatnije nadzirali obalu na kojoj je izgrađena današnja Jelsa. Na poluotoku Gradina, odvojenom od Jelse i "svega" obrambenim zidom dugim oko 180 m i visokim 2,5 m, bio je stari jelšanski grad s utočištem Galešnik, koji se spominje u Hvarskom statutu iz 1331. No, te dvije utvrde očito nisu bile dovoljne za obranu od saracenskog napada na otok Hvar 1571., tijekom kojega je u neposrednoj blizini razorena Vrboska, ali Jelsa nije. Razoreni su i spaljeni i gradovi Hvar i Stari Grad, dok se Jelsa obranila. Iznad Jelse izgrađena je crkva-tvrđava sv. Marije u 13.-14. stoljeću, a u 15. stoljeću crkva sv. Ivana s glavnim trgom i crkva Gospe od Zdravlja. Crkva sv. Fabijana i Sebastijana od 1535. ima fortifikacijski oblik. Nakon Ciparskog rata 1573. dodatno je utvrđena. Zaštitnica grada Jelse je Djevica Marija.
Za austrijske vladavine 1868. u Jelsi je otvorena hrvatska čitaonica i knjižnica, a 1870. na ulazu u Jelsu izgrađen je prekrasan perivoj, pravi golemi "hladnjak" za ljetnih vrućina. Najvjerojatnije ga je uredio austrijski institut u kojem je kasnije, 1900., Robert Koch, stručnjak za malariju i tuberkulozu, meliorirao i močvarne otoke Brijune kraj Pule kao doprinos borbi protiv malarije. Sve se to vjerojatno ne bi dogodilo da austrijska mornarica, u kojoj su 2/3 bili Hrvati, nije 1866. u Viškoj bitci porazila talijansku flotu, dvostruko veću ali očito ne i jaču. Bitka se vodila u sklopu austro-pruskog rata, čiji je saveznik bila Italija, koja je htjela iskoristiti priliku da uzme svoje od Austrije, ali je "dobila svoje". U usporedbi s Italijom, Austrija je bila dobrodošao gost na istočnoj obali Jadrana. Svi hrvatski gradovi, mjesta i sela dobili su kameni lukobran i luku, a 1875. Josip I. iskrcao se u Starome Gradu, u luci izgrađenoj za austrijske vladavine. Otok Mali Lošinj postao je careva ljetna rezidencija, Opatija je izgrađena s hotelima i ljetnikovcima, a grad Hvar 1900. osnovao je "Higijeničko društvo". U Drugom svjetskom ratu talijanska fašistička vojska došla je na Hvar i spalila Vrbanj, uključujući crkvu sv. Duha, protiv kojega griješiti je, prema Kristu, jedino što je neoprostivo...
Povijest Hvara od dolaska kršćanstva puna je kontroverzi i "kršćanskih dijaloga", jer je povijest, zapravo ljudski duh, dovela fokus svijesti da se očituje i gradi na taj način.