Najraniji spomen Vrbanja pod imenom "Varbonj" datira iz 1331. godine.
Na lokaciji Hum iznad sela nalazi se kamena gomila, vjerojatno pretpovijesna građevina, uz koju su ostaci predromaničke crkve sv. Vida.
Na području samog sela pronađeni su rimski ostaci. Zaravan među brdima u središnjem dijelu Hvara očito je zanimljiv prirodni sklop za ljudsko naseljavanje.
S 1400 stanovnika 1900. godine, ne tako velika ravnica među brdima stvorila je najveće naselje u unutrašnjosti otoka Hvara. Danas Vrbanj broji oko 400 stanovnika.
S ruba sela na sjevernoj strani pruža se pogled na Starogradsko polje, dok na južnoj strani počinje postupni uspon prema najvišem vrhu Hvara, Svetom Nikoli, na 626 metara.
U 15. stoljeću stanovnici Vrbanja osnovali su na obali, 4 km dalje, selo Vrbosku i počeli se baviti brodogradnjom. Godine 1475., također u 15. stoljeću, Vrbanj je dobio vlastitog župnika, prvog domaćeg župnika na otoku Hvaru.