La prima menzione di Vrbanj con il nome "Varbonj" risale al 1331.
Nella località Hum sopra il villaggio si trova un tumulo di pietra, probabilmente una struttura preistorica, accanto al quale ci sono i resti della chiesa preromanica di San Vito.
Nell'area del villaggio stesso sono stati trovati resti romani. L'altopiano tra le colline nella parte centrale di Hvar è chiaramente una costellazione naturale interessante per l'insediamento umano.
Con 1400 abitanti nel 1900, la non così grande pianura tra le colline creò il più grande insediamento interno dell'isola di Hvar. Oggi Vrbanj conta circa 400 residenti.
Dal margine del villaggio sul lato settentrionale si gode la vista sulla Piana di Stari Grad, mentre sul lato meridionale inizia la graduale ascesa verso la vetta più alta di Hvar, San Nicola, a 626 metri.
Nel XV secolo gli abitanti di Vrbanj fondarono il villaggio costiero di Vrboska, a 4 km, e iniziarono a dedicarsi alla cantieristica navale. Nel 1475, sempre nel XV secolo, Vrbanj ottenne il proprio parroco, il primo parroco locale dell'isola di Hvar.