Najwcześniejsza wzmianka o Vrbanju pod nazwą "Varbonj" pochodzi z 1331 roku.
W miejscu zwanym Hum nad wsią znajduje się kamienny kopiec, prawdopodobnie prehistoryczna budowla, obok której są pozostałości przedromańskiego kościoła św. Wita.
Na obszarze samej wsi znaleziono rzymskie pozostałości. Płaskowyż wśród wzgórz w centralnej części Hvaru to wyraźnie interesujący naturalny układ dla ludzkiego osadnictwa.
Z 1400 mieszkańcami w 1900 roku niezbyt wielka równina wśród wzgórz stworzyła największą śródlądową osadę na wyspie Hvar. Dziś Vrbanj zamieszkuje około 400 osób.
Od skraju wsi po stronie północnej rozciąga się widok na Równinę Starigradzką, a po stronie południowej zaczyna się stopniowe podejście na najwyższy szczyt Hvaru, św. Mikołaja, o wysokości 626 metrów.
W XV wieku mieszkańcy Vrbanja założyli oddaloną o 4 km nadmorską wieś Vrboska i zajęli się szkutnictwem. W 1475 roku, także w XV wieku, Vrbanj otrzymał własnego proboszcza, pierwszego miejscowego proboszcza na wyspie Hvar.