La primera mención de Vrbanj bajo el nombre de "Varbonj" se remonta a 1331.
En el lugar llamado Hum, sobre el pueblo, hay un túmulo de piedra, probablemente una estructura prehistórica, junto al cual están los restos de la iglesia prerrománica de San Vito.
En la zona del propio pueblo se han encontrado restos romanos. La meseta entre las colinas en la parte central de Hvar es claramente una constelación natural interesante para el asentamiento humano.
Con 1400 habitantes en 1900, la no tan grande llanura entre las colinas creó el mayor asentamiento del interior de la isla de Hvar. Hoy, Vrbanj alberga a unos 400 residentes.
Desde el borde del pueblo, en el lado norte, hay vistas de la llanura de Stari Grad, mientras que en el lado sur comienza el ascenso gradual al pico más alto de Hvar, San Nicolás, a 626 metros.
En el siglo XV, los habitantes de Vrbanj fundaron el pueblo costero de Vrboska, a 4 km, y comenzaron a dedicarse a la construcción naval. En 1475, también en el siglo XV, Vrbanj obtuvo su propio párroco, el primer párroco local de la isla de Hvar.