Den tidligste omtale af Vrbanj under navnet "Varbonj" stammer fra 1331.
På stedet Hum oven for landsbyen findes en stenhøj, sandsynligvis en forhistorisk konstruktion, ved siden af hvilken ligger resterne af den førromanske kirke Sankt Vitus.
I selve landsbyens område er der fundet romerske levn. Plateauet blandt bakkerne i den centrale del af Hvar er tydeligvis en interessant naturlig konstellation for menneskelig bosættelse.
Med 1400 indbyggere i 1900 skabte den ikke så store slette blandt bakkerne den største indlandsbosættelse på øen Hvar. I dag bor der omkring 400 mennesker i Vrbanj.
Fra landsbyens kant på nordsiden er der udsigt over Stari Grad-sletten, mens den gradvise opstigning til Hvars højeste top, Sankt Nikolaus, på 626 meter, begynder på sydsiden.
I det 15. århundrede grundlagde indbyggerne i Vrbanj kystlandsbyen Vrboska, 4 km væk, og begyndte at beskæftige sig med skibsbygning. I 1475, også i det 15. århundrede, fik Vrbanj sin egen sognepræst, den første lokale sognepræst på øen Hvar.