Den tidligste omtalen av Vrbanj under navnet "Varbonj" stammer fra 1331.
På stedet Hum ovenfor landsbyen finnes en steinrøys, trolig en forhistorisk konstruksjon, ved siden av hvilken ligger restene av den førromanske kirken Sankt Vitus.
I selve landsbyens område er det funnet romerske levninger. Platået blant åsene i den sentrale delen av Hvar er tydelig en interessant naturlig konstellasjon for menneskelig bosetning.
Med 1400 innbyggere i 1900 skapte den ikke så store sletten blant åsene den største innlandsbosetningen på øya Hvar. I dag bor det rundt 400 mennesker i Vrbanj.
Fra landsbyens kant på nordsiden har man utsikt over Stari Grad-sletten, mens den gradvise oppstigningen til Hvars høyeste topp, Sankt Nikolas, på 626 meter, begynner på sørsiden.
På 1400-tallet grunnla innbyggerne i Vrbanj kystlandsbyen Vrboska, 4 km unna, og begynte med skipsbygging. I 1475, også på 1400-tallet, fikk Vrbanj sin egen sogneprest, den første lokale sognepresten på øya Hvar.