Die früheste Erwähnung von Vrbanj unter dem Namen "Varbonj" stammt aus dem Jahr 1331.
An der Stelle Hum oberhalb des Dorfes befindet sich ein Steinhügel, wahrscheinlich ein prähistorisches Bauwerk, daneben liegen die Überreste der vorromanischen Kirche des heiligen Vitus.
Im Bereich des Dorfes selbst wurden römische Überreste gefunden. Das Plateau zwischen den Hügeln im zentralen Teil von Hvar ist eindeutig eine interessante natürliche Konstellation für menschliche Besiedlung.
Mit 1400 Einwohnern im Jahr 1900 schuf die nicht allzu große Ebene zwischen den Hügeln die größte Binnensiedlung der Insel Hvar. Heute leben in Vrbanj etwa 400 Menschen.
Vom Dorfrand auf der Nordseite blickt man auf die Ebene von Stari Grad, während auf der Südseite der allmähliche Aufstieg zum höchsten Gipfel von Hvar, dem heiligen Nikolaus mit 626 Metern, beginnt.
Im 15. Jahrhundert gründeten die Bewohner von Vrbanj das 4 km entfernte Küstendorf Vrboska und begannen mit dem Schiffbau. 1475, ebenfalls im 15. Jahrhundert, erhielt Vrbanj einen eigenen Pfarrer, den ersten einheimischen Pfarrer auf der Insel Hvar.