Villefranche-sur-Mer betyder fristad. Staden fick sitt namn eftersom under historien var folk frestade att ge sig ut på havet igen i utbyte mot att de slapp skatter. Till och med under antiken var hamnen viktig för liguriens folk som handlade med grekerna som hade bosatt sig på Cap Ferrat.
År 1557 beordrade Hertig Emmanuel-Phillippe av Savoyen expansionen av fortet och hamnen. Idag är fortet hem för Musée Volti, som visar upp verk av den lokala konstnären Volti, och Musée Goetz-Boumeester (båda juli/aug dagligen 09.00-12.00, 15.00-18.00, sept-jun 10.00-12.00, 14.00-17.00) med verk av Henri Goetz, Christine Boumeester, Picasso, Miró och Hartung.
Nära hamnen ligger St. Pierrekapellet (Vår tis-sön 09.30-12.00, 15.00-19.00, sommar tis-sön 10.00-12.00, 16.00-20.30, höst/vinter tis-sön 09.30-12.00, 14.00-18.00, stängt 15 nov.-15 dec.) som fiskarna en gång använde som förråd. Kapellet omdesignades av konstnären Jean Cocteau år 1957.