Doué pour la batterie, le piano et la trompette, Vincent aspirait à une carrière musicale et était de jour un musicien de studio qui a travaillé avec de nombreux artistes d’enregistrement tels que Paul Anka et Del Shannon. Vincent avait son propre groupe de jazz qui jouait le soir, facturé « Frank Vincent et les Aristochats. »En 1969, le groupe de Vincent avait besoin d’un pianiste pour obtenir des réservations, mais Vincent a fini par engager Joe Pesci pour jouer de la guitare. Alors que la popularité de la musique lounge diminue, Vincent et Pesci se tournent plutôt vers la comédie stand-up, jouant sous le nom de « Vincent et Pesci » de 1970 à 1976. Leur numéro a couplé des pitreries en double acte inspirées par Abbott et Costello avec une comédie d’insulte à la Don Rickles, qui s’est avérée populaire auprès des foules. Pendant ce temps, les deux hommes ont développé une forte amitié professionnelle et personnelle l’un avec l’autre. Vincent et Pesci ont ensuite décroché des rôles dans le film de gangsters à petit budget The Death Collector (1976), où ils ont été repérés par Robert De Niro. De Niro a parlé à Martin Scorsese de Vincent et de Pesci; Scorsese a été impressionné par leurs performances et a engagé Vincent pour jouer un rôle de soutien dans Raging Bull (1980), dans lequel il est de nouveau apparu avec Pesci et a co-joué avec De Niro. Peu de temps après, Vincent joue de petits rôles dans deux films de Spike Lee : Do the Right Thing (1989) et Jungle Fever (1991) (dans ce dernier, il joue le patriarche abusif d’une famille italo-américaine).
Une de ses apparitions notables dans des films étrangers a été dans Made in Argentina de Juan José Jusid, dans lequel il jouait Vito, un riche homme d’affaires de Manhattan qui se lie d’amitié avec le conseiller en toxicomanie qui a soigné son fils.
Vincent était souvent présenté comme un gangster. Par exemple, dans le film Goodfellas de Scorsese (1990), il a joué Billy Batts, un homme fait dans la famille criminelle Gambino; il a également joué un rôle dans le film Casino de Scorsese (1995) dans le rôle de Frank Marino (basé sur le gangster Frank Cullotta), l’acolyte du personnage de Pesci.
En 1996, Vincent est apparu dans le clip de la chanson de l’artiste rap Nas « Street Dreams. Dans le téléfilm Gotti (1996), Vincent a joué Robert « D.B. » DiBernardo, un associé du chef de la mafia John Gotti, dont le film racontait la vie. Dans la série télévisée de HBO The Sopranos, il a eu son rôle le plus important, en tant que Phil Leotardo, un gangster impitoyable de New York qui, en tant que patron de la famille criminelle fictive de Lupertazzi, devient l’antagoniste en chef de la série dans la dernière saison.
En 1999, il a remporté le Prix de l’Artiste italo-américain de l’année. Une autre performance remarquée est son apparition dans le film Remedy (2003).
En 2003, Vincent a interprété Danny Santini dans le film This Thing of Our, dont le producteur associé était Sonny Franzese, mafieux de longue date et sous-patron de la famille criminelle de Colombo, et dont le réalisateur était le capo Danny Provenzano (petit-neveu d’Anthony Provenzano). Plus tard cette année-là, Vincent a témoigné au tribunal au nom de Provenzano lors des peines d’abrogation; Provenzano purgeait une peine de 10 ans pour racket et autres accusations.
L’un des rôles les plus légers de Vincent était dans une publicité télévisée britannique pour des voitures Peugeot. Au début de 2005, il est apparu à la télévision irlandaise dans une série de publicités pour Irish bank Permanent TSB.
Dans les jeux vidéo, Vincent a doublé le personnage du chef de la Mafia Salvatore Leone dans le jeu vidéo Grand Theft Auto III (2001). Il a ensuite repris ce rôle dans Grand Theft Auto: San Andreas (2004) et Grand Theft Auto: Liberty City Stories (2005).
En 2006, il a publié un livre, A Guy’s Guide to Being a Man’s Man to positive reviews. Son idole était Dean Martin. Il a également publié une ligne de cigares roulés à la main qui ont sa photo bien en évidence sur le groupe.
Il a joué le lieutenant Marino dans le film indépendant The Tested (2008), réalisé par Russell Costanzo. L’année suivante, il fait une apparition aux côtés de son compatriote Steve Schirripa dans l’épisode de Stargate Atlantis « Vegas » (2009). L’année suivante, il a joué dans Chicago Overcoat (2009) en tant que protagoniste principal.
En 2013, il a joué dans la série de bandes dessinées à succès Killogy d’IDW Publishing créée par Alan Robert de Life of Agony dans le rôle du personnage Sally Sno Cones aux côtés de Marky Ramone des Ramones. La série a été nominée aux Ghastly Awards pour la meilleure Mini-série et a remporté plusieurs prix de bande dessinée d’horreur du Horror News Network. En 2014, les bandes dessinées ont été adaptées en animation 3D pour la série animée Killogy, dans laquelle les acteurs de la série de bandes dessinées originale ont apporté leur voix.
Un résident de Nutley, New Jersey, Vincent a utilisé ses talents de batteur dans une performance impromptue lors d’un concert de vacances dans les townships.