Experto en batería, piano y trompeta, Vincent originalmente aspiraba a una carrera en la música y de día fue un músico de estudio que trabajó con muchos artistas de grabación como Paul Anka y Del Shannon. Vincent tenía su propia banda de jazz que tocaba por las noches, llamada «Frank Vincent and the Aristocats». En 1969, la banda de Vincent necesitaba un pianista para asegurar las reservas, pero Vincent terminó contratando a Joe Pesci para tocar la guitarra. A medida que la popularidad de la música lounge decayó, Vincent y Pesci recurrieron a la comedia stand-up, actuando como «Vincent y Pesci» de 1970 a 1976. Su actuación combinó payasadas en doble acto inspiradas en Abbott y Costello con comedia de insultos al estilo de Don Rickles, que resultó popular entre las multitudes. Durante este tiempo, ambos hombres desarrollaron una fuerte amistad profesional y personal entre sí. Vincent y Pesci más tarde consiguieron papeles en la película de bajo presupuesto The Death Collector (1976), donde fueron vistos por Robert De Niro. De Niro le contó a Martin Scorsese sobre Vincent y Pesci; Scorsese quedó impresionado por sus actuaciones y contrató a Vincent para aparecer en un papel secundario en Raging Bull (1980), en la que una vez más apareció con Pesci y co-protagonizó con De Niro. Vincent poco después apareció en pequeños papeles en dos películas de Spike Lee: Do the Right Thing (1989) y Jungle Fever (1991) (en esta última, interpretó al patriarca abusivo de una familia italo-estadounidense).
Una de sus notables apariciones en películas extranjeras fue en Made in Argentina de Juan José Jusid, en la que interpretó a Vito, un rico hombre de negocios de Manhattan que se hace amigo del consejero de abuso de sustancias que trató a su hijo.
Vincent fue a menudo elegido como un gángster. Por ejemplo, en la película de Scorsese Goodfellas (1990), interpretó a Billy Batts, un hombre hecho en la familia criminal Gambino; también interpretó un papel en la película de Scorsese Casino (1995) como Frank Marino (basado en el gángster de la vida real Frank Cullotta), el compañero del personaje de Pesci.
En 1996, Vincent apareció en el video musical de la canción del artista de rap Nas «Street Dreams». En la película para televisión Gotti (1996), Vincent interpretó a Robert «D. B.» DiBernardo, un asociado del jefe de la mafia John Gotti, cuya vida narra la película. En la serie de televisión de HBO, Los Soprano, tuvo su papel más destacado, como Phil Leotardo, un despiadado gángster de Nueva York que, como jefe de la familia criminal ficticia de los Lupertazzi, se convierte en el principal antagonista del programa en la temporada final.
En 1999, ganó el Premio al Artista Italo-Americano del Año. Otra actuación destacada es su aparición en la película Remedy (2003).
En 2003, Vincent interpretó a Danny Santini en la película This Thing of Ours, cuyo productor asociado era Sonny Franzese, mafioso de larga data y subjefe de la familia criminal Colombo, y cuyo director era el capo de la familia criminal genovesa Danny Provenzano (sobrino nieto de Anthony Provenzano). Más tarde ese año, Vincent testificó en el tribunal en nombre de Provenzano en sentencias de revocación; Provenzano estaba cumpliendo una sentencia de 10 años por crimen organizado y otros cargos.
Uno de los papeles más ligeros de Vincent fue en un comercial de televisión británica para Peugeot cars. A principios de 2005, apareció en la televisión irlandesa en una serie de comerciales para Irish bank Permanent TSB.
En videojuegos, Vincent expresó el personaje del jefe de la mafia Salvatore Leone en el videojuego Grand Theft Auto III (2001). Más tarde repitió ese papel en Grand Theft Auto: San Andreas (2004) y Grand Theft Auto: Liberty City Stories (2005).
En 2006, publicó un libro, A Guy’s Guide to Being a Man’s Man to positive reviews. Su ídolo era Dean Martin. También ha lanzado una línea de cigarros enrollados a mano que tienen su imagen destacada en la banda.
Interpretó al teniente Marino en la película independiente The Tested (2008), dirigida por Russell Costanzo. Al año siguiente, hizo un cameo junto al actor de sopranos Steve Schirripa en el episodio de Stargate Atlantis «Vegas» (2009). Al año siguiente, protagonizó Chicago Overcoat (2009) como el protagonista principal.
En 2013, protagonizó la exitosa serie de cómics de IDW Publishing Killogy creada por Alan Robert de Life of Agony como el personaje Sally Sno Cones junto a Marky Ramone de Los Ramones. La serie fue nominada a los Premios Ghastly a la Mejor Miniserie y ganó varios Premios de Cómics de Terror de The Horror News Network. En 2014, los cómics se adaptaron a una animación en 3D para la serie animada Killogy, en la que el elenco de la serie de cómics original contribuyó con sus voces.
Un residente de Nutley, Nueva Jersey, Vincent usó sus habilidades para tocar la batería en una actuación improvisada en un concierto de vacaciones de Township.