Au lycée, il travaille d’abord pour la teinture de chaussures pour femmes de Thom McAn, puis pour le magasin pour hommes Anderson-Little, où il vend des costumes. En tant qu’étudiant, il a travaillé à temps partiel chez Louis Boston. Abboud a déclaré: « Louis Boston a été une grande partie de ma carrière. J’ai vraiment atterri dans un monde de style très glamour, de beaux vêtements, juste le monde de ce qu’était la mode internationale. Si cela n’était jamais arrivé, le reste ne serait pas arrivé. » Abboud est devenu acheteur chez Louis Boston à l’âge de 23 ans. Pendant douze ans, il a été acheteur, marchandiseur et finalement coordinateur de la promotion et de la publicité.
Abboud a rejoint Ralph Lauren en 1981, devenant finalement directeur associé du design de vêtements pour hommes. Il lance son propre label au printemps 1987. En 1988, JA Apparel a été créée en tant que joint-venture entre Abboud et GFT (Gruppo Finanziario Tessile) USA.
En 1991, Abboud a travaillé avec le directeur de la mode Peter Speliopoulos. Abboud a été le premier designer à remporter le CFDA award du meilleur créateur de vêtements pour hommes deux années de suite. De nombreux amis célèbres d’Abboud sont également ses clients, notamment le trompettiste et compositeur américain Wynton Marsalis, l’auteur et ancien présentateur de nouvelles télévisées Tom Brokaw et l’ancien arrêt-court des Red Sox de Boston Nomar Garciaparra.
Abboud a vendu ses marques et son nom à JA Apparel pour 65 millions de dollars en 2000. La société a été acquise par la société de capital-investissement J.W. Childs Associates pour 73 millions de dollars en 2004, et Abboud a quitté JA Apparel en 2005.
Abboud a lancé une nouvelle ligne appelée Jaz en 2007. Il a également créé la ligne Black Brown 1826 pour le grand magasin Lord & Taylor en 2008. L’année 2008 marque également l’ouverture des premiers magasins Abboud en Chine.
En 2010, Abboud est devenu chief creative officer de HMX, propriétaire des marques Hart Schaffner Marx et Hickey Freeman. HMX a fait une offre d’achat de JA Apparel pour 90 millions de dollars en 2011. En décembre 2012, il est devenu Directeur Créatif en chef de Men’s Wearhouse. Tout en employant Abboud comme directeur créatif, Men’s Wearhouse Inc. (maintenant Tailored Brands Inc.) a repris la marque Abboud et JOE by Joseph Abboud en 2013.
Après avoir récupéré le droit légal à sa marque en 2013, Abboud a mis en place le commerce électronique, ouvert un magasin phare de Madison Avenue et produit des défilés de mode à grande échelle.
En mars 2020, WHP Global a acquis les marques de la marque Joseph Abboud auprès de Tailored Brands. À son tour, Tailored Brands a conclu un accord de licence avec WHP Global pour les droits continus de vente et de location de vêtements Joseph Abboud et d’accessoires sélectionnés aux États-Unis et au Canada.