Während seiner Schulzeit arbeitete er zunächst für Thom McAn beim Färben von Damenschuhen und dann für den Anderson-Little Men’s Store, wo er Anzüge verkaufte. Als Student arbeitete er Teilzeit bei Louis Boston. Abboud erklärte: „Louis Boston war ein großer Teil meiner Karriere. Ich bin wirklich in einer Welt mit sehr glamourösem Stil gelandet, schöne Kleidung, nur die Welt dessen, worum es in der internationalen Mode ging. Wenn das nie passiert wäre, wäre der Rest nicht passiert.“ Abboud wurde im Alter von 23 Jahren Käufer bei Louis Boston. Im Laufe von zwölf Jahren war er als Käufer, Merchandiser und schließlich Koordinator für Promotion und Werbung tätig.
Abboud kam 1981 zu Ralph Lauren und wurde schließlich Associate Director of Menswear Design. Im Frühjahr 1987 gründete er sein eigenes Label. 1988 wurde JA Apparel als Joint Venture zwischen Abboud und GFT (Gruppo Finanziario Tessile) USA gegründet.
1991 arbeitete Abboud mit dem Modedirektor Peter Speliopoulos zusammen. Abboud war der erste Designer, der zwei Jahre in Folge den CFDA Award als bester Menswear Designer gewann. Viele von Abbouds berühmten Freunden sind auch seine Kunden, darunter der amerikanische Trompeter und Komponist Wynton Marsalis, der Autor und ehemalige TV-Nachrichtensprecher Tom Brokaw und der ehemalige Boston Red Sox Shortstop Nomar Garciaparra.
Abboud verkaufte seine Marken und seinen Namen im Jahr 2000 für 65 Millionen US-Dollar an JA Apparel. Das Unternehmen wurde 2004 von der Private-Equity-Firma JW Childs Associates für 73 Millionen US-Dollar übernommen, und Abboud verließ JA Apparel 2005.
Abboud startete 2007 eine neue Linie namens Jaz. Er schuf auch die schwarzbraune 1826-Linie für das Kaufhaus Lord & Taylor im Jahr 2008. Das Jahr 2008 markierte auch die Eröffnung der ersten Filialen von Abboud in China.
Im Jahr 2010 wurde Abboud Chief Creative Officer von HMX, Inhaber der Marken Hart Schaffner Marx und Hickey Freeman. HMX machte 2011 ein Angebot, JA Apparel für 90 Millionen US-Dollar zu kaufen. Im Dezember 2012 wurde er Chief Creative Director von Men’s Wearhouse. Während Abboud als Kreativdirektor beschäftigt ist, Men’s Wearhouse Inc. (jetzt Tailored Brands Inc.) erwarb 2013 die Marke Abboud and JOE by Joseph Abboud.
Nachdem Abboud 2013 das gesetzliche Recht auf seine Marke zurückerlangt hatte, gründete er E-Commerce, eröffnete einen Flagship-Store in der Madison Avenue und produzierte Modenschauen in vollem Umfang.
Im März 2020 erwarb WHP Global die Marken der Marke Joseph Abboud von Tailored Brands. Im Gegenzug schloss Tailored Brands mit WHP Global eine Lizenzvereinbarung über die fortgesetzten Rechte zum Verkauf und zur Vermietung von Joseph Abboud-Bekleidung und ausgewählten Accessoires in den USA und Kanada.