Mientras estaba en la escuela secundaria, trabajó primero para Thom McAn teñiendo zapatos para mujer y luego en la tienda Anderson-Little para hombres, donde vendía trajes. Como estudiante universitario, trabajó a tiempo parcial en Louis Boston. Abboud declaró: «Louis Boston fue una gran parte de mi carrera. Realmente aterricé en un mundo de estilo muy glamuroso, ropa hermosa, justo el mundo de la moda internacional. Si esto nunca hubiera pasado, entonces el resto no habría pasado. Abboud se convirtió en comprador en Louis Boston a los 23 años. A lo largo de doce años, se desempeñó como comprador, vendedor y, finalmente, coordinador de promoción y publicidad.
Abboud se unió a Ralph Lauren en 1981, convirtiéndose finalmente en director asociado de diseño de ropa masculina. Lanzó su propio sello en la primavera de 1987. En 1988, JA Apparel fue creada como una empresa conjunta entre Abboud y GFT (Gruppo Finanziario Tessile) USA.
En 1991 Abboud trabajó con el director de moda Peter Speliopoulos. Abboud fue el primer diseñador en ganar el premio CFDA como Mejor Diseñador de Ropa Masculina dos años consecutivos. Muchos de los amigos famosos de Abboud también son sus clientes, incluido el trompetista y compositor estadounidense Wynton Marsalis, el autor y ex presentador de noticias de televisión Tom Brokaw, y el ex campocorto Nomar Garciaparra de los Medias Rojas de Boston.
Abboud vendió sus marcas comerciales y su nombre a JA Apparel por 65 millones de dólares en 2000. La compañía fue adquirida por la firma de capital privado J. W. Childs Associates por 7 73 millones en 2004, y Abboud dejó JA Apparel en 2005.
Abboud lanzó una nueva línea llamada Jaz en 2007. También creó la línea Black Brown 1826 para los grandes almacenes Lord & Taylor en 2008. El año 2008 también marcó la apertura de las primeras tiendas de Abboud en China.
En 2010, Abboud se convirtió en el director creativo de HMX, propietario de las marcas Hart Schaffner Marx y Hickey Freeman. HMX hizo una oferta para comprar ropa JA por 9 90 millones en 2011. En diciembre de 2012, se convirtió en Director Creativo Jefe de Men’s Wearhouse. Mientras empleaba a Abboud como su director creativo, Men’s Wearhouse Inc. (ahora Tailored Brands Inc.) readquirió la marca Abboud and JOE de Joseph Abboud en 2013.
Después de recuperar el derecho legal a su marca en 2013, Abboud creó el comercio electrónico, abrió una tienda insignia de Madison Avenue y produjo desfiles de moda a gran escala.
En marzo de 2020, WHP Global adquirió las marcas comerciales de la marca Joseph Abboud de Marcas Personalizadas. A su vez, Tailored Brands firmó un acuerdo de licencia con WHP Global para los derechos continuos de vender y alquilar ropa y accesorios seleccionados de Joseph Abboud en los Estados Unidos y Canadá.