Scarpa nació en Venecia. Gran parte de su primera infancia la pasó en Vicenza, donde su familia se mudó cuando tenía 2 años. Después de la muerte de su madre cuando tenía 13 años, se mudó con su padre y su hermano a Venecia. Carlo asistió a la Academia de Bellas Artes, donde se centró en los estudios de arquitectura. Graduado en la Academia de Venecia, con el título de Profesor de Arquitectura, fue aprendiz del arquitecto Francesco Rinaldo. Scarpa se casó con la sobrina de Rinaldo, Nini Lazzari (Onorina Lazzari).
Sin embargo, Scarpa se negó a presentarse al examen profesional pro forma administrado por el Gobierno italiano después de la Segunda Guerra Mundial. Por lo tanto, los que trabajaban con él, sus clientes, asociados, artesanos, lo llamaban «Profesor», en lugar de «arquitecto».
Su arquitectura es profundamente sensible a los cambios del tiempo, de las estaciones a la historia, arraigada en una imaginación material sensual. Fue asesor de tesis de Mario Botta junto con Giuseppe Mazzariol; este último era el Director de la Fondazione Querini Stampalia cuando Scarpa completó su renovación y jardín para esa institución. Scarpa enseñó dibujo y Decoración de Interiores en el «Istituto universitario di architettura di Venezia» desde finales de la década de 1940 hasta su muerte. Aunque la mayor parte de su obra se encuentra en el Véneto, realizó diseños de paisajes, jardines y edificios para otras regiones de Italia, así como Canadá, Estados Unidos, Arabia Saudita, Francia y Suiza. Su nombre tiene 11 letras y esto se usa repetidamente en su arquitectura.
Uno de sus últimos proyectos, la Villa Palazzetto en Monselice, que quedó incompleta en el momento de su muerte, fue alterado en octubre de 2006 por su hijo Tobia. Este trabajo es uno de los proyectos de jardines y paisajes más ambiciosos de Scarpa, a pesar del Santuario de Brion. Fue ejecutado para Aldo Businaro, el representante de Cassina, responsable del primer viaje de Scarpa a Japón. Aldo Businaro murió en agosto de 2006, unos meses antes de la finalización de la nueva escalera de la Villa Palazzetto, construida para conmemorar el centenario de Scarpa.
En 1978, mientras estaba en Sendai, Japón, Scarpa murió después de caer por un tramo de escaleras de concreto. Sobrevivió durante diez días en un hospital antes de sucumbir a las heridas de su caída. Está enterrado de pie y envuelto en sábanas de lino al estilo de un caballero medieval, en una esquina exterior aislada de su Cementerio Brion en forma de L en San Vito d’Altivole en el Véneto.
En 1984, el compositor italiano Luigi Nono le dedicó la composición para orquesta en micro-intervalos A Carlo Scarpa, Architetto, Ai suoi infiniti possibili.