Scarpa est né à Venise. Une grande partie de sa petite enfance a été passée à Vicence, où sa famille a déménagé quand il avait 2 ans. Après la mort de sa mère à l’âge de 13 ans, il a déménagé avec son père et son frère à Venise. Carlo a fréquenté l’Académie des Beaux-Arts où il s’est concentré sur des études d’architecture. Diplômé de l’Accademia de Venise, avec le titre de Professeur d’architecture, il a fait son apprentissage auprès de l’architecte Francesco Rinaldo. Scarpa a épousé la nièce de Rinaldo, Nini Lazzari (Onorina Lazzari).
Cependant, Scarpa a refusé de passer l’examen professionnel pro forma administré par le gouvernement italien après la Seconde Guerre mondiale. En conséquence, il n’a pas été autorisé à pratiquer l’architecture sans s’associer à un architecte. Ainsi, ceux qui travaillaient avec lui, ses clients, associés, artisans, l’appelaient « Professeur », plutôt que « architecte ».
Son architecture est profondément sensible aux changements du temps, des saisons à l’histoire, ancrée dans un imaginaire matériel sensuel. Il a été le conseiller de thèse de Mario Botta avec Giuseppe Mazzariol; ce dernier était le directeur de la Fondazione Querini Stampalia lorsque Scarpa a terminé sa rénovation et son jardin pour cette institution. Scarpa a enseigné le dessin et la Décoration intérieure à l' »Istituto universitario di architettura di Venezia » de la fin des années 1940 jusqu’à sa mort. Alors que la majeure partie de son œuvre est située en Vénétie, il a réalisé des dessins de paysages, de jardins et de bâtiments pour d’autres régions d’Italie ainsi que pour le Canada, les États-Unis, l’Arabie saoudite, la France et la Suisse. Son nom a 11 lettres et ceci est utilisé à plusieurs reprises dans son architecture.
L’un de ses derniers projets, la Villa Palazzetto à Monselice, laissée inachevée au moment de sa mort, a été modifié en octobre 2006 par son fils Tobia. Ce travail est l’un des projets de paysage et de jardin les plus ambitieux de Scarpa, malgré le sanctuaire de Brion. Il a été exécuté pour Aldo Businaro, le représentant de Cassina qui est responsable du premier voyage de Scarpa au Japon. Aldo Businaro est décédé en août 2006, quelques mois avant l’achèvement du nouvel escalier de la Villa Palazzetto, construit pour commémorer le centenaire de Scarpa.
En 1978, alors qu’il se trouvait à Sendai, au Japon, Scarpa est décédé après être tombé dans un escalier en béton. Il a survécu pendant dix jours à l’hôpital avant de succomber aux blessures de sa chute. Il est enterré debout et enveloppé dans des draps de lin à la manière d’un chevalier médiéval, dans un coin extérieur isolé de son cimetière de Brion en forme de L à San Vito d’Altivole en Vénétie.
En 1984, le compositeur italien Luigi Nono lui dédie la composition pour orchestre en micro-intervalles A Carlo Scarpa, Architetto, Ai suoi infiniti possibili.