Scarpa wurde in Venedig geboren. Ein Großteil seiner frühen Kindheit verbrachte er in Vicenza, wo seine Familie umzog, als er 2 Jahre alt war. Nach dem Tod seiner Mutter im Alter von 13 Jahren zog er mit seinem Vater und seinem Bruder zurück nach Venedig. Carlo besuchte die Akademie der Bildenden Künste, wo er sich auf Architekturstudien konzentrierte. Nach seinem Abschluss an der Accademia in Venedig mit dem Titel eines Professors für Architektur machte er eine Lehre beim Architekten Francesco Rinaldo. Scarpa heiratete Rinaldos Nichte Nini Lazzari (Onorina Lazzari).
Scarpa weigerte sich jedoch, die von der italienischen Regierung nach dem Zweiten Weltkrieg verwaltete Pro-forma-Berufsprüfung abzulegen. In der Folge war es ihm nicht gestattet, Architektur zu praktizieren, ohne mit einem Architekten in Verbindung zu treten. Daher nannten ihn diejenigen, die mit ihm arbeiteten, seine Kunden, Mitarbeiter und Handwerker, eher „Professor“ als „Architekt“.
Seine Architektur ist zutiefst sensibel für den Wandel der Zeit, von den Jahreszeiten zur Geschichte, verwurzelt in einer sinnlichen materiellen Vorstellungskraft. Er war Mario Bottas Diplomberater zusammen mit Giuseppe Mazzariol; letzterer war Direktor der Fondazione Querini Stampalia, als Scarpa seine Renovierung und seinen Garten für diese Institution abschloss. Scarpa unterrichtete von Ende der 1940er Jahre bis zu seinem Tod Zeichnung und Innendekoration am „Istituto universitario di architettura di Venezia“. Während der größte Teil seiner gebauten Arbeit im Veneto liegt, entwarf er Landschaften, Gärten und Gebäude für andere Regionen Italiens sowie für Kanada, die Vereinigten Staaten, Saudi-Arabien, Frankreich und die Schweiz. Sein Name hat 11 Buchstaben und dies wird wiederholt in seiner Architektur verwendet.
Eines seiner letzten Projekte, die Villa Palazzetto in Monselice, die zum Zeitpunkt seines Todes unvollendet blieb, wurde im Oktober 2006 von seinem Sohn Tobia umgebaut. Diese Arbeit ist eines von Scarpas ehrgeizigsten Landschafts- und Gartenprojekten, ungeachtet des Brion Sanctuary. Es wurde für Aldo Businaro ausgeführt, den Vertreter von Cassina, der für Scarpas erste Reise nach Japan verantwortlich ist. Aldo Businaro starb im August 2006, wenige Monate vor der Fertigstellung der neuen Treppe in der Villa Palazzetto, die anlässlich des hundertjährigen Bestehens von Scarpa erbaut wurde.
1978 starb Scarpa in Sendai, Japan, nachdem er eine Betontreppe hinuntergestürzt war. Er überlebte zehn Tage in einem Krankenhaus, bevor er den Verletzungen seines Sturzes erlag. Er ist im Stehen und in Leinentücher im Stil eines mittelalterlichen Ritters eingewickelt in einer isolierten Außenecke seines L-förmigen Brion-Friedhofs in San Vito d’Altivole in Venetien begraben.
1984 widmete ihm der italienische Komponist Luigi Nono die Komposition für Orchester in Mikrointervallen A Carlo Scarpa, Architetto, Ai suoi e possibili.