Narodil se 10. prosince 1937 v Praze - Bubenči jako nejstarší syn Karla Schwarzenberga a jeho manželky Antonie. V prosinci 1948 musela rodina opustit republiku a uchýlit se do zahraničí. Ve Vídni a Štýrském Hradci studoval Karel Schwarzenberg práva a v Mnichově lesnictví. Kvůli předčasné smrti svého adoptivního otce Jindřicha Schwarzenberga musel studia přerušit a začít hospodařit na rodinných statcích v Rakousku a Bavorsku.
Karel Schwarzenberg od mládí podporoval snahy o návrat demokracie do Československa. Po roce 1968, po potlačení „Pražského jara“, podporoval československý disent a na rodinném zámku v bavorském Scheinfeldu založil společně s doktorem Vilémem Prečanem Československé dokumentační středisko (archiv tehdy zapovězené literatury). Sbírka je dnes součástí Národního muzea a je uložena v Praze.
Jako předseda Mezinárodního helsinského výboru pro lidská práva se zejména v 80. letech zasazoval o dodržování lidských práv v Evropě. O otázce lidských práv jednal v bývalém SSSR, Bulharsku, Kosovu a také u nás. V roce 1989 byl společně s Lechem Wałęsou vyznamenán Cenou lidských práv Rady Evropy.
Na podzim roku 1989 se vrátil do vlasti a 10. července 1990 byl jmenován kancléřem prezidenta republiky. V roce 1992 vedl první delegaci OBSE do Náhorního Karabachu po vypuknutí války mezi Arménií a Ázerbájdžánem. Z funkce kancléře odešel v roce 1992 v souvislosti s abdikací prezidenta Václava Havla.
V letech 1992 až 2004 se věnoval řízení rodinného podniku, tedy hlavně lesnictví a údržbě jemu svěřených památek. Nadále působil v řadě nadací, komisí a spolků, kde uplatňoval své zkušenosti z dlouholeté práce v oblasti mezinárodních vztahů.
V senátních volbách v roce 2002 neúspěšně kandidoval v obvodu Strakonice, v listopadu 2004 byl ve volebním obvodu Praha 6 zvolen senátorem, nominován byl US-DEU a ODA.
Dne 9. ledna 2007 byl Karel Schwarzenberg jmenován ministrem zahraničních věcí ČR, do vlády byl nominován Stranou zelených. Dne 8. července 2008 v této funkci podepsal s americkou ministryní zahraničních věcí Condoleezzou Riceovou smlouvu o umístění radarové základny USA na území Vojenského újezdu Brdy.
V červnu 2009 spolu s Miroslavem Kalouskem založil stranu TOP 09 a od listopadu 2009 je jejím předsedou.