Il étudia le droit aux universités d’Athènes, de Milan et de Cologne, où il rédigea sa thèse de doctorat en Droit international privé. Il fut collaborateur scientifique de l’Institut de l’Europe du Sud-Est de Munich. Il publia une présentation de la résistance grecque contre les Nazis chez Suhrkamp, célèbre maison d’édition allemande, ainsi qu’un certain nombre d’études et d’articles dans des journaux et revues étrangers.

Il se trouvait en République fédérale d’Allemagne lors du coup d’État militaire de 1967. C’est là qu’il participa à la fondation de l’Union Socialiste Démocratique de l’étranger, qui mobilisa et organisa les travailleurs, étudiants et scientifiques grecs de l’Europe occidentale contre la dictature des colonels. Il fut également membre fondateur de la première organisation syndicale résistante et travailla régulièrement avec la Deutsche Welle.

Depuis décembre 1974, il est élu sans discontinuer membre du Comité Central du PASOK. Il siégea au Conseil de Coordination, au Bureau exécutif ainsi qu’au Secrétariat politique, et fut aussi secrétaire du Comité des Relations internationales du PASOK du mois d’avril 1975 jusqu’en 1985. Il fut pendant de nombreuses années membre du Comité de Coordination des Partis socialistes et progressistes des pays méditerranéens. En 1974, il se présenta aux élections législatives sur les listes du PASOK dans la région d’Ioannina, mais ne fut pas élu, bien qu’il reçut le plus grand nombre de voix de son parti. Il fut élu pour la première fois député d’Ioannina en 1977 et continua d’être réélu sans cesse jusqu’aux élections de 2004.

De 1981 à 1989 et de 1993 à 1996, sous le gouvernement d’Andréas Papandréou, il fut Secrétaire d’État, Ministre suppléant et Ministre des Affaires étrangères. Pendant de nombreuses années, sous Costas Simitis, il fut Président de la Commission permanente de la Défense nationale et des Affaires extérieures du Parlement hellénique.

Sa longue carrière ministérielle s’identifia à une politique extérieure globale et visionnaire. Il joua un rôle actif pendant les années 1980 dans toutes les tentatives de résolution du problème moyen-oriental, efforts dont l’apogée fut sa médiation réussie en 1983: les combattants de la résistance palestinienne et Yasser Arafat lui-même purent partir en toute sécurité du Liban, où ils étaient bloqués, à bord de navires grecs.

Il accorda une importance particulière à l’établissement de relations stables et solides avec le monde arabe, la normalisation des relations gréco-égyptiennes et la mise en place d’une coopération tripartie entre l’Iran, l’Arménie et la Grèce en étant des exemples significatifs. Il eut des pourparlers avec douze Ministres des Affaires étrangères turcs au total, et engagea de manière déterminée les durs efforts de normalisation des relations grécoturques. Ces efforts furent récompensés lors de la signature du Mémorandum Papoulia-Yilmaz en 1988. Il soutint la perspective européenne de la Turquie à la condition que celle-ci respecte le droit international et le système de valeurs communautaire de l’Union européenne. En 1993-1996 il contribua de manière importante au lancement des négociations d’adhésion à l’Union européenne de la République de Chypre, et notamment lors du Sommet d’Essen, qui fut déterminant pour son intégration.

En tant que Président en exercice du Conseil de l’Union européenne, et en tant que membre du groupe de contact pour l’ex-Yougoslavie, avec MM. Warren Christopher, Klaus Kinkel, Alain Juppé, Andrei Kozyrev et Hans Van den Broek, il déploya tous ses efforts pour dépasser la crise de Bosnie-Herzégovine; il signa également l’accord intérimaire avec l’Ancienne République yougoslave de Macédoine, qui devait viser à l’amélioration des relations entre les deux pays.

Il maintint toujours les canaux de communication ouverts avec tous les dirigeants des Balkans et il joua à plusieurs reprises le rôle de médiateur de l’UE. Il s’intéressait vivement aux rapports de la Grèce avec ses voisins balkaniques et c’est à son initiative que se tint la première réunion transbalkanique de Ministres des Affaires étrangères à Belgrade en 1988. C’est par ailleurs à cette occasion qu’il obtint l’ouverture de négociations avec la Bulgarie et l’URSS de l’époque à propos de l’oléoduc de Bourgas-Alexandroupolis.

Il fut également à l’origine de la signature d’un protocole d’entraide civile et militaire avec la Bulgarie en pleine guerre froide. Il rétablit des rapports d’amitié et de bon voisinage avec l’Albanie en mettant fin à la situation de guerre qui prévalait jusqu’alors aux relations grécoalbanaises.

Karolos Papoulias a soutenu avec un intérêt jamais démenti tout pas positif vers la paix, la détente et le désarmement. C’est dans ce cadre que s’inscrivent « l’initiative des six » pour la paix et le désarmement, la participation de la Grèce à la Conférence pour le Désarmement et la Paix en Europe ainsi qu’à la Conférence pour l’abolition des armes chimiques, ses propositions pour la création d’une zone dénucléarisée dans les Balkans, et la promotion de l’idée consistant à faire de la Méditerranée un espace de paix et de coopération. Il fut également inspirateur de la Conférence de coopération tripartite réunissant la Grèce, la Bulgarie et la Roumanie (Jannina 1) et soutint résolument la Conférence des pays de la Mer noire, dont il fut d’ailleurs président.

Avec sa visite à Washington en 1985 et la visite de retour du Secrétaire d’État George Schultz il contribua activement à la redéfinition et la normalisation des relations avec les Etats-Unis qui avaient été rudement mises à l’épreuve les années précédentes.

Il fut membre fondateur, et jusqu’à récemment Président de l’Association de défense du Patrimoine linguistique.

Il parle l’allemand, le français et l’italien.

Il fut également champion de Grèce de saut à la perche, joueur dans l’équipe nationale de volley-ball et président pendant 25 ans du Corps historique du Cercle national de Gymnastique.

Il est marié à May Panou et a trois filles.