Im Mittelpunkt des Filmes stehen ein überdurchschnittlich großer Diamant, der aufgrund seines rosaroten Schimmers und eines kleinen Schattens in der Mitte, welcher einem springenden Panther ähnelt, der rosarote Panther genannt wird, und ein englischer Meisterdieb, das Phantom, hinter welchem sich der britische Adlige Sir Charles Lytton (David Niven) verbirgt.
Die Geschichte beginnt damit, dass alle Charaktere des Filmes vorgestellt werden. Zuerst das Phantom, welches durch Meisterhand Schmuck und Geschmeide stiehlt und es immer wieder schafft, der Polizei zu entkommen. Weiter der Neffen von Sir Charles, George Lytton (Robert Wagner), welcher seinem Onkel vorgab, in den USA zu studieren, aber in Wirklichkeit ebenfalls ein Gauner wie sein Onkel ist. Dann wäre hier noch die Ehefrau von Inspektor Clouseau, Simone (Capucine), welche in Wirklichkeit die Verbündete und Geliebte des Phantoms ist. Und zu guter Letzt Inspektor Jacques Clouseau (Peter Sellers), dessen Lebensaufgabe darin besteht, das Phantom endlich dingfest zu machen.
Die Protagonisten treffen in dem italienischen Wintersportort Cortina d'Ampezzo aufeinander. Die Prinzessin von Lugasch, Dala (Claudia Cardinale), verbringt dort ihren Winterurlaub. Sir Charles ist nur anwesend, um die Gelegenheit zu nutzen, den Diamanten zu stehlen. Inspektor Clouseau ist ebenfalls in Begleitung seiner Frau anwesend, um gegebenenfalls das Phantom zu schnappen. Auch der Neffe von Sir Charles reist an, um hier mitzumischen.
Sir Charles inszeniert die Entführung des Hundes von Prinzessin Dala, um bei der heldenhaften Verfolgung des Täters das Vertrauen der Prinzessin zu gewinnen. Durch die Vortäuschung eines verletzten Beines gelingt ihm dieses Vorhaben. Er schafft es sogar, die ansonsten abstinente Prinzessin betrunken zu machen. Dabei verliebt er sich in die Prinzessin. Simone bekommt dies schließlich mit und fühlt sich in ihrer Beziehung zu Sir Charles Lytton gestört.
Nach einigen Rückschlägen kann durch Ermittlungen über das Leihauto, welches bei der Entführung des Hundes verwendet wurde, herausgefunden werden, dass der Komplize in den Diensten von Sir Charles Lytton steht und somit nur er das Phantom sein kann. Sir Lytton kann noch in letzter Sekunde fliehen.
Schließlich ergibt es sich, dass der Diamant in der hoheitlichen Villa in Rom aufbewahrt wird. Während eines Kostümfest, wo auch Inspektor Clouseau samt Polizeitruppe in Verkleidung anwesend sind, machen sich Sir Charles Lytton und George Lytton, zufälliger Weise noch im gleichen Gorillakostüm, daran, den Diamanten zu stehlen. Als sie es schaffen, den Tresor zu öffnen, ist der Diamant bereits verschwunden.
Nach einer wilden Verfolgungsjagd werden beide Lyttons verhaftet und erwarten den Prozess. Simone Clouseau möchte ihrem Geliebten aus der misslichen Lage helfen und wendet sich mit der Wahrheit an Prinzessin Dala. Sie weiß auch, dass die Prinzessin selber den Diamanten gestohlen hat, um einerseits die Versicherungssumme von einer halben Million US-Dollar zu kassieren und andererseits den Diamant vor einer eventuellen Rückgabe an das Volk von Lugasch zu bewahren. (Der Diamant wurde einst vom Volke dem König geschenkt, welcher ihn seiner Tochter gab. Nach Abschaffung der Monarchie verlangte das Volk den Diamanten zurück)
Prinzessin Dala willigt ein und so wird der wertvolle Stein Inspektor Clouseau untergejubelt. Die Lyttons sind frei und Clouseau muss ins Gefängnis.