Bezpośrednią przyczyną upadku rządu Olszewskiego stała się tzw. "lista Macierewicza", to jest spis 64 osób, których nazwiska znalazły się w archiwach, jako tajnych współpracowników Służby Bezpieczeństwa. Minister spraw wewnętrznych Antoni Macierewicz wykonując uchwałę lustracyjną Sejmu z końca maja, przesłał ową listę do Sejmu, 4 czerwca 1992 roku, rano. Na liście znalazły się nazwiska osób zajmujących wysokie stanowiska państwowe, między innymi Lecha Wałęsy i Wiesława Chrzanowskiego. "Lista Macierewicza" była dokumentem tajnym, lecz jej zawartość szybko trafiła do parlamentarzystów i następnie do mediów. Lista została nazwana "listą agentów" i spowodowała gwałtowną reakcję elit politycznych.
Wniosek o votum nieufności dla rządu Olszewskiego zgłosił w imieniu Unii Demokratycznej, Kongresu Liberalno-Demokratycznego i Polskiego Programu Gospodarczego Jan Maria Rokita, a nieformalnie poparł go Sojusz Lewicy Demokratycznej. Poparcie dla rządu cofnął również prezydent Lech Wałęsa.
Rząd Jana Olszewskiego został odwołany przez Sejm, trzy kwadranse po północy, 5 czerwca 1992 roku.
Misję utworzenia kolejnego gabinetu otrzymał Waldemar Pawlak, wówczas 33-letni lider Polskiego Stronnictwa Ludowego. Nie udało mu się jednak, zdobyć większości w Sejmie. W lipcu 1992 roku premierem została Hanna Suchocka z Unii Demokratycznej.
Zgodnie z wynikami głosowania w Sejmie 5 czerwca 1992 roku, za odwołaniem rządu Olszewskiego głosowało 273 posłów, przeciwko było 119, a 33 wstrzymało się od głosu.
Zanim do tego doszło, parlament stał się miejscem jednych z najbardziej dramatycznych wydarzeń okresu III Rzeczpospolitej. Posłowie Michał Boni i Antoni Furtak, którzy znaleźli się na listach Macierewicza, zostali odwiezieni do szpitala z objawami ataku serca. Jacek Piechota z SLD złożył wniosek do prokuratury o ściganie Macierewicza.
Prezydent Lech Wałęsa publicznie oświadczył, że "rozpoczęto w trybie nagłym akcję lustracyjną", która stosowana wybiórczo destabilizuje państwo, a potem przesłał do Sejmu wniosek o odwołanie premiera. Pismo prezydenta zostało odczytane w parlamencie.
W burzliwej debacie uczestniczyli głównie posłowie związani z koalicją rządową, którzy starali się przeciągać obrady. Stefan Niesiołowski z ZChN powiedział, że wniosek o odwołanie rządu, to krok ku destabilizacji państwa polskiego. Z kolei Jarosław Kaczyński z PC podkreślał, że procesu dekomunizacji nie da się już zatrzymać.
Przed północą, przed decydującym głosowaniem, premier Jan Olszewski wygłosił przemówienie, w którym zadał dramatyczne pytanie: "Czyja będzie Polska?"...
Rząd Olszewskiego działał blisko pięć miesięcy. Jego prace przyniosły efekty w kwestiach ekonomicznych, między innymi w powstrzymaniu inflacji, porządkowaniu finansów publicznych, porozumieniu z Międzynarodowym Funduszem Walutowym i Bankiem Światowym, a także w rozwiązywaniu sporów zbiorowych ze związkami zawodowymi. Pewne sukcesy dały się też zauważyć w polityce zagranicznej, zawarto traktaty z Białorusią, Ukrainą i Rosją.
Dyskusyjne były natomiast, działania rządu w rolnictwie, w podwyższeniu taryf celnych czy zapowiedzi podwyżek płac w sferze budżetowej.