Rymarz przypomniał, że był już lustrowany jako sędzia Trybunału Konstytucyjnego i wówczas Rzecznik Interesu Publicznego nie dopatrzył się nieprawidłowości w jego oświadczeniu lustracyjnym:
Zarzut wobec Ferdynanda Rymarza wysunął tygodnik "Wprost". Tygodnik napisał, że z dokumentów w zasobach IPN wynika, iż sędzia Rymarz mógł być agentem najpierw służb wojskowych o pseudonimie Czarny, a następnie Służby Bezpieczeństwa o pseudonimie Fred.
Tygodnik twierdzi, że na podstawie dostępnych dokumentów bez odtajnienia archiwów Wojskowych Służb Informacyjnych nie można jednoznacznie stwierdzić, czy Ferdynand Rymarz był współpracownikiem SB. Przewodniczący PKW powiedział, ze czeka na wyrok sądu lustracyjnego. Dodał, że nie zamierza na czas procesu lustracyjnego zawieszać pełnienia funkcji przewodniczącego Państwowej Komisji Wyborczej.