Serce Marszałka spoczęło w grobie jego matki - Marii na cmentarzu na Rossie. Jest on uważany za najbardziej polski cmentarz na obczyźnie i wizytówkę Wilna. Rossa łączy się nierozerwalnie z polską historią i literaturą. Spoczywają tam poeci, filozofowie i mężowie stanu. Na nagrobkach można odczytać nazwiska znane z historii i literatury. Na Rossie są groby Władysława Syrokomli, pisarza i archeologa Eustachego Tyszkiewicza oraz rzeźbiarza i architekta Antoniego Wiwulskiego. Spoczywają tam też pierwsza żona i rodzeństwo Piłsudskiego.
W pobliżu spoczywa kilkuset polskich żołnierzy. Wśród wojskowych mogił centralne miejsce zajmuje właśnie grobowiec matki Józefa Piłsudskiego.
Staraniem Społecznego Komitetu Opieki nad Starą Rossą odnowiono już 50 zabytkowych nagrobków. Kolejne sto grobów potrzebuje pilnej konserwacji. Pieniądze na ten cel zbierane są na warszawskich Powązkach. Społeczny Komitet Opieki nad Starą Rossą troszczy się o nekropolię już od 20 lat.