Miejsce na ten cmentarz wyznaczył Magistrat Sandomierza w porozumieniu z kapitułą sandomierską. Powstał w 1792 r. i jest zaliczany do najstarszych polskich cmentarzy pozamiejskich.
Spacerując po sandomierskim cmentarzu w pewnych momentach można poczuć się jak w centrum XIX-wiecznej nekropolii. Zabytkowe pomniki, nagrobki nie tylko przypominają o mieszkańcach z XIX i XX w. ale także pokazują zmieniający się artyzm sztuki nagrobnej. Spoczywają tu zarówno zwykli mieszkańcy, jak i wybitne osobistości, które zapisały się na kartach historii Sandomierza. Cmentarz porównywany jest również do Cmentarza Łyczakowskiego we Lwowie czy Rakowieckiego w Krakowie.
Został założony, jako jedna z pierwszych polskich nekropolii ulokowanych poza miastem. O wybraniu miejsca zadecydowali ówcześni włodarze miasta wraz z przedstawicielami kapituły kolegiackiej. Miał być to cmentarz dla parafii przy kolegiacie sandomierskiej pw. Najświętszej Maryi Panny, która została w 1818 r. podniesiona do rangi katedry, i stad cmentarz nazwano katedralnych, choć 1934 r. jest pod zarządem parafii św. Józefa.
Na historyczne i artystyczne piękno cmentarza katedralnego składa się m. in. ponad 300 zabytkowych nagrobków. Najstarsze są z 1804 r. i 1806 r. W związku z pracami konserwatorskimi, niemalże, co roku odkrywane są nowe. Spośród zabytkowych nagrobków ponad 225 pochodzi sprzed 1915 r.
Pośród zabytkowych nagrobków możemy znaleźć te należące do zacnych rodzin sandomierskich, zbiorowe grobowce księży kapituły sandomierskiej, profesorów seminarium jak i dawnych burmistrzów miasta i osób zasłużonych. W jednej z części nekropoli zostali pochowani żołnierze Armii Krajowej polegli w czasie ostatniej wojny, oraz wielu żołnierzy zmarły w latach powojennych. Obok nich ulokowano symboliczne mogły żołnierzy poległych na frontach wojennych i wywiezionych na Wschód.
Obecnie w obrębie cmentarza katedralnego leży także cmentarz prawosławny.
Cmentarz Katedralny został 17 października 1989 r. wpisany do rejestru zabytków i stanowi bezcenne świadectwo dziejów historycznych i kulturalnych miasta i regionu.
W rocznicę 200-lecia założenia cmentarza w 1992 roku z inicjatywy grupy Sandomierzan powstał Społeczny Komitet Odnowy Cmentarza Katedralnego. Głównym celem jego działalności jest pomoc w zachowaniu zabytkowych nagrobków i ich renowacja. Co roku w pierwszych dniach listopada organizowana jest kwesta na ratowanie konkretnych zabytkowych pomników. W latach 1992-2014 staraniem Komitetu zostało odrestaurowanych blisko 150 zabytkowych nagrobków.