Korene sviatku Všetkých svätých siahajú do 4. storočia. Vo Východnej cirkvi sa už vtedy slávila spomienka na tých, ktorí položili svoj život pre vieru. V roku 608, 13. mája, sa slávila posviacka bývalého pohanského chrámu Panteónu, ktorý bol vystavaný v roku 25 pred Kristom. Je to div slávneho rímskeho staviteľstva. Chrám je totiž okrúhly, bez okien, bez pilierov a bez stĺpov. Svetlo sa doň dostáva len zhora, kde je okrúhly nezasklený otvor o priemere 8,85 m. Voda, ktorá naprší dnu, je odvádzaná kanalizáciou, ktorá je zabudovaná do podlahy. Chrám má rovnaký priemer i výšku – 43,29 m.
Pápež sv. Bonifác IV. nariadil, aby z neho vyhádzali pohanské modly a premenil Panteón na kresťanský chrám. Deň pred spomínanou posviackou doviezli na osemnástich nádherne vyzdobených vozoch do tohto chrámu množstvo relikvií svätých mučeníkov a uložili ich do skriniek, ktoré tam boli na tento účel pripravené. Pápež zasvätil tento chrám Preblahoslavenej Panne Márii a všetkým svätým mučeníkom. Zároveň nariadil, aby sa vo výročný deň tejto posviacky konala slávnosť všetkých svätých. Veriaci si tak začali pripomínať, že je mnoho svätých, ktorí počas roka nemajú svoj sviatok. Ich spoločná oslava tak začala spadať na 1. november. O sto rokov neskôr (roku 844) pápež Gregor IV. rozšíril slávenie tohto sviatku na celú Cirkev. Odvtedy sa každoročne slávi po celom svete.
Spomienka na všetkých verných zosnulých
nadväzuje na sviatok všetkých svätých. Spomienku, ľudovo nazývanú Dušičky, zaviedol svätý opát Odilo z Cluny roku 998. Vplyvom clunyjských mníchov sa táto spomienka počas 11. storočia veľmi rozšírila. V Ríme ju prijali v 14. storočí. Kresťania pokračovali v zbožnom zvyku Židov modliť sa a prinášať obety za zosnulých.