灵光寺在西山八大处中的第二处，始建于唐大历年间（公元766-779年）。辽咸雍七年（公园1071年）在此建了一座八角密檐砖塔，名招仙塔。金大定二年（公元1162年）重修寺院，改称觉山寺。明宣德（公元1426-1435年）再次重修。因明代翠微公主葬于此，将觉山改名翠微山，寺名改为灵光寺。
1900年寺庙遭八国联军彻底破坏，后又重建，现在的布局应是这次重建时形成的。灵光寺整个庙宇没有明显的轴线。院子北端的13层密檐砖塔为绿色琉璃顶、金黄色塔刹，叫佛牙舍利塔，是1959年新建的。塔的西面便是陡峭的悬崖。沿悬崖向南，在峭壁下有一水池。池内有金鱼，据说年龄最大的一条老鱼精生于清代。
池的东南即招仙塔的塔基。新中国成立后重修寺庙时，人们从塔基废墟里扒出一沉香木盒。打开一看，里面竟有一颗佛牙。盒内外有“释迦佛灵牙舍利”，“天会七年四月二十三日”等字样及梵文经咒。众人大喜过望，因为据佛教典籍记载，释迦牟尼仅存的四颗牙齿之一，在11世纪时曾送给中国，后来想不起来放在哪里了。这回佛牙舍利重见天日，乃太平盛世之征兆。当时灵光寺已没有塔了，只能把佛牙暂存城里的广济寺，开始筹划修建新塔。因有此圣物，灵光寺近年来香火一直很旺。
