据史料记载，两处响堂石窟均始建于北齐。当时北齐有两个政治中心，一是国都邺（今临漳境内），一是别都晋阳（今山西太原）。地扼太行山东西交通要隘的鼓山，是两都来往必经之地。这里山青水秀，风景美丽，石质优良，将佛教奉为国教的北齐皇帝高洋便选择此处凿窟建寺，营造官苑，作为他来往于两都之间的避暑、游玩和礼佛之地。此后隋、唐、宋、明各代均在此增凿。每次去都对先人的建筑奇迹感叹不绝。