在银川市西北约50公里处的贺兰山东麓的拜寺口内，坐落着一对古塔，它们就像两个孪生兄弟守卫在山口两旁，显得格外挺拔。
拜寺口是贺兰山著名山口之一，这里山大沟深，环境幽静，面东开口，视野开阔。在山口平缓的坡地上有大片建筑遗址。据考证，这里曾是西夏佛祖寺院所在地。双塔就建在沟口北边寺院遗址的台地上。双塔东西对峙，相距约百米，皆为八面十三层楼阁式砖塔。两塔直起平地，没有基座，底层较高，平素无饰，正南辟券门，可进入厚壁空心筒状塔室。
东塔总高约39米，塔身呈锥体。每层由叠涩棱角牙和叠涩砖构成腰檐，腰檐外挑。塔顶上砌八角形平座，平座中间为一圆形刹座，上承“十三天”宝刹。二层以上，每层每面都贴有彩塑兽面两个，左右并列，怒目圆睁，獠牙外露，十分威猛。兽面口衔彩绘红色连珠。兽面之间，是彩绘云托日月图案。塔壁转角处装饰彩塑宝珠火焰。
西塔总高约36米，塔体比例协调，比东塔较为粗壮高大。二层以上由数层叠涩棱角牙和叠涩砖构成腰檐，腰上砌成平座，外檐饰以圆形兽头构件。塔顶上承八角形刹座，刹座檐下，饰以并排彩绘莲瓣，转角处饰以砖雕力神，力神裸体挺腹，手托莲座，栩栩如生。刹座上承“十三天”宝刹。二层之上每面腰檐下均有彩塑佛像及装饰图案。各层壁面中心置长方形浅佛龛，龛内有彩塑动物和八宝图案，龛两侧为彩塑兽面，兽面口含流苏七串。呈八字形下垂，布满壁面。兽面怒目圆睁，獠牙外龇，威猛可怖。塔壁转角处有宝珠火焰、云托日月的彩塑图案，这些造像及装饰图案，布满整个塔身。在众多的造像中，有身着法袍的罗汉，有拄杖倚立的老者和神态潇洒的壮者。他们项挂璎珞，腰系长带，手执法器；有的伸臂，有的跳跃，动作自如，神态各异，充满了强烈的生活气息和浓郁的宗教色彩。西塔正东面第十二层佛龛内右上侧，有西夏文。在第十层正东的平座上，放置着一个完整的绿色琉璃套兽。塔顶佛龛内置有一根六棱木质中心刹柱，直径约30厘米，刹柱上有墨书西夏文题记和梵文字。双塔建筑综合了中原佛塔传统特点，又把绘画和雕刻艺术结合起来，构成了两座雄伟壮观、绚丽多彩的艺术珍品。
双塔始建于何时，史料无记载，明万历年间修宁夏《万历朔方新志》卷首《宁夏镇北路图》中，在拜寺口就标有双塔。根据塔刹发现的文物推测，双塔于元代早期曾进行过装修，修缮了塔刹，粉妆了壁面，但塔身未进行大的修理。新中国成立以后，经碳-14测定双塔朽木，专家认为是西夏中晚期所建。
明清时期，银川地区地震频繁，特别是清乾隆三年十一月二十四日（1739年1月3日）发生一次八级以上地震，双塔附近的建筑、房屋均被震毁，可是双塔却仍傲然挺立于崇山峻岭之中，这充分体现了当时西夏建筑业的高超
1986年，国家组织力量对双塔进行了加固维修，在维修西塔塔刹时，一密封空心穹室内置放着一批文物，有蒙古汗国银币“大朝通宝”，元初“中统宝钞”，绢质“彩绘佛画”（唐卡）、“绢纸花”，木雕“上乐金刚双身像”、“木花瓶”和铜佛像等。双塔经维修后，于1988年被国家列为第二批全国重点文物保护单位。