在塔院寺东，塔院寺东口的垂花门就与罗目侯寺的垂花门隔街对峙。简朴大方的垂花门上。寺名的来历有两种说法，一为罗汉说。据佛教经典记载，释迦牟尼出家前娶妻生子，儿子取名叫罗罗。罗罗就是覆障的意思。后来，罗罗十五岁出家，成为释迦牟尼的十大弟子之一，是佛教史上第一个小和尚。罗目侯寺的命名，即是由此而引出来的，意为佛普满渡众生的地方。二为佛祖说。中国佛教传说中，释迦牟尼死后，把教义传给了大徒弟摩河迦叶，后人称为西方第一祖。西方第十六祖也叫罗罗（亦称罗罗多），罗目侯寺是为纪念他而建立的。
罗目侯寺创建于唐代，据说，文殊菩萨曾在这里落脚，还曾讲经说法，并有神灯出现，于是，人们便把这座寺庙叫做落佛寺。明弘治五年重修，寺内有重修碑记。明万历年间李娘娘重建。相传，明朝时，万历皇帝的父亲驾崩，万历皇帝当时尚小，李娘娘便把江山让与皇亲李良。李良接了江山后，反将李娘娘和少主打入冷宫。这时，李娘娘悔叹不已，便在佛前许愿，如果佛能保佑少主将来登基，她就用巨款重建五台山的落佛寺。后来，朝臣杨波、徐彦昭等人扶持少主当了皇帝，李娘娘即还旧愿，重建此寺。清康熙年间，该寺由青庙改为黄庙，常住藏族喇嘛。