据史记，明初，南京、山东等地回族吴、王、马、李、常五姓始祖，投奔燕五朱棣麾下，为“回回火器营”战将。随燕五扫北，1404年来到香椿营建村，繁衍至今。
清真寺始建于公元1409年，礼拜大殿为三卷19间，两面三刀厢配以南北讲堂，建筑面积3500平米，为中国民族传统建筑与阿拉伯风格相毒我融的古式建筑。大殿表瓦盖顶飞檐四翘雕花栏阁上有“龙牌一块”，整个清真寺尊威华贵，恢弘壮丽。1976年，唐山大地震使清真寺主体建筑造成严重损伤。1997年，信教群众集资重建大殿，以黄琉璃瓦盖顶，殿内36根大柱支撑，使抱厦、大殿和窑三部分浑然一体，大殿西墙正中，凹壁绘有经文，主要建筑按原样修善一新。