石头城在南京的清凉山西麓，自虎踞关龙蟠里石头城门到草场门，可以看到城墙逶迤雄峙，石崖耸立，这就是依山而筑的石头城。关于石头城的由来，要追溯到两千多年前的战国时代。公元前333年楚国灭了越国，楚威王设置金陵邑，并在今清凉山上筑城。
公元前223年，楚国灭亡，秦改金陵邑为秣陵县。相传三国时，诸葛亮在赤壁之战前夕，出使东吴，与孙权共商破曹大计途经秣陵县时，特地骑马到石头山观察山川形势。他看到以钟山为首的群山，像苍龙一般蜿蜒蟠伏于东南,而以石头山为终点的西部诸山，又像猛虎似地雄踞在大江之滨，于是发出了“钟山龙蟠，石头虎踞，真乃帝王之宅也”的赞叹，并向孙权建议迁都秣陵。孙权在赤壁之战后，迁移到秣陵（今南京），并改称秣陵为建业。第二年就在清凉山原有城基上修建了著名的石头城。当时长江就从清凉山下流过，因而石头城的军事地位十分突出，孙吴也一直将此处作为最主要的水军基地。
南京石头城以清凉山西坡天然峭壁为城基，环山筑造，周长“七里一百步”，相当于现在的六里左右。北缘大江，南抵秦淮河口，南开二门，东开一门，南门之西为西门，城依山傍水，夹淮带江，险固现时势威。城内设置有石头库、石头仓，用以储军粮和兵械。在城墙的高处筑有报警的烽火台，可以随时发出预报敌军侵犯的信号。至南朝时，石头城作为保卫都城的军事要塞的地位依旧未变。