张掖在元代称甘州路，是甘肃行省省会。明代初期，朱元璋在甘州置甘肃卫，隶属陕西行都司。洪武二十三年(1390年)，与甘肃卫辖地另置肃州卫及山丹卫，甘肃卫改称甘州卫。

明洪武二十四年(1391年)，朱元璋封其第十四子朱楧为肃王，封地在甘州，并决定将陕西行都司移治甘州卫。接着又把甘州卫分为左卫、右卫及中卫。

明洪武二十六年（1393年），陕西行都司都指挥史宋晟移驻甘州。朱元璋以都司权轻，又添设宋晟为西宁侯，敕赐平羌将军印，总兵镇守。宋晟到甘州后，积极修缮城池，修建粮仓，修筑肃王府第。王府所在街名称作王府街（今县府街）。

明洪武二十八年（1395年），肃王朱楧就藩甘州，诏理陕西行都司、甘州三卫的军务。次年，陕西行都司又增设甘州前卫与甘州后卫。甘州五卫的治所均设于甘州城。

明惠帝建文元年（1399年），朝廷开始削减藩王的权力，又将肃王朱楧移驻兰县（今兰州）。陕西行都司仍留甘州。辖有甘州五卫、肃州卫、山丹卫、永昌卫、凉州卫、镇番卫、庄浪卫、西宁卫共12卫及直辖高台、镇夷、古浪、碾伯（今青海乐都）4个守御千户所。

陕西行都司全称为陕西行都指挥使司，掌一方之军政，其所属之卫所称卫所军，是军政一体，兵民合一的军事组织，以军隶属卫所，以屯田养兵，军皆世袭，代代相传。每卫下辖左、右、中、前、后5个千户所，每千户所下辖10个百户所，每百户所下辖2总旗，每总旗下辖5小旗，每小旗有兵10人，每卫约5600人，组织十分严密。

明成祖永乐年间，在陕西行都司地域设甘肃镇，甘州又成为甘肃镇的治所。明成祖为了控制军队，另设镇守太监一人，与总兵共同镇守，实际上大权都掌握在太监手中。

明英宗正统年间，明英宗以庶务不可无综理纠察之任，故设甘肃巡抚都御史，由都察院选派官员充任，常驻甘肃镇。