元初，在张掖置甘肃路总管府，后改甘州路总管府。至元六年（1269年），孛儿只斤·阿只吉镇守山丹，并主持军政事务，将“删丹”讹为“山丹”，沿用至今。至元八年（1271年），改甘州路总管府，寻添立宣慰司。至元十二年（1275年）夏，意大利旅行家马可·波罗随父亲和叔父由喀什、于阗、罗布泊进入甘肃，经敦煌、酒泉到达张掖去往开平，因道路被阻，留居甘州一年之久。

至元十四年（1277年），取“甘州”“肃州”首字，设立甘肃等处行中书省，简称“甘肃行省”；几经罢撤复立后，终于至元二十三年（1286年）正式设立甘肃等处行中书省，治甘州（今张掖市），以控制河西诸郡，统领甘州路、永昌路、肃州路、沙州路、亦集乃路、宁夏府路、兀剌海路等七路，山丹州、西宁州二直隶州，西凉州、灵州、鸣沙州、应理州、西宁州五属州。此系甘肃省之始，张掖是为首府。行省下设统军万户或都元帅府，掌管镇戍军队和屯田事务。当时，甘州路在黑山、满峪、泉子渠、鸭子翅等处屯田1160余顷。

至元二十二年（1285年），在甘州立宣慰司，负责甘肃行省的监察工作。至大四年（1311年），在甘州置甘肃行枢密院，提调西路军马，同时元廷摘发汉军、新附军于甘、瓜、沙、亦集乃、中兴等路屯戍事宜，皆归甘肃行省统一管理。延祐三年（1316年）五月，在甘州置甘肃儒学提举司，甘肃学官自此始见于史册。

元朝末年，甘州籍画师史小玉在敦煌莫高窟第三窟中创作千手千眼观音画像，笔如行云，细若毫丝，有着极高的艺术价值。著名学者、敦煌石窟艺术保护与研究的先驱常书鸿先生曾说，史小玉“是不亚于乔托的大画家，了不得”！敦煌研究院研究员谢生保、兰州大学敦煌学研究所博士谢静在《敦煌艺术中的千手观音》一文中评价说：“无论从哪一方面说，此幅《千手千眼观音经变》都是莫高窟壁画艺术中前无古人、后无来者的精品杰作。”元代，马可·波罗旅居甘州一年之久，通过他的《马可·波罗游记》，第一次将张掖介绍给欧洲。（张鸿清）