距今4200多年前，张掖已有人类在山丹河、黑河流域繁衍生息。通过对民乐东灰山遗址、山丹四坝遗址、甘州城西北黑水国西城驿遗址考古发掘，使马家窑文化、齐家文化、四坝文化、东灰山文化、西城驿文化，相继在今张掖大地上呈现。考古发现新石器时期的大量碳化粟、小麦、青稞颗粒，实证张掖早期先民们曾在这里从事农耕种植业；考古发现禽畜骨殖及矿渣、金属冶炼块的出土，实证早在4000多年前张掖畜牧养殖和金属冶炼的存在。

《禹贡》载，张掖地为“雍州之域”，是西戎氏的旧地。

尧、舜、禹时，大禹“导弱水至于合黎，余波入于流沙”。

虞、夏、商时期，隶属“九州”之雍州地。

周末至秦时，为乌孙、月氏地。

西汉初，为匈奴右部浑邪王（一称昆邪王）地。汉武帝元狩二年（前121年），霍去病两次出征河西，“扬武乎觻得”，将河西走廊纳入大汉版图。元鼎六年（前111年），取“张国臂掖”之义，置张掖郡，辖觻得、删丹、氐池、昭武、居延、屋兰、骊靬、显美、日勒、番禾十县；同时，置张掖属国都尉。从此，河西走廊被赋予“张国臂掖，以通西域”的历史使命，成为中原王朝控制西域的强大臂膀。元封五年（前　106年），汉武帝分天下为十三州，各置一刺史，史称“十三部刺史”。在今甘肃省范围内置凉州刺史部，凉州之名自此始，意为“地处西方，常寒凉也”，下辖包括张掖在内的陇西、天水、安定、北地、酒泉、敦煌、武威、金城、西海　10郡。凉州刺史部最初治所在陇县（今陕西省宝鸡市陇县），后于东汉建宁元年（168年）迁至冀县（今甘肃省天水市甘谷县），其辖区涵盖现代甘肃省全境、宁夏回族自治区、青海省东部和内蒙古自治区额济纳旗。太初三年（前102年）春，强弩都尉路博德屯兵居延，筑遮虏障。次年，骑都尉李陵屯兵张掖。始元二年（前85年），张掖郡始开屯田。

新莽时期，王莽改“张掖”称“设屏”，改“觻得”名“官式”“昭武”名“渠武”“删丹”名“贯虏”“氐池”名“否武”“屋兰”名“传武”“日勒”名“勒治”。更始元年（23年），时任强弩将军司马的窦融，归属更始帝刘玄，被授为张掖属国都尉。刘玄死后，窦融又被推为河西五郡大将军，据河西自保。

东汉建武五年（29年），窦融以河西归东汉，刘秀授窦融为凉州牧，封安丰侯。“窦融归汉”成为后世的典范。东汉时，凉州增置武都、永阳、南安（三郡后废）、安定属国、张掖居延属国（后改称西海郡）。汉献帝建安初年，分凉州黄河以西的酒泉、张掖、敦煌、武威、张掖属国、居延属国置雍州刺史，治姑臧。建安十八年（213年），凉州并入雍州，治长安，张掖郡、张掖属国、张掖居延属国隶属其管辖。

曹魏黄初元年（220年），复置凉州刺史，张掖郡仍隶属其管辖。

西晋永宁元年（301年），张轨出任护羌校尉、凉州刺史，遂据河西建立前凉政权。张掖进入东晋十六国时期。这一时期，张掖先后隶属前凉、前秦、后凉、北凉管辖。

东晋隆安元年（397年），沮渠蒙逊起兵反抗后凉吕光，拥戴建康郡（今张掖市高台县骆驼城）太守段业为凉州牧、建康公，创建北凉政权，建都建康。隆安五年（401年）六月，沮渠蒙逊夺取北凉统治权，迁都张掖。玄始元年（412年），沮渠蒙逊平定河西后，迁都姑臧。

南北朝时期，张掖先后隶属北魏、西魏、北周管辖。北魏太延五年（439年），太武帝拓跋焘平北凉，取张掖、乐都、武威、酒泉置西凉州，治张掖，由东平王拓跋丕镇守。

西魏废帝三年（553年），元钦改“西凉州”称“甘州”，或以甘州城东北甘峻山、或以地多产甘草、或以甘峻山下泉味甘冽名“甘州”。北周时，复置张掖郡。

隋开皇三年（583年），废郡并县，改“张掖郡”称“甘州”。大业三年（607年），复改“甘州”名“张掖郡”，统辖张掖、删丹、福禄三县。大业三年（607年），隋炀帝命尚书左丞裴矩驻张掖，专门管理与西域各国的互市贸易，“啖之以利，劝令入朝”。其间，裴矩编纂完成《西域图记》三卷，敬献给隋炀帝，促成炀帝西巡。大业五年（609年），隋炀帝西巡至张掖，在焉支山下的删丹县城召见高昌王、伊吾设等及西域二十七国使臣。

唐武德元年（618年），李轨拔张掖，尽得河西五郡，建立大凉。次年，李渊遣安兴贵平定李轨政权。唐朝遂改“张掖郡”为“甘州”，统领张掖、删丹二县。垂拱二年（686年），武则天派陈子昂视察河西防务。长安元年（701年），凉州都督、陇右诸军州大使郭元振令甘州刺史李汉通“辟屯田，尽水陆之利，稻收丰衍”。张掖种植稻米自是开始。景云元年（710年）十二月，置河西节度使，治凉州，节度副使驻甘州，兼河西兵马使。次年（711年）四月，任贺拔延嗣为凉州都督充首任河西节度使。河西节度使负责断隔吐蕃、突厥，统辖凉州、甘州、肃州、瓜州、沙州、伊州、西州等七州。

广德元年（763年），吐蕃攻陷甘州。不久，尽陷河西诸郡。德宗贞元年间（785—805），吐蕃徙沙陀突厥于甘州，任朱邪尽忠为军中大臣。宪宗元和三年（808年）　，吐蕃赞普被回鹘所败，其开始猜忌沙陀，遂朱邪尽忠与朱邪执宜率众三万余人离开甘州，辗转至灵州塞归降唐朝。大中二年（848年），张议潮趁吐蕃内乱之机，率众驱逐沙州吐蕃镇将，自摄州事。此后两年间，他修治兵甲，且耕且战，收复甘州、肃州，又逐步收复河西各州之地，派使者携“沙、瓜、伊、西、甘、肃、兰、鄯、河、岷、廓十一州地图户籍入朝”，宣宗于沙州置归义军，授张议潮为归义军节度使。咸通七年（866年），北庭回鹘首领仆固俊再次击败吐蕃，以西州归属张议潮，吐蕃势力彻底退出河西、陇右之地。咸通十三年（872年），张议潮去世。同年，回鹘占领甘州，在甘州设牙帐，史称“甘州回鹘”。

宋天圣六年（1028年），西夏李元昊攻占甘州，甘州回鹘政权灭亡。景祐二年（1035年），西夏以甘州为镇夷郡，设立宣化府，同时在删丹置甘肃监军司，这是“甘肃”之称首次出现在史册上。西夏宣宗贞观三年（1103年），李乾顺敕建甘州“卧佛寺”。

嘉定十四年（1221年），蒙古占据甘州。嘉定十六年（1223年），蒙古诸王察合台攻取删丹，派元帅按竺迩镇守。蒙古灭夏建立元朝后，仍称为“甘州”。至元六年（1269年），孛儿只斤·阿只吉镇守山丹，并主持军政事务，将“删丹”讹为“山丹”，沿用至今。至元中，置甘肃路总管府。至元八年（1271年），改甘州路总管府，寻添立宣慰司。自至元十四年（1277年）取“甘州”“肃州”首字立甘肃等处行中书省，几经罢撤复立后，终于至元二十三年（1286年）正式设立甘肃等处行中书省，治甘州路，以控制河西诸郡。此为甘肃正式设省之始。延祐三年（1316年）五月，在甘州置甘肃儒学提举司，甘肃学官自此始见于史册。

洪武五年（1372年），朱元璋派宋国公冯胜平定河西，在甘州置甘肃卫。洪武二十三年（1390年），将甘肃卫改设为甘州左、右、中、前、后五卫指挥使司。洪武二十四年（1391年），朱元璋改封他的十四子汉王朱楧为肃王，令其就藩甘州；同年，指派宋晟扩建甘州城、新建肃王府。洪武二十六年（1393年），于黄河以西置陕西行都指挥使司，治所由庄浪（今永登县）徙至甘州，领甘州左、右、中、前、后五卫及肃州、山丹、永昌、凉州、镇蕃、庄浪、西宁卫，计十二卫，以及高台、镇夷、古浪、碾伯（后废）四守御千户所，并赤斤蒙古、沙州、哈密、安定、罕东、曲先、苦峪六羁縻卫所，以控制边境。洪武二十七年（1394年），李景隆出任平羌将军，镇守甘州。洪武二十八年（1395年），肃王朱楧就藩甘州，诏理陕西行都司和甘州左、右、中三卫军务。洪武三十年（1397年）初，在甘州置甘肃行太仆寺，掌管马政。建文元年（1399年），朱允炆削藩，肃王迁黄河以东的临洮府兰县（今兰州市）。同年，宋晟第二次进驻甘州，镇守甘肃镇。永乐八年（1410年），西宁侯宋琥继其父业，镇守甘肃。万历二年（1574年），甘肃巡抚石茂华经请示朝廷同意，用青砖包砌甘州城墙。崇祯十六年（1643年）十二月，李自成所部贺锦率兵攻陷甘州，“屠甘州，杀居民四万七千人”。

顺治二年（1645年），清军平定甘州，仍沿明制。康熙二年（1663年），在甘州置甘肃提督军门，节制甘肃、宁夏、西宁、安西四镇。同年，改分巡西宁道为甘山道，治仍在甘州卫，领甘州、山丹、肃州三卫及镇彝（原镇夷）、高台二所。雍正三年（1725年），始撤销陕西行都指挥使司，置甘州府（此时距离清朝建立已经80年），将甘州左、右二卫置张掖县，将山丹卫、东乐厅、童子、慕化置山丹县，并高台和镇夷守御千户所为高台县，三县均隶属甘州府管辖。雍正七年（1729年），将高台县划归肃州直隶州管辖，一直到清末。同年，将甘山道更名为甘肃道。乾隆二年（1737年），甘州知府冯祖悦始建甘泉书院，此后有清一代张掖建有天山书院、南华书院、觻得书院、河西讲舍、山丹书院、仙堤书院、仰止书院、金山书院、蓼泉书院、建康书院等十余家书院。乾隆九年（1744年），移张掖县丞驻东乐（今民乐县前身），分领一驿十四堡，大事仍归张掖县管理。乾隆十五年（1750年），分张掖县置抚彝厅（今临泽县前身），领两驿二十四堡。乾隆十九年（1754年），朝廷调甘州兵出征准噶尔，拉开清朝收复新疆的大幕。至“乾隆二十五年（1760年）春二月，甘军由新疆陆续进关”，天山南北重新纳入中国版图。其间，朝廷多次诏令甘肃预备马匹和补充粮草。乾隆四十六年（1781年），钟赓起主编《甘州府志》成书。光绪元年（1875年），命时任陕甘总督左宗棠就任钦差大臣，督办新疆事务，在甘州设西征粮台（经理军粮的机构）。

民国元年（1912年），废甘山道；废驿站，成立邮寄代办所。民国二年（1913年），撤销甘州府，建立省、道、县三级行政制。改东乐分县为东乐县，抚彝厅改为抚彝县，高台分县改为毛目县。张掖、东乐、山丹、抚彝4县隶属甘凉道（治武威）管辖；高台、毛目　2县隶属安肃道（治酒泉）管辖。民国十八年（1929年）年初，改抚彝县称“临泽县”，辖　5区56乡2镇。同年三月，改东乐县称“民乐县”。民国二十六年（1937年）元月，高台县苏维埃政府成立。二月下旬，中共甘州中心县委成立。同年八月中旬，高金城在张掖以开办福音堂医院的名义进行红西路军被俘、失散人员营救工作，先后营救达200余人。

1949年9月24日，张掖全境解放，中共张掖地方委员会、张掖分区行政督察专员公署随即宣布成立，辖张掖市（县级市）、山丹县、高台县、民乐县、临泽县、肃南县。2002年　7　月，“撤地设市”，改张掖地区行政公署为张掖市（地级市），改县级张掖市为甘州区，沿用至今。（张鸿清）