春秋战国至西汉初期，张掖地区居住着乌孙、月氏、匈奴等以游牧为主的少数民族。《史记》载：“乌孙王号昆莫。昆莫父难兜靡本与大月氏俱在祁连、敦煌间，小国也。”起初乌孙与月氏和平共处，分东西居于河西走廊。但好景不长，双方开战，乌孙战败，被月氏攻杀，乌孙遂离开了河西，投靠并依附于北方的匈奴。于是月氏人占领张掖地区，将王城建在昭武（今张掖市临泽县鸭暖镇昭武村附近），但这样的局面并没有维持多长时间，月氏又被迅速强大的匈奴打败，继而退出河西走廊西迁至阿姆河流域，张掖又成为匈奴右部浑邪王（一作昆邪王）的领地。

西汉建元三年（前138年），汉武帝派张骞第一次出使西域，欲联络大月氏夹击匈奴。张骞用漫长的十三年完成了自己的出使行程，虽然汉武帝远交近攻的目的没有达到，但张骞以自己的生命为赌注，走出了一条由长安穿越河西走廊到阿姆河流域的一条贯通亚欧的道路。他带回的中亚内外政治形势、民族分布及河西走廊地理和匈奴内部军事等重要信息，增强了汉武帝以武力征服匈奴及通商西域的信心和决心。

元狩二年（前121年）春，霍去病率领一万骑兵，出陇西，渡黄河，过乌鞘岭，“转战六日，过焉支山千有余里”，在合黎山下与匈奴短兵相接，突击匈奴，抓获浑邪王子及相国、都尉，斩首八千九百余级，收休屠王祭天金人，大获全胜；同年夏季，汉武帝又派张骞、李广出兵牵制匈奴左部，霍去病则从今庆阳西北出发，经银川平原沿黄河向北，自今内蒙古巴彦淖尔市磴口县巴彦高勒镇西北保尔浩特古城，出鸡鹿塞，再向西北行至居延，然后逆弱水（黑河）挥师南上，进入河西走廊张掖重创匈奴，“扬武乎觻得”，抓获休屠王子金日䃅；这年秋季，匈奴浑邪王杀休屠王，率众数万人（号称十万）降汉。自此，河西走廊纳入大汉版图。

元狩四年（前119年），张骞对汉武帝说：“今匈奴新困于汉，而昆莫地空。诚以此时厚赂乌孙，招以东居故地，则是断匈奴右臂也。”汉武帝听从张骞的建议，欲请乌孙重返河西走廊，以属国治理之，遂有了张骞第二次出使西域。张骞此次出使西域的目的具有多重性，其中最重要的目的就是说服乌孙返回河西走廊，与汉朝一起抗击匈奴，未果；其二则分遣副使持节前往大宛、康居、月氏、大夏等西域各国进行交流贸易，为丝绸之路的进一步畅通创造条件。

元鼎二年（前115年），由于乌孙拒绝东返，汉武帝决定以郡县制治理河西走廊，于是“初置酒泉郡，以通西北国”，治觻得县（古县名，今张掖市甘州区西北）。同时，开始筑造令居塞以西的汉长城。

元鼎六年（前　111　年），在酒泉郡西分置敦煌郡；在酒泉郡东分置张掖郡，治张掖县（在今武威市境内）。张掖郡名取义“张国臂掖”。宣帝地节三年（前67年），析张掖郡分置武威郡，治武威县（今民勤县东北）。元帝建昭三年（前36年），西汉王朝在今永昌县南设置骊靬县后，对酒泉、张掖、武威三郡地域进行大调整。酒泉郡治由觻得县移治禄福县（今酒泉市肃州区），张掖郡治由张掖县移治觻得县，武威郡治由武威县移治姑臧县（古县名，今武威市凉州区）。调整后的张掖郡，将“张掖县”名留给了武威郡。自此，张掖郡辖觻得、昭武、删丹、氐池、屋兰、日勒、骊靬、番和、居延、显美十县。

新始建国元年（9年），王莽改“张掖郡”名“设屏郡”，同时改“觻得”名“官式”“昭武”名“渠武”“氐池”名“否武”“屋兰”名“传武”“骊靬”名“揭虏”“番和”名“罗虏”“居延”名“居城”“删丹”名“日勒”，“显美”仍旧其名。随着移民实边政策和河西屯田的不断实施，中原农耕人的视野投向了更广阔的世界。

东汉初，“天下扰乱，惟河西独安”。光武帝建武元年（25年），张掖属国都尉窦融被酒泉、张掖、武威、敦煌、金城五郡太守推为河西五郡大将军，执掌河西军事。窦融为政宽和，在他的苦心经营下，河西“仓库有蓄，民庶殷富”“兵马精强”。建武五年（29年），窦融以河西五郡归附东汉。永元九年（97年），班超派遣甘英出使大秦（今地中海地区），到达条支（今伊拉克境内）和安息（今伊朗境内），最远抵达波斯湾沿岸。甘英成为史书所记载到达波斯湾的第一个中国人。伴随着丝绸之路的贯通，中原地区的丝绸、瓷器、漆器、茶叶等物品，经张掖传入西方；而欧洲和中亚西亚地区的石榴、胡麻（芝麻）、葡萄、胡瓜（黄瓜）、胡萝卜、苜蓿、胡桃（核桃）、琥珀等物品，又经张掖传到中原地区。同时，借助丝绸之路，以佛教为主的宗教也逐步传入张掖及河西走廊地区。

两汉时期，朝廷通过修筑长城、徙民实边、兴修水利、开垦屯田治理河西走廊，自张掖郡觻得县到酒泉郡乐涫县（今酒泉市下河清皇城遗址）的千金渠即开凿于此时期。张掖汉简（即居延汉简）翔实记载了两汉时期张掖郡所辖居延都尉、肩水都尉戍边屯田的日常生活，以及人们往来于西域、中原的贸易情况，是为现存最早的张掖地方志。（张鸿清）