肃南裕固族自治县成立以前,现辖区称走廊南山或祁连山区,因其历史悠久,地域辽阔,民族迁徙频繁,故建制沿革较为复杂。
据史书记载,春秋战国时期就有许多民族在河西地区活动,这里曾是乌孙、月氏游牧地,后为匈奴所据。公元前133年至公元前119年,汉武帝派遣张骞出使西域,先后击败了占据河西地区的匈奴王休屠和浑邪,于公元前111年设张掖郡,祁连山一带正式归入中原版图。其后河西回鹘(裕固族先民)曾攻入甘州,随后占据河西走廊西部立国,设牙帐于张掖,统治河西约一百四十余年。辛亥革命后,设甘凉道和安肃道,肃南地区大部分属安肃道管辖,隶属酒泉、高台、临泽、张掖民乐各县。1949年新中国成立后,今肃南县所属的祁丰、明花、大河、康乐、马蹄等区都以原有的各少数民族部落为基础,建立了区、乡基层人民政权,区、乡行政领导人从各民族中的优秀分子和部落头目、宗教上层人士中选出。1952年《中华人民共和国民族区域自治实施纲要》颁布以后,党和政府就开始在这一地区进行民族自治地方机构的筹建工作,并成立了中共肃南县工作委员会(肃南,亦即在原肃州之南而得名)。1953年7月18日,召开了祁连山北麓各族各界人士代表会,协商了关于成立自治区(县级)的有关事宜,拟定了裕固族族名,决定在裕固族聚居的原高台县第六区、酒泉县祁明区、张掖县康乐区的基础上成立裕固族自治区(县级)。座谈会期间,在民主协商的基础上,选举产生了包括各族各界人士在内的人民代表100人,于1954年2月14日至20日在红湾寺召开了首届人民代表会议,正式通过成立肃南裕固族自治区人民政府(县级),标志着肃南裕固族自治县正式成立。1957年,又将原属民乐、张掖管辖的马蹄区划归肃南县管辖。1959年,又将肃南县的陶莱东部、八字墩、友爱的草原划归青海省,将青海省的皇城滩草原移交肃南县。上世纪70年代初,县域区划虽有过变动,但边界一直固定下来基本没有大变化。
肃南裕固族自治县的成立,使历史上长期分属不同地区管辖的祁连山北麓各民族人民,第一次有了属于自己的新政权,具有划时代的意义。