远古时期，遵义一带即有人类栖息繁衍。在桐梓县岩灰洞旧石器时代人类文化遗址发现的人类牙齿化石，经科学测定，为距今20.6～24万年。桐梓县马鞍山新石器时代人类遗址中，也发掘出大量石器骨器，还有丰富的用火遗迹，年代距今为1.8万年。在赤水河流域的赤水市和习水县境内，也先后发现许多石斧、石锛、石网坠等古人类工具。

　　公元前八至五世纪前后的春秋时期，现在的遵义市所辖地域，先后或分别属于牂柯、巴、蜀、鳖、鳛等邦国。战国时期，今遵义一带属于“大夜郎国”的范围。西汉元光五年（公元前130年），置犍为郡，郡治鳖县，即在今遵义市中心城区附近。元鼎六年（公元前111年），于夜郎地置牂柯郡，作为邦国存在了250多年的“夜郎国”之名从此消失。此后，作为郡县行政建制的的“夜郎郡”、“夜郎县”之名曾多次出现，与今遵义有关的，一是唐贞观十六年（公元642年）所置的夜郎县，在今桐梓县境，为珍州的治所。二是唐天宝元年（公元742年）改珍州置的夜郎郡，治所即在这个夜郎县。至德二载（公元757年），大诗人李白被“长流夜郎”就是这里。这个夜郎县之名到五代时期废除，北宋时期复置，宣和二年（公元1120年）又废，计先后存废达480年。此后中国历史上再没有出现“夜郎”郡县之名。

　　作为二级政区的州、郡名称，历代屡有变更。唐贞观十三年（公元639年），将隋代的郎州改名为播州，领辖今黔北的大片地域。播州之名，历经五代、宋、元到明朝末叶，存在了962年。所以人们常习惯用“播州”来代称古代的遵义。
唐贞观十六年（公元642年），将播州所领的罗蒙县改名遵义县。这是“遵义”名称最早的出现。遵义之名沿用至今已有1364年。除县名外，历史上曾有过遵义砦、遵义军、遵义军民府、遵义府、遵义专区、遵义行政公署、遵义市等建制名称。

　　播州从唐末到明末的725年间，为杨氏土司所世袭统治。明万历二十八年（公元1600年）“平播之役”后，取消土司制度，实行“改土归流”，于次年分播州为遵义、平越两个“军民府”，分别隶属四川、贵州两省。清康熙年间取消“军民”二字，直称遵义府。今遵义市大部分地域属于这两府，还有部分地域属于石阡府、思南府。清雍正五年（公元1727年），遵义府由四川省划归贵州省管辖。直到民国初年，废除“府”的建制。民国24年（公元1935年），贵州省设11个行政督察区，黔北十余县为第五行政督察区。

　　1949年11月，遵义解放，“第五行政督察区”改为遵义专区，后称遵义地区，为省政府派出机构，并以原遵义县城区为基础新建遵义市。此后的数十年间，遵义地区领辖的县市曾有少许变动。1997年6月，经国务院批准，撤销遵义地区改建为遵义市（地级市，1997年11月挂牌），原遵义市改建为红花岗区，原遵义地区领辖的县、自治县即归新建的遵义市领辖；赤水市、仁怀市为省辖市，由遵义市代管。2004年，经国务院批准，由红花岗区和遵义县北部划出部分地区，在原遵义经济技术开发区的基础上，新成立汇川区。至此， 全市共辖2区、2市、8县和2民族自治县，即：红花岗区、汇川区、赤水市、仁怀市、遵义县、桐梓县、绥阳县、正安县、凤冈县、湄潭县、余庆县、习水县、道真仡佬族苗族自治县和务川仡佬族苗族自治县。