土家族的族源，一说是古代巴人后裔，一说是古代由贸州迁入的“乌蛮”，一说是唐末五代前后由彭咸率领的从江西迁居的百艺工匠的后裔，说法不一。
据考察，早在新石器时期，在武陵山区酉水流域，就有人类的祖先居住及活动。1973年在沪溪县浦市二中和五里洲发现的新石器时代的遗址，1978年在龙山里耶溪口发现的新石器时代的遗址，2007年重庆酉阳县大溪镇笔山坝最新出土的一处距今五六千年的大溪文化遗存和墓葬群及近年来里耶发现秦代古城，都是人类祖先在这里活动的见证。更重要的是土家族虽无本民族的文字，但是有本民族的语言，有独特的风俗习惯和文化艺术，各地聚居的土家人均保留着本民族的风俗和文化艺术，有不少村寨、山头、河流以土家语命名，发现新石器时代遗址的“里耶”及附近的“麦茶”地名，即为土家语“耕土”、“好天”之意。
这些进一步说明，早期居住在这一带的是土着先民，是史书上所称的“蛮”或“夷”的一部分。长期以来，他们没有被迁入的其他民族所融合，而是吸取了其他民族的先进因素发展着、生存着。
土家先民很早定居“五溪”(流经武陵山境的雄溪、满溪、酉溪、舞溪、辰溪五条流水)，古代典籍多有他们活动的记载：早在西周时，土家先民助周武王伐纣，“歌舞以凌，殷兵大溃”；刘邦讨伐秦二世胡亥，土家人为其冲锋陷阵，深受刘邦赞赏。
西汉时“五夷”首领田疆，活跃在五溪一带，由于势力不够强大，“虽时为寇抄，不足为郡国患。”(《酉阳杂俎》)。
东汉建武二十三年(公元47年)“武陵蛮精夫(渠帅)相(向)单程等大寇郡县”，光武帝刘秀遣威武将军刘尚，率兵万余，溯沉水而上，入武溪击之。刘尚轻敌入险，遭相(向)率众顽强抵抗，“尚军大败，悉为所灭”。建武二十五年(公元49年)，刘秀第三次派伏波将军马援等率大军四万，迸逼湘西，军至壶头(今沉陵二酉山)，被“蛮夷”四面围困，进退维谷，陷入绝境，结果马援“马革裹尸”而还。刘秀知道“五溪蛮”不可征服，只得派司马吕种“以召书入虏营，告以思信”，草草结束了这场战争(《后汉书光武帝本纪》、《后汉书马援传》）。
三国时蜀汉章武二年(公元222年)，蜀主刘备“军掳亭，复自很山通武陵，使马良以锦赐五溪诸蛮夷，授以官职”。吴孙休永安六年(公元263年)，吴魏争夺武陵地。魏派郭纯率兵入武陵郡之迁陵(今保靖)，诱诸蛮效忠于魏，并进攻酉阳县(今永顺县王村)，以阻吴军西进。孙吴遣骑校尉钟离彼率兵五万反击，杀“蛮酋”首领百余人及其部众千余人。
南北朝时期，南宋王朝派人向“五溪蛮”大量征收赋税，“五溪蛮”拒不从命。武陵内史沈伙之采用禁断渔盐的办法逼“五溪蛮”就范。酉溪蛮王田头拟一气之下，杀了沈伙之的使者，起兵反抗南宋政权。后因作战失败，田头拟气死，继称蛮王的田娄候(头拟之弟)被宋囚禁，使这次反奴役反压迫的斗争被瓦解(《南齐书卷二十二》)。齐建元时期(479一482)，武陵郡酉溪蛮田思飘率众反，内史王文和率军深入酉溪腹地讨伐。田思飘率兵断其后路，齐军被围，难以进退。豫章王肖疑急派申兵参军壮明率湘川郡兵五千前往救援。田思飘继续与齐军酣战，不幸牺牲，余众退出酉阳城(今永顺王村)，在山谷中坚持斗争(《南齐书卷五十八》)。
到了唐代，老蛮头吴着冲、惹巴冲、楷巴冲为永顺、龙山、保靖一带土家先民的“头领”。唐末天下乱起，江西吉水人彭咸当了辰州刺史，其势力到了四水流域。蛮头吴着冲延彭氏为助理，彭氏以私恩结人心，日渐强盛，与漫水土司之弟向伯林勾结，把吴着冲逐死于洛塔山洞，接着平定了惹巴冲、楷巴冲，并其地，彭氏进入了溪州地区。到了梁开平年间(910年前后)，彭咸的儿子彭士愁当了溪州刺史，统治了今天湘西这块地方，做了包括今天永顺、龙山、保靖、花江等二十州的都誓主，设都城于下溪州，谓之下州。《宋史·西南溪诸蛮》称“北江蛮酋最大者曰彭氏，世有溪州。”彭士愁当了二十多年的溪州刺史，势力逐渐强大，开始向外扩张。《九国志》载，“士愁之世昆弟力强多积聚，故能诱胁诸蛮皆归之。胜兵万余人，春夏则营种，秋冬则暴掠，长沙四境最被其害。”
后晋天福四年(939年)，率铺(今麻阳)、奖(今花江)、溪(今保靖、永顺、龙山)诸蛮，大举东出，争夺辰、澄二州，引起了与长沙楚王马希范有名的“溪州之战”。结果彭士愁大败，双方议和，后晋天福五年(940年)订立了盟约，在永顺会溪坪立铜柱为界(今已移至永顺王村)，互不侵犯。溪州战役后，彭士愁建立了以保靖、永顺为主的土司基地，长子彭师裕守下溪州（永顺、龙山），次子彭师高守保靖州(保靖)，子孙世代沿袭，统治土家族地区，至雍正六年(1728年)“改土归流”，才结束八百余年的土司统治历史。
