西汉时为桃县地，东汉时曾设桃城驿。
隋朝开皇十六年（公元596年），始置衡水县，以后历代归属虽屡有变更，而境域大体没变。
新中国成立后，衡水县属衡水专区。专员公署驻衡水县城。
1952年11月，衡水专署撤销，衡水县划归石家庄专区。
1958 年12月，撤销武邑、枣强、冀县，并入衡水县。
1960年5月，撤销石家庄专区，衡水县划归石家庄市。
1961年5月，衡水县属同年复置的石家庄专区。
1961年7月，析衡水县并复置冀县(包括原枣强县地)。
1962 年3月，又析衡水县复置武邑县，仍属石家庄专区。
1962年6月，复置衡水专区，衡水县属之。
1982年1月，衡水镇从衡水县划出，建立县级衡水市，隶属衡水地区。
1983年3月，衡水县撤销，辖区并入衡水市。
1996年7月，衡水地区撤销，设立地级衡水市。原县级衡水市改为桃城区。
