冷水江市位于湖南中部、资江中游、雪峰山东麓,地处资江北岸。历史上为新化县管辖。
1950年6月,将新化县漆矿、七里2乡和飞水岩、矿山、冷水江3镇划出,成立锡矿山矿区人民政府,属邵阳专署。1950年11月,将新化县兴隆、中连、下连、船山、晏家、永溪、车田7乡划入锡矿山矿区管辖。 1952年8月,改属新化县第二十一区。
1960年2月,将新化县禾青、毛易、矿山、中连、渣渡5个人民公社划出置冷水江市。属邵阳专署。
1962年7月,撤冷水江市入新化县,就地置冷水江特区。
1969年9月,复置冷水江市,将新化县冷水江、矿山2镇和中连、毛易、梓龙、渣渡、潘桥、金竹山7个人民公社划为该市行政区。属邵阳专区。
1977 年9月,划归涟源行署(1982年12月改名为娄底行署)管辖。
1983年7月,复置娄底地区,设立冷水江市。
1999年1月,娄底地区撤地设市,该市属之。