1987年4月，山西省潇河灌区管理局提出建立“灌区协作组”。1989年创刊《灌区建设与管理》内部刊物，并分发全国大中型灌区管理单位。1990年，原全国政协副主席、原水电部部长钱正英同志和原水电部副部长李伯宁同志为刊物题词并题写了刊名。当时，全国灌区建设与管理协作组成员27个。
1990年12月21日，在安徽省淠史杭灌区管理总局召开灌区建设与管理协作组会议，原水利部副部长侯捷出席会议，会议决定“灌区建设与管理协作组”更名为“全国灌区管理协会”。1991年，经水利部同意又更名为“中国灌区协会”(水人劳（1991）110号)，同年12月在民政部注册登记（社证字第0850号）。1992年，在湖南韶山灌区工程管理局召开第一届会员大会，原水利部农村水利司副司长乔玉成当选为会长，会员单位增加到74个。
1997年，在海南海口市召开了第二届会员大会，原水利部农村水利司副司长冯广志当选为会长，会员增加为131个。
2003年，第三届会员大会以通讯方式召开，冯广志当选为会长，会员增加为300个。
2008年，第四届会员大会在陕西西安市召开，原水利部农村水利司司长李代鑫当选为会长，会员增加为308个。
2012年，第五届会员大会在北京市商务会馆召开，原中国灌溉排水发展中心主任李仰斌当选为会长，会员增加为343个。
根据国务院关于行业协会商会改革的精神，按脱钩联合工作组办公室《关于做好第二批全国性行业协会商会与行政机关脱钩试点工作的要求》（联组办[2016]17号）和《关于中国农业节水和农村供水技术协会等2家协会脱钩实施方案的批复》（联组办[2017]12号），2017年7月正式与水利部脱钩，同时完成与原挂靠单位——中国灌溉排水发展中心在机构、职能、资产财务、人员管理、党建、外事等事项的全面分离。2018年12月在广西南宁召开了第六届会员大会，原中国灌溉排水发展中心主任李仰斌当选为会长，会员单位增加到425个。
2014年9月26日，经五届四次理事会通过设立微灌分会，龚时宏任分会会长；2021年11月5日，李光永任分会会长。
2017年8月18日，经五届七次理事会通过设立灌区信息化分会，张绍强任分会会长。
2017年9月5日，经五届五次常务理事会通过设立灌区量测水分会，谢崇宝任分会会长。
1999年3月，协会由水利部白广路综合楼迁址到西三环南路乙六号银河大厦办公。