远古时期，洪水泛滥，大禹铸鼎，划分九洲，最终治理了水患。考古学家认为，大禹治理的应该是黄河。早在4000年前，黄河流域就有了农业生产活动，大禹治水是为了疏导阻塞的河道，让黄河之水不再侵扰两岸耕种的农民。大禹成了历史上第一位治理黄河取得成果的英雄。由于大禹功绩突出，接替了舜的位置，成为君主。于是有了黄河清，天下宁的说法。
《汉书》中记载，黄河没有构筑堤坝的时候，遇到水灾，河水卷带的泥沙在水退之后会分布黄河两岸。黄河构筑堤坝以后，仅过了三四百年，黄河就变成了高于地面的“悬空河”。这样一来，还要想新的办法进行治理。办法没有想出来，就出现了大规模的水灾。西汉时期，黄河发了两次大水。一次是汉武帝时期，黄河在濮阳决口，皇帝派遣十万民工，断断续续用了20年的时候，才堵上了缺口。另一次在王莽篡权的时候，黄河决口直接从山东流入大海。两次水患，让百姓苦不堪言。
到了东汉时期，有一个叫王景的治水官员，参考大禹治水的方法，在筑坝的基础上提出了构建支流，帮黄河分流的办法。他在朝廷的支持作文人网Www.ZuoWenren.coM下，重新疏导河南到山东一带的黄河流域，让河水在山东可以顺利出海。王景规划的河道一直使用了近千年，到了北宋初年还在发挥功效。
北宋年间，东京汴梁靠近黄河。如果黄河发生水患，将会危及京城的安全，所有北宋的皇帝都特别重视治理黄河的工作。宋仁宗执政时期，黄河又在濮阳一带决堤，于是皇帝下令，修建两条河道，让黄河可以从北方和东方两处流入大海，减轻主河道的负担。
到了元明清时期，三个朝代的皇帝都在北京定都，为了解决粮食南北运输的问题，就开始琢磨如何利用黄河发展水运。北宋时期开发的黄河北方入海口在天津，北京距离天津很近，如果可以打通从北京到天津的水路运输，就能连接上黄河了。于是就有两条运河分别叫济州河和会通河，连通黄河水系，便于南方的粮食运送到北方。
治理黄河取得成就最高的朝代是明朝，有一个叫潘季驯的官员，他通过治河实践写出了一部理论著作叫《河防一览》。这部书对清代官员治理黄河起到了极大的帮助。