1964年8月，在西安成立黄河中游水土保持委员会，将天水、西峰、绥德水土保持科学试验站划归该委员会领导。
1978年，天水、西峰、绥德三个水土保持科学试验站回归黄河水利委员会领导。
1980年5月，在西安建立黄河中游治理局，恢复黄河中游水土保持委员会，与黄河中游治理局合署办公。
1988年3月，天水、西峰、绥德三个水土保持科学试验站转交黄河中游治理局领导。
1990年8月，黄河水利委员会调整机构，黄河上中游管理局为委属二级机构正局级事业单位，黄河职工疗养院为黄委下属处级单位。
1992年9月，成立晋陕蒙接壤地区水土保持监督局（副局级），由黄河上中游管理局代管。
1999年1月，成立黄河流域水土保持遥感普查及监测项目办公室。
2000年3月，成立黄河水土保持天水治理监督局、西峰治理监督局、绥德治理监督局，分别与天水、西峰、绥德三个水土保持科学试验站合署办公。
2001年3月，黄河上中游管理局成立黄河流域水土保持环境监测中心。[3]
主要职责（一）负责《水法》、《防洪法》、《水土保持法》等有关法律、法规实施情况的监督检查，拟订黄河流域水土保持的政策法规和规章制度。
（二）组织编制黄河流域水土保持规划、黄河上中游（不含山西省、陕西省境内的黄河干流河道，下同）区域性综合规划及有关专业和专项规划，规划批准后负责监督实施；组织开展流域内国家重点水土保持建设项目的前期工作。根据授权，负责流域内国家重点水土保持建设项目的审查审批工作。负责有关年度投资计划的编报工作。
（三）负责黄河上中游水资源的管理和监督，统筹协调黄河上中游生活、生产和生态用水。组织开展黄河上中游水资源调查评价工作，按规定开展黄河上中游水能资源调查评价工作。按照黄委批准的黄河水量分配方案，负责黄河上中游全额和限额以上取上口取水许可的监督管理；负责黄河上中游黄河干流及重点支流的水量统一调度督察和水权转让项目实施的具体监管工作。按规定或授权，负责黄河上中游取水许可和水资源论证等制度的监督落实工作。
（四）承担黄河上中游防汛抗旱协调、监督和指导工作，按规定或授权对黄河上中游干支流水利水电工程防汛（凌）工作进行督查。按规定组织、协调管辖范围内的水利突发公共事件的应急管理工作。
（五）负责授权范围内黄河上中游河道的管理、负责河道管理范围内建设项目的论证、审查许可、以及在建项目的日常监督管理。负责黄委审批的在建河道建设项目施工期监督管理工作。指导、监督黄河上中游河道采砂管理有关工作。
（六）按照授权，负责协调流域内水土流失防治工作，开展有关重点防治区水土流失预防、监督与管理，承担流域区内国家立项审批的大中型开发建设项目水土保持方案实施的监督检查，督促建设单位落实水土保持“三同时”制度。负责黄河流域水土保持生态环境监测中心站的日常工作，组织开展流域内水土流失监测、预报和公告。负责流域内水土流失预防、监督与监测的现代化建设。指导、协调流域内地方水土流失防治工作。负责黄河中游水土保持委员会办公室的日常工作。
（七）负责职权范围内的水政监察和水行政执法工作，查处水事违法行为；负责黄河上中游省际间的黄河水事纠纷的调处工作。负责安全生产工作及其直接管理的水利水保工程质量和安全监督。按规定或授权，负责流域内水土保持重点项目的建设管理，开展流域内中央投资的水土保持工程建设项目的监督管理，按规定承担有关水土保持中央投资建设项目和重点示范项目的组织实施。
（八）开展水利水保科技、对外合作交流和质量技术监督工作，受委托拟定水利、水土保持有关配套技术标准和规范性文件。承担有关水利、水保统计工作。负责开展水土保持科学试验研究、示范和技术推广工作。
（九）按照规定或授权，负责管理范围内水利水保国有资产的监管和运营；负责管理范围内水利水保资金的使用、检查和监督。
（十）完成委交办的其他任务。[5]
内设机构办公室
规划计划处
水政水资源处（水政监察总队）
监督处
财务处
人事劳动处（安全监督处）
科技处（总工程师办公室）
建设与管理处（防汛办公室）
监察处
审计处
离退休职工管理处
机关党委
工会[4]
