胶莱运河的开通，在当时其目的主要在于服务南北航运，可以大大减少船只绕道胶东半岛的航程。但在此后，我们从史籍中所看到的元代所形成的海上航线中，均不见对胶莱运河的使用。元代南北海运在前后时期上，主要三条航线是：
一、从江苏太仓刘家港出发，经江苏启东、盐城、连云港，进入山东诸州、胶县、胶南、崂山、成山，到达天津界河口。
二、从江苏太仓刘家港出发，经江苏启东，至山东半岛成山、刘公岛、芝罘岛，到达天津界河口。
三．从江苏太仓刘家港出发，直达山东半岛成山、再到达天津界河口。
前后所形成的这三条航线的主要差别，其实就是逐步远离沿岸航行，这主要得益于元代造船技术与航海技术的进步，从而可以使远洋航行的安全性得到大大提高。但尽管如此，如果之前胶莱河的开通非常有效果，无疑直接从黄海经胶莱河进入渤海，则可以大大节约航程，但从史料中我们可以看到，在这些航线中，从来没有使用过胶莱河，可见胶莱河在当时是无法使用的。
为什么元代在动议开通胶莱河后，在南北航运中不见使用呢？元代文献中没有给出详细原因。但在明代文献中也许可以看出点原委。《明史》卷68《河渠志五·胶莱河条》有记载：“胶莱河，在山东平度州东南，胶州东北。源出高密县，分南北流。南流自胶州麻湾口入海，北流经平度州至掖县海仓口入海。议海运者所必讲也。至元十七年，莱人姚演献议开新河，凿地三百余里，起胶西县东陈村海口，西北达胶河，出海仓口，谓之胶莱新河。寻以劳费难成而罢。”由此可见，元代所谓开通胶莱河也只是次动议，并没有真正付诸实施。
到了明代，南方经济发达，北方政治中心的社会格局并没有改变，南北漕运再次成为一个重要社会问题，明代南北漕运的主要特点是海道和运河兼重。在运河运输上，明代更大规模的重新整修了京杭大运河；而在海道运输上，关于胶莱河的开凿与否再次提到议程。从《明史》的相关记载中我们可以看出，关于胶莱河的开通与否，曾经过多次争论：
《明史》卷223《王宗沐列传》记载：“隆庆五年，给事中李贵和请开胶莱河。宗沐以其功难成，不足济运，遗书中朝止之。”
《明史》卷68《河渠志五·胶莱河条》：“明正统六年，昌邑民王坦上言：‘漕河水浅，军卒穷年不休。往者江南常海运，自太仓抵胶州。州有河故道接掖县，宜浚通之。由掖浮海抵直沽，可避东北海险数千里，较漕河为近。’”部覆寝其议。
嘉靖十一年，御史方远宜等复议开新河。以马家墩数里皆石冈，议复寝。十七年，山东巡抚胡缵宗言：“元时新河石座旧迹犹在，惟马壕未通。已募夫凿治，请复浚淤道三十余里。”命从其议。
至十九年，副使王献言：“劳山之西有薛岛、陈岛，石砑林立，横伏海中，最险。元人避之，故放洋走成山正东，逾登抵莱，然后出直沽。考胶莱地图，薛岛西有山曰小竺，两峰夹峙。中有石冈曰马壕，其麓南北皆接海崖，而北即麻湾，又稍北即新河，又西北即莱州海仓。由麻湾抵海仓才三百三十里，由淮安逾马壕抵直沽，才一千五百里，可免绕海之险。元人尝凿此道，遇石而止。今凿马壕以趋麻湾，浚新河以出海仓，诚便。”献乃于旧所凿地迤西七丈许凿之。其初土石相半，下则皆石，又下石顽如铁。焚以烈火，用水沃之，石烂化为烬。海波流汇，麻湾以通，长十有四里，广六丈有奇，深半之。由是江、淮之舟达于胶莱。逾年，复浚新河，水泉旁溢，其势深阔，设九闸，置浮梁，建官署以守。而中间分水岭难通者三十余里。时总河王以旗议复海运，请先开平度新河。帝谓妄议生扰，而献亦适迁去，于是工未就而罢。
三十一年，给事中李用敬言：“胶莱新河在海运旧道西，王献凿马家壕，导张鲁、白、现诸河水益之。今淮舟直抵麻湾，即新河南口也，从海仓直抵天津，即新河北口也。南北三百余里，潮水深入。中有九穴湖、大沽河，皆可引济。其当疏浚者百余里耳，宜急开通。”给事中贺泾、御史何廷钰亦以为请。诏廷钰会山东抚、按官行视。既而以估费浩繁，报罢。
隆庆五年，给事中李贵和复请开浚，诏遣给事中胡槚会山东抚、按官议。槚言：“献所凿渠，流沙善崩，所引白河细流不足灌注。他若现河、小胶河、张鲁河、九穴、都泊皆潢污不深广。胶河虽有微源，地势东下，不能北引。诸水皆不足资。上源则水泉枯涸，无可仰给。下流则浮沙易溃，不能持久。扰费无益。”巡抚梁梦龙亦言：“献占执元人废渠为海运故道，不知渠身太长，春夏泉涸无所引注，秋冬暴涨无可蓄泄。南北海沙易塞，舟行滞而不通。”乃复报罢。
万历三年，南京工部尚书刘应节、侍郎徐栻复议海运，言：“难海运者以放洋之险，覆溺之患。今欲去此二患，惟自胶州以北，杨家圈以南，浚地百里，无高山长坂之隔，杨家圈北悉通海潮矣。综而计之，开创者什五，通浚者什三，量浚者什二。以锥探之，上下皆无石，可开无疑。”乃命栻任其事。应节议主通海。而栻往相度，则胶州旁地高峻，不能通潮。惟引泉源可成河，然其道二百五十余里，凿山引水，筑堤建闸，估费百万。诏切责栻，谓其以难词沮成事。会给事中光懋疏论之，且请令应节往勘。应节至，谓南北海口水俱深阔，舟可乘潮，条悉其便以闻。
山东巡抚李世达上言：“南海麻湾以北，应节谓沙积难除，徙古路沟十三里以避之。又虑南接鸭绿港，东连龙家屯，沙积甚高，渠口一开，沙随潮入故复有建闸障沙之议。臣以为闸闭则潮安从入？闸启则沙又安从障也？北海仓口以南至新河闸，大率沙淤潮浅。应节挑东岸二里，仅去沙二尺，大潮一来，沙壅如故，故复有筑堤约水障沙之议。臣以为障两岸之沙则可耳，若潮自中流冲激，安能障也？分水岭高峻，一工止二十丈，而费千五百金。下多碙石，掣水甚难。故复有改挑王家丘之议。臣以为吴家口至亭口高峻者共五十里，大概多碙呴石，费当若何？而舍此则又无河可行也。夫潮信有常，大潮稍远，亦止及陈村闸、杨家圈，不能更进。况日止二潮乎？此潮水之难恃也。河道纡曲二百里，张鲁、白、胶三水微细，都泊行潦，业已干涸。设遇亢旱，何泉可引？引泉亦难恃也。元人开浚此河，史臣谓其劳费不赀，终无成功，足为前鉴。”巡按御史商为正亦言：“挑分水岭下，方广十丈，用夫千名。才下数尺为碙石，又下皆沙，又下尽黑沙，又下水泉涌出，甫挑即淤，止深丈二尺。必欲通海行舟，更须挑深一丈。虽二百余万，未足了此。”给事中王道成亦论其失。工部尚书郭朝宾覆请停罢。遂召应节、栻还京，罢其役。嗣是中书程守训，御史高举、颜思忠，尚书杨一魁相继议及之，皆不果行。
崇祯十四年，山东巡抚曾樱、户部主事邢国玺复申王献、刘应节之说。给内帑十万金，工未举，樱去官。十六年夏，尚书倪元璐请截漕粮由胶莱河转饷，自胶河口用小船抵分水岭，车盘岭脊四十里达于莱河，复用小船出海，可无岛嶕漂损之患。山东副总兵黄荫恩献议略同。皆未及行。”
此外，《明史》卷79《漕运》条中亦载：“隆庆中，运道艰阻，议者欲开胶莱河，复海运。由淮安清江浦口，历新坝、马家壕至海仓口，径抵直沽，止循海套，不泛大洋。疏上，遣官勘报，以水多沙碛而止。”
由此可见，元明二代，关于胶莱河开通与否的问题上，经过多次的争论以及具体的实践，均告以失败，其中主要有两个问题一直是当时社会无法解决的：一个就是泥沙极易淤积，前开后淤，虽花费巨万，但劳而无功，所谓“大潮一来，沙壅如故。”其二就是水量不能得到充分保证，运河虽开但无充足水量，依然无法行船。
胶莱运河的开凿与否，是一项必定会对当地生产生活产生重大影响的工程，且不说这一工程对当地政治、经济、文化等诸多方面所产生的连锁反应，仅就工程本身的可行性论证来讲，也需要更加的科学、缜密、细致。
