关于吴棠的传说中，流传最广的便是恽毓鼎的《崇陵传信录》中一个故事：道光年间，湖南道员刘某谢世，其子扶棺回籍。丧船抵达清河县(今江苏淮阴)地界时，派人上岸向刘父故交、隐源清河县令吴棠报信。吴棠得信后，立即派人捎带三百两白银，去船上送给刘某的儿子。仆役来到河边，看见一艘丧船停在那儿，上前一问，果是某道员之灵，便呈上三百两白银作为祭礼。船上的姐妹两人，接过银钱，千恩万谢。但此船的灵主是安徽皖南道惠征。他的两个女儿也是扶柩还乡，船停在清河码头。且川资不够，正处困顿之中。吴棠听了仆役禀报，觉得很不对劲，便派人再去打听，原来码头上停着两艘丧船，仆役送错了地方。但送出去的祭礼又不好要回来，吴棠干脆来个将错就错，送个顺水人情算了。于是，他第二天又封了三百两银子，亲自送到刘某船上。祭拜之后，再到另一艘丧船上，祭拜惠征。两个少女见到素昧平生的吴县令如此仗义，顿时，感激涕零。姐姐对妹妹说：“千万要记住咱们的恩人，他日若能富贵，一定报答这个贤良的人！”并将吴的名帖珍藏在妆盒中。这位姐姐后来被选入宫，成为咸丰皇帝的贵妃。咸丰死后，即为垂帘姿携乎听政，集中国军政大权于一身的慈禧太后。于是，吴棠官运亨通，由一个小小的县令，在几年内数次被破格提拔，先后出任两广总督、闽浙总督、四川总督。
当然，这只是传说，吴棠的官运亨通，完全是他个人出色的才能，吴棠在任知县时，就以勤政化民，治水赈灾，亲剿捻患，政声卓著，波及朝野迹悉。早在咸丰初年河道总督杨以增就因吴棠在桃源、邳州、清河任上治河有功，特别是整治丰口漫堤一事，多次上书朝廷保荐；同时，户部左侍郎、太常寺少卿王茂荫亦上疏举荐吴棠，获得咸丰帝全面赞同，咸丰帝降旨河督杨以增察看，后杨又上书赞扬吴棠勤政为民之实才，使“天子知其名”，开升迁之坦途。
