"问我祖先何处来，山西洪洞大槐树；祖先古居叫什么，大槐树下老鹳窝"。这段北方的民谣，相信很多北方人都熟知（特别是河南、山东一带）。在中原一带，很多人都认为自己的祖先是来自山西洪洞，并且有关于大愧树的传说也是有着诸多版本。

据民国版《洪洞县志》记载："明洪武、永乐间屡移山西民于北平、山东、河南等处。树下为集会之所。传闻广济寺设局驻员，发给凭照川资"。根据这段记载可以推测出大愧树大规模移民的时间点大致在明朝初年。

这点跟诸多的传说基本吻合，在大愧树移民的传说当中，均与明太祖朱元璋跟明成祖朱棣父子二人有关。流传比较广的是，元末明初农民军与元军的争斗，导致中原地区人口递减，最后不得已从山西调来新的户口。

相传元末天下大乱，朱元璋的农民军与元军在河南怀庆府地区展开拉锯战。战争当中手无寸铁的老百姓，只能看谁更强，就站在谁那边。当农民军来了，当地老百姓就在门面挂上拥护他们的牌子；当元军过来了之后，老百姓又挂上拥护元军的牌子。如此反复，搞得老百姓疲惫不堪。后来有个自以为聪明的人想了一条妙计。便在他家的牌子正面上写拥护农民军，背面上写拥护元军。

这样一来省却了诸多的不便，周边百姓纷纷效仿。有一次农民军攻过来，一户老百姓家的牌子掉到了常遇春马下。老百姓这样投机取巧的事败露后，常遇春上告给朱元璋。朱元璋大怒下令屠杀怀庆府的当地百姓，此举使得当地人口锐减，到了朱元璋当上皇帝后，因该地人口较少，便从人口密集的山西洪洞县往怀庆府移民。

另一个故事里面屠杀当地百姓的人变成了朱元璋的得力干将胡大海。相传元末有位姓胡的举人进京赶考，行至河南的林虑山下，被一只母猩猩掳进山洞成亲。后母猩猩生下一子，浑身长毛，像猴又像人，举人为他起名胡大海。待到胡大海长大之后，父子二人逃出山洞，在逃亡路上胡姓举人落水，留下孤零零的胡大海。因为胡大海身上多毛且长相丑陋，人们见了都避之不及。从此胡大海内心当中埋下了仇恨的种子。

等到胡大海功成名就之后，将自己年轻的遭遇跟朱元璋说明，希望朱元璋允许他报仇。面对得力干将的请求，朱元璋一方面不忍生灵涂炭，另一方面不忍兄弟寒心。于是规定胡大海只能在射一箭之地范围里报仇。胡大海到了河南之后，便将箭射在一只大雁的尾巴之上，跟随着这只大雁从河南杀到了山东。于是乎，河南、山东尸横遍野，血流成河。等朱元璋得知消息，为时已晚，他只好下令从山西洪洞往河南、山东迁民。

至于与朱棣联系，更多的是"燕王扫北"的传闻。朱棣当年发动靖难之变时，大军从北京一路南下，连攻河北、河南、山东，最后攻向南京。这一路上受到了建文帝的军队和百姓们的抵抗。双方交战数年后，朱棣最终攻下南京。长期的战乱导致河北、河南、山东等地人烟稀少。与河南、山东相比，地处黄土高原的山西因为远离战场，而免遭战乱。朱棣登上皇位后，为了补充河南、山东一带的人口，便从临近的山西洪洞调来了大量的人口。

至于为何从洪洞迁移出来的人会对这大愧树念念不忘，这个当年人口迁出时的不舍有着很大的联系。据说当年朝廷负责人口迁移的官员，深知当地百姓不愿离开家乡，便下令说：凡自愿迁民者可以到广济寺办理手续，不愿意迁走的人则到大槐树下集合等候裁定。

此话一出，大量村民都聚集到了大愧树下集合，等到人都聚集到树下时。朝廷官差涌现而来，将百姓团团围住，警告如果百姓不迁就是抗旨不遵。当时大槐树上有个老鸹窝，百姓们望着老鸹窝，哭着说："老鸹还有个窝呢，可咱们到何处才有个家啊"。从此，大槐树便成了移民告别故乡的标志。

后来这些迁移出去的老百姓为表示不忘故土，保留这份从大槐树迁走的历史记忆，便在迁居地栽种槐树枝，将新生的大槐树视为故乡的象征。