唐开元四年张说贬到岳州后，决定张榜招聘名工巧匠，在鲁肃阅兵台旧址修造“天下名楼”。有一位从潭州来的青年木工李鲁班，手艺高强，擅长土木设计，被张说相中。张限李木匠在一个月内设计出一座三层、四角、五梯、六门、飞檐、斗拱的楼阁图纸。谁知李鲁班摆弄了一个月的时间，设计出来的图纸只是一座过路小亭。张说很不满意，再限七天时间，一定要拿出与洞庭出水形胜相得益彰的有气派的楼阁图纸。

　　正当李鲁班一筹莫展时，一位白发老人了走过来，问清缘由，便把背的包袱打开，指着编有号码的木它它说：“这些小玩意儿，你若喜欢，不妨拿去摆弄摆弄，或许会摆出一些名堂来。若是还差点什么，就到连升客栈来找我。”李鲁班接过来，摆了又撤，撤了又摆，果然构成了一座十分雄壮的楼型。大家十分高兴，都说是祖师爷显灵，向白发长者道谢。老人说自己是鲁班的徒弟，姓卢。后来，老者在湖边留下了写有“鲁班尺”3字的木尺，一阵风不见了。工地上人群纷纷跪下，向老者逝去的方向叩头不止。 不久，一座新楼拔地而起，高耸湖岸，气象万千。