众人对贾敬的回归并不觉得奇怪，儿子死了孙子还小，他不回来谁照看诺大的宁国府呢？不过私下里难免说他胡折腾，好端端的爵位没了官职没了，还不是照样做他的凡夫俗子？张元奇也听到一些议论，好在他不是个脸皮很薄的人，不管众人怎么议论，没有人能否认他是宁国府的老爷。保住了性命和财产的张元奇只管关起门来过日子，朝廷不来找他做官，连贾家都不来劳动他这辞过职的人做族长，族长的职务落在了贾赦的头上。

贾赦的不正经程度跟贾珍有一拼，接连有两位不走正道的带头人，贾家的家风越发败坏，连张元奇都听见人议论，说贾家只有门口的石狮子是干净的。贾赦不可能没有听说，只是装作不知道罢了。张元奇当然也不理会，他将贾敬的姬妾都打发了，熬不住鳏夫的日子，又想再娶一个。但贾敬已经年近半百，名声又有些不佳，没有好人家愿意把姑娘嫁给他。倒是有那些贪图势力卖女儿的，张元奇哪里敢认这样的人是他的老丈人？

最终张元奇从外面买了个妾回来，一边教导贾蓉，一边过自己的小日子。这回倒是没人笑话他，传宗接代是正经大道理，宁国府只有贾蓉一根独苗，确实人丁稀少。张元奇妾滕氏还没有怀孕，宁国府又来了个孩子。这个孩子名唤贾蔷，是贾代化的同母兄弟贾代仁的嫡孙。贾蔷的父母不幸早逝，按理说他的两个叔父应该承担抚养职责，但他们都说家里不甚宽裕，实在无力抚养。连他的几个堂叔父也这样说，张元奇只好接收了这个的孩子。

教导两个孩子是一件很辛苦的事情，尤其是已经有了初步的价值观的贾蓉。贾珍自己是个不学好的，贾蓉也颇有些油滑，不过岁数小些，还没到让人不能接受的程度。张元奇不敢送他去家学，专门聘请了性子有些严厉的王举人在家教导。王举人倒有些手段，在贾家住了四五年，居然把贾蓉教导成了一个看上去很方正的孩子。当然贾蓉的本性并不方正，不过张元奇已经很满意了，反正他是现成的将军，只要不惹出削爵抄家的祸事来，能平平安安地终老就行。

张元奇很想把贾蔷和自己的儿子贾璋、贾琬也交给王举人，但是王举人中了同进士，选了官到外地作知县去了。张元奇只得另外聘请了一位管举人。这对于别人来说是正常的，对于贾敬却是不正常的。一个进士难道不如举人会教书？贾敬既然不为朝廷效力，正该好生教导子孙才是。人们想不到这个贾敬不是中了进士的贾敬，只道他惦记着修仙求道，不肯教导子孙如何谋求红尘中的荣华富贵。至于张元奇买了妾生了儿子，众人都理解成那是道家的阴阳双修，贾敬的名声被传得越发荒唐了。