安顿好衡儿之后，他当晚就潜入到楚天行的府第。想不到这府第今天却戒严起来了，几乎每个位置都有人在巡逻着。黄药师更害怕是陆管家被人抓住了，所以才这样戒严，以防有人来劫走他。由于功力只有几成，黄药师未能施展好他的轻功，所以这样走着还有点冒险。他小心翼翼地寻了两刻多钟，才终于发现了陆管家在一客房里面，这个客房更是戒严得厉害，黄药师也不容易靠近他。

黄药师躲在那里找着机会，随着一更天到之后，那里的守卫才减少了一点。借着这些守卫的倦意和夜色，黄药师终于从他们眼下窜了进那客房。那个刚睡下了的陆管家，也马上醒了过来。黄药师马上小声地叫他不要大声叫，并说明来意要救他走。陆管家于是又点燃了蜡烛，才看见黄药师，他对黄药师这样来救感到奇怪，告诉黄药师他并没有被人关着。黄药师听着他的解释，才知道，原来这些守卫不是要守着他不让他离去，而是要保护他免受伤害。

陆管家说到了宝藏的事，也说到自己要为楚天行完成这个遗愿才能离开。他表示其实都想到桃花岛照顾黄药师和那些小孩的，但这是楚天行留下的心愿，楚天行也有恩于他，所以他一定要为他完成这个心愿。黄药师没有劝他，而且向他打听那些孩子，他很担心那些孩子们，只想先把他们带走了。陆管家先说明那些孩子都很好，不用他担心，然后又建议黄药师明天再来接走他们，因为现在都是半夜时分了。

就在陆管家说着那些孩子的情况时，外面突然有很多人围过来了。黄药师明白，是他被发现了，而因为这明教的人还是陆管家的朋友，黄药师并不担心什么。一个明教的头目走进客房，向陆管家打听情况，陆管家便如实告诉了他。那个头目知道原来是东邪黄药师之后，态度变得非常好，还马上叫人去通知上头。

一个老头带着几个打扮得挺不错的人，都进来看黄药师了。早闻黄药师武功高强，行侠仗义，今天一见确是有过之而无不及啊。黄药师没有怎么理会他，只是继续向陆管家打听那些孩子的情况。那个老头有点不高兴了，但他还是继续赞颂黄药师的伟绩，又提及到明教的情况。黄药师听了几句，就明白了，原来这个老头也想把他拉进明教里。黄药师可不想和他多费唇舌，继续和陆管家约好明天来接走那几个小孩，就离开了。

回去之后，黄药师又把这些情况都告诉了衡儿，衡儿也赞成第二天早上去接孩子。她还提早告诉了黄药师，他们带着孩子回去之后，就要在附近请一个奶妈，因为那梅的女儿现在才几个月大。黄药师一边点头答应，一边也开始算着他身上还剩多少的银两。衡儿看看他的眼神就知道他在想什么了，于是又继续解下自己身上的首饰，给他去换钱。黄药师不想衡儿这么做，但现在他也一下子没有办法弄到更多的银两。

第二天，他们如期去到楚天行的府第，陆管家和那一大堆明教的人也早就等着他们了。黄药师没有理会其他人，只和陆管家打着招呼，就要把小孩都带走了。然而昨天夜里那个老头，又出来阻止了，他的理由是黄药师很难照顾这么多的孩子，相比之下他明教有的是人，一定会比黄药师照顾得更为周到。黄药师没有听这些，衡儿却出来说话了：你们知道这些孩子他们的父母都是怎么死的吗？我不会再让他们接触江湖的事，不会让他们再卷入你们的纷争中。在一旁的黄药师又接过话了：陆管家，难道经历了东雄会的灭门，你还不明白吗？你还打算让你的孩子继续留在这里吗？黄药师的话很有用，陆管家怎么会不明白呢，看着东雄会的覆灭，再加上这明教的内部矛盾，对宝藏的计划瓜分和不同意见，他什么都明白了。于是对黄药师说：恩公，请你们把乘龙也带走吧，我也不想让他再留在这血腥的江湖了。

想不到陆管家这么快也被说服了，那个老头也一下子没有话说了。黄药师这时候还继续说：陆管家和我们一起走吧！陆管家听了很欣慰，他也打算在完成宝藏这事之后，也随黄药师去桃花岛隐居了，这里的一切，他早就不想再理了。衡儿这时候又说：把所有事都处理好了，再离开当然好了。只是时不待人，当你什么都处理好的时候，或者一切已经完全不同了