之后的时间里，李杰便在白沙村住下了，除了岁考回去了一趟，因为想要参加乡试，必须要在各省提学官举行的岁考中，成绩名列前两等者，才能参加乡试。剩下的其余时间李杰均在春阳台或制艺或习武，不论是在制艺一道，还是在武学一道都是受益良多。
白沙先生会试虽然屡试不中，不过这个可不是他的制艺水平不行，主要还是当朝程朱理学根深蒂固，陈献章对外表现出来的思想俨然不是这个路子，他的“崇自然”“贵知疑”“贵自得”的思想，不受当权者所重。
当时吏部侍郎尹旻（“纸糊三阁老、泥塑六尚书”中的吏部尚书）因为白沙先生的一句暗讽诗句，怀恨在心，其子拜师又被拒绝，便从中作梗，让陈献章的试卷沾上污渍，便被罢黜了。
在四十二岁参加完第三次会试仍不得中，之后便熄了科考的心思，隐于乡里一心治学。除了成化十八年那次，经广东左布政使彭韶和都御使朱英举荐入京候官，结果三个月后，因老母思子心切，遂匆匆而归，自后屡荐不起。
晚年间他更是一心为他人做嫁衣，传授学问于徒弟，感于其德学之高，四方慕名前来求着者日益众，“往来东西两藩部使以及藩王岛夷宣慰，无不致礼于先生之庐”，盛极一时，对于这些宾客学者，陈献章有教无类，诲人不倦。史料记载：“至于浮屠羽士、商农仆贱来谒者，先生悉倾意接之，有叩无不告”。
随着陈献章的学生屡有高中，名声更是日益高涨，被人称为“醇儒”，成化十八年那次赴京应荐，途径广州时，城内士子慕名而来，“由城南至藩台，观者数千万人，图其貌者以百数十计”。入京之后，公卿大夫日造其门数百，有人说道圣人复出。
这天李杰放学回到租住的小院，看到方仪神色欣喜异常，遂问道：“怎么，今天发生什么事情这么开心？”
看到李杰回来之后，方仪眼神一亮开心的说道：“我见到我阿哥了！”
李杰担心方仪受骗，开口说道“你之前不是说没有亲人了吗？这个哥哥是从哪里冒出来的？”
“不是，不是，之前我哥自从五年前外出之后，一直杳无音讯，我们全家都以为他已经遭遇不幸了，所以我之前说没有亲人了，谁曾想到现在还能再见到他。”说着脸上又带上欲言又止的神色。
李杰见状问道：“这是好事啊！怎么还有什么别的事情吗？”
方仪脸上神情变幻，片刻后咬了咬牙说道：“公子，你先答应我不生气，我便和你说。”
李杰笑着点了点头。
随后方仪喊道：“哥，你出来吧。”
只见房内走出一个年约二十许的青年，来人身着一套蓝色劲装，背负长剑，剑眉星目，李杰越瞧越觉得眼熟。
“是你！”
方坤抱了抱拳说道：“那夜多有得罪，只是当时不知该如何面对小妹，所以只得暗自守护，怎知被公子发现，结果反而交起手来。”
闻言李杰摆了摆手道：“既然是误会，那就算了，我们也算是不打不相识了。”
方仪见两人和解之后，展颜一笑。两人当中一个是至亲的哥哥，一位是她早已芳心暗许之人，自那夜交战后，李杰表现的便完全不同于往日，之后一路上神情紧张、脸色紧绷。如果两人这次再起冲突，她夹在中间也是左右为难，不知该如何事好。好在现在两人之间的误会解开了，皆大欢喜。
李杰在之后的交谈中了解到，此人名叫方坤，方仪一母同胞的哥哥，自十七岁离家出门闯荡之后，因为一次误入山林，跌落山崖，不但侥幸活命，还得到了一字慧剑门“剑神”卓不凡的传承。
因为崖高陡悬，一直在谷底苦练武功，好在谷底有一深潭不至于饿死，过了几年野人般的生活，武功大成后，方才得以出谷，出谷后发现时间已经过去五年了，真是山中不知岁月长。
其后归心似箭，一路风尘仆仆、披星戴月地向家里赶去。哪知回到家乡之后，乡人告知他，他们家在两个月之前已经举家迁徙去南京了，方坤得知此消息之后又是一路尾随，多方查探，等到了福州城后便彻底失去了家人的踪迹。
随后他先是前往下一站建宁府，始终不见家人踪迹，心里焦急不已深怕出了意外，然后又赶回福州城，在城内多方打探，在一次偶然间瞥见方仪的身形，觉得有点像自己的妹妹，经过一番调查之后得知了方仪的遭遇，当时方坤得知家人遇害的消息，对于他来说这个噩耗宛如晴天霹雳。
方坤心中懊悔不已，只恨自己往日里没有全身心投入练武，五年时间里自己每天只要多练一个时辰，只要自己早日归家，那么后面的事情决计不会发生。只差了两个月时间便同父母天人永隔，之后每日借酒消愁，颓废了好长一段时间，等到缓过神来，又不敢去见自己的妹妹，不知道该如何面对她。
回过神的方坤暗下决心，决定日后在暗中守护方仪，决不让悲剧再次发生，见林家对方仪也算不错，没有把方仪当做外人，加上平日里的观察，方仪看向李杰的目光明显不同寻常，更是彻底熄了见面的心思。
在李杰和方仪两人出行前往新会的日子里，李杰第一次外出时，他还远远的跟踪了一趟，见李杰不是出去寻花问柳，而是出去行侠仗义，对于李杰他更是满意，年纪轻轻便取得生员功名，为人自律而且没有一些腐儒的习气，武功