郭靖在舟中潜运神功，数日间伤势便已痊愈了大半。夫妇俩说起欧阳锋十余年不见，不但未见衰迈，武功犹胜往昔，这一掌若是打中了郭靖胸口要害，那便非十天半月之内所能痊可了。两人谈到洪七公，不知他身在何处，甚是记挂。黄蓉虽在桃花鸟隐居，仍是遥领丐帮帮主之位，帮中事务由鲁有脚奉黄蓉之名处分勾当。她此番来到江南，原拟乘便会见帮中诸长老会商帮务，并打听洪七公近况，但郭靖受伤，只有先行归岛。其后说到杨过，黄蓉便将他叫进内舱，询问前事。杨过说了母亲因病逝世、自己流落嘉兴的经过，郭靖夫妇想起和穆念慈的交情，均是不胜伤感。
待杨过回出外舱，郭靖说道：“我向来有个心愿，你自然知道。今日天幸遇到过儿，我的心愿就可得偿了。”当年郭靖之父郭啸天与杨过的祖父杨铁心义结兄弟，两家妻室同时怀孕。二人相约，日后生下的若均是男儿，就结为兄弟，若均是女儿则结为金兰姊妹，如是一男一女，则为夫妇。后来两家生下的各为男儿，郭靖与杨过之父杨康如约结为兄弟。但杨康认贼作父，多行不义，终于惨死于嘉兴王铁枪庙中。郭靖念及此事，常耿耿于怀。此时这么一说，黄蓉早知他的心意，摇头道：
“我不答应。”
郭靖愕然道：“怎么？”黄蓉道：“芙儿怎能许配给这小子。”郭靖道：“他父虽然行止不端，但郭杨两家世代交好，我瞧他相貌清秀，聪明伶俐，今后跟着咱俩，将来不愁不能出人头地。”黄蓉道：“我就怕他聪明过份了。”郭靖道：“你不是聪明得紧么？那有甚么不好？”黄蓉笑道：“我却偏喜欢你这傻哥哥呢。”郭靖一笑，道：“芙儿将来长大，未必与你一般也喜欢傻小子。再说，如我这般傻瓜，天下只怕再也难找第二个。”黄蓉刮脸羞他道：“好希罕么？不害臊。”
两人说笑几句，郭靖重提话头，说道：“我爹爹就只这么一个遗命，杨铁心叔父临死之际也曾重托于我。可是于杨康兄弟与穆世姊份上，我实没尽了甚么心。若我再不将过儿当作亲人一般看待，怎对得起爹爹与杨叔父？”言下长叹一声，甚有怃然之意。黄蓉柔声道：“好在个两孩子都还小，此事也不必急。将来若是过儿当真没甚坏处，你爱怎么就怎么便了。”
郭靖站起身来，深深一揖，正色道：“多谢相允，我实是感激不尽。”黄蓉也正色道：“我可没应允。我是说，要瞧那孩子将来有没有出息。”郭靖一揖到地，刚伸腰直立，听她此言，不禁楞住，随即道：“杨康兄弟自幼在金国王府之中，这才学坏。过儿在我们岛上，却决计坏不了，何况他这名字当年就是我给取的。他名杨过，字改之，就算有了过失，也能改正，你放心好啦。”黄蓉笑道：“名字怎能作数？你叫郭靖，好安静吗？从小就跳来跳去的像只大猴子。”郭靖瞠目结舌，说不出话来。黄蓉一笑，转过话头，不再谈论此事。
舟行无话，到了桃花岛上。郭芙突然多了二个年纪相若的小朋友，自是欢喜之极。
杨过服了黄蓉的解药后，身上余毒便即去净。他和郭芙初见面时略有嫌隙，但小孩性儿，过了几日，大家自也忘了。这几天中，四人都在捕捉蟋蟀相斗为戏。
这一日杨过从屋里出来，又要去捉蟋蟀，越弹指阁，经两忘峰，刚绕过清啸亭，忽听得山后笑语声喧，忙奔将过去，只见郭芙和武氏兄弟翻石拨草，也正在捕捉蟋蟀。武敦儒拿着个小竹筒，郭芙捧着一只瓦盆。
武修文翻开一块石头，嗤的一响，一只大蟋蟀跳了出来。武修文纵身扑上，双手按住，欢声大叫。郭芙叫道：“给我，给我。”武修文拿起蟋蟀，道：“好罢，给你。”揭开瓦盆盖，放在盆里，只见这蟋蟀方头健腿、巨颚粗腰，甚是雄骏。武修文道：“这只蟋蟀定是无敌大将军，杨哥哥，你那许多蟋蟀儿都打它不过。”
杨过不服，从怀中取出几竹筒蟋蟀，挑出最凶猛的一只来与之相斗。斗得几个回合，那大蟋蟀张开巨口咬去，将杨过的那只拦腰咬住，摔出盆外，随即振翅而鸣，洋洋得意。郭芙拍手欢叫：“我的打赢啦！”杨过道：“别忙，还有呢。”可是他连出三蟀，尽数败下阵来，第三只甚至被巨蟀一口咬成两截。
杨过脸上无光，道：“不玩啦！”转身便走。忽听得后面草丛中叽叽叽的叫了三声，正是蟋蟀鸣叫，声音却颇有些古怪。武敦儒道：“又是一只。”拨开草丛，突然向后急跃，惊道：“蛇，蛇！”杨过转过身来，果见一条花纹斑烂的毒蛇，昂首吐舌的盘在草中。杨过拾起一块石子，对准了摔去，正中蛇头，那毒蛇扭曲了几下，便即死了。只见毒蛇所盘之旁有一只黑黝黝的小蟋蟀，相貌奇丑，却展翅发出叽叽之声。
郭芙笑道：“杨哥哥，你捉这小黑鬼啊。”杨过听出她话中有叽嘲之意，激发了胸中傲气，说道：“好，捉就捉。”当下将黑蟋蟀捉了过来。郭芙笑道：“你这只小黑鬼，要来干甚么？想跟我的无敌大将军斗斗吗？”杨过怒道：“斗就斗，小黑鬼也不是给心欺负的。”将黑蟀放在郭芙的瓦盆之中。
说也奇怪，那大蟋蟀见到小黑蟀竟有畏惧之意，不住退缩。郭芙与武氏兄弟大声吆喝，为大蟋蟀加劲助威。小黑蟋蟀昂头纵跃而前，那大蟀不敢接战，想跃出盆去。小黑蟀也即跃高，在半空咬住大蟀的尾巴，双蟀齐落，那大蟋蟀抖了几抖，翻转肚腹而死。原来蟋蟀之中有一种喜与毒虫共居，与蜈蚣共居的称为“蜈蚣蟀”，与毒蛇共居的称为“蛇蟀”，因身上染有毒虫气息，非常蟀所能敌。杨过所捉到的小黑蟀正是一只蛇蟀。
郭芙见自己的无敌大将军一战即死，很不高兴，转念一想，道：“杨哥哥，你这头小黑鬼给了我罢。”杨过道：“给你么，本来没甚么大不了，但你为甚么骂它小黑鬼？”郭芙小嘴一撇，悻悻的道：“不给就不给，希罕吗？”拿起瓦盆一抖，将小黑蟀倒在地上，右脚踹落，登时踏死。杨过又惊又怒，气血上涌，满脸胀得通红，登时按捺不住，反手一掌，重重打了她个耳光。
郭芙一楞，还没决定哭是不哭。武修文骂道：“你这小子打人！”向杨过胸口就是一拳。他家学渊源，自小得父母亲传，武功已有相当根基，这拳正中杨过前胸，力道着实不轻。杨过大怒，回手也是一拳，武修文闪身避过。杨过追上扑击，武敦儒伸脚在他腿上一钩，杨过扑地倒了。武修文转身跃起，骑在他身上。兄弟俩牢牢按住，四个拳头猛往他身上击去。
杨过虽比二人大了一两岁，但双拳难敌四手，武氏兄弟又练过上乘武功，杨过却只跟穆念慈学过一些粗浅武功，不是二人对手，当下咬住牙关挨打，哼也不哼。
武敦儒道：“你讨饶就放你。”杨过骂道：“放屁！”武修文砰砰两下，又打了他两拳。郭芙在旁见武氏兄弟为她出气，心下甚喜。
武氏兄弟知道若是打他头脸，有了伤痕，待会被郭靖、黄蓉看到，必受斥责，是以拳打足踢，都招呼在他身上。郭芙见打得厉害，有些害怕，但摸到自己脸上热辣辣的疼痛，又觉打得痛快，不禁叫道：“用力打，打他！”武氏兄弟听她这般呼叫，打得更加狠了。
杨过伏在地下，耳听郭芙如此叫唤，心道：“你这丫头如此狠恶，我日后必报此仇。”但觉腰间、背上、臀部剧痛无比，渐渐抵受不住，武氏兄弟自幼练功，拳脚有力，寻常大人也经受不起，若非杨过也练过一些内功，早已昏晕。他咬牙强忍，双手在地下乱抓乱爬，突然间左手抓到一件冰凉滑腻之物，正是适才砸死的毒蛇，当即抓起，回手挥舞。
武氏兄弟见到这条花纹斑烂的死蛇，齐声惊呼。杨过乘机翻身，回手狠狠一拳，只打得武敦儒鼻流鲜血，当即爬起身来，发足便逃。武氏兄弟大怒，随后追去。郭芙要看热闹，连声叫唤：“捉住他，捉住他！”在后追赶。杨过奔了一阵，一回头，只见武敦儒满脸鲜血，模样甚是狠恶，心知若是给两兄弟捉住了，那一顿饱打必比适才更是厉害，当下不住足的奔向试剑峰山脚，直向峰上爬去。
武敦儒鼻上虽吃一拳，其实并不如何疼痛，但见到了鲜血，又是害怕，又是愤怒，提气急追。杨过越爬越高，武氏兄弟丝毫不肯放松。郭芙却在半山腰里停住脚步，仰头观看。杨过奔了一阵，眼见前面是个断崖，已无路可走。当年黄药师每创新招，要跃过断崖，再到峰顶绝险之处试招，杨过却如何跃得过？他心道：“我纵然跳崖而死，也不能让这两个臭小子捉住再打。”转过身来，喝道：“你们再上来一步，我就跳下去啦！”武敦儒一呆，武修文叫道：“跳就跳，谁还怕了你不成？
料你也没胆子！”说着又爬上几步。
杨过气血上冲，正要涌身下跃，瞥眼忽见身旁有块大石，半截搁在几块石头之上，似乎安置得并不牢稳。他狂怒之下，那里还想到甚么后果，伸手将大石下面的几块石头搬开，那大石果然微微摇动。他跃到大石后面，用力推去，大石幌了两下，空隆一响，向山腰里滚将下来。
武氏兄弟见他推石，心知不妙，吓得脸上变色，急忙缩身闪避。那大石带着无数泥沙，从武氏兄弟身侧滚过，砰砰巨响，一路上压倒许多花木，滚入大海。武敦儒心下慌乱，一脚踏空，溜了下来，武修文急忙抱住。两人在山坡上站立不住，搂作一团的滚将下来，翻滚了六七丈，幸好给下面一株大树挡住了。
黄蓉在屋中远远听得响声大作，忙循声奔出，来到试剑峰下，但见泥沙飞扬，女儿藏在山边草里，吓得哭也哭不出来，武氏兄弟满头满脸都是瘀损鲜血。黄蓉上前抱起女儿，问道：“甚么事？”郭芙伏在母亲怀里，哇的一声哭了出来，哭了一会，才抽抽噎噎的诉说杨过怎样无理打她、武氏兄弟怎样相帮、杨过又怎样推大石要压死二人。她将过错尽数推在杨过身上，自己踏死蟋蟀、武氏兄弟打人之事，却全瞒过了不说。黄蓉听罢，呆了半晌，见到女儿半边脸颊红肿，那一掌打得确是不轻，心下甚是怜惜，不住口的安慰。
这时郭靖也奔了出来，见到武氏兄弟的狼狈情状，问起情由，好生着恼，又怕杨过有甚不测，忙奔上山峰，可是峰前峰后找了一遍，不见影踪。他提高嗓子大叫：
“过儿，过儿。”这几下高叫声传数里，但是终不见杨过出来，也不闻应声。郭靖等了一会，越加担心，下得峰来，划了小艇环岛巡绕寻找，直到天黑，杨过竟是不知去向。
原来杨过推下大石，见武氏兄弟滚下山坡，遥遥望见黄蓉出来，心知这番必受重责，当下缩身在岩石的一个缝隙之中，听得郭靖叫唤，却不敢答应。他挨着肌饿，躲在石缝中动也不动，眼见暮色苍茫，大海上渐渐昏黑，四下里更无人声。又过一阵，天空星星闪烁，凉风吹来，身上大有寒意，他走出石缝，向山下张望，但见精舍的窗子中透出灯光，想像郭靖夫妇、柯镇恶、郭芙、武氏兄弟六人正在围坐吃饭，鸡鸭鱼肉摆了满桌，不由咽了几口唾抹。但随即想到，他们必在背后数说责骂自己，不禁气愤难当。黑夜中站在山崖上的海风之中，只想着一生如何受人欺辱，但觉尘世间个个对他冷眼相待，思潮起伏，满胸孤苦怨愤，难以自已。
其实郭靖寻他不着，那有心情吃饭？黄蓉见丈夫烦恼，知道劝他不听，也不吃饭，陪他默默而坐。次日天没亮，两人又出外找寻。
杨过饿了半日一晚，第二天一早，再也忍耐不住，悄悄溜下山峰，在溪边捉了几只青蛙，剥了皮，找些枯叶，要烧烤来吃。他在外流浪，常以此法充饥渡日，此时也怕被郭靖、黄蓉见烟火，当下藏在山洞中烧柴，一将蛙腿烤黄，立即踏灭柴火，张口大嚼。耳听得郭靖叫唤“过儿，过儿。”心想：“你要叫我出去打我，我才不出来呢。”
当晚他就在山洞中睡了，迷迷糊糊的躺了一阵，忽见欧阳锋走进洞来，说道：
“孩儿，我来教你练武功，免得你打不过武家那两个小鬼。”杨过大喜，跟他出洞，只见他蹲在地下，咕咕咕的叫了几声，双掌推出。杨过跟着他便练了起来，只觉发掌踢腿，无不恰到好处。忽然欧阳锋挥拳打来，他闪避不及，砰的一下，正中顶门，头上剧痛无比，大叫一声，跳起身来。
头上又是砰的一下，他一惊而醒，原来适才是做了一梦。他摸摸头顶，撞起了一个疙瘩，甚是疼痛，不禁叹了口气，寻思：“料来爸爸此刻已经伤势痊愈，从大钟底下出来了。不知他甚么时候来接我去，真的教我武功，也免得我在这里受人白眼，给人欺辱。”走出洞来，望着天边，但见稀星数点挂在树梢，回思适才欧阳锋教导自己的武功，却一点也想不起来，他蹲下身来，口中咕咕咕的叫了几声，要将欧阳锋当日在嘉兴所传的蛤蟆功口诀用在拳脚之上，但无论如何使用不上。他苦苦思索，双掌推出，梦中随心所欲的发掌出足，这时竟已全然不是这么一回事了。
他独立山崖，望着茫茫大海，孤寂之心更甚，忽听海上一声长啸隐隐传来，叫着：“过儿，过儿。”他不由自主的奔下峰去，叫道：“我在这儿，我在这儿。”
他奔上沙滩，郭靖远远望见，大喜之下，急忙划艇近岸，跃上滩来。星光下两人互相奔近。郭靖一把将杨过搂在怀里，只道：“快回去吃饭。”他心情激动，语音竟有些哽咽。回到屋中，黄蓉预备饭菜给郭靖和杨过吃了，大家对过去之事绝口不提。
次日清晨，郭靖将杨过、武氏兄弟、郭芙叫到大厅，又将柯镇恶请来，随即向四个孩子向江南六怪的灵住磕过了头，向柯镇恶道：“大师父，弟子要请师父恩准，跟你收四个徒孙。”柯镇恶喜道：“那再好不过，我恭喜你啦。”郭靖命杨过与武氏兄弟先向柯镇恶磕头，再对他夫妇行拜师之礼。郭芙笑问：“妈，我也得拜么？”
黄蓉道：“自然要拜。”郭芙笑嘻嘻的也向三人磕了头。
郭靖正色道：“从今天起，你们四人是师兄弟啦......”郭芙接口道：“不，还是师兄妹。”郭靖横了女儿一眼，道：“爹没说完，不许多口。”他顿了一顿，说道：“自今而后，你们四人须得相亲相爱，有福共享，有难同当。如再争闹打架，我可不能轻饶。”说着向杨过看了一眼。杨过心想：“你自然偏袒女儿，以后我不去惹她就是。”
柯镇恶接着将他们门中诸般门规说了一些，都是一些不得恃强欺人、不得滥伤无辜之类，江南七怪门派各自不同，柯镇恶也记不得那许多，反正也是大同小异。
郭靖说道：“我所学的武功很杂，除了江南七侠所授的根基之外，全真派的内功，桃花岛和丐帮东南两大宗的武功，都曾练过一些。为人不可忘本，今日我先授你们柯大师祖的独门功夫。”
他正要亲授口诀，黄蓉见杨过低头出神，脸上有一股说不出的怪异之色，依稀是杨康当年的模样，不禁心中生憎，寻思：“他父亲虽非我亲手所杀，但也可说死在我的手里，莫养虎为患，将来成为一个大大的祸胎。”心念微动，已有计较，说道：“你一个人教四个孩子，未免太也辛苦，过儿让我来教。”郭靖尚未回答，柯镇恶已拍手笑道：“那妙极啦！你两口子可以比比，瞧谁的徒儿教得好。”郭靖心中也喜，知道妻子比己聪明百倍，教导之法一定远胜于己，当下没口子称善。
郭芙怕父亲严峻，道：“妈，我也要你教。”黄蓉笑道：“你老是缠着我胡闹，功夫一定学不成，衰是让爹教你的好。”郭芙向父亲偷看一眼，见他双目也正瞪着自己，急忙转头，不敢再说。
黄蓉对丈夫道：“咱们定个规矩，你不能教过儿，我也不能教他们三人。这四个孩子之间，更加不得互相传授，否则错乱了功夫，有损无益。”郭靖道：“这个自然。”黄蓉道：“过儿，你跟我来。”杨过厌憎郭芙与武氏兄弟，听黄蓉这么说，得以不与他们同场学艺，正合心意，当下跟着她走向内堂。
黄蓉领着他进了书房，从书架上拿下一本书来，道：“你师父有七位师父，人称江南七怪，大师父就是柯公公，二师父叫作妙手书生朱聪，现下我先教你朱二师祖的功夫。”说着摊开书本，朗声读道：“子曰：学而时习之，不亦说乎？有朋自远方来，不亦乐乎？”原来那是一部“论语”。杨过心中奇怪，不敢多问，只得跟着她诵读着识字。
一连数日，黄蓉只是教他读书，始终绝口不提武功。这一日读罢了书，杨过独自到山上闲走，想起欧阳锋现下不知身在何处，思念甚殷，不禁倒转身子，学着他的样子旋转起来。转了一阵，依照欧阳锋所授口诀逆行经脉，只觉愈转愈是顺遂，一个翻身跃起，咕的一声叫喊，双掌拍出，登觉遍体舒泰，快美无比，立时出了一身大汗。他可不知只这一番练功，内力已有进展。欧阳锋的武功别创一格，实是厉害之极的上乘功夫，杨过悟性奇高，虽然那日于匆匆之际所学甚少，但如此练去，内力也有所进益。
自此之后，他每日跟黄蓉诵读经书，早晨晚间有空，自行到僻静山边练功。他倒不是想从此练成一身惊人武艺，只是每练一次，全身总是说不出的舒适，到后来已是不练不快。
