早飯後黃藥師去找楊過，問道：「你可知江湖上叫我什麼名號？」楊過道：「前輩是桃花島主？」黃藥師道：「還有呢？」楊過覺得「東邪」二字不便出口，但轉念一想，他外號中既然有個「邪」字，脾氣自和常人大不相同，於是大着膽子道：「你是東邪！」黃藥師哈哈大笑，說道：「不錯。我聽說你武功不壞，心腸也熱，行事卻也邪得可以。又聽說你想娶你師父為妻，是不是？」楊過道：「正是，老前輩，人人都不許我，但我寧可死了，也要娶她。」

    黃藥師聽他這幾句話說得斬釘截鐵，怔怔的望了他一陣，突然抬起頭來，仰天大笑，只震得屋頂的茅草簌簌亂動。楊過怒道：「這有什麼可笑？我道你號稱東邪，定有了不起的高見，豈知也與世俗之人一般無異。」黃藥師大聲道：「好，好，好！」說了幾個「好」字。轉身出屋。

    楊過見黃藥師離去，怔怔的坐着，心想，一定把他得罪了，殊不知黃藥師一生縱橫天下，對當時禮教世俗之見最是憎恨，行事說話，無不離經叛道，因此上得了個「邪」字的名號。他落落寡合，生平實無知己，雖以女兒女婿之親，也非真正知心，郭靖端凝厚重，尤非意下所喜。不料到得晚年，居然遇到劉韋楓和楊過，只覺二人都異於常人。

    他本欲考校二人後，收為門下之意。劉韋楓敢做敢當，直言不諱的性格堪稱豪氣，雖不能確定其人品，但猜想不差，可竟是老叫化的徒弟。日前英雄大會中楊過諸般作為，已然傳入他耳中，黃蓉也約略說了這少年的行事為人，此刻與他寥寥數語，亦是大合心意。

    這天傍晚，黃藥師又回到室中，勸楊過反出古墓派師門，轉拜自己為師，言道先不認小龍女為師，再娶她為妻，豈非名正言順？楊過卻道，偏要她既做師父，又做妻子。

    黃藥師鼓掌稱讚想法高己一籌。嘆道：「我本想要你傳我衣缽，要好教世人得知，黃老邪之後又有個楊小邪。你不肯做我弟子，那是沒法兒的了。」

    楊過道：「也非定須師徒，方能傳揚你的邪名。你若不嫌我年紀幼小，武藝淺薄，咱倆大可交個朋友，要不然就結拜為兄弟。」黃藥師怒道：「你這小小娃兒，膽子倒不小。我又不是老頑童周伯通，怎能跟你沒上沒下？」楊過道：「老頑童周伯通是誰？」黃藥師當下將周伯通的為人簡略說了些，又說到他與郭靖如何結為金蘭兄弟。

    二人談談說說，大是邪氣相投，自此每日侃天說地，相見恨晚。數日過後，楊過與黃藥師二人竟如膠如漆，難捨難分。黃藥師本要帶了傻姑南下，此時卻一句不提動身之事。程英與陸無雙見他一老一少，白日樽前共飲，晚間剪燈夜話，高談闊論，滔滔不絕，忍不住暗暗好笑，都覺老的全無尊長身份，少的卻又太過肆無忌憚。本來以見識學問而論，楊過還沒黃藥師的一點兒零頭，只是黃藥師說到甚麼，他總是打從心竅兒出來的贊成，偶爾加上片言隻字，卻又往往恰到好處，不由得黃藥師不引他為生平小知己了，有時還點撥楊過武功，讓他獲益匪淺。

    這些時日之中，楊過除了陪黃藥師說話之外，常自想到傻姑認錯自己那晚所說的話，當時她說：「你不是我害死的，你去找別人罷！」料想她必知自己父親是給誰害死，旁人隱瞞不說，傻姑瘋瘋癲癲，或可從她口中探明真相。

    這日午後，楊過果然用玩捉迷藏的遊戲想讓傻姑說出殺父仇人，即將還原真相時，卻被黃藥師撞見而中止。傻姑道：「好兄弟在跟我捉迷藏呢。是他叫我玩的，不是我叫他玩的。你可別罵我。」黃藥師微微一笑，向楊過望了一眼，神色之間頗含深意。

    楊過心中怦然而動，見他似已瞧破了自己的心事。豈知對方不光窺破他的意圖，還想着此事的另外一節。楊過待要說幾句話掩飾，忽聽樹林外腳步聲響，程英攜着陸無雙的手奔來，說道，李莫愁在西面山後並未遠走。

    五人已轉到山後，只見一株大樹旁有間小小茅舍，卻已破舊不堪，柴扉緊閉，門上釘着一張白紙，赫然寫着四行十六個大字：「桃花島主，弟子眾多，以五敵一，貽笑江湖！」

    黃藥師哈哈一笑，隨手從地下拾起兩粒石子，放在拇指與中指間彈出，嗤嗤聲中，兩粒石子急飛而前，啪的一響，十餘步外的兩扇板門竟被兩粒小小石子撞開。楊過在桃花島上之時，曾聽郭芙說起外祖父這手彈指神通的本領，今日親見，尤勝聞名，不由得佩服無已。