四人就这么结成了友人，之后常常一同切磋学问。
李玄霸没有什么朋友。李世民是个社牛，把长孙无忌也拉入了这个小圈子。
李世民本来还想把高颎和宇文弼与他们年龄差不多的儿子孙子也拉进来，但高颎和宇文弼拒绝了。
他们在得了李玄霸的预言后，站在更加客观的立场上审视杨广的所作所为，已经确定杨广是真的对他们有杀心。
虽然他们已经退去修书，但谁也不知道杨广会不会仍旧找借口诛杀他们。
李世民和李玄霸很得杨广喜爱，又是杨广亲自给他们牵线的徒弟。即使他们与李世民和李玄霸相处较为密切，将来自己若是出事，不会连累李世民和李玄霸。但换作其他人就不一样了。
所以高颎和宇文弼让儿孙们谨言慎行，闭门不出，既避免出现在杨广视线中，也避免将来连累他人。
所以长孙无忌无奈成了这个小圈子里才学垫底的人。
久而久之，长孙无忌就不想来了。
李世民体贴，与房乔和杜如晦聚会的时候，便不再叫长孙无忌一起来。
但一段时间后，长孙无忌主动前来，并对房乔和杜如晦道歉，希望他们能够指导自己。
李世民有时候体贴，有时候又很促狭。
他毫不客气地嘲笑道“长孙四郎啊，你是个小气又好面子的性格，居然主动不要面子了这不像你的性格。”
房乔和杜如晦其实心中隐隐有些瞧不起长孙无忌，不愿意与长孙无忌深交。
不过长孙无忌只有十三岁，他们都是已过弱冠的人，对长孙无忌不会太苛刻。见长孙无忌诚恳道歉，并以弟子晚辈之礼对待他们，他们本想将此事揭过。
没想到李世民不依不饶，两人便略有些尴尬。
长孙无忌知道李世民是个什么性子，李世民损他，他不会像对待其他人那样生气。
他非常老实道“是妹妹责怪了我。妹妹说，与比自己更聪慧的人做朋友，自己才会变得更聪慧；与比自己更有德行的人做朋友，自己才会变得更高尚。若有了比自己更优秀的朋友，却因为自惭形秽而不愿再与之结交，那就是放任自己成为愚蠢和卑劣的人。”
说完，长孙无忌双手捂脸，羞愧得无地自容“我妹妹骂人好狠啊。”
旁观的李玄霸赞扬道“哥，你以后有福气了。”
李世民迷惑“啊，为什么”
长孙无忌放下双手，咬牙切齿道“我有几个妹妹”
李世民挠头“我怎么知道你有几个妹妹我去你家找你玩的时候，又不会见到你的妹妹。”
长孙无忌和李玄霸“”
房乔和杜如晦也很疑惑，不知道为何李玄霸和长孙无忌会如此郁闷。
李玄霸扶额“哥啊，长孙四郎只有一个妹妹，那就是你的未婚妻，我的准嫂嫂。”
房乔和杜如晦明白了。
他们同时捂嘴笑。
李世民恍然“哦，她啊。不对啊，她会写字后，给我写的信都是温温柔柔的，不像会骂人的女子我明白了一定是因为长孙四郎该骂观音婢忍无可忍唔”
长孙无忌扑上去捂住李世民的嘴，怒斥道“不要在外人面前说我妹妹的小字你懂不懂规矩啊啊”
只有八岁的李世民，一个过肩摔把十三岁的长孙无忌摔到地上。
李世民拍了拍手，抬着下巴居高临下道“太弱了，再练练。别将来文不成，武也不成。”
长孙无忌都快气哭了，又起了逃跑的念头。