その後、輪島に流刑中の妻わらび姫の父時忠家を訪れた後、内浦方面から海路　越中の氷見を経て、文治3年（1187年）に奥州平泉に落ち延びたと言われています。

義経が詠んだといわれる歌　

　　　義経の身のさび　刀とぎ（富来・研ぎ）に来て

　　　　　あらき（荒木・新木）の鞘に入るぞかなしき