桓宣武既廢太宰父子，仍上表曰：“應割近情，以存遠計。若除太宰父子，可無後憂。”簡文手答表曰：“所不忍言，況過於言？”宣武又重表，辭轉苦切。簡文更答曰：“若晉室靈長，明公便宜奉行此詔。如大運去矣，請避賢路！”桓公讀詔，手戰流汗，於此乃止。太宰父子，遠徙新安。

　　時人目王右軍：“飄如遊雲，矯若驚龍。”

　　諸葛瑾為豫州，遣別駕到臺，語雲：“小兒知談，卿可與語。”連往詣恪，恪不與相見。後於張輔吳坐中相遇，別駕喚恪：“咄咄郎君。”恪因嘲之曰：“豫州亂矣，何咄咄之有？”答曰：“君明臣賢，未聞其亂。”恪曰：“昔唐堯在上，四兇在下。”答曰：“非唯四兇，亦有丹朱。”於是壹坐大笑。