這時，長孫無忌看了看褚遂良，他們早已說好相互呼應，只要有一人出頭，另一人馬上附和。于是褚遂良當即站出來奏道：“皇后系出名門，也是先帝為陛下所娶。先帝崩殂之際，曾拉著微臣的手說：朕現在將佳兒和佳婦托付給卿。當時陛下也在場，想必聽得很清楚。臣沒聽說皇后犯了什么過錯，豈可輕言廢立之事！臣絕不會為了曲意奉承陛下而違背先帝的遺命。更何況，武氏曾經伺奉過先帝，這是人人都知道的事，又怎么能瞞得過呢？倘若后人得知此事，將會做何感想？臣的這些話已觸怒了陛下，所以臣甘愿領死。”
說完，褚遂良將笏置于階前笏是官員手執之物，將它放下表示辭職一頭向墻上撞過去，他的額頭當即就裂開了，血流如注。
高宗見狀暴怒不已，他喝道：“閉嘴！還不快退下！”
而武昭儀為了早點得知商討結果，在四人進宮之前就已在旁邊的簾后端坐。褚遂良說的每一個字都如同一把利劍，插入了她的心里，尤其是那句“武氏曾經伺奉過先帝”，不禁令她想起了自己在尼姑庵苦苦度日的凄慘情形。念及此，她簡直怒不可遏。高宗聽了這些話也不好受，這個家伙倚老賣老，當眾揭自己寵幸父親舊人的老底，讓自己這個皇帝的面子往哪兒擱？
這時，早已按捺不住的武昭儀在簾后厲聲叫道：“何不殺了這個丑八怪！”
在武則天的一生中，這是她僅有的一次失態，即便后來聽到駱賓王痛罵自己，她也是笑臉相迎，很少喜怒形于色，由此可見褚遂良當時的言語多么尖銳。
長孫無忌聞言當即站出來阻攔：“萬萬不可！褚遂良即使有罪，亦不得加以刑罰，此乃先帝遺命。”
原來，唐太宗曾留下遺言：在他死后，褚遂良即使有罪，也不得處以極刑。有了這個保護，褚遂良應該不用擔心觸怒皇帝而大膽進諫了。
“確實有此規定。”高宗躊躇地說。坐在簾后的武昭儀則板著臉，不置可否，褚遂良撿回了一條命。
不過，歷史的發展從來都不會因為個人的意愿而改變，盡管褚遂良以死相諫，仍然擋不住武氏登上皇后的寶座。隨著形勢的不斷變化，皇后之位慢慢演變成兩個不同利益集團之間的爭奪，不再是后宮中兩個女人之間的爭斗了。一個集團是以長孫無忌、褚遂良、韓瑗等為代表的“關隴集團”，這些顯赫家族之間的關系是以相互聯姻為紐帶建立起來的；另一個則是山東集團，他們出身低微，有些是商人，有些是通過科舉進入官場的，朝局的變化讓他們找到了機會，他們公開表示支持武昭儀做皇后。兩派之間的斗爭沒過多久就結束了，取得勝利的是草根階級山東集團。
公元655年，武昭儀被冊封為皇后，而被她視為眼中釘的褚遂良在第一時間就被趕出了朝廷，調到遙遠的潭州任都督。公元657年，她將褚遂良調到離京師更遠的廣西，同年，褚遂良被卷入中書令來濟、侍中韓緩的謀反案，身敗名裂。
晚年的褚遂良在絕望之中給高宗寫了一封信，懇請他看在昔日的情分上饒恕自己，但結果仍是無濟于事。公元659年，褚遂良在流放之中死去。
縱觀褚遂良的一生，他是貞觀元老，為大唐的興盛立過功，又是著名的書法家，博聞廣記，是一個人才。不過，他在政治上卻并不明智，思想迂腐。很多人都認為武則天整治褚遂良完全是出于私心報復，其實并不盡然。