蒯祥很聰明，營建宮殿樓閣時，他只需略加計算，便能畫出設計圖來，待施工完畢后，建筑與圖樣大小尺寸分毫不差。蒯祥的建筑造詣，得到極高評價，皇帝“每每以蒯魯班稱之”。
1420年，故宮建成，僅僅9個月后，就因雷擊而失火，三大殿全被燒光。這里面也有個傳說。據說蓋好宮殿后朱棣志得意滿，找來一位會占卜的官員，讓他算了一卦。官員說：“明年四月初八宮殿會發生火災。”朱棣大怒。沒想到第二年的這一天，天氣驟變，雷鳴電閃，三大殿真的被雷火擊中了。直到正統(明英宗年號，1436年—1449年)年間，朝廷才重新修繕，此次負責的仍是蒯祥。現在中國歷史博物館收藏的一幅明代宮城圖中，承天門(相當于今天的天安門)下所繪的人物據說就是蒯祥。
蒯祥后來擔任了工部左侍郎。在工部這個富得流油的衙門也是個不小的官職，但是他非常謙遜、儉樸。到了晚年，雖然辭官歸隱，但每當有人向他請教營造工程的問題時，他都非常熱心地給予指點。過去北京曾有一條蒯侍郎胡同，據說他就曾在那里住過。蒯祥的后代大多繼承了他的技藝，直到晚清，仍有“江南木工巧匠，皆出香山”的說法。
設計者也許另有其人
歷史浩如煙海，湮沒了多少秘密。關于蒯祥是故宮設計者之說，也有很多讓人懷疑的地方。曾任故宮博物院古建部高級工程師的于倬云先生認為，年紀輕輕的蒯祥進京時，宮殿的修建已是熱火朝天的關鍵時刻，不可能這個時候才開始設計。真正的設計者是名不見經傳的蔡信。故宮博物院古建部的研究員李燮平也質疑說，1417年故宮初建時，蒯祥只有不到20歲，無論從年齡還是資歷來看，都難以勝任設計整個工程。蒯祥的貢獻應主要體現在正統那次的重建工作。
于倬云提到的蔡信，是南直隸武進(今江蘇省常州市武進)人，其生辰年月如今已無法考證，但民間流傳下一個他參與故宮設計的故事。據說，當時朱棣將建造宮殿的任務交給了工部尚書宋禮。建皇宮得先有圖紙，宋禮就找到了蔡信，讓他設計。那蔡信也有兩下子，很快交出了答卷。宋禮一看設計圖，非常滿意！新皇城比元朝時略向南遷；各大宮殿，依中軸線，左祖右社，十分規整；又開鑿南海，堆砌景山。整個設計方方正正，穩穩當當，象征大明長治久安。宋禮不放心，還親自實地考察了一番，確定這個設計創意十足，且操作不難，于是報呈皇帝。朱棣也不懂設計，只是一聽說新皇宮里有九重宮闕、9999間半房屋，頓時心花怒放。傳說天宮才有1萬間房屋。皇宮比天宮只少半間，既表明了皇權的威嚴，又顯示著人間帝王的謙虛。于是痛痛快快地批準了蔡信的設計方案。1973年，專家們還為此專門做過統計，結果發現故宮實有8707間房。
另有專家提出，故宮的設計人應該是楊青。但他留下的資料更少，只知道是一名瓦工，據說連楊青這個名字都是朱棣賜的。
還有人綜合以上幾種說法，認為在故宮初建時，蔡信、楊青都起了很大作用。但當時二人年事已高，所以在蒯祥進京以后，由于他年輕力壯，參與過南京宮殿的設計與建造，又善于計算和繪畫，故而主要的設計與建造工作由他來完成，其地位和作用也就由此凸顯出來了。
李燮平研究員認為，宮殿的建造歸根到底還是由朝廷官員來把關、決策，無論是蒯祥，還是蔡信、楊青，其實只是負責木、石、繪等具體工種而已。
故宮是中國古代宮殿藝術的集大成之作，也是世界上最宏偉的宮殿建筑群之一。大批工匠、百姓為此付出了極大心血，甚至犧牲了無數人的生命，可惜都湮沒無聞了。對于今天的我們來說，故宮更像是幾百年前建筑家們的一次“集體匯報演出”，是中華民族集體智慧的體現。