新中國成立后，經(jīng)中央人民政府革命軍事委員會主席毛澤東批準，在原華北、華東軍事政治大學(xué)的基礎(chǔ)上創(chuàng)辦中國人民解放軍軍事學(xué)院。1951年1月15日，軍事學(xué)院在南京成立。劉伯承領(lǐng)導(dǎo)創(chuàng)建工作，并任院長兼政治委員。
南京軍事學(xué)院創(chuàng)辦之初，根據(jù)黨中央和中央軍委的有關(guān)指示，劉伯承和軍事學(xué)院黨委確定了“以教學(xué)為中心”、“理論與實際相結(jié)合”的教學(xué)方針。他曾說:“同一部孫子兵法，馬謖的用法就是教條主義，孔明就不是；龐涓、孫臏同師鬼谷子，可是一個是教條主義，一個不是教條主義。”1952年2月起，為貫徹理論與實際相結(jié)合的方針，有針對性地培養(yǎng)同美軍作戰(zhàn)的人才，他在軍事學(xué)院先后組織了3批赴朝參觀團，指示參觀團人員要認真學(xué)習(xí)、總結(jié)朝鮮戰(zhàn)場的新鮮經(jīng)驗，從中提取教學(xué)經(jīng)驗，以利更好地開展教學(xué)。
劉伯承曾經(jīng)說:“一支部隊能不能帶好，關(guān)鍵是干部。領(lǐng)導(dǎo)干部要做好樣子。沒有帶不好的兵，只有帶不好的官。”他反復(fù)要求各級干部帶頭議軍、學(xué)軍、練武，學(xué)會養(yǎng)兵、帶兵、練兵、用兵。根據(jù)我軍的實際并借鑒外軍經(jīng)驗，劉伯承和葉劍英一起，科學(xué)地構(gòu)想并主持實施了全軍指揮院校的“三級體制”以及“兩股繩”的院校體制，為我軍院校正規(guī)化建設(shè)奠定了基礎(chǔ):“三級體制”，就指揮院校來說，由初級軍官到將軍必須經(jīng)過初、中、高三級指揮院校的培訓(xùn)；“兩股繩”，就是軍官培訓(xùn)分為完成與速成兩種，把普及與提高、基礎(chǔ)教育與知識更新結(jié)合起來。這樣，就有重點地而又多樣化地、多層次地解決了軍官服役期間的培育、深造與提高的問題。
劉伯承強調(diào)院校各級領(lǐng)導(dǎo)干部必須認真鉆研學(xué)術(shù)理論，要坐下來同教員、學(xué)員一起研究和解決疑難問題。劉伯承曾領(lǐng)導(dǎo)全體師生進行了數(shù)十次實際示范演習(xí)和大型現(xiàn)場作業(yè)，幾乎他都親自擔(dān)任總導(dǎo)演和具體指導(dǎo)。1951年6月，他親赴安徽鳳陽縣臨淮關(guān)鎮(zhèn)，現(xiàn)場組織指導(dǎo)步兵師江河進攻戰(zhàn)斗實兵演習(xí)。演習(xí)前夕，突然收到天氣預(yù)報說，演習(xí)這天將有大雨。訓(xùn)練部門負責(zé)人請示:“演習(xí)是否暫時停止？”劉伯承聽后嚴肅地說:“下雨怕什么！下炮彈也要演習(xí)。訓(xùn)練就是打仗。打仗還能選好天氣，豈有停止之理！”演習(xí)中，果然大雨如注。有人將一頂草帽戴在他的頭上，他當即拒絕道:“古代將領(lǐng)都能以‘夏不張傘，冬不著裘’來凝聚軍心，我們無產(chǎn)階級軍人反而還做不到嗎？自己不以身作則，鬼才會相信你講的那一套呢。”
劉伯承曾打比方說:搞劇團要有梅蘭芳那樣的名演員，開醫(yī)院要有手到病除的高明醫(yī)生，辦學(xué)校則要有一支精通業(yè)務(wù)的高水平的教員隊伍，即教員隊伍名師化。早在1951年5月，他就向軍事學(xué)院上下提出“尊師重道，教學(xué)相長”的口號，要求學(xué)員尊重教員，積極協(xié)助教員搞好教學(xué)；教員也要向?qū)W員學(xué)習(xí)，幫助學(xué)員總結(jié)作戰(zhàn)經(jīng)驗。軍事學(xué)院初創(chuàng)時，教員隊伍人數(shù)不多。為了解決這個問題，劉伯承派人四處選拔合格的教學(xué)人才，對那些富有軍事科學(xué)知識的舊軍官也加以重用。經(jīng)過一番苦心經(jīng)營，軍事學(xué)院很快建立了包括蘇聯(lián)軍事專家在內(nèi)的一支可觀的教員隊伍。
“安居”才能“樂業(yè)”。劉伯承在物質(zhì)條件還比較困難的情況下，努力從待遇上給干部、教員以照顧，鼓勵大家搞好教學(xué)工作。例如，他將教員按照授課能力、水平的高低，分為高級教員、上級教員、中級教員等級別，并按照不同級別享受不同的待遇。同時，他還提高教員、學(xué)員、職工的生活福利，受到了教職員工的擁戴。