根據史料記載，中國遠古就有園林。但是把園林作為賞玩的空間與審美的對象，并從中體現出一種文人的雅趣，卻是后來，也就是兩漢以后，才漸次出現的。從歷史上看，文人造園在明清以前就有很大的發展。而要追溯其中審美情操的建構，則不得不從晉代的大書法家王羲之開始。
公元353年，晉穆帝司馬聃在位，年號永和。這一年暮春，著名書法家兼文人王羲之，集合一班當時的名士，在今浙江紹興西南郊區的會稽山陰之蘭亭相聚，按古代習俗，舉辦春禊活動。今天看來，這其實是當年的一種文人雅集。事后收集其人其作，出版詩集，由王羲之寫序，并親自援筆書寫，不僅留下了千古妙文，更留下了“天下第一行書”的絕寫，以其曠世之才，為后人創作了可以反復吟誦與不斷摹寫的藝術范本。
距離王羲之寫《蘭亭序》半個世紀之后，有一位官場失意的文人陶淵明，在復雜而殘酷的人際關系網中歷經多年掙扎之后，決定放棄被那個社會視為正當的所有名利追求，不再因五斗米而向“鄉里小兒”折腰，完全歸隱田園，去過一種類似自耕農的簡單甚至貧困的生活。他發現自己原本“質性自然”“心憚遠役”，因而對于“歸去”懷抱欣喜之情。就這樣，在一天早晨，陶淵明開始實施他的歸隱理想，掛印而去。在歸隱的路上，這位“質性自然”的詩人興奮異常，寫下了著名的《歸去來辭》。
在這篇如行云流水般暢然的辭賦中，陶淵明有意無意間闡述了中國園林之精神要旨。一句“園日涉以成趣”，即描寫了歸隱生活的愉悅，也讓日涉之趣的“園”，成為文人安貧樂道、物我兩忘的重要的空間場所，從而為擺花弄草、營園造池之意義奠定了價值基礎。同時，陶淵明還把園藝與琴書、泉水與木石視為一體，成為共同建構這一特殊空間之詩意的重要因素。從這個角度看，雖然陶淵明并沒有明確的造園實踐的紀錄，但文人造園，在我看來，實起始于這位參透人生的偉大詩人。
對文人造園思想產生深遠影響的著名文人則是唐代詩人王維，他性喜佛玄之道，好老莊之理，建有輞川別墅，為其晚年歸隱處所。他的詩與畫，表明其對自然有著非同一般的了悟與理解。
大約在公元732年，唐開元20年前后，從宋之問手上得到藍田輞川別墅的王維，一直隱居在這所私人園林中，以滿足其日益強烈的山林意蘊。也就在這一年，王維本想與好友裴迪一起入山，但又不忍心影響他的科舉課業，遂獨自成行，在山中轉悠，沿途所見所聞，心境與景物合一，徒生諸多感慨，于是寫了一篇短文給裴迪，以一種空曠悠遠之意象為依歸，從畫人敏銳的視覺出發，對眼前見聞做了一番詩意的描述。其文雖短，卻和300年前陶淵明的《歸去來辭》有著同樣超然的遁世觀。兩人處境多有不同，而其中思緒，竟然異曲同工。
在這里，我們又一次看到中國古代文人的一種人生態度，以自然為居所，而讓詩意統攝這居所的內外，然后再內化為人的情感主體。在王羲之，俯仰之間已為陳跡，人生的短促與自然的博大相映而成，自然就是最大的“園林”，人居其間而不知老之將至。在陶淵明，造園是無須提及的俗事，自然在詩意的觀照中而清雅，日涉的園趣便也樂在其中了。在王維，輞川別業并不是居所的代表，而是歸隱山林的象征，步仄徑臨清流，多思曩昔，與友人攜手共同賦詩，這才是居住的意義。盡管唐時文人造園還沒有像明清兩代那么興盛，但其中對于自然與人生的看法，卻已然成為一種共識，為后來的文人造園準備了審美的思想庫。
從歷史來看，王維始終以詩名勝，畫其次。他在藍田置輞川別業，其中的布局與建構，則體現了一貫的山林思想。輞川別業并沒有留傳下來，但是王維卻為了這個園子創作了傳世名作《輞川圖》。后人正是通過這幅繪畫作品而獲得輞川別業的若干細節，并成為文人造園的一個先行樣板。