1966年，李志賢的人生跌入低谷。當時正在文革時期，一向認真工作的李志賢突然被說成是右派，有些人到處尋證據，闖入他的房子進行搜查。那段時間，李志賢的思想負擔特別重，想到自己忠心向黨，踏實工作，卻受到這樣的待遇，委屈得不得了。他給自己準備了一包毒藥，想一了百了，又怕落個畏罪自殺的名聲，那樣連給他翻案的機會都沒有了。思來想去，他還是把藥倒了，給中央寫信反映情況。雖然寫去的信石沉大海，但后來由于沒找到什么證據，造反派也不再追究他了。
1969年，李志賢成家了，隨后三個孩子相繼出生。在那個艱苦的年代，生存成了最大的問題。李志賢說，那個時候，妻子和三個兒子沒有戶口，他一個人的口糧不夠吃，動不動就燒鍋斷頓，整天熬煎吃飯問題。一介書生的他難以解決這些愁腸事，無法排遣自己的煩憂，一有時間就找幾本字帖練字，慢慢地，他迷上了書法藝術，寄情翰墨，朝臨暮寫，練字成了他生活的一部分，不管多忙，每天晚上都要堅持練一個小時。
在劇團畫寫生，有人說是不務正業，他置若罔聞，依舊深愛著自己的繪畫事業。每次劇團下鄉唱戲，他就趁機溜出去，深入農村，畫農民肖像，畫田間野花，畫雞飛狗跑、富有生活氣息的農家小院，每次都能畫上厚厚的一本，這些速寫給他以后的繪畫奠定了堅實的基礎。
苦難的生活磨礪得他更加堅強，憑著自己長期的堅持和對書畫藝術的不斷研習，李志賢漸漸在商洛乃至全省書畫藝術界露出頭角。1970年5月，他的畫作《踏遍青山》參加了陜西省第二屆美術展覽，1981年陜西省書法家協會成立，他擔任省書協理事，書法作品《從軍行》入選《唐詩三百首書畫藝術叢書》，1982年5月加入中國書法家協會。從那以后，幾乎每年，他都有書法和畫作在全國、省上參展或獲獎。
醉心筆墨享余生
1990年，李志賢調到當時的商州市當政協副主席，1991又任市書畫院院長。從那時開始，已50多歲的李志賢又拿起畫筆，重新走上了繪畫之路。畫畫是個硬功夫，三天不練手生，雖然這些年一直沒有停止學畫，但大多數都是速寫，很少有時間靜下心來畫國畫，尤其是大幅作品。李志賢像個小學生一樣，每天吃完飯就到辦公室，不斷地練習，一張畫畫了撕，撕了畫，幾年如一日，在不斷地痛苦地否定中尋找規律，提升水平，最后達到自己滿意為止。
李志賢說，繪畫講究“物象靈動，傳神，洗練”，要對畫中的一草一木、一葉一花進行提煉概括，既要符合現實，又要形象生動，這就要求繪畫者仔細觀察生活，深刻體味。在他不斷練習下，繪畫水平迅速提高，畫作筆法洗練、精到，物象傳神。他擅長畫花鳥，在他的畫中，墨竹筆墨酣暢，牡丹淡雅而生動，鳥兒富有靈氣，受到同行的一致好評。
這段時間，李志賢在書畫方面也取得了不菲的成就。幾十年來不斷臨摹各種字帖，苦練行、楷書法，使他的書法功底深厚，集各家之長，自成一體。同行評價他的字恬靜含蓄、外柔內剛、筆法精到、氣息醇正、圓潤俊朗、舒展大方。他的書法作品在國內外參展數十次，獲得了不少榮譽，一些書法作品還被國內外收藏，受到書畫界人士的追捧。
一項項榮譽接踵而來，李志賢淡然處之。1997年，他退休了，卻沒有停止繪畫、書法創作，而是整天蟄居家中，以詩為伴，以字畫為娛，酣暢淋漓地沉浸其中，自娛自樂；如有書畫朋友來訪，便在一方斗室里品茗暢談，高興時便揮毫潑墨，一幅作品躍然紙上；時有單位相邀參加筆會，他也高興前往，乘興寫幾幅好字，送給求字者。