李衛是在乾隆皇帝登基后三年才去世。李衛活著的時候,乾隆皇帝對他還算不錯,至少表面上呈現出一副關心元老的模樣,賜給他四團龍補服,虛心接受李衛彈劾誠親王府護衛庫克和朱藻的不法行為。李衛病重的時候,乾隆讓御醫到府上診治。李衛去世后,乾隆帝給他安排一場總督級別的追悼會,并賜謚號敏達。
但是多年后,乾隆皇帝南巡經過西湖。無意間見到西湖花神廟里,供奉著李衛夫婦的雕像,牌位寫著“湖山禪位”。乾隆龍顏不悅讓人撤掉雕像,下諭說:
李衛仰借皇考恩眷,任性驕縱,除非公正純臣。讬名立廟,甚為可異!
乾隆的意思再明顯不過,說李衛就是仰仗著先帝雍正的庇護,經常胡作非為,他不是光明正大的科舉出身,算不得名正言順的大臣。有人為他立廟供奉,實在是說不過去。似乎,乾隆皇帝對李衛的觀感不是很好,這到底為何。