山東作為地區名稱,歷史上出現很早,而且變化很大。春秋時期,晉國居太行山以西,稱太行山以東為“山東”。北魏建都平城,五代時晉亦在太行山以西,故沿用古晉稱太行山以東為“山東”。戰國、秦、漢時期則是指崤函以東地區。因為秦在關中,故稱崤函以東六國(楚、齊、韓、魏、趙、燕)為山東六國,或云關東六國。此時山東與關東意義相同。
山東作為行政區是從北宋開始的。因為它的位置在當時京都開封的東面,所以又被稱為京東(這可不是強東的京東啊,)。金朝的時候,都城設在了中都,也就是今天的北京,所以就把京東改名為山東了。明朝初年改稱山東省,一直延用到現在。