上清宫始建于唐代。唐高祖李渊尊老子为始祖，唐乾封元年（666年），高宗李治又尊老子为“太上玄元皇帝”。
老子，姓李，字伯阳，名重耳、老聃。春秋末期曾任东周史官，管理王室藏书（相当于现在的国家档案馆馆长）。公元前518年，孔子入周问礼乐，就曾专门向老子请教过。因老子卓尔不群，且政治主张与世人不同，曾到小人排挤，而骑青牛一头离开洛阳,西出函谷关。“紫气东来”的典故即由此而来。相传当年老子在洛阳城中每每有了想不明白的事情时，总要到距他住所4公里的北部邙山之巅翠云峰上登高远望。
唐玄宗开元二十九年（714年），诏令两京及诸州建玄元皇帝庙。当时在东都洛阳市北邙山上，(距市区约4公里)翠云峰大兴土木，兴建了富丽堂皇的玄元皇帝庙。因老子又称上清太上老君，所以玄元皇帝庙又名上清宫。
当时上清宫规模宏伟壮丽，宫阙巍峨，台阁雄踞。正如庙中古碑所记：“背邙山之原，面伊洛之流，枕大川，朝少室，挟太行，跨函谷，山川绚丽，云日暄明”。唐代的上清宫，是一座艺术的殿堂。据记载，当时上清宫“台殿高敞，下瞰伊洛，神仙泥塑之像，皆开元中杨惠之所制，奇巧精丽，见者增敬。壁有吴道子所画五圣真容，丹青绝妙，古今无比。”当时民间盛传：“道子画，惠之塑，夺得僧繇神笔路。”张僧 就是南朝梁代那位“画龙不点睛，点睛僧 神笔路”。张僧繇就是南朝梁代那位“画龙不点睛，点睛就要飞走”的神画家。吴道子的绘画艺术，杨惠之的雕塑艺术，都达到了画龙点睛，呼之欲出的神奇境界。上清宫的塑像，皆出自杨惠之的神手。
唐天宝8年（749年）诗圣杜甫谒上清宫看到吴道子的画儿即兴赋诗《冬日洛城北谒轩辕黄帝庙》：

画手看前辈,吴生远擅扬。

森罗移地轴，妙绝动宫墙。

吴圣联龙衮，千官列雁行。

冕族俱秀发，旌旗尽飞扬。

画圣的画儿，诗圣的诗，珠联璧合，为上清宫平添了无限风流.......