洪山庙原名"谷神庙"，其历史可上溯至商周时期，是豫南地区历史最为悠久的古庙之一。在农耕文明兴盛的上古时代，先民们对土地与五谷充满崇敬，于此地立庙祭祀谷神，祈求风调雨顺、五谷丰登。
洪山道人殷洪，传授百姓驯养马牛之术，指导农事五谷繁育，使一方百姓得以丰衣足食，被尊为"牛王爷""马王爷"，香火鼎盛，流传千古。
据史料记载，西周初年，殷纣王之子殷洪因故遁居于此。殷洪隐居谷神庙后，自号"洪山道人"，以出世之身行入世之事，积极教化当地百姓，将殷商时期先进的农耕技术与驯养技艺传授给当地百姓，极大地推动了当地农业生产的发展。
殷洪在此生活教化多年，终因年迈而病逝。周康王闻其事迹，被其教化百姓的仁德所感动，下诏追封殷洪为"洪山老君"，并拨款扩建庙宇，以彰显其功德。庙宇扩建完成后，"谷神庙"正式更名为"洪山庙"。
洪山庙建成后，历代均有修缮扩建。在其鼎盛时期，庙宇占地达360余亩，殿宇宏伟，香火鼎盛。洪山庙之盛名，与淮阳太昊陵、上蔡白龟庙并列，被称为豫南三大名庙。五代十国时期，洪山庙遭受严重破坏，宋代予以大规模重修。
1952年，洪山庙被改建为学校。文化大革命期间，殿宇遭到彻底破坏，仅余残碑断碣十余块。1994年，遗址被列为平舆县重点文物保护单位，历史文化价值得到官方认定。