兰考县紧靠黄河，很久以前就有人类在这里活动。相传黄帝蚩尤曾途经县境，黄帝的儿子青阳氏死后埋葬在青陵岗，即今本县红庙乡青龙岗村。再根据县境及其附近的伯牛岗（杞县崔林河东岸）、牛牧岗（民权县双塔东）、窦固堆（东明县境内）等地出土的石器、陶器等文化遗迹证明，远在五六千年以前就有先民在这一带繁衍生息。
古时候，今兰考县境属豫州之地。西周时期，其西部属卫国，东部属戴国。历来分别设置了东昏县和谷县，进而演变为兰阳、仪封和考城三县。今日兰考县就是由历史上的兰封（由兰阳、仪封合并）考城两县合并而成。
有意思的地名：
张良坟，据传张良辅佐刘邦打败项羽，建立汉朝后，辞官云游到此。看到此处的白云山风光秀丽，白云缭绕，便隐居在此，直至亡故。群众自发将其埋葬并看护坟墓。张良墓域之大、墓冥之高，驰名中原。
白云山，古山名，在今兰考县城西6.5公里自云山村带。明代文献记载：自云山，旧高十四丈，周围四里，土山无石，有云气，故名。后因历经河水冲淤，山势渐平。现仍有沙丘状痕迹，东西长米，南北宽近米，高2～3米。据传，西汉留侯张良曾隐居于白云山
堌阳镇，这里地势较高，势如堤堰，按字意讲：堤堰即堌也，其地又位于古黄河之北（古代山南水北为阳），故称为堌阳。堌阳镇很好的利用兰考的泡桐资源。现在堌阳镇被称为，中国民族乐器之乡。
谷营镇，清咸丰年间，黄河在铜瓦厢决口，大片土地和村庄被淹，之后有一户人家迁此营生，称“孤营”，因“孤”与“谷”同音，后建村改名“谷营”。
小宋乡，宋仁宗年间有宋氏兄弟二人赴京赶考路过此地，弟弟荣登榜首，在此建状元府定居，故名“小宋”。