上古时期，汝南，古属豫州，豫州为九州之中，汝南又居豫州之中，故有“天中”之称。
无影塔
春秋战国时代，汝南就有建制，属蔡国。
西汉汉高祖二年（公元前205年）始建汝南郡，郡治在上蔡，这里属平舆、宜春和安城三县所辖，当时已是贯通中原地区南北的水陆码头。至迟在文帝时，汝南郡已由陈郡析置。景帝二年（前156年），置汝南国，立其子刘非为汝南王。三年（公元前155年），徙刘非为江都王，汝南国除为郡。
公元317年，上蔡县治所迁于此，称“悬瓠城”。《水经注》有云：河自东西下，屈曲而流，抱城三面。形若垂瓠，故称悬瓠城。
建安十八年，曹操析汝南郡之城父及沛郡数县置谯郡。又析汝南郡、江夏郡置弋阳郡。
东晋义熙十四年（公元418年）汝南郡治迁至于此。
南北朝时，刘宋侨立司州，后周置总管府，隋仍为汝南郡治，另置
汝阳县于郡城，改悬瓠城为溱州。
唐，“初置予州，宝应初以避讳改为蔡州”。
宋置“淮康军”，金设“镇南军”，曾建行宫。
元至元三十年（公元1293年），因断汝河上源之水经郾城入颍河，汝南水患大减，人民稍得安宁，改蔡州为汝宁府，是河南行省八府之一。
明沿元制，成祖朱棣封藩四子于汝宁府，称崇庄王，在此传11世。
清仍为汝宁府。民国二年（1913年）废府，改为汝南县。
民国十三年（1924年），另置河南省第八行政督导专员公署于此。
解放初期，曾设汝南专署，1950年建汝南市，1951年市合并于汝南县。
1965年6月15日，国务院批准河南省增设驻马店地区，汝南县属之。
