A terület az őskor óta lakott, bronzkori edénymaradványait a budapesti Nemzeti Múzeum őrzi. Az i. sz. 400. év környékéről már szőlőtermestésre utaló leletek is előkerültek.

A település a 13. században már létezett. Már a legrégebbi oklevelekben is mezővárosként említik. A 15. században a tokaji várhoz tartozott, majd a regéci várhoz. 1541-ben a tállyai uradalom részeként említik.
 

1567-ben a törökök felégették a falut, de ismét felépült, a 16. század végére Zemplén vármegye hetedik legnépesebb települése lett. 1627-ben már vásártartási joga is volt. 1637-ben a törökök újra felégették. Védekezésül a falusiak megerősítették a templomot.

1645-ben pestisjárvány pusztított a faluban, 1694-ben pedig sáskajárás sújtotta a mádiakat. Ezt 1695-ben egy jégeső követte. A sok csapás után a település újra fejlődésnek indult. II. Rákóczi Ferenc és nővére 1700-ban megvásárolta a települést. Maga a fejedelem is gyakran járt Mádon, különösen szüret idején. Mád ekkor már híres bortermelő helynek számított, még Thököly Imre is hazaengedte katonáit szüretre.

1739-ben újabb pestisjárvány sújtotta a falut. A Napóleon elleni háborúk idején a tokaj-hegyaljai hadak Mádnál gyülekeztek. A század végére a település elszegényedett, főként az adók és a rossz időjárás miatt.

1795-ben építették a barokk stílusú zsinagóga-t. Európában a mádi zsinagógán kívül hasonló stílusú csak egy van. Az átépítése során a barokk és copf építészeti stílus keveredése jött létre, ettől vált egyedivé és Magyarország egyik legszebb zsinagógájává. A zsinagóga mellett épült rabbiház teljes felújítása 2006-ban kezdődött el.
 
19. század első felében ismét járványok pusztítottak.

Az 1848-49-es szabadságharc során sok mádi vesztette életét, köztük a tizenöt éves Koroknay Dániel, a szabadságharc gyermek-hőse. Nevét ma a mádi általános iskola viseli.

1859 óta a települést vasútvonal köti össze Miskolccal.
1904-ben bevezették az áramot a településre.
2004-ben fejeződött be a zsinagóga teljes restaurálása. Europa Nostra-díjat kapott.
2005 félmilliárdos kárral járó árvíz