Место, где сейчас стоит замок Азе-ле-Феррон, было впервые укреплено в 1422 году. В XIII веке эти земли принадлежали Николя Турпену де Кризё, а в 1412 году стали собственностью баронства Прейи. Здание замка сильно пострадало во время Столетней войны.
Строительство замка началось в 1496 году по проекту Прежана Фротье. Тогда была возведена существующая до сих пор башня. Во время правления Франциска I (начало XVI века) комплекс был расширен. В 1560 году замок стал собственностью семьи Людовика Кревана, которая владела им до конца семнадцатого века; среди других владельцев замка были Сезар де Вандом — внебрачный сын короля Франции Генриха IV, королевским указом провозглашенный бароном Прейи, и Людовик IV де Креван — маршал армии при Людовике XIV.
Замок Азе-ле-Феррон состоит из четырех частей, построенных в разное время: башни Фротье (конец XV века), флигеля Юмьер (середина XVII века), павильона Франсуа Первого (XVI век) и павильона Бретей (XVIII век). Боковое крыло XVII века связано с замком галереей, построенной в 1926 году и вдохновленной замком Валансе
Два новых крыла и павильон были пристроены к замку в 1638 году, вероятно, Людовиком III де Креван д’Юмьер. В старой башне были сделаны окна, что превратило крепость в достаточно комфортабельное жилье. Новое крыло было украшено эмблемами короля Франциска I и Клода де Франса – саламандрой и горностаем.
Замок Азе-ле-Феррон принадлежал многим знатным семьям, в частности Грегуару Мишелю — парижскому банкиру и поставщику армии Наполеона. Затем замок был продан в 1833 году в обмен на пожизненную ренту семье Лузарш. Внучка Антуана Лузарша, Марта, вышла замуж за Джорджа Херсента, инженера-строителя и владельца крупной фирмы по строительству каналов и портов, и унаследовала замок в 1925 году. После ее смерти замок и парк стали собственностью города Тур.
Комплекс окружен роскошным садом во французском стиле и французским ландшафтным садом XVII века, который был реконструирован в XIX и XX веках.
