Fue Don Domingo José Herrera Ayala y Roxas Ponte y Llarena Xuárez del Castillo, XI Conde de la Gomera, quien, a raíz de su matrimonio en 1754 con Doña Marina Leonor Benítez de Lugo y Ponte, construyera esta gran hacienda rural y palaciega en lo que fuera el mayorazgo que la familia Benítez de Lugo disponía en la zona de El Durazno desde los primeros repartos de tierras que sucedieron a la conquista de la isla de Tenerife y su incorporación a la Corona de Castilla en 1496 y más concretamente desde el 6 de Junio de 1502.
El título de Conde la Gomera es uno de los más antiguos de la Corona de Castilla, dado que se trata de una distinción aristocrática otorgada en 1477 por los Reyes Católicos.
Había acumulado el Conde una extensa fortuna, fruto de la herencia de su egregio linaje y de sus años de actividad en la marina, que vino a agrandarse a raíz de su casamiento. En estas condiciones, no es de extrañar que estemos ante uno de los más importantes conjuntos palaciegos de la isla de Tenerife. Una fantástica construcción dieciochesca en el más puro estilo tradicional canario, con profusión del empleo de madera de tea y piedra de basalto.
El palacio dispuso desde su origen de un oratorio propio consagrado a San Antonio, de unas nutridas caballerizas y de una extensa finca en una de las mejores zonas agrícolas de Tenerife, en un terreno que actualmente aparece totalmente integrado en la trama urbana del Puerto de la Cruz, pero que cuando fue construido estaba situado a las afueras de lo que por aquel entonces era el Puerto de la Orotava.
Esta mansión de Tenerife, que por sus grandes dimensiones ha sido llamada popularmente como “La Casona del Durazno”, tiene la tradicional planta en L, en dos alturas, que caracteriza a las grandes haciendas de la isla.
Actualmente, la mansión está abierta al público como un selecto establecimiento de hostelería en el que siempre en horario de tarde-noche pueden disfrutarse sus magníficos salones, repletos de historia y de mobiliario y piezas decorativas de época, muchas veces amenizados con cuartetos de música clásica.