Citan las crónicas que hacia el año 1553, desde Bruselas, Felipe II ordenó la
compra de una propiedad a los Vargas, descendientes de aquéllos que fueron
patronos de San Isidro labrador. La compra se formalizó en 1556, considerándose
esta fecha como año de la fundación de la Casa de Campo.
Esta decisión marcó un antes y un después, también en el territorio de la Casa de Campo. Allí la familia de los Vargas estaba bien situada. Felipe II va a valorar esta zona como un lugar estratégico, de solaz y de prestigio y que el veía como la continuación natural de El Pardo y del Alcázar.la primera instalación de los Vargas en el lugar corresponde a Diego de Vargas , perteneciente al séquito de los Reyes Católicos.
Su hijo Francisco de Vargas, importante hombre político ya que había sido alcalde de Trujillo en tiempos de los Reyes Católicos y miembro del Consejo Real de Carlos V. Posiblemente fue el constructor de un palacete en sus tierras en torno a 1519. El nieto de Francisco, Fadrique de Vargas y Cabrera fue el que vendió su posesión a FelipeII ."La finca estaba constituida por una reducida extensión de terrenos regados por un par de arroyos que facilitarían el desarrollo de una hermosa huerta en el lugar. En el centro se levantaba un pequeño palacete de dos pisos formado por tres cuerpos En cuanto a la fecha de compra todos los datos conducen hasta la Real Cédula de compra del lugar, fechada en 1562.
