Los diferentes estudios efectuados, indican que la primera gran modificación del Torreón de Fernán González se produjo en el siglo XI, cuando se construyó el murallón perimetral que rodea el conjunto y que tenía como punto de arranque y final los muros de esta Torre. Su finalidad era albergar en su interior el Palacio del Infantado de Covarrubias, pensado para ser residencia y lugar de gobierno de las hijas de los soberanos de Castilla, según se indica en su fundación el año 978.

Es en este momento cuando el Torreón pasa a convertirse en un edificio principalmente de carácter representativo, empezándose a usar como construcción auxiliar, abriendo en la planta baja de la cara norte una puerta que servía de comunicación con el palacio y facilitaba de este modo el acceso a sus diferentes estancias.

La última planta, actualmente es la buhardilla de la torre, sobre ella se apoya la estructura de madera que soporta el tejado. En este punto es donde se hallaba la planta almenada que fue sustituida por la actual cubierta, probablemente debido al grave incendio que a principios del Siglo XVIII, sufrió el conjunto.

A tenor de las evidencias halladas, parece que el incendio se inició en las cocinas y llegó a adquirir una gran virulencia. Según las fuentes de la época su entidad fue tal que “sólo quedó en pie la piedra”. El fuego penetró rápidamente en el torreón por la puerta de la planta baja que lo unía con el palacio, avanzando rápidamente ya que los suelos eran de madera, hasta llegar a las almenas y destruyéndolas parcialmente.

La destrucción provocada por el incendio fue tal que dejó el conjunto parcialmente abandonado hasta pocos años después, cuando pasó a pertenecer a la actual familia propietaria como herencia de Linaje y dando al conjunto un uso Solariego.