Las primeras referencias en las que aparece la parroquia de San Andrés pertenecen a principios del siglo XIII. La iglesia fue reconstruida en el siglo XVI y cuando en el siglo XVIII el rey Fernando VI implantó la Real Fábrica de Sedas, Oro y Plata en Talavera, esta parroquia estuvo fuertemente vinculada a esta primera industria. Durante la Guerra Civil sirvió de refugio a los huidos republicanos. En esta parroquia tenían su función religiosa la Hermandad de la Caridad de San José, integrada por los obreros y maestros de la Real Fábrica de Seda, Oro y Plata de Talavera.

La iglesia es una fábrica de aparejos toledanos que refleja fielmente su interior con planta rectangular de una sola nave, la cabecera está separada con un arco de medio punto, aparejado en ladrillo. El Altar Mayor posee una hornacina abocinada que soporta el retablo del siglo XVII de «San Andrés» por un autor desconocido. Desde aquí, podemos observar el maravilloso artesonado octogonal, fiel exponente del arte mudéjar tardío. El coro se sostiene por dos fustes romanos que descansan sobre capiteles dóricos, su balaustre de madera totalmente tallado se asemeja al encaje de bolillos. El zócalo de cerámica probablemente del siglo XVII, parece que perteneció a la desaparecida Iglesia de San Clemente.

El último de los hallazgos se encuentra en las paredes de la iglesia, con unas pinturas descubiertas que ocupan íntegramente el cuerpo de la iglesia, incluyendo la zona del bajo coro y parte de la capilla mayor. Las pinturas imitan tejidos de la época como queda recogido en el libro de fábrica del templo que se conserva en el archivo de La Colegial de Santa María la Mayor. Se trata de unas pinturas del barroco tardío que simulan paños de damasco y brocados atados entre sí por cordones con lazos.