Se trasladó a Granada siendo niño, donde trabajó en el taller de José Larrocha y del que aprendió dibujo. Estableció una fuerte amistad con Federico García Lorca, con quien participó en la revista Gallo, eligiendo además al poeta como padrino de su única hija. Diseñó para Lorca un monumento que recordara su asesinato, un muro encalado con impactos de bala, una granada y un balcón con las puertas abiertas, aludiendo al verso «Si muero, dejad el balcón abierto» de su poema Despedida.
Con 14 años se mudó a Madrid para formarse con Cecilio Pla. En 1922 Manuel de Falla le redactó una carta de presentación que debía entregar a Picasso en París, viaje que le sirvió para entrar de lleno en los círculos culturales de la capital francesa, formando parte del grupo de la Escuela de París. No obstante, tras contraer matrimonio decide volver a España, realizando un viaje a la inversa, desde Madrid, pasando por Granada, para establecer finalmente su residencia en una casa del barrio de la Magdalena en su Jaén natal.
Por su vinculación a movimientos intelectuales antifascistas, fue deportado a un campo de concentración al sur de Francia durante la Guerra Civil, siendo liberado en 1939 gracias a la intercesión de Pablo Picasso. Se exilió a Argentina y regresó de nuevo a Francia en 1948. «Francia cuenta en mi vivir pero no cuenta en mi pintura», comentó al también pintor Manuel Viribay en su casa de la Rue de L'Odéon, mismo autor que describe que en su estudio tenía colgados dos recuerdos de España: una foto de él con García Lorca y una tarjeta con una reproducción de El entierro del Conde de Orgaz de El Greco. A finales de la década de 1950 regresó a Granada, años a partir de los cuales inicia una etapa de producción artística caracterizada por lo popular andaluz y lo misterioso.
Falleció en el Hospital Cochin de París en 1984. Declaró varias veces que su deseo era tener un museo en Jaén, en una casa tradicional encalada del barrio de la Magdalena.