Hijo de Agustín Jiménez Tristán y de Carmen Sandoval Rocha, nació en la ciudad de Dolores Hidalgo, en el estado mexicano de Guanajuato, donde pasó sus primeros años de vida, hasta poco después de la muerte de su padre en 1936, quien era dueño de una farmacia denominada "San Vicente".
(4).jpg)
José Alfredo tenía tres hermanos: Concepción, Víctor e Ignacio. A los once años llegó a Ciudad de México donde desde adolescente empezó a componer sus primeras canciones. Su madre abrió una pequeña tienda que no prosperó, por lo que José Alfredo tuvo que contribuir a la economía familiar y desempeñó múltiples oficios, entre ellos, el de camarero; fue además jugador de fútbol. Participó en los equipos Oviedo y Marte de la primera división de fútbol mexicano, en la posición de portero, llegando a coincidir como compañero de equipo con Antonio "La Tota" Carbajal. Más tarde, fue miembro de un grupo llamado "Los Rebeldes". El restaurante donde trabajaba, "La Sirena", era frecuentado por Andrés Huesca, quien escuchó algunos de los temas del entonces joven cantautor, entre los cuales estaba "Cuando el destino" (canción en la que José Alfredo tenía mucha fe) y "Yo"; Huesca decide grabar esta última inmediatamente y a raíz de ahí cantó en 1948 por primera vez en la emisora de radio XEX-AM y meses después en la XEW-AM, en la que se catapultó a la fama.

Le regaló a su novia Paloma Gálvez la canción Paloma Querida, y ella buscó a Jorge Negrete quien era el máximo intérprete de la canción mexicana en ese momento para que la cantara, Jorge Negrete quedó maravillado con la letra y grabó un disco con canciones de José Alfredo Jiménez siendo un éxito arrollador para ambos.