Nasceu em Tombos, Minas Gerais, em 1934 e em 1939 mudou-se com a família para São Paulo, capital. Em 1959 formou-se na FAU - Mackenzi.

Logo que se formou, Ramalho foi convidado pelo professor Eduardo Kneese de Mello para trabalharem juntos no escritório do arquiteto já consagrado, ambiente no qual se encontravam outros arquitetos importantes no cenário paulistano, tais como Fábio Penteado, João Batista Vilanova Artigas, Paulo Mendes da Rocha e João De Genaro.

Joel transferiu-se com a família para Curitiba em 1967 a convite de Luiz Forte Netto, para trabalharem juntos no órgão de planejamento da cidade – o Instituto de Pesquisa e Planejamento Urbano de Curitiba (IPPUC). Na década de 1970, o escritório curitibano de Joel Ramalho Júnior se destacou em nove concursos de projeto e conquistou o primeiro lugar em cinco deles: o edifício Sede do BNDE para Brasília (1973), construído no Rio de Janeiro (1974); a Praça e Monumento ao Migrante, em Cascavel (1976); o Edifício Anexo à Assembleia Legislativa do Paraná, em Curitiba (1976); o Centro de Exposições e Convenções do Estado de Pernambuco, em Recife (1977) e o Edifício Sede para a Terrafoto AS – Atividade de Aerolevantamentos (projeto não construído de 1979), em Embu das Artes.