Nascido na Bahia, é o quinto dos oito filhos de José Teles Velloso (Seu Zezinho), funcionário público dos Correios falecido em 13 de dezembro de 1983 aos 82 anos, e Claudionor Viana Teles Velloso (Dona Canô), nascida em 16 de setembro de 1907. Casaram-se em 7 de janeiro de 1931.
O nome da irmã foi por ele escolhido inspirado em uma canção famosa da época (18 de junho de 1946) na voz do cantor Nélson Gonçalves, Maria Bethânia, do compositor Capiba. Na infância, foi fortemente influenciado por arte, música, desenho e pintura; as maiores influências musicais desta época foram alguns cantores em voga na época, como “o rei do baião” Luiz Gonzaga, e canções de maior apelo regional, como sambas de roda e pontos de macumba. Em 1956 frequentou o auditório da Rádio Nacional, na capital fluminense, que contava com apresentações dos maiores ídolos musicais brasileiros. Em 1960 mudou-se para Salvador, onde aprendeu a tocar violão. Apresentou-se em bares e casas noturnas de espetáculos. Nesta época, o interesse por música se intensificou. Cedo na carreira retirou um “l” de seu nome, optando por Caetano Veloso.