André Ceccarelli débute à l’âge de quinze ans dans les salons de l’Hôtel Royal de Nice où il joue avec quelques musiciens lors de thés dansants organisés les fins de semaine. C’est là qu’il est repéré, et est engagé à l’âge de 16 ans en mai 1962 dans le groupe de rock français Les Chats Sauvages, ce qui correspond au début de sa longue carrière professionnelle.
Plusieurs tournées et l’enregistrement de 6 45 tours et 1 album avec le groupe, qu’il quitte en février 1964 pour reprendre le poste de batteur au sein de l’orchestre d’Aimé Barelli. Après avoir joué avec de nombreux artistes, notamment Claude François, il s’oriente vers le jazz, et va pouvoir jouer avec les plus grands jazzmen de l’époque, tout en devenant un musicien de studio très actif.
À partir de la fin des années 1960, il collabore avec l’arrangeur et trompettiste Yvan Jullien avec qui il enregistre notamment l’album Synthesis (1978).
En 1979, il entame une carrière aux États-Unis aux côtés de Bunny Brunel et Chick Corea. En 1987, il rencontre Dee Dee Bridgewater avec qui il poursuivra une fidèle collaboration.
Il enregistre en tant que leader depuis les années 1990.
André Ceccarelli est le parrain officiel du festival Jazz à toute heure, créé en 1998 à Saint Rémy-lès-Chevreuse auquel il participe en trio chaque année à la première. Il est également parrain du Nice Jazz Festival en 2013.
En 2016 il participe au projet pédagogique en ligne Imusic-school en collaboration avec Franck Agulhon.