Dazu findet sich aber auch (nur der Vollständigkeit halber) :

Siehe Wörterbuch: [fr-de] caille

 ... ma petite caille [ugs.]      mein Schätzchen ... 

https://www.cordial.fr/dictionnaire/definitio...

 ... Expressions françaises avec caille

Avoir quelqu'un à la caille : Détester quelqu'un. ...

https://www.dictionnairedelazone.fr/dictionar...

  caille nom féminin.

   1. Fille, femme. Syn. belette.

   Ho, ho ! Y a de la caille ici, je sens que je vais un peu m'attarder le temps de faire connaissance !

   2. Chose de peu de valeur.

   Ta chaine Hifi, c'est de la caille made in China !

   3. Jeune voyou.

   Ta meuf c'est une caille mec, elle met des coups de tête | Elle fume, elle boit, elle se la pète | Elle est dingue, elle est raide, elle est pas nette | Elle met des balayettes, c'est une caillera (Faf Larage, « Ta meuf (la caille) », Rap Stories, 2007) .

   Rien d'bonnard, j'continue ma vie d'zonard | Appelle-moi comme tu veux : sale caille ou gros connard (Haroun, « Le Zonard », Au front, 2007) .

   Histoire de balances, (virgule) shit cellophane (virgule) | D'une caille qui chiale à la barre comme Lindsay Lohan (Zekwe Ramos, « Histoire de… », Seleçao, 2011) . ...

Ohne den weiteren Gesprächszusammenhang zu kennen, tendiere ich hier eher zu 3. unten im dritten Link ... wie bereits im OP vorgeschlagen ... z.B. "Oh, der alte / Du alter Gangster" ...