Le Dr Peter Kreeft, philosophe catholique éminemment accessible, nous éclaire dans son article "The First Cause Argument", qu'il a publié sur son site web personnel (il s'agit d'un extrait de son livre Fundamentals of the Faith). (Kreeft présente quatre arguments de saint Thomas d'Aquin sur ce sujet, dont deux sont particulièrement utiles pour répondre à votre question :

Tout d'abord, il affirme que la chaîne des mobiles doit avoir un premier mobile, car rien ne peut se déplacer par lui-même (le terme "mobile" désigne ici tout type de changement, et pas seulement un changement de lieu). (Si toute la chaîne des choses en mouvement n'avait pas de premier moteur, elle ne pourrait pas être en mouvement, comme elle l'est actuellement. S'il y avait une régression infinie de mobiles sans premier mobile, aucun mouvement ne pourrait jamais commencer, et s'il n'avait jamais commencé, il ne pourrait pas continuer et exister maintenant. Mais il continue, il existe maintenant. Il a donc commencé, et il y a donc un premier moteur.

Deuxièmement, il étend la preuve de la cause du mouvement à la cause de l'existence, ou cause efficiente. Il soutient que s'il n'y avait pas de première cause efficiente, ou de cause de l'apparition de l'univers, alors il ne pourrait y avoir de causes secondes, car les causes secondes (c'est-à-dire les causes causées) dépendent d'une première cause (c'est-à-dire causée par elle), c'est-à-dire une cause incausée. Mais il y a des causes secondes tout autour de nous. Il doit donc y avoir une cause première.

Pour le traitement par Kreeft des contre-arguments à l'argument de la "première cause", voir à nouveau l'article susmentionné.

L'un des contre-arguments de Kreeft est particulièrement utile pour illustrer la raison pour laquelle nous pouvons avoir une régression infinie en ce qui concerne les nombres, mais pas en ce qui concerne les êtres réels :

Quatrièmement, on demande souvent pourquoi il ne peut y avoir de régression infinie, sans premier être. La régression à l'infini est parfaitement acceptable en mathématiques : les nombres négatifs vont à l'infini tout comme les nombres positifs. Alors pourquoi le temps ne pourrait-il pas être comme la série des nombres, sans le nombre le plus élevé, soit négativement (pas de premier dans le passé), soit positivement (pas de dernier dans le futur) ? La réponse est que les êtres réels ne sont pas comme les nombres : ils ont besoin de causes, car la chaîne des êtres réels se déplace dans une seule direction, du passé au futur, et le futur est causé par le passé. Les nombres positifs ne sont pas causés par les nombres négatifs. Il existe en effet un parallèle dans la série des nombres pour une cause première : le chiffre un. S'il n'y avait pas de premier nombre entier positif, pas d'unité un, il ne pourrait y avoir d'addition ultérieure d'unités. Deux, c'est deux un, trois, c'est trois un, et ainsi de suite. S'il n'y avait pas de premier, il ne pourrait pas y avoir de deuxième ou de troisième.