Oui, le baptême peut avoir lieu pendant l'Avent. Aucune règle de l'Église ne l'interdit. En fait, le canon 856 stipule explicitement que le baptême peut avoir lieu n'importe quel jour, bien qu'il recommande le dimanche.
Les seuls jours où l'on trouve une règle interdisant les sacrements sont le Vendredi saint et le Samedi saint jusqu'à la Veillée (Paschalis Solemnitatis 61 & 75). Et même dans ce cas, le baptême d'une personne en danger de mort est autorisé.