No lo esperaría si estás hablando de leches comerciales de almendras. La mayoría de ellos tiene 5 almendras o menos por taza. No soy un alergólogo, y debe buscar otro consejo médico.
De lo contrario, solo podría especular que si estás teniendo reacciones alérgicas a la leche de almendras más que a las almendras, podría ser que las almendras están tan finamente molidas en la leche que están más disponibles, o puede haber algún otro ingrediente en la leche a la culpa.