Una variedad de razones, espero. El cultivo de especias no vino del este hasta los últimos siglos. Todos estaban muy circunscriptos por el clima y las condiciones del suelo y no comenzaron a moverse hasta el período moderno temprano, incluso si las especias en sí recorrían un largo camino.
En cuanto al resto, los pollos y el arroz tienen una zona de cultivo bastante amplia y les va bien en las zonas templadas. Tampoco requieren unos pocos años de cultivo antes de comenzar a producir. Obtienes arroz en una sola temporada de crecimiento, y las gallinas crecen en un tamaño razonable dentro de un año. El azúcar hace mayores exigencias al clima, pero aún produce más rápido que un árbol frutal. Sospecho, además, que los lichis no son triviales para crecer. No fueron cultivados en China antes del siglo XI a pesar de haber sido populares durante años. Probablemente hay más que se dedica a cultivar lichis de lo que es inmediatamente evidente.
TL; DR: el cultivo de especies de alimentos se mueve más rápido para los menos exigentes y los que producen más rápidamente.