Según los historiadores, a finales del siglo XVI los yolofos fueron mayoritarios en Cartagena. Hacían parte de un reino conocido como El Gran Yolofo. El apogeo de este Estado del África occidental se sitúa entre los siglos XIII y XV. Contemporáneo del imperio de Mali, su territorio abarcaba el extremo noreste de la Senegambia, región comprendida entre los valles del río Senegal y el río Gambia, en el flanco oeste de la zona sudanosaheliana. Más allá de la ribera norte del Senegal, bordea el Sahara y hacia el sur de Gambia limita con los bosques de Casamance.

Las primeras menciones de los yolofos aparecieron a finales del siglo XVI. André Alvares de Almada, escritor portugués, aludió al "reino de Jalofo" o "Giloffa" y resaltó que los yolofos poseían una lengua propia. Sin embargo, dentro del Estado yolofo se hablaban otras lenguas cuyos locutores fueron designados con los nombres de berbesíes, tuculores y mandingas.