Die "Castells" sind aus dem sogenannten "Ball de Valencians" hervorgegangen, einem Tanz, der Teil der Traditionen von Volksfesten im "neuen Katalonien" (Südkatalonien) war.
In diesem Tanz kommen Tanzschrittfolgen vor, die von der Musik der Schnabelflöte Gralla begleitet werden. Dieser Tanz endete mit einer Figur eines kleinen Menschenturms, der zwischen drei und vier Personen hoch war.
Die Rivalität zwischen den Gruppen des "Ball de Valencians", um zu zeigen, welche davon den höchsten Menschenturm bauen kann, führte soweit, dass sich der Aufbau des Menschenturms vom Rest des Tanzes löste. Was zu Beginn den Höhepunkt des Tanzes darstellte, wurde also so wichtig, dass diese Figuren ohne vorherigen Tanz vorgeführt wurden.
Diese Trennung vom Tanz erfolgte nach und nach. Deshalb kann auch nicht mit Genauigkeit gesagt werden, ab wann die Tänzer nur die Menschentürme allein aufbauen wollten. Der entscheidende Zeitraum für die Loslösung vom Tanz lag im letzten Viertel des 18. Jahrhunderts.
In der ersten Hälfte des 19. Jahrhunderts wurden in den Programmen der Volksfeste die "Castellers" mit dem Namen "Ball de Valencians" erwähnt und ab der zweiten Hälfte des Jahrhunderts erfolgte die Erweiterung dieses Namens zu "Valencians vulgo Xiquets de Valls" in der Region des Penedès.
Die Begleitung des "Ball de Valencians" durch die Schnabelflöte Gralla wurde auch nach der Trennung für den Aufbau der Figuren der "Castellers" beibehalten.