那时，天下人都用同一种语言，讲同一种话。人们向东迁移时，在示拿地区找到一处平原，定居下来。他们彼此商量说：“来呀，我们烧些砖吧。”他们用砖作石块，用柏油作水泥来造塔，说：“来吧，让我们造一座城和一座高耸入云的塔，这样我们可以扬名天下，不致分散在地上。”耶和华从天上下来，要察看人建造的城和塔。耶和华说：“看啊，他们同属一个民族，都用同一种语言，现在就做这样的事，如果继续下去，他们会为所欲为。让我们下去变乱他们的语言，使他们彼此言语不通。”于是，耶和华把他们从那里分散到世界各地，他们便不再建造那城了。因此，人称那城为巴别，因为耶和华在那里变乱了人类的语言，把他们分散到世界各地。
到了世界各地后，人们言语虽然变乱，但还造塔。于是同种言语的人们彼此商量说“来呀，我们烧些砖吧。”就这样，塔又在地上起来了，而且塔分散到各处，如耶和华分散人类一样。但又因人类被分散，塔里修塔的人比原先巴别塔中的人少，于是世界各地塔都修得矮小。
不过每个塔也如巴别塔一般一代代修下去，也能如巴别一般高耸入云，但修塔的人之间言语也常变乱。巴别一般的大变乱已很少，更多的是像修圆塔与方塔，石块的大小的矛盾。于是塔多，这塔又毁的也多。塔毁了后，这些人们又到其他地方另起新塔。
就这样，塔毁了又建，建了又毁。变乱也不知道发生了多少次。或是建塔的人们慢慢减少，直到灭绝也是常有的事。或是建塔的人多子多孙，塔越建越高也是有的。
新塔立起是常事，刚开始时只有几个人劳作，随着新塔的变高，人们被引来，彼此说：“这真是好塔，我们也来烧砖吧。”有的塔吸引不到人，建造便停止，最后朽烂。有的塔吸引的人多，子孙也兴旺，于是使便日夜庆祝，直到变乱发生。
变乱虽常见，但对各塔来说是一件大事。每到这时这塔中人们就开始恸哭且怒斥彼此。但在其他塔里的人看来，只是一群住在破塔中，不知为何如此激动的人。而地上塔极多，人们不会注意到小塔的倾覆。很快，这座小塔同塔中的人就会同从未存在过一般被人遗忘。
千万年过去，塔的样子丰富多变。还出现了一些比旧巴别还高的塔。到了今天，已经没有多少人再建有形的塔了，更多的塔是无形的塔。