最为流行的说法是，日语“吴音”是南北朝时期由南朝直接传入日本的“建康音”。南北朝时期，北朝是胡人统治，而南朝才是正统汉人王朝，代表先进正统的文化，日本人理当学习南朝音，因为南朝、建康地处吴地，故而引进之音，称作吴音。
还有一种小众的说法认为，日语“吴音”是南北朝时期由朝鲜传入，和吴地没任何关系。
从我个人的认知角度来讲，我是赞成后一种说法，即：吴音由朝鲜传入，和吴地无直接关系。
无论哪种说法，吴音传入日本的时间段都锁定在南北朝时期，即隋唐“汉音”大规模传入日语之前。参考南北朝时期日本的对外交流史会发现，当时的中国的北朝、南朝和日本的交往都不密切，真正和日本交往密切的是朝鲜半岛。以当时的航海技术，从中国大陆到日本是非常困难的，而南朝所处的江南到日本尤其困难。在元明海航技术大发展以前，中国大陆和日本的直接交流主要集中在隋唐时期，也是缘于日本官方不惜一切代价派出遣唐（隋）使，也正是这一时期才有“汉音”的传入，而民间交流的难度可以参考鉴真东渡。
反观朝鲜半岛和日本的交流则便利得多，朝鲜半岛与日本本土的距离只有中国江南与日本距离的四分之一，而且中间还有对马岛可以中转补给，朝鲜半岛与日本的密切交流从史前开始未曾中断。因此，在隋唐之前，中国对日本的影响都是间接通过朝鲜的传递而实现的，包括汉传佛教也是通过朝鲜间接传入日本的。
今天日本“吴音”运用的场合远不如“汉音”广泛，但是在佛教领域，“吴音”占有统治地位。佛教东汉时期进入中国，随后迅速传播至朝鲜半岛北部的汉四郡。南北朝时期，佛教从朝鲜半岛向日本传播，这一时期的日本称为“飞鸟时期”，日本“飞鸟时期”的佛教文物和朝鲜具有很多相似之处，甚至佛教建筑和塑像都是朝鲜工匠的输出。根据正常的逻辑，当时咏诵佛经的语言当然也是朝鲜僧人传授的。
那么日语“吴音”怎么会和当时八竿子打不着的中国江南联系起来呢？推测有三个原因：
一是望文生义，“吴音”中的“吴”起到了误导的作用，“吴音”是隋唐时期的地方口音，而中原地区对非中原正音常称“吴音”，有泛指倾向，日本为了区别当时引进的“汉音”，继承了这种称呼而已。
二是近代以来，日本民族自尊心的膨胀，有意矮化朝鲜形象，包括否认朝鲜所起到的历史作用。
三是现代以后，中国学术的中心在江浙，为了强化江浙与日本的固有联系，江浙学者也倾向于宣传这种说法。