现在的日语书写体系要追溯到4世纪,当中国的文言文写法传到日本的时候。虽然有说法是发现了称为神代文字的更古老的记载法,不过那些都像是图形文字、类似如尼字母、酷似谚文。没有任何依据能够定论这些文字是真正的来源,在中国语传到日本前就有文字的证据并不存在。在这个网站能够看到一部份的神代文字。
最初并不是用中国的文字来记载日语,因为读写上需要具备汉文的能力。反而是提出了用中国文字(汉字),来将有正式规则或受日语影响后的变异规则的汉文,当作日语来读的技术方案,此后为了这个方法,偶尔会在汉字的旁边加注上提示用的“返点”等符号。被认为是在712年以前编撰的日本最早期的文献“古事记”是用汉文写成的。日本的中等教育现在也有教导汉文的初步内容。