有趣的是，泰山府君不仅在六朝志怪小说与敦煌文献中登场，而且东渡扶桑，成为日本佛教文学中的一位主人公。
那他是怎么到日本去的呢？
泰山信仰是通过多种渠道深入到日本人的社会生活中的。远在日本弥生后期，汉代的文物便流向离中国最近的九州地区。现藏佐贺县立博物馆的一面西汉末年的铜镜，有这样的铭文：“上大（泰）山，见神人，食玉英，饮澧泉，驾文（交，蛟）龙，乘浮云，长享宜”。传入日本的铜镜中，还有铭文更长的，有关泰山的铭文后面有的还有“宜官秩，保子孙，寿万年”之类的文句。这些铭文中的泰山形象，是人间仙境，是福地洞天，足以引起人们的憧憬与向往。据《册府元龟封禅》与《旧唐书礼仪志》，倭国及日本使者还曾两次登岱参加朝廷的封禅大典，也就是说，从7世纪到9世纪那些登岱的日本人来说，泰山不再是书中缥缈的神山，而且是亲身感受过置身其中的庄严圣洁的胜境。
《神社考》一书把泰山府君又称为赤山明神。说日本的慈觉大师即圆仁在唐的时候，泰山府君就现形与慈觉大师约好要到日本。慈觉回国的时候遇到风暴，眼看就要被漂流到罗刹鬼国去了。危机当口，赤山明神身着蓑衣，手持弓箭，始终护卫着慈觉。慈觉就是日本天台宗山门派祖师圆仁（794—864）。圆仁是公元838年入唐，847年归国的。从这个传说可以推测，泰山府君信仰是随佛教传进日本的。
根据《元亨释书》中的《圆仁传》的说法，圆仁（慈觉大师）入唐，有一段时间住在登州赤山法华院。他回日本以后，发愿要修建赤山禅院却未能实现，弟子安慧遵照他的遗言，于日本仁和四年（公元888年）在今京都左京区劝请赤山明神，即泰山府君，建立起赤山禅院，和比睿山东麓的日吉神社（在现大津市）一并作为天台镇守神社，香火不断直传至今。阴阳道的泰山府君祭就常在这里举行。
日本史料中有很多有关赤山明神，即泰山府君的记载。《吾妻镜》1217年8月25日条载这一年7月26日后鸟羽上皇为祈愿去病，前阴阳博士道昌在赤山神社举行泰山府君祭，结果“翌日平愈”。从1261年开始，祭祀泰山府君的这个祭祀就变成了官方祭祀。《寻尊大僧正记》中有不少有关举行泰山府君祭的记载。
文学作品中这类记述也时有所见。《太平记》卷15写“一老翁带弓箭上殿，主上问曰：`汝乃何人？`老翁道：`吾乃拥护圆宗之赤山大明神也。”`这位老翁，便是守护后醍醐天皇的赤山明神。有趣的是，在日本赤山明神的形象，不管是雕像还是画像，都是身着红袍，右手握箭，左手持弓，完全是武神的造型。
《源平盛衰记》卷第十写为了镇伏赖豪的怨灵（怀怨的灵魂），朝廷为是否建立戒坛而踌躇，当时的关白太政大臣实卿，奏请主上：“暂且宽宥赖豪之怨恨，当允许建立戒坛。”主上忧烦，睡梦中见一赤衣装束的老翁，左胁挟弓，手搓大镝鸣而有声，主上惊问：“你是何人？”老翁答曰：“我乃比睿山西麓侍卫老翁也，世称赤山。有臣奏请于三井寺建戒坛，如若应准，我将放此年来之镝，正验其镝之曲直也。”主上从梦中惊醒，耳边犹闻镝鸣之声，故未应准建坛一事。接着的一节题为“赤山明神”，插叙了赤山明神的来历：
赤山明神者，慈觉大师渡唐之时，清凉山传曼声长引之念佛，以此念佛之守护，于大师以芳契，忽出异朝之云，正住睿山之月。则大师归朝之时，遇恶风，其舟危殆，乃念本山三宝，不动毗沙门现于舻舳。此明神身穿赤衣，背负白羽之矢，现于舟上，守护大师。山王守于东麓，我侍于西麓，窃知大师之好静也。赤山者，震旦之山名也。住于彼山之神，名曰赤山大明神，乃本地地藏菩萨也，曰太山府君。
这里说圆仁到唐的时候，在五台山（五台山本名清凉山）听到念佛声，正是这曼长悠远的念佛声，守护着他，让他能够平安归国，并到达比睿山。原来在他渡海东归之时，遇上风暴，船将倾覆，他虔诚念佛，不动明神出现在船上。那明神身着红装，背负白色羽毛箭，在船上守护着圆仁。在比睿山，山王守护着东麓，而明神守护着西麓，所以知道圆仁喜欢安静，不喜搅扰。这里说，赤山明神是中国赤山的山神，也就是本地的地藏菩萨，名字也叫做太山府君。
赤山明神本来在离京都不远的比睿山，这里又把他与泰山府君合二而一，还有的说他就是日本的地藏菩萨。考赤山之名，当有来历。《后汉书乌桓鲜卑列传》第八十说乌桓死者神灵归赤山，“赤山在辽东西北数千里，犹中国人死者魂神归岱山也。”《三国志》卷三十《魏书乌桓鲜卑东夷传》里也有同样的话。乌桓的赤山和汉民族的泰山，都是魂魄的归宿，传到日本之后，便合二山为一山，合二神为一神了。
随着佛教东传，泰山府君就这样顺顺当当地日本化了．那个时代道教也曾乘风东去，泰山府君对信道教的人也同样有权威，这里不详说。
