无论是工匠、画家，还是剑客，只要人出名了，那么关于他的传说就会有很多。武藏从十三岁杀死剑豪有马喜兵卫到六十多岁时去世，留世的传说相当多。不过直到他在细川家落脚之后的传说才算稍稍有点根据。这些传说最早都是藩士口口相传，直到多年以后才被记载下来，究竟能够在多大程度上反映武藏的真实情况，这就很难说了。
据《武艺小传》记载，有马喜兵卫是有马丰前守一族的族人，而有马丰前守是剑道大家松本备前守的刀法继承人。有马丰前守受德川家康之命，来到纪州。有马喜兵卫修习的是天真正传香取神道流，按他的身份，无论如何都不可能和一个小孩子发生争执。
武藏出生在美作吉野郡赞甘村的大字宫本。有一次，有马喜兵卫来到村子里，扎好篱笆墙，立起贴金告示牌，找人和自己比武。武藏当时还小，幼名叫弁之助，在从私塾回家的途中，用墨水把那个贴金告示牌给涂了。这下可把有马喜兵卫给惹急了，他抽出大刀，非要把武藏砍死不可。这时，和武藏相熟的一名僧人赶紧过来，代武藏向有马喜兵卫求情，但有马喜兵卫不听这套，非要把武藏杀了才解心头之恨。后来，两人就打了起来，结果出乎所有人的意料，有马喜兵卫被十三岁的武藏给打死了。
对于这件事，武藏在晚年所著的《五轮书》中用一句话带过：“吾自幼修习兵法之道。十三岁时，战胜新当流武士有马喜兵卫。”至于具体经过是不是如传说的那样，我们还无从得知。
有马喜兵卫在当时也算是个小有名气的兵法家，他应该不会那么容易就被小孩子的恶作剧所激怒。再说了，在那个小山村里，扎起篱笆墙，立起贴金告示牌，目中无人地等着别人前来挑战，这也不合情理。当时虽然有搭好擂台找人比武的风俗，但都仅限于都会地区，在乡村地区，尤其还是小山村是绝对不会有的。而且，有马一族是当时的名门望族，如果有马喜兵卫来到竹山城的属地，那当地的官员必须按照相应的礼仪规格来接待，根本不可能让他在荒天野地里自己找人去比武。武藏十三岁的时候，父亲无二斋去世，但家里的房子还在。直到宽永十五年（1638年），才由官府下令，将房子毁掉。据当地人介绍，从残存的地基来看，武藏家当时的房子有三十多间，可以看出，武藏家还是很气派的。无二斋因十手术而闻名于乡野。我们不妨再做一下猜测，有马喜兵卫可能不知道无二斋已经去世的消息，特意跑到宫本村，想和他比武，在获悉无二斋已经去世之后，就和武藏进行了比武，结果被武藏杀死了。
熊本的宫本武藏彰显会编著过一本《宫本武藏传》，其中对武藏击败有马喜兵卫一事的评价是：“事件发生很久之后才去记载，存在诸多疑点。”我对此也持有同样观点，觉得这一传说应该不符合史实。
在丹治峰均写的《兵法大祖武州玄信公传》中，有如下这样一个小故事。有一天，无二斋在屋子里削牙签，武藏在旁边看父亲的兵法书，时不时地口出狂言批评几句。虽然武藏当时还是个孩子，但还是激起了无二斋满腔的怒火。他随手把手中削牙签的小刀向武藏扔去，武藏赶紧躲闪，小刀扎到了身后的柱子上。无二斋一看没打着，火气更大了，这次拿出佩刀，向武藏扔去。武藏见势不妙，就逃出家门，之后就再也没回家。据说，他此后投靠了播磨的一名僧人，跟随他云游四方。
这个故事非常怪异，很难让人接受。如果真是那样的话，那无二斋该是一个多么冷血无情、性情古怪的人啊！在关于武藏的各种书中，虽然没有无二斋在武藏童年时期就去世的记载，但我们不难推测出在武藏还不满十岁的时候，他就已经去世了。当时，武藏还是个什么都不懂的小毛孩，又怎么会对父亲的兵法说三道四呢？据说武藏还有个姐姐，无二斋就武藏这一个儿子。俗话说，虎毒不食子，他又怎么舍得把自己的独子给打死呢？
这个小故事虽然没有什么史料价值，但是在武藏去世百年之后还是被写到了传记中，这也足以证明这个小故事中肯定还包含着其他特别的暗示。若从这个角度来看，这个小故事还是有一定价值的。武藏幼时父母离异，从来没有得到母亲的关爱，这种家庭的缺陷使得武藏幼时的生活并不温馨。
武藏的母亲叫率子，来自播磨佐用郡平福村的别所家，和无二斋离婚之后，又改嫁田住政久。据说，现在大野村的“于政墓”就是田住政久的墓地。
不过还有一种过于穿凿附会的说法，说是由于和田住政久的特殊关系，武藏年少时是在播磨住一段时间，然后再到美作住一段时间，如此来回跑。还有一种说法，说武藏是母亲带过来的，并不是无二斋的亲儿子，因为无二斋对他不好，所以后来就偷偷跑回播磨的生父那里，因此他在晚年写《五轮书》的时候，声称自己是播磨武士。
不管何种说法，我们都可以看出，武藏儿时的家庭生活并不幸福。儿时的遭遇注定了他终生流浪的宿命。晚年，他只身一人来到岩殿山灵岩洞，形如枯骨，修禅打坐，孤独等死，这一切似乎也都跟他的家庭影响有关。
武藏面对敌人时的冷酷无情，以及他年老后不时露出的野性，使得直木三十五非常讨厌他。可以说，武藏的这种性格是由多种因素造成的：首先是家庭环境，幼时父母离异；其次是整个人生中没有青春，没有妻子，直到在熊本死去，连个交心的朋友都没有。
武藏年老之后，选择了用绘画来消遣时间，他喜欢大笔一扫式的写意画法。这不仅体现了一种特有的虚无观，同时也是武藏将自己六十余年的生涯归于一瞬的特有表达。这一切，其实都和他少年时代的家庭生活息息相关。直木三十五曾通过实例来历数武藏的冷酷、残忍和野性。我对此持反对的态度，并对武藏充满了同情和兴趣。虽然遭遇了童年的不幸，但在武藏的一生当中，他一直都在努力成为一个好人。
在武藏所有的遗作中，没有一处文字提及他的父母。仔细体会《独行道》，会发现其中充斥的全是孤独的情绪。如何在孤独寂寥中体会快乐，提炼哲学，提高道德，提升艺术，成为鞭策他坚持独自生活的动力。《独行道》中有这样一训：
“分离之时亦不伤悲。”从此句话我们也可以看出，武藏绝对不是一个冷酷无情之人，他也有自己的感情，也有自己的烦恼。
