年少的土方岁三在11岁时就曾去上野奉公,但是因为违反了店里严格的规定,于是就逃回到家中。到了嘉永四年,17岁的土方再次踏上了奉公之旅。和当时一起准备奉公的少年少女们不同的是,土方没有选择在自己的村子或是附近八王子一带,而是踏上了江户,在那进行奉公,他的人生志向在这时就已经表现出来了。初相逢,春心共,年少懵懂,这一段恋情就是发生在江户奉公期间。
开始的资料并没有提到土方奉公的地点、店家,到了后来据说是土方的后人补充说当时他奉公的地方是在江户大传马町的服装店。当时的大传马町是赫赫有名的木棉基地,相应的行业法规也是相当的严格。土方就是在这里,同和他在一家店里奉公的女子相爱了。强烈的爱意冲昏了年轻的头脑,他和这位女子海誓山盟,不抛弃不放弃什么的。但在当时的大传马町的商业工会有着名为「仲间式法」的行规。其中就有那么一条「若同伴、普通人等去往他处,做出与其身份不相称的事,不必多想,写下当事人姓名,投入箱内,必定进行处理。」 正是在这样严格的监视制度下,土方和那位女子的恋情很快暴露在众目睽睽之下,家人也知道了这件事。在家人的强烈反对,商会的两面压力下,土方岁三与这个女子分手,辞职再次回到家中。
这段情感其实给土方岁三留下了较大的影响,他曾吟过这样的俳句「朝雪の盛りを知らず伝马町」(不知今朝霜雪厚,传马町),其他地方都积着雪,可是因为传马町人来人往,路上的雪已经消融。现在读来,也能感受到历经世事的土方在追述年少那段情感时的无奈与自嘲。也就是在此之后,土方开始卖他包治百病,原为河童作赐的石田散药,并且踏上修行剑术之路。