止境的闲言碎语，没有真正的天伦之乐。尤其是父亲过世后，生母不在身边的曼殊，日子更不好过。嫡母黄氏从精神到肉体虐待曼殊，曼殊生病，黄氏不但不管，还将小小的他赶到柴房，任其自生自灭！
东京也不是他的家，本以为是亲生母亲的何合仙一直对自己隐瞒身世，当他得知自己依恋信赖的养母隐瞒了自己的身世时，不告而别。他对养母的感情极其复杂，有依恋也有被欺骗的屈辱，凡此种种，让曼殊对家庭极端失望。所以，曼殊的小说中，旧家庭无不阴云密布、压抑青年，家长不是贪财好利，就是不近人情。《断鸿零雁记》（1912年）主人公三郎幼年备受欺凌。《绛纱记》（1915年）因男主人公的舅父破产，女方的父亲悔婚，要将一对恋人拆散。《焚剑记》（1915年），阿兰的姨母贪图富贵，生生害了两个外甥女。《碎簪记》（1916年），叔叔对庄浞和灵芳的婚事百般阻挠。《非梦记》（1917年）婶母费尽心机，使尽手段，让三个年轻人痛苦一生。
家庭不能给曼殊带来快乐和满足，金钱、名誉、地位，曼殊更不放在眼里。他一生穷困潦倒，经常需要朋友的接济，从他存世的书信看，其中近一半都是请求朋友寄钱给他。其实以苏曼殊的画艺，他完全可以过上舒服的生活，他传世的画作远不如被他撕掉的多。当时很多人找他求画，苏曼殊不厌其烦，即使到了最潦倒的时刻，他也不屑靠卖画过活。曼殊给刘三的信里说：“比来女郎所画过多，不得以定下新例，每画一幅，须以本身小影酬劳。男子即一概谢绝。吾公得毋谓我狂乎？”不要说金钱、名誉、地位，就连生死大事曼殊同样不放在心上：
契阔死生君莫问，行云流水一孤僧。
无端狂笑无端哭，纵有欢肠已似冰。
——《过若松町有感示仲兄》
行云流水一孤僧是曼殊的自我定位，飘蓬不定，孤孤零零，他以僧人的身分混迹于世俗社会，想哭就哭，想笑就笑，大有竹林七贤豁达恣肆的风范。苏曼殊纯朴得像一杯泥土，清亮得像一滴雨水，历尽坎坷却永远不谙世事。他的天真，他的孩子气，虽使他备受朋友们的宠爱，却因此受尽生活的苦楚。他的天真纯系天性，但脆弱、容易受挫，饱尝生活的艰辛。不了解苏曼殊的人，会说他疯疯癫癫，不容于世。曼殊的老友，即诗中的仲兄陈独秀对曼殊非常了解，陈独秀认为他于人情世故是看得过于透彻而不肯俯仰，实佯狂免祸罢了。陈还说许多人以为他是傻子，实在是上了曼殊的当。陈进一步肯定他说：“在许多旧朋友中间，像曼殊这样清白的人，真是不可多得了。”曼殊的清白固然难得，然而这清白背后是怎样的煎熬：纵有欢肠已似冰，红尘的欢愉不能温暖他那冻结的心肠，因为这红尘一点也不美好，苏曼殊眼前的世界，是一个纷乱污浊的世界，只配让人放浪形骸地活着。