万历四十七年举人，官至兵部郎中，清兵入闽，被执不屈而死。博学好古，善画山水，为”画中九友”之一。
崇祯十六年（1643）已近中年时，他才谋得江宁知县一职，但不久又被劾罢官。失意之余，遂盘桓于秦淮风月场中。原来秦淮内河自明太祖定都南京就异常繁华，从东水关到西水关长达十里，彻夜灯船，尽笙歌。杨文聪为人豪侠，性爱交游，不仅与素淮名妓往来甚密，而且与复社名流侯方域等结为至友。以扇血点染桃花的韵事，很有可能就发生在这时。此事本传不载，然据近人考证，在孔尚任《桃花扇》成书之前，姜实节为杨文聪题画时就有“记否桃花留扇底，一回首处一消魂”之句。由此可知，杨文聪以扇血点染桃花，并非虚构，而是实有其事。
杨文聪于万历二十四年（1596），诞生于贵阳城南郊的石林精舍少怀壮志，学兼文武，善书画，有文采，万历末期举于乡。此后屡试不第，年已30，仍功名不就，因之落魄江湖，纵情山水。他爱南京栖霞山风物，曾读书山中，暇时常登峰顶，眺望长江。数年后，回忆这段生活，曾绘《江中望栖霞》，并题咏其上，以抒怀念之情。