第三种：传说宋朝时荆田村出了一个才貌双全的女子名叫胡玉秀（有的说叫胡秀 英），后补选入宫为妃。进宫后不久，遭冷遇，苦闷异常。她想写信回家倾吐苦情，又怕太监发现。于是心生一计，根据女红编了一套文字，以歌咏体写在手绢上捎归，并嘱咐亲人：要斜着看，要用土话的音来读。于是这种文字就在妇女中传开了。
第四种：传说是盘巧创造的。很久以前，桐口出了个心灵手巧的姑娘名叫盘巧，她三岁会唱歌，七岁会绣花。她唱的歌令人陶醉，绣的花能以假乱真。后来她被官府劫往道州。为了向家人报信，她煞费苦心，根据女红图案造出字来，写了一封信让一条爱犬带归。同村的女友费了很长时间才把信解读出来，从此这种文字就代代相传下来了。
尽管说法不一，但有一点是相同的：江永女书是女子创造的，反映了女人的心态。难怪义年华说：“男儿有志在千里，娇娘岂可让须眉？”
