曾纪泽结识了容雪玫之后，在上海小住了半个月时间，那天，他刚回到上海的巡抚行署，忽然吴王府的家丁荆七来报，说曾国藩请曾纪泽速回南京，附有家书一封。
“父亲这么着急，让我回南京，出了什么大事？”曾纪泽心想，他觉得，不应该有什么大事啊，和清廷的和谈已结束，清廷册封曾国藩为吴王，吴国的地盘，基本上跟南明朝廷差不多，政治中心定在南京，但相当于藩国，有相对独立的自主权，和清廷和平相处，一致对外。按照曾国藩的意见，左宗棠的楚军也已经放行，让他北上剿捻，湘军和淮军基本上已经控制了东南半壁江山，江南各地的太平军余寇已经剿平。
曾纪泽一点也不担心思想腐化的满清朝廷会蜕变变得强大，灭亡满清，也是迟早的事，曾纪泽担心的是日本！早在1862年6月，正当曾纪泽率领淮军与李秀成率领的太平军在上海郊外展开最后的决战时，一艘悬挂着荷兰蓝色旗、英国米字旗、日本太阳旗的三桅帆船，就悄悄地在上海港抛锚停泊。坐在这艘船上的，全都是日本人，其中有八人是德川幕府派来对中国进行访问的使者。除了这八个人以外，船上还坐着一个满脸长着麻疹的年轻人。很显然，他不是幕府的官员。他对中国充满好奇，于是行贿使团，获得了上船的机会，也就跟着来到了中国。他的名字，叫作高杉晋作，是日本近代有名的维新派。
高杉晋作一下船，就到处打听中国的情况。由于语言不通，他只能用笔在纸上写汉字与中国人交流。儒生、士兵、米店老板、书店老板等形形色色的社会底层人物，都成了高杉晋作交流的对象。在交流的过程中，高杉晋作发现中国人非常愚昧。他们完全不关心政治，除了希望太平军不要打进上海以外，别无任何政治诉求。他们完全不明白怎样使国家走向富强，从而避免被外国侵略者欺辱。当他向书店老板问起为什么魏源的《海国图志》这样的好书在中国为何无处售卖时，书店老板告诉他，“这种书与科举考试无关，在中国毫无市场”。
除了与中国人广泛交流外，高杉晋作还大胆地接触了在上海的西方人，向他们购买新式枪炮，同时也从他们口中打听中国的情况。西方人告诉他，中国表面上非常强大，其实非常虚弱。他们虽然在沿海布置了许多炮台，但都是样子工程，毫无实战价值。高杉晋作联想起刚来上海时看到的那座吴淞口炮台，觉得外国人说得很对，大清帝国毫无国防可言。
这次上海之行极大地刺激了高杉晋作。原本非常崇拜中华文化的他，开始思索中国之所以失败的原因。他认为，日本如果不迅速地寻求改变的话，也会步中国之后尘，成为西方列强竞相侵略的对象。从此以后，他致力于长州藩的富国强兵大业，并为之做出了重要贡献。
高杉晋作以及八位幕府官员的这一次上海之行，转变了日本有识之士对中国的看法。以前，日本人非常崇拜中华文化，儒家经典被他们视为最神圣的典籍。然而自此以后，日本人开始排斥中华文化，并且大张旗鼓地学习西方，最终走上了“脱亚入欧”之路。就在这批使臣访问中国前后，日本政府派出的访美使节团和访欧使节团也先后出发，开始对欧美等先进国家进行实地考察，日本近代著名的启蒙思想家福泽谕吉参加了这两次访问。通过这两次访问，福泽谕吉深刻地体会到了日本与欧美国家之间的差距。回到日本后，他大力鼓吹“脱亚入欧”。这为后来明治政府顺利开展维新运动奠定了思想基础。
而且尊王攘夷运动失败后，许多有识之士认识到，要想改变日本现状，实现富国强兵，必须推翻幕府统治。于是，尊王攘夷运动演变为倒幕运动。1864年，高杉晋作起兵夺取了长州藩的政权，此后，长州在木户孝允（桂小五郎）的主持下进行改革，倒幕运动蓬勃发展，为明治维新打下了基础。
曾纪泽于是决定在吴国先开始维新，并对日本时刻保持警惕，派了不少探子到日本。此时日本还很弱小，对中国构不成威胁，应该也不是日本人有啥动作，曾纪泽拆开家书一看，原来曾国藩说是已经把两位夫人已经接来南京了，请他速速回府，而且要他跟小夫人刘氏完成明媒正娶的后续礼数。
曾纪泽一怔，他在国内确实已经要有两位明媒正娶的夫人了。
第一位夫人是发妻贺氏，历史上她因年纪太小生孩子难产，新婚一年后在1857年就过世了，但曾纪泽来了之后逃婚，还没完婚就走了。直到1859年，也就是咸丰九年，九月二十六日，他们才完婚。那时，曾纪泽是从军中请假回去结婚，仪式也相对简单。当时双峰的荷叶塘乡正是秋高气爽稻浪翻金的丰收时节，依山傍水的曾府黄金堂一改往日的静穆张灯结彩热闹非凡。随着一阵阵欢快而喜庆的唢呐、喇叭声渐渐飘近，一顶火红的花轿在震耳欲聋的鞭炮声中抬进了黄金堂。宾客如云，炮毕礼罢，坐在堂上的欧阳夫人看着一对新人如天造地设不禁喜上眉梢。
贺氏自幼聪慧好学，他的父亲也是一代大儒，她在父亲的影响下，接受了良好的启蒙教育，不但熟读诗书，知书达理，还奍成了一种勤劳节俭的习性。虽是父母之约，媒妁之言，一对彼此未曾某面的新人，婚后却是相敬如宾，伉俪情深。贺氏嫁入曾家后，严守”勤敬”二字，孝敬长辈，对朋友和随侍左右的人，无论是谁，她都努力做以“诚”“恕”二字待人，以德报怨，很得欧阳太夫人的喜欢。
当年十月十四日，曾国藩接纪泽信，知喜事顺利，非常高兴，回信：“知喜事完毕，新妇能得尔母之欢，是即家庭之福。”
咸丰十年初，曾纪泽离开黄金堂，赶回江西军营曾国藩身边，这对新婚燕尔的夫妻不得不长期分居。年轻的贺氏不仅在家悉心照顾婆婆、小叔及几个小姑，并且辛勤操劳家务，下厨烧灶，纺纱织布，样样亲躬，不到夜半时不会歇息。当年四月，曾国藩赏加兵部尚书衔，报子到家报喜，欧阳太夫人无以为重赏，贺氏见婆婆为难挺身而出，将自己的嫁妆拿去典当后分赏报子。贺氏贤惠及治家之才，一时在荷叶塘乡大夫家广为传诵。
可惜，贺氏长成熟后生孩子，虽没有难产而死，但为曾纪泽生的是一个女儿，此后再无所出。