Обиды для человека с хорошей памятью - это ОЧЕНЬ серьезно. А муж этого понять не в силах. Думаю, что проблема именно в обиде-потрясении от того случая, когда он оставил вас одну с новорожденным дома, ему оказалось интересней в этот день с друзьями, чем со своей дочкой и женой. Честно говоря, я впечатлилась.
А он не понимает, как это влияет и как это выглядит.
Даже не знаю, что посоветовать. Я-то подбного рода обиды проговариваю много раз при случае - и постепенно уже смешно становится. Но до конца они никогда не исчезнут, наверное. Правду говорят, женщина после родов очень ранима.

Расскажу-ка еще раз, полечу свои раны: (можно не читать, к вашей проблеме это не имеет отношения, наверное)
Когда я родила сына, в 20 лет, мужу было 28, и он работал на военном заводе программистом. Программисты могли получать тогда вполне терпимые деньги, подрабатывая написанием баз данных, и программок под конкретный заказ. Он не подрабатывал из принципа, и не переходил работать в коммерческую фирму - савецкое воспитание подсказывало ему, что подрабатывают налево только барыги, спекулянты и полууголовные элементы.
Родился сын летом - у меня сломались босоножки, купленные, до беременности, - и из обуви остались только резиновые шлепанцы. А лето было холодное, +12 и дожди, дожди. Жили мы на даче на чердаке. Стирала я на улице. Ноги в шлепанцах все время мочились об траву. Было очень холодно. Зарплаты его совсем не хватало даже на еду. Я плакала, уговаривала зарабатывать побольше денег, но слышала: "нет, я не знаю, как. Я не знаю как искать работу, а если найду - то боюсь уходить с военного завода, на нем всегда было престижно и выгодно работать, а твои коммерческие фирмочки - это так, на годик. И что потом?" Мне пришлось ездить рано утром за газетами на м. 1905 года, привозить их домой, через час где-то после ухода мужа на работу (ребенок был один). Кормить ребенка, переодевать, бежать замачивать накопившиеся за вечер и ночь грязные подгузники, и мчатся на велосипеде к железнодорожной станции эти газеты продавать. Часам к 10-11 они продавались. И я мчалась домой, к орушему ребенку. Таким образом получалось денег в два раза больше, чем ему платили за полный рабочий день на его заводе. Но... на жалобы, что мне очень тяжело, и не мог бы он как-то зарабатывать больше - "Это все твои заработки временны - а нужно думать об отдаленной перспективе тоже". Потом, в Москве, выгодней оказалось разносить под домам бесплатное питание из молочной кухни - утренний марш-бросок с тележкой по окрестностям часа на полтора-два - и денег в семье почти хватает. :-) И опять - на заводе за полный день платят меньше. Но уволился он только через полтора года такой моей ломовой работы. И с легкостью стал зарабатывать деньги, достаточные для прокорма и одевания трех человек. Никогда не забуду, никогда не прощу - как мне пришлось провести первые полтора года моего (и его, между прочим) сына.