離婚與小三，小孩，生活狀況。

我是男的，想聽聽女性意見。
請給正面性答覆。
我老婆是離婚的，與前夫有1男1女，而小孩也是由我太太照顧，我們交往5年，結婚4年，因老婆生育問題，所以我們沒小孩，我是做工程人員，常見客戶，當然我都避免所謂應酬，就在三年前，老婆的女兒剛滿16歲，與網路友人，發生性行為，也懷孕，因為女兒體格就比較胖，大人沒發覺異狀，後來6個多月了，小孩才坦白告知，已經來不及拿掉，然而男性網友，早就跑了也找不到人，在這些日子，我沒半句斥責，因為我知道，小孩的問題，跟老婆無關，後來小孩生產丟給自已的媽媽照顧，女兒自行工作住外面，我未當爸爸直接當了阿公，因我老婆本來在八大行業上班，因交往就辭去工作，而我一手擔當照顧老婆，1男15歲，1嬰兒，開銷生活費，因為實在有點煩躁，因為小孩是由老婆照顧常常哭鬧，所以我半夜常常醒來，我知道小孩肚子餓了，要換尿布，如果真的太吵，我只是睡客廳，我從沒抱怨過，也未曾因為這些問題跟老婆吵架，後來因為不想太早回家，怕太早睡被小孩哭鬧吵醒，因為我睡眠不好，就連一點聲音就醒了，不想將失眠情緒帶回家裡，於是常為了打發空檔時間，跟客戶去深色場所喝酒，後來老婆發現後，雙方掙扎很久，我提出離婚，因為長達半年，我都晚歸，我老婆也受不了，同意離婚。
後來我跟酒店小姐（A君）同居四個月，A懷孕了，但也常常吵架，也都是非常小的事情，比如看個電視，也能吵架，讓我好想分手，近期知道他懷孕3個月了，我笑不出來，沒有當上爸爸的喜悅，而是我認為這小孩不能出生，不希望因此在續緣下去，因為不想過著吵吵鬧鬧生活，但A女也知道我冷淡了，今天我終究告知，我想分手，他哭鬧都來了，但我確實仔細想清楚了，我想離開，因為這種生活無法過。
我想聽聽各位媽媽的意思，該分小孩拿掉，還是強忍脾氣來將就有小孩來過生活，這樣生活相處有什麼意義嗎。