לכתחילה אריבער האט געשריבן:אגב אויף די הייליגע נייטרא רב זצוק"ל פלעגט מען שרייבן "הי"ד", אזוי געדענק איך.
פון וויקי:
בניסן תש"ב (מרץ 1942) החל גירוש יהודי סלובקיה למחנות ההשמדה בפולין. הרב אונגר עצמו זכה במעמד מיוחד מטעם השלטונות ואף קיבל מינוי לרב ראשי ליהודי סלובקיה. ביתו והשטח מסביבו הוכרזו כשטח חסות וגם לשוטרים היה אסור להיכנס אליו. למרות זאת, לעתים פרצו לשם אנשי משמר הלינקה, וכהגנה מפניהם נבנו במקום בונקרים בהם התקבצו פליטים יהודים רבים מפולין ומגאליציה. בחסות הרב אונגר שהו מאות תלמידים ורבנים שהצליחו להימלט לישיבתו והמשיכו ללמוד תורה עד גירושם לאושוויץ בי"ז אלול תש"ד (1944).
כל אותה העת פעל הרב אונגר יחד עם חתנו הרב וייסמנדל להציל יהודים רבים ככל האפשר. בראשית המלחמה שלח את חתנו ללונדון כדי להשיג אישורי כניסה לקנדה למשפחות מיהודי סלובקיה, אך ללא הצלחה. מאוחר יותר היה הרב אונגר שותף לתוכניות ההצלה שיזמה קבוצת העבודה.
בעקבות המרד שפרץ בסלובקיה כנגד שלטונו של יוזף טיסו, גורשו גם תלמידי ישיבתו יחד עם אחרוני יהודי נייטרה לאושוויץ. גם בנו, בן ציון אונגר, נלקח למחנה סרד ושם נרצח. הרב אונגר ששהה באותו זמן בהרי זאבאר (Zobor) הסמוכים לנייטרה בעקבות מחלתו נאלץ להישאר בהרים ולהסתתר שם יחד עם בנו, הרב שלום משה אונגר. בימים הנוראים של אותה שנה שהה בעיר באנסקה ביסטריצה. כמה שבועות אחר כך בעקבות כיבוש העיר על ידי הגרמנים וחיסול המרד הסלובקי, ברח ליער קאלישטי. בכל תקופת מחבואו "לא פסק פומיה מגירסא" והוא המשיך "ללמוד תורה ברבים עם בחורים ואנשים שהסתתרו סביב לו במערות וביערות". כאשר הרגיש שסופו קרב אמר לבנו ב"תורת צוואה" שיאמר לתלמידיו ללמוד בהתמדה, להתפלל בכוונה, ולהימנע מדיבור בשעת התפילה.
בט' באדר תש"ה (1945) נפטר ביער מרעב ומחולשה ונקבר שם באופן זמני. לאחר המלחמה הובא לקבורה בפישצ'אן שבה נולד, בסמוך לקברות אביו.