ב-24 ביוני 1941, בעקבות פלישתם לברית-המועצות, שבו הגרמנים וכבשו את לומז'ה. ב-4 ביולי 1941 נגזר על היהודים לשאת טלאי צהוב והחלו חטיפות יהודים לעבודת כפייה. במהלך יולי נהגו הגרמנים לחטוף מפעם לפעם יהודים, לאסוף אותם בקבוצות של כ-50 איש ולהסיע אותם במשאיות ליער גלצ'ין (Galczyn), ושם היו יורים בהם או קוברים אותם חיים. כ-2,000 מיהודי לומז'ה נרצחו בדרך זו. בעיר המשיכו הגרמנים להתעלל ביהודים ולגזוז זקנים ופאות של יהודים, ומי שנחשדו באהדה למשטר הסובייטי נרצחו. 

ב-4 באוגוסט 1941 נערך המיפקד הראשון של האוכלוסייה היהודית בלומז'ה. ב-12 באוגוסט 1941 נצטוו כל יהודי לומז'ה לעבור לגטו; הגטו הוגבל לשטח השוק והוקף גדר תיל. לפי שלוש גרסאות שונות, עם היהודים מיישובי הסביבה היו בגטו בין 10,000 ל-18,000 תושבים. 

בגטו הוקמו מוסדות סעד כגון מטבח ציבורי, בית יתומים, מושב זקנים ובית חולים. המנות שסופקו לפי כרטיסי המזון לא הספיקו לכל תושבי הגטו. בגלל הרעב וההיגיינה הירודה פשׂו בגטו מחלות ומגפות. הגרמנים דרשו להקים בתי חרושת מועילים לצורכי המלחמה, ותושבי הגטו נאלצו להשיג את כלי העבודה, את המכונות ואת חומרי הגלם בכוחות עצמם. כך הוקמו בתי חרושת לייצור תחמושת, סבון, עורות, מגפיים ושמנים. נוסף עליהם הוקמו ביזמת היודנרט גם בתי מלאכה. יהודים מהגטו נלקחו גם לעבודת כפייה בסיתות, בסלילת כבישים ובניקיון.

ב-1 בנובמבר 1942 כיתרו את הגטו שוטרים גרמנים. היודנרט נצטווה לפנות את הגטו בתוך ארבע שעות. רוב היהודים, 10,000-8,000 נפשות, הועברו למחנה המעבר בקסרקטינים של זמברוב (Zambrow), הוחזקו שם עד 18-14 בינואר 1943, ואז גורשו לאושוויץ. יתר יהודי הגטו פונו למחנות בקילבסין (Kielbasin)ובוולקוביסק (Wolkowysk). ד"ר הפנר, מנהל בית החולים היהודי, שם קץ לחייו ערב חיסול הגטו.

.