ברייער ביקש להרוס את הבית ולבנות במקומו בניין בן 6 קומות, אך בעקבות לחץ כבד מצידו של משה שרת, שר החוץ דאז, הושכר הבית לשגרירות ברית המועצות.
הבית הושכר לתקופה קצרה בת 4 חודשים אך זו התארכה ל-5 שנים. הבניין היה תחת מעטה כבד של שמירה ונפתח לציבור רק אחת לשנה, ביום ציון המהפכה הסובייטית. "הרוסים הרסו לי את הבניין והחצר", מספר ברעייר, "לא רצינו להסתבך איתם מה גם שהם אמרו שהם אוטוטו עוזבים".
ב-9 בפברואר 1953, כמחאה על מדיניות "מסך הברזל" ומשטר הדיכוי של סטאלין כלפי יהודי ברית המועצות, שלושה בחורים צעירים מיוצאי לח"י עברו את גדר הבית והגיעו עד לקיר הצפוני. הם הניחו פצצה שגרמה נזק רב. מספר עובדים שהיו באותה העת, ובהם אשת הציר, קלודיה ירשובה, נפגעו קלות.
ברית המועצות השתמשה בין השאר באירוע הזה כתירוץ לניתוק יחסיה הדיפלומטיים עם ישראל בטענה שהפעולה קיבלה את חסותה של המדינה.
בסוף שנות ה-80 שני בניו של משה ברעייר מכרו את הבית לאיש העסקים אלפרד אקירוב. לאחר שנים של הזנחה ועיזבון קיבל אקירוב היתר מהעריה לבנות גורד שחקים מאחורי הבית וזאת בתמורה לשיפוצו.
ב-1991 הוכרז כמבנה לשימור ושוחזר על ידי משרד האדריכלים של אברהם יסקי ויוסף סיון בשיתוף משרדיהם של האדריכלים אמנון בר אור ומוטי בודק.
אחד המונומנטים המעניינים של המבנה הוא הפגודה. כאשר שוחזר הבניין, הופתע צוות העובדים לגלות ששלושה מחלקי הפגודה נפתחים בעזרת מנגנון מיוחד. המנגנון נועד, כנראה, לאפשר הכנסת רהיטים בקלות לתוך המבנה. הועלתה גם סיבה אחרת: בהיות משפחת לוין משפחה דתית, הדבר שימש למעשה לסוכה.
למשפחת לוין, אגב, היו שני מטבחים - האחד לפסח והשני לשאר ימות השנה.
לאורך שנות ה-90 ועד שנת 2006 שכנו בבניין המשרדים ואולמות התצוגה של בית המכירות הפומביות 'סותבי'ס'.
בנובמבר 2006 הבית נרכש על ידי בני הזוג ג'רי שוורץ והת'ר ריסמן. בני הזוג תרמו את הבניין לקרן הפילנתרופית שאותה הקימו ולאחר שיפוץ יסודי משמש הבניין לפעילויות הפילנתרופיות ובמרכזה "קרן הישג" - קרן מלגות לחיילים בודדים משוחררים.