ב'ספר הזיכרונות' מופיע תיאור התקופה שקדמה להולדת החסידות, על פי זיכרונותיו של הרבי הריי"צ מסיפוריה של סבתו הרבנית רבקה, אשת אדמו"ר מהר"ש זי"ע, ומסיפוריו של דודו, רבי זלמן־אהרן. ספר הזיכרונות מהווה אוצר של סיפורים השזורים זה בזה ויוצרים יחד תמונה מרהיבה של חיים יהודיים שוקקים, בתוכם פורחים ניצניה הראשונים של תנועת החסידות.

הסיפורים עומדים על תולדותיה של ליובאוויטש, מתארים את פעילותה של אגודת הנסתרים שבתוכה הופיע ופעל הבעל־שם־טוב זי"ע וסוקרים בהרחבה את תולדות חייו ונדודיו של ר' ברוך, אבי אדמו"ר הזקן. במשך מסעותיו הרבים ברחבי רוסיה הלבנה, מתוודע הקורא, דרך עיניו של ר' ברוך, לסוגים שונים של יהודים, לדרכים מגוונות בעבודת ה', לסיפורי צדיקים ובעיקר לשתי השיטות שעמדו זו מול זו בימים ההם – החסידות וההתנגדות, ולתפיסתן השונה.

הזיכרונות נמסרו בשעתם לסופר היידי דוד לייב מקלר, עובדו על ידו והתפרסמו תחת השם 'ליובאוויטשער רבינ'ס זכרונות' בעיתון 'מארגען זשורנאל' בין השנים ת"ש תש"ב. הסדרה העברית תורגמה על ידי הרב טוביה בלוי, ובה נטלו חלק גם הרב אברהם חנוך גליצנשטיין ז"ל ויבדל"ח ר' פרץ אוריאל בלוי.