યોગીજી મહારાજના સાંનિધ્યમાં અખંડ કથા-કીર્તનનો અખાડો ચાલતો. તેમની સમક્ષ ગ્રામ્યવાર્તાનો તો કોઇ હરફ સુદ્ધા ઉચ્ચારી શકે નહિ. યોગીબાપાને ન ગમે એવું કરવા કોણ રાજી હોય ? પણ કોઈ વિશેષ સમાચાર-સાંપ્રદાયિક લેખ વગેરે છાપામાં પ્રગટ થયા હોય તો વળી કોઈ સ્વામીશ્રી પાસે ખુશાલી પ્રગટ કરી વધામણી લેવા હિંમત કરે. એવામાં એક દિવસ જૂનાગઢમાં સ્વામિનારાયણ મંદિરની એક સદી પહેલાંની બંધાયેલી પ્રાસાદિક હવેલી બળીને ખાખ થઈ ગઈ. આ સમાચાર છાપામાં વાંચી એક યુવકે વહેલી સવારે દોડતા આવીને સ્વામીશ્રીને આ દુઃખદ ઘટના જણાવી. જાણે વીજળી પડી હોય એવું અસહ્ય દુઃખ યોગીબાપાને થયું. અનંત કોટિ બ્રહ્માંડના પ્રલય સમયે પણ જેનું રૂંવાડું ફરકતું નથી તે સંતમૂર્તિએ કાષ્ઠની એક જર્જરિત થઈ ગયેલી હવેલીના વિનાશથી અકથ્ય વેદના અનુભવી.
અનાદિ અક્ષરબ્રહ્મ ગુણાતીતાનંદ સ્વામીએ રાત-દિવસ દેખરેખ રાખી જે હવેલી બંધાવી, બ્રહ્મસ્વરૂપ શ્રી પ્રાગજી ભક્ત, જાગાભક્ત સ્વામીએ અને બીજા અનેક મુક્તોએ જે હવેલીમાં શ્રમયજ્ઞ કરી પ્રાણ રેડ્યા, વર્ષો સુધી જ્યાં ગુણાતીતાનંદ સ્વામીએ કથ-વાર્તાનો રંગ જમાવ્યો, તે નિર્ગુણભાવને પામેલી આ હવેલી ભસ્મીભૂત થઈ ગઈ! આ કડવો ઘૂંટડો સ્વામીશ્રીના ગળે કેમ ઉતરે ? એમના મુખમાંથી શબ્દો સરી પડ્યા, 'ચિંતામણી ગઈ.'
ચૌદ વર્ષના ઝીણાભગત, એટલે કે યોગીજી મહારાજે દાયકાઓ પહેલાં સૌ પ્રથમ આ જ મંદિરમાં પગ મૂક્યા હતા. સંપ્રદાયના અનેક મહાન સંતોએ આ જ હવેલીમાં નિવાસ કરેલો. જેની ગારમાટીની રહેરજ સુવર્ણ રજ કરતાં પણ અનંતગણી મૂલ્યવાન લેખી શકાય. તે હવેલી નિષ્પ્રાણ થતાં સ્વામીશ્રીને વજ્રપાત સમો આંચકો લાગ્યો. અનેક પ્રસંગો સંભારી સ્વામીશ્રીએ હવેલીની અને ગુણાતીતાનંદ સ્વામીની સ્મૃતિ કરી.
પછી તો જૂનાગઢથી જે કોઈ આવે તેને હવેલીના સમાચાર પૂછે : 'ક્યારે બળી ? કેમ બળી ? કેટલી બળી ?' એવા અનેક પ્રશ્નો પૂછે. રખે ને હવેલીનો કંઈક ભાગ બચી ગયો છે કે કેમ? એ જ જાણવાની એમને ઉત્સુકતા હતી.
મુંબઈથી છગનભાઈ તથા કેશવચંદ્ર અમીન સ્વામીશ્રીના દર્શને આવ્યા. સ્વામીશ્રીએ એમને જૂનાગઢ મોકલ્યા ને હવેલીની કંઈક અવશેષ-પ્રસાદી લઈ આવવા આજ્ઞા કરી. ખાસ કરીને ગુણાતીતાનંદ સ્વામીનું જ્યાં આસન હતું તે સ્થળનાં અવશેષો લાવવા કહ્યું. પાછા ફરતાં તેઓ બળી ગયેલાં લાકડાં, પથ્થર વગેરે લઈ આવ્યા. સ્વામીશ્રીએ તે બધું માથે ચઢાવ્યું, આંખે અડાડ્યું. સાક્ષાત્‌ ગુણાતીતાનંદ સ્વામીને મળતા હોય એ જ ભાવ! સ્વામીશ્રીની આંખમાં ઝળઝળિયાં આવ્યાં. દરેક હરિભક્તોને પણ આ મહાપ્રસાદીનો સ્પર્શ કરાવી પાવન કર્યા. બળી ગયેલ થાંભલાનું એક લાકડું હતું તે બોચાસણના સભામંડપમાં જ્યાં સિંહાસન છે ત્યાં મુકાવ્યું. જેથી રોજ તેનાં દર્શન થાય. અહીં શ્રીજીમહારાજની પ્રસાદીનું છપૈયાના પીપળાનું નાનું થડ મૂકેલું છે. તેની સાથે જ આ હવેલીનું લાકડું બંધાવ્યું. વળી, બીજા અવશેષો હતા તે પણ બાંધીને પ્રસાદીના કબાટમાં મૂકાવ્યા અને તેની નાની નાની પોટલીઓ બંધાવી ભારત સહિત આફ્રિકા, લંડન અને અમેરિકાના મંદિરોમાં મોકલાવી. હરિભક્તોને પણ હવેલીના અવશેષો પ્રસાદી રૂપે સાચવવા આપ્યા. સ્વામીના સંબંધવાળી વસ્તુનો આ મહિમા આપણે ક્યાંથી પામી શકીએ?
આ પ્રસંગથી સ્વામીશ્રીને અંતરમાં ઘણું જ દુઃખ થયું હતું ને પોતે બોલી ગયા કે, 'શ્રીજીમહારાજ આ સહન નહિ કરે.' ત્યાર પછી તો દિવસો સુધી આ બાબતનો શોક સ્વામીશ્રીએ અનેક હરિભક્તો આગળ કર્યો હતો અને આ વાત સંભારતાં પોતે ઘણા અસ્વસ્થ બની જતા.