ஒரு நாள் இந்த நாராயணஸ்வாமி ரயில் யாத்திரை செய்கையில் இவர் ஏறியிருந்த வண்டியில் ஒரு நம்பூரி பிராமணர் வந்து சேர்ந்தார். அந்த நம்பூரி இவரை நோக்கி இடது கைச் சிறு விரலை நீட்டிக்கொண்டு, ‘பெயரென்ன?’  என்று கேட்டார்.  ‘என் பெயர் நாணு என்று ஜனங்கள் சொல்லுவார்கள்’ என்று நாராயணஸ்வாமி சொன்னார். ’தீயர்களுக்குக் கோயில் கட்டிக்கொடுக்கும் ஸந்யாஸி நீர் தானோ?’  என்று நம்பூரி கேட்டார்.  ‘ஆம்’ என்று ஸ்வாமி சொன்னார்.  ‘பிரமணர் பிரதிஷ்டை செய்து பூஜிக்க வேண்டிய தெய்வத்தை நீர் பிரதிஷ்டை செய்யும்படி உமக்கு யார் அதிகாரம் கொடுத்தார்கள்?’ என்று நம்பூரி கேட்டார். அதற்கு நாராயணஸ்வாமி:-   ‘பிராமணர்களுடைய சிவனை நான் பிரதிஷ்டை செய்யவில்லை. நான் பிரதிஷ்டை செய்தது தீயர்களுடைய சிவன். இதில் தாங்கள் வருத்தப்பட வேண்டாம். தங்களுடைய சிவன் வழிக்கே நாங்கள் வரவில்லை’ என்றார்.