நீண்ட வருடங்களிற்கு முன்னர் இவ் ஆலயம் அமைந்துள்ள இடத்தில் கறுக்குபயறி எனும் மரத்தில் தானாகவே கற்புஸ்ரீரம்எவிளைந்தது. இவ் ஆலயத்தின் வழியாகச் சென்ற வியாபாரிகள் இவ் அற்புதத்தைக் கண்டனர். கறுக்குப்பயறி மரத்தின் கீழ் சல்லியும் காணப்பட்டதால் இவ்வாலயம் சல்லியடிப்பிள்ளையார் என அழைக்கப்படுகின்றது. இவ்வாலயத்தின் காவடியாட்டம் மிகப் பிரசித்தமானது.

ஒருமுறை செல்லப்பா சுவாமி என்னும் புசாரிக்கு உருவந்து அவர் வேண்டுகோளுக்கிணங்க இவ்வாலயத்தின் முனியப்பர் ஆலயமொன்றும் அமைக்கப்பட்டது. இவ் முனியப்பர் யாழ்ப்பாணத்திற்கும் செல்வதாக கர்ணபரம்பரைக்கதை கூறுகின்றது.