Live:CloudOps Webinars & Hands-on Workshops ·Register ↗
Skip to main content

AWS-ல் பிக் டேட்டா Observability

இந்த வரைபடம் AWS-ல் Spark பிக் டேட்டா பணிப்பாய்வில் Observability-ஐ செயல்படுத்துவதற்கான சிறந்த நடைமுறை முறையை விளக்குகிறது. Spark வேலைகளால் உருவாக்கப்படும் லாக்குகள் மற்றும் மெட்ரிக்குகளைச் சேகரிக்க, செயலாக்க மற்றும் பகுப்பாய்வு செய்ய இந்த முறை பல்வேறு AWS சேவைகளைப் பயன்படுத்துகிறது.

Spark Bigdata படம் 1: Spark Big Data Observability

பணிப்பாய்வு​

  1. பயனர்கள் Amazon EMR கிளஸ்டருக்கு Spark வேலைகளைச் சமர்ப்பிக்கின்றனர்.
  2. Amazon EMR கிளஸ்டர் Apache Spark ஐப் பயன்படுத்தி பணிச்சுமையை கிளஸ்டர் முழுவதும் விநியோகிக்கும் Spark வேலையை இயக்குகிறது.
  3. Spark வேலையின் செயல்பாட்டின் போது, Amazon CloudWatch மற்றும் Amazon EMR ஆல் லாக்குகள் மற்றும் மெட்ரிக்குகள் உருவாக்கப்பட்டு சேகரிக்கப்படுகின்றன.

Observability கூறுகள்​

Amazon EMR​

Amazon EMR என்பது AWS-ல் Apache Spark போன்ற பிக் டேட்டா ஃபிரேம்வொர்க்குகளை இயக்குவதை எளிமைப்படுத்தும் நிர்வகிக்கப்படும் சேவையாகும். இது பெரிய அளவிலான தரவைச் செயலாக்க அளவிடக்கூடிய மற்றும் செலவு-குறைந்த தளத்தை வழங்குகிறது.

Amazon CloudWatch​

Amazon CloudWatch என்பது பல்வேறு AWS வளங்கள் மற்றும் அப்ளிகேஷன்களிலிருந்து மெட்ரிக்குகள், லாக்குகள் மற்றும் நிகழ்வுகளைச் சேகரித்துக் கண்காணிக்கும் கண்காணிப்பு மற்றும் Observability சேவையாகும். இந்த முறையில், CloudWatch:

  1. Spark வேலையை இயக்கும் EMR EC2 நிகழ்வுகளிலிருந்து லாக்குகள் மற்றும் மெட்ரிக்குகளைச் சேகரிக்கிறது.
  2. மையப்படுத்தப்பட்ட லாக் மேலாண்மை மற்றும் பகுப்பாய்வுக்காக சேகரிக்கப்பட்ட லாக்குகளை Amazon CloudWatch Logs-க்கு வெளியிடுகிறது.

EMR EC2 நிகழ்வுகள்​

Spark வேலை EMR EC2 நிகழ்வுகளில் இயங்குகிறது, இவை EMR கிளஸ்டரின் கணினி நோடுகளாகும். இந்த நிகழ்வுகள் CloudWatch Agent ஆல் சேகரிக்கப்பட்டு Amazon CloudWatch-க்கு அனுப்பப்படும் லாக்குகள் மற்றும் மெட்ரிக்குகளை உருவாக்குகின்றன.

சிறந்த நடைமுறைகள்​

AWS-ல் Spark பிக் டேட்டா பணிச்சுமைகளின் திறமையான Observability-ஐ உறுதி செய்ய, பின்வரும் சிறந்த நடைமுறைகளைக் கருத்தில் கொள்ளுங்கள்:

  1. மையப்படுத்தப்பட்ட லாக் மேலாண்மை: Spark வேலைகள் மற்றும் EMR நிகழ்வுகளால் உருவாக்கப்படும் லாக்குகளின் சேகரிப்பு, சேமிப்பு மற்றும் பகுப்பாய்வை மையப்படுத்த Amazon CloudWatch Logs ஐப் பயன்படுத்தவும். இது Spark பணிப்பாய்வின் எளிதான சிக்கல் தீர்வு மற்றும் கண்காணிப்பை அனுமதிக்கிறது.

  2. மெட்ரிக்குகள் சேகரிப்பு: EMR EC2 நிகழ்வுகளிலிருந்து CPU பயன்பாடு, நினைவக பயன்பாடு மற்றும் வட்டு I/O போன்ற தொடர்புடைய மெட்ரிக்குகளைச் சேகரிக்க CloudWatch Agent ஐப் பயன்படுத்தவும். இந்த மெட்ரிக்குகள் Spark வேலையின் செயல்திறன் மற்றும் ஆரோக்கியத்தில் நுண்ணறிவுகளை வழங்குகின்றன.

  3. டாஷ்போர்டுகள் மற்றும் அலாரங்கள்: முக்கிய மெட்ரிக்குகள் மற்றும் லாக்குகளை நிகழ்நேரத்தில் காட்சிப்படுத்த CloudWatch டாஷ்போர்டுகளை உருவாக்கவும். குறிப்பிட்ட வரம்புகள் அல்லது முரண்பாடுகள் கண்டறியப்படும்போது அறிவிக்கவும் எச்சரிக்கவும் CloudWatch அலாரங்களை அமைக்கவும், முன்னெச்சரிக்கை கண்காணிப்பு மற்றும் சம்பவ பதிலளிப்பை இயக்கவும்.

  4. லாக் பகுப்பாய்வு: சேகரிக்கப்பட்ட லாக்குகளிலிருந்து தற்காலிக வினவல்கள் செய்ய, சிக்கல்களைத் தீர்க்க மற்றும் மதிப்புள்ள நுண்ணறிவுகளைப் பெற Amazon CloudWatch Logs Insights ஐப் பயன்படுத்தவும் அல்லது மற்ற லாக் பகுப்பாய்வு கருவிகளுடன் ஒருங்கிணைக்கவும்.

  5. செயல்திறன் உகந்தமாக்கல்: சேகரிக்கப்பட்ட மெட்ரிக்குகள் மற்றும் லாக்குகளைப் பயன்படுத்தி Spark வேலைகளின் செயல்திறனைத் தொடர்ந்து கண்காணித்து பகுப்பாய்வு செய்யவும். தடைகளை அடையாளம் கண்டு, வள ஒதுக்கீட்டை உகந்ததாக்கி, பிக் டேட்டா பணிச்சுமையின் திறன் மற்றும் செயல்திறனை மேம்படுத்த Spark உள்ளமைவுகளை சரிசெய்யவும்.

இந்த Observability முறையை செயல்படுத்தி சிறந்த நடைமுறைகளைப் பின்பற்றுவதன் மூலம், நிறுவனங்கள் AWS-ல் தங்கள் Spark பிக் டேட்டா பணிச்சுமைகளை திறம்பட கண்காணிக்கலாம், சிக்கல் தீர்க்கலாம் மற்றும் உகந்ததாக்கலாம், அளவில் நம்பகமான மற்றும் திறமையான தரவு செயலாக்கத்தை உறுதி செய்யலாம்.