AWS-ல் Opensearch லாக்கிங்

அறிமுகம்

Opensearch என்பது லாக் ஒருங்கிணைப்பு, பகுப்பாய்வு மற்றும் காட்சிப்படுத்தலை இயக்கும் பிரபலமான ஓப்பன் சோர்ஸ் தேடல் மற்றும் பகுப்பாய்வு இயந்திரமாகும். லாக்குகளை உருவாக்கும் அப்ளிகேஷன்களை டிப்ளாய் செய்து இயக்க AWS ECS (Elastic Container Service), EKS (Elastic Kubernetes Service) மற்றும் EC2 (Elastic Compute Cloud) போன்ற பல கணினி சேவைகளை வழங்குகிறது. இந்த கணினி சேவைகளுடன் Opensearch ஐ ஒருங்கிணைப்பது அப்ளிகேஷன்கள் மற்றும் உள்கட்டமைப்பை திறம்பட கண்காணிக்க மையப்படுத்தப்பட்ட லாக்கிங்கை இயக்குகிறது.

படம் 1: Opensearch பைப்லைன்

கட்டமைப்பு கண்ணோட்டம்

ECS, EKS மற்றும் EC2 ஐப் பயன்படுத்தி AWS-ல் Opensearch லாக்கிங்கின் உயர்-நிலை கட்டமைப்பு இதோ:

1. ECS, EKS அல்லது EC2-ல் இயங்கும் அப்ளிகேஷன்கள் லாக்குகளை உருவாக்குகின்றன
2. லாக் ஏஜெண்ட் (எ.கா. Fluentd, Fluent Bit, Logstash போன்றவை) கணினி சேவைகளிலிருந்து லாக்குகளைச் சேகரிக்கிறது
3. லாக் ஏஜெண்ட் லாக்குகளை நிர்வகிக்கப்படும் Opensearch கிளஸ்டரான Amazon Opensearch Service-க்கு அனுப்புகிறது
4. Opensearch லாக் தரவை இன்டெக்ஸ் செய்து சேமிக்கிறது
5. Opensearch உடன் ஒருங்கிணைக்கப்பட்ட Kibana, லாக் தரவைத் தேடவும், பகுப்பாய்வு செய்யவும், காட்சிப்படுத்தவும் பயன்படுத்தப்படுகிறது

முக்கிய கூறுகள்:

• Amazon Opensearch Service: லாக் ஒருங்கிணைப்பு மற்றும் பகுப்பாய்வுக்கான நிர்வகிக்கப்படும் Opensearch கிளஸ்டர்
• கணினி சேவைகள் (ECS, EKS, EC2): லாக்குகளை உருவாக்கும் அப்ளிகேஷன்கள் டிப்ளாய் செய்யப்படும் இடம்
• லாக் ஏஜெண்ட்கள்: கணினியிலிருந்து லாக்குகளைச் சேகரித்து Opensearch-க்கு அனுப்புகின்றன
• Opensearch Index: லாக் தரவைச் சேமிக்கிறது
• Kibana: லாக் தரவின் காட்சிப்படுத்தல் மற்றும் பகுப்பாய்வு

நன்மைகள்

1. மையப்படுத்தப்பட்ட லாக்கிங்: அனைத்து கணினி சேவைகளிலிருந்தும் லாக்குகளை Opensearch-ல் ஒருங்கிணைத்து, லாக் பகுப்பாய்வுக்கான ஒற்றை பலகையை இயக்குகிறது
2. அளவிடக்கூடியது: Amazon Opensearch Service அதிக அளவு லாக் தரவை உள்வாங்கி பகுப்பாய்வு செய்ய அளவிடுகிறது
3. முழுமையாக நிர்வகிக்கப்படுவது: Opensearch Service Opensearch நிர்வகிப்பதன் செயல்பாட்டு மேல்நிலையை நீக்குகிறது
4. நிகழ்நேர கண்காணிப்பு: முன்னெச்சரிக்கை கண்காணிப்புக்காக கிட்டத்தட்ட நிகழ்நேரத்தில் லாக்குகளை உள்வாங்கி காட்சிப்படுத்துகிறது
5. வளமான பகுப்பாய்வு: Kibana லாக்குகளைத் தேட, வடிகட்ட, பகுப்பாய்வு செய்ய மற்றும் காட்சிப்படுத்த சக்திவாய்ந்த கருவிகளை வழங்குகிறது
6. நீட்டிப்புத்தன்மை: பல்வேறு லாக் ஏஜெண்ட்கள் மற்றும் AWS சேவைகளுடன் ஒருங்கிணைக்க நெகிழ்வானது

குறைபாடுகள்

1. செலவு: Opensearch-க்கு அளவில் லாக் ஒருங்கிணைப்பு குறிப்பிடத்தக்க தரவு பரிமாற்றம் மற்றும் சேமிப்பு செலவுகளை ஏற்படுத்தலாம்
2. சிக்கலான அமைவு: கணினி சேவைகளிலிருந்து Opensearch-க்கு லாக்குகளை ஸ்ட்ரீம் செய்வதற்கான ஆரம்ப அமைவு ஈடுபடக்கூடியதாக இருக்கலாம்
3. கற்றல் வளைவு: திறமையான பயன்பாட்டிற்கு Opensearch மற்றும் Kibana பற்றிய அறிவு தேவை
4. பெரிய-அளவிலான வரம்புகள்: மிகப் பெரிய லாக் அளவுகளுக்கு, Opensearch அளவிடக்கூடியது மற்றும் செயல்திறன் சவால்களை எதிர்கொள்ளலாம்
5. பாதுகாப்பு மேல்நிலை: பாதுகாப்பான லாக் பரிமாற்றம் மற்றும் Opensearch-க்கான அணுகலை உறுதி செய்ய கவனமான உள்ளமைவு தேவை

முடிவு

ECS, EKS மற்றும் EC2 போன்ற AWS கணினி சேவைகளுடன் Opensearch ஐ ஒருங்கிணைப்பது சக்திவாய்ந்த லாக் ஒருங்கிணைப்பு மற்றும் பகுப்பாய்வு திறன்களை இயக்குகிறது. இது அளவிடக்கூடிய, மையப்படுத்தப்பட்ட மற்றும் கிட்டத்தட்ட நிகழ்நேர லாக்கிங் தீர்வை வழங்கும் அதே நேரத்தில், செலவுகள், பாதுகாப்பு, அளவிடக்கூடியது மற்றும் செயல்திறனைக் கருத்தில் கொண்டு கட்டமைப்பை கவனமாக வடிவமைப்பது முக்கியம். சரியான செயல்படுத்தலுடன், AWS-ல் Opensearch லாக்கிங் அப்ளிகேஷன்கள் மற்றும் உள்கட்டமைப்பின் Observability-ஐ பெரிதும் மேம்படுத்தும்.