Live:CloudOps Webinars & Hands-on Workshops ·Register ↗
Skip to main content

Amazon Athena ஐப் பயன்படுத்தி CloudTrail லாக் மேலாண்மையை தானியங்குபடுத்துதல்

AWS CloudTrail உங்கள் AWS உள்கட்டமைப்பு முழுவதும் கணக்கு செயல்பாட்டின் விரிவான கண்காணிப்பு மற்றும் பதிவுகளை வழங்குகிறது, தணிக்கை, இணக்கம் மற்றும் பாதுகாப்பு ஆய்வுகளுக்காக API அழைப்புகள் மற்றும் நிகழ்வுகளை படம்பிடிக்கிறது. இருப்பினும், AWS சூழல்கள் அளவிடும்போது, குறிப்பாக பல-கணக்கு நிறுவனங்களில், CloudTrail லாக்குகளின் அளவு கணிசமாக வளரலாம், Amazon Athena இல் லாக்குகளை பகுப்பாய்வு செய்யும்போது வினவல் நேரங்கள் மற்றும் செலவுகள் அதிகரிக்கும். இதை தீர்க்க, வினவல் செயல்திறனை மேம்படுத்தவும் செலவுகளை குறைக்கவும் பகிர்வு செய்யப்பட்ட Athena அட்டவணைகளை தானியங்குபடுத்தி உருவாக்குவதையும் நிர்வகிப்பதையும் பரிந்துரைக்கிறோம். இந்த சிறந்த நடைமுறை வழிகாட்டி, AWS Lambda மற்றும் Amazon Athena ஐப் பயன்படுத்தி CloudTrail லாக்குகளை கணக்கு, பகுதி மற்றும் தேதி அடிப்படையில் பகிர்வு செய்து, பாதுகாப்பு, இணக்கம் மற்றும் செயல்பாட்டு பயன்பாட்டு நிலைகளுக்கான திறமையான லாக் பகுப்பாய்வை இயக்கும் தானியங்கு தீர்வை எவ்வாறு செயல்படுத்துவது என்பதை விவரிக்கிறது.

CloudTrail லாக்களுக்கான பகிர்வு செய்யப்பட்ட Athena அட்டவணைகளை கட்டமைத்தல்​

வினவல் செயல்திறனை மேம்படுத்தவும் செலவுகளை குறைக்கவும், தானியங்கு தீர்வைப் பயன்படுத்தி CloudTrail லாக்களுக்கான பகிர்வு செய்யப்பட்ட Athena அட்டவணைகளை கட்டமைக்கவும். இந்த அணுகுமுறையில் கணக்கு-குறிப்பிட்ட மற்றும் நிறுவனம்-முழுவதும் Athena அட்டவணைகளை உருவாக்கி பராமரிக்க இரண்டு AWS Lambda செயல்பாடுகளை நிலைநிறுத்துவது அடங்கும், இவை கணக்கு ID, பகுதி மற்றும் தேதி அடிப்படையில் பகிர்வு செய்யப்படுகின்றன. பகிர்வு Athena வினவல்களின் போது தொடர்புடைய தரவை மட்டுமே ஸ்கேன் செய்வதை உறுதிசெய்கிறது, பகிர்வு செய்யப்படாத தரவுத்தொகுதிகளை ஸ்கேன் செய்வதை விட வினவல் வேகத்தை கணிசமாக மேம்படுத்துகிறது மற்றும் செலவுகளை குறைக்கிறது. எடுத்துக்காட்டாக, வரையறுக்கப்பட்ட காலகட்டத்தில் ஒரு குறிப்பிட்ட AWS கணக்கிற்கான சந்தேகத்திற்குரிய செயல்பாட்டை விசாரிக்கும்போது, Athena முழு லாக் தரவுத்தொகுதியை விட தொடர்புடைய பகிர்வுகளை மட்டுமே ஸ்கேன் செய்யும்.

  • தானியங்குபடுத்தலுக்கான இந்த CloudFormation Template ஐ நிலைநிறுத்துங்கள்: இரண்டு Lambda செயல்பாடுகள், IAM பாத்திரங்கள், AWS Glue தரவுத்தளம் மற்றும் முன்வரையறுக்கப்பட்ட Athena வினவல்களை உள்ளடக்கிய தீர்வை நிலைநிறுத்த இந்த CloudFormation template ஐ பயன்படுத்தவும். Template பகிர்வு செய்யப்பட்ட அட்டவணைகளின் அமைப்பை தானியங்குபடுத்துகிறது, கைமுறை கட்டமைப்பை நீக்கி சூழல்கள் முழுவதும் நிலைத்தன்மையை உறுதிசெய்கிறது. GitHub தீர்வை இங்கே காணலாம்.
  • Partition projection ஐப் பயன்படுத்தி Athena இல் CloudTrail லாக்குகள்: இந்த தீர்வு Athena projection partitioning ஐ பயன்படுத்துகிறது, CloudTrail லாக்களில் முன்வரையறுக்கப்பட்ட பகிர்வு திட்டங்களுடன் அறியப்பட்ட கட்டமைப்பு இருப்பதால், வினவல் இயக்க நேரத்தை குறைக்கவும் Athena partition projection அம்சத்தைப் பயன்படுத்தி பகிர்வு மேலாண்மையை தானியங்குபடுத்தவும் அனுமதிக்கிறது. Partition projection புதிய தரவு சேர்க்கப்படும்போது தானாகவே புதிய பகிர்வுகளை சேர்க்கிறது. ALTER TABLE ADD PARTITION ஐப் பயன்படுத்தி கைமுறையாக பகிர்வுகளை சேர்க்க வேண்டிய அவசியத்தை இது நீக்குகிறது.
  • CloudTrail S3 Bucket மற்றும் Prefix ஐ குறிப்பிடுங்கள்: CloudTrail S3 bucket பெயர் மற்றும் பொருத்தமான prefix ஐ CloudFormation template க்கு உள்ளீடுகளாக வழங்கவும். நிறுவன trails க்கு, prefix ORG_ID/AWSLogs/ORG_ID வடிவத்தைப் பின்பற்றுகிறது, இங்கு ORG_ID என்பது AWS நிறுவன ID ஆகும். ஒற்றை-கணக்கு trails க்கு, இயல்புநிலை prefix AWSLogs/ ஐ பயன்படுத்தவும். AWS CLI கட்டளையைப் பயன்படுத்தி prefix ஐ சரிபார்க்கவும்: aws cloudtrail describe-trails --trail-name-list TRAIL_NAME. தனிப்பயன் prefix பயன்படுத்தப்பட்டால், இயல்புநிலை prefix க்கு இணைக்கவும் (எ.கா., PREFIX/ORG_ID/AWSLogs/ORG_ID).
  • Athena Query Result Location ஐ அமைக்கவும்: வினவல் முடிவுகளுக்கு Athena இல் ஒரு S3 bucket கட்டமைக்கப்பட்டிருப்பதை உறுதிசெய்யவும். வினவல் வெளியீடுகளை சேமிக்க CloudFormation template இல் இந்த bucket ஐ (s3:// prefix இல்லாமல்) குறிப்பிடவும்.
GitHub தீர்வுடன் தானியங்குபடுத்தவும்

CloudFormation template ஐ நிலைநிறுத்தி பகிர்வு செய்யப்பட்ட Athena அட்டவணைகளுடன் உங்கள் CloudTrail லாக் பகுப்பாய்வை எளிமைப்படுத்த GitHub இல் CloudTrail Athena Automation Scripts ஐ அணுகவும்.

நெகிழ்வான பகுப்பாய்விற்கு கணக்கு-குறிப்பிட்ட மற்றும் ஒருங்கிணைக்கப்பட்ட அட்டவணைகளை பயன்படுத்தவும்​

தீர்வு வெவ்வேறு பயன்பாட்டு நிலைகளை ஆதரிக்க இரண்டு வகையான Athena அட்டவணைகளை உருவாக்குகிறது:

  • கணக்கு-குறிப்பிட்ட அட்டவணைகள்: CloudTrailLogsPartitionedByAccount Lambda செயல்பாடு CloudTrail S3 bucket இல் கண்டறியப்பட்ட ஒவ்வொரு AWS கணக்கிற்கும் பிரத்யேக Athena அட்டவணைகளை (எ.கா., trail_123456789012) உருவாக்குகிறது. இந்த அட்டவணைகள் பகுதி மற்றும் தேதி அடிப்படையில் பகிர்வு செய்யப்படுகின்றன, தொடர்பற்ற தரவை ஸ்கேன் செய்யாமல் அவர்களின் கணக்கிற்கு குறிப்பிட்ட லாக்குகளை பகுப்பாய்வு செய்ய குழுக்களை இயக்குகிறது. கணக்கு-குறிப்பிட்ட சம்பவங்களை விசாரிக்கும் பாதுகாப்பு குழுக்கள் அல்லது பிராந்திய செயல்பாடுகளை சரிசெய்யும் செயல்பாட்டு குழுக்களுக்கு இது குறிப்பாக பயனுள்ளது.
  • ஒருங்கிணைக்கப்பட்ட நிறுவனம்-முழுவதும் அட்டவணை: CloudTrailLogsPartitionedAllAccounts Lambda செயல்பாடு AWS நிறுவனத்தின் அனைத்து கணக்குகளிலிருந்தும் லாக்குகளை கொண்ட ஒரு ஒருங்கிணைக்கப்பட்ட அட்டவணையை (எ.கா., all_accounts_trail) பராமரிக்கிறது, கணக்கு ID, பகுதி மற்றும் தேதி அடிப்படையில் பகிர்வு செய்யப்படுகிறது. இந்த அட்டவணை குறுக்கு-கணக்கு ஆய்வுகள் மற்றும் நிறுவனம்-முழுவதும் தணிக்கைகளை ஆதரிக்கிறது, பாதுகாப்பு நிர்வாகிகள் முழு சூழலிலும் செயல்பாட்டை திறமையாக வினவ அனுமதிக்கிறது.

இரண்டு செயல்பாடுகளும் நிறுவனம் பரிணமிக்கும்போது புதிய கணக்குகள் மற்றும் பகிர்வுகளை தானாகவே சேர்க்க partition projection ஐ பயன்படுத்துகின்றன, கைமுறை புதுப்பிப்புகளின் தேவையை நீக்குகின்றன. கடுமையான பாதுகாப்பு கட்டுப்பாடுகள் மற்றும் கடமைகளின் பிரிவினையை அமலாக்க கட்டுப்படுத்தப்பட்ட அணுகலுடன் தனி பாதுகாப்பு எல்லையில் உள்ள மையப்படுத்தப்பட்ட S3 bucket க்கு லாக்குகளை வழங்க இந்த அட்டவணைகளை கட்டமைக்கவும்.

ஒத்திசைவுக்கான தினசரி அட்டவணை புதுப்பிப்புகளை இயக்கவும்​

Athena அட்டவணைகள் AWS நிறுவனத்தின் கட்டமைப்புடன் ஒத்திசைக்கப்பட்டிருப்பதை உறுதிசெய்ய, Lambda செயல்பாடுகளை தினசரி புதுப்பிப்புகளை இயக்க கட்டமைக்கவும். இந்த புதுப்பிப்புகள் புதிய கணக்குகளை கண்டறிந்து தொடர்புடைய பகிர்வுகளை உருவாக்குகின்றன, புதிதாக சேர்க்கப்பட்ட கணக்குகள் அல்லது பகுதிகளிலிருந்து லாக்குகள் Athena அட்டவணைகளில் சேர்க்கப்படுவதை உறுதிசெய்கின்றன. இந்த தானியங்குமயம் நிர்வாக மேல்நிலையை குறைக்கிறது மற்றும் கணக்கு செயல்பாட்டின் தொடர்ச்சியான கண்காணிப்பை கட்டாயமாக்கும் FedRAMP அல்லது PCI-DSS போன்ற இணக்க தேவைகளை ஆதரிக்கும் விரிவான லாக் கவரேஜை உறுதிசெய்கிறது.

பொதுவான பயன்பாட்டு நிலைகளுக்கான முன்வரையறுக்கப்பட்ட வினவல்களை பயன்படுத்தவும்​

பொதுவான பாதுகாப்பு மற்றும் செயல்பாட்டு சூழ்நிலைகளை தீர்க்க தீர்வில் முன்வரையறுக்கப்பட்ட Athena வினவல்களை சேர்க்கவும். எடுத்துக்காட்டாக, "அடிக்கடி console பயனர்களை கண்டறிக" வினவல் பயனர் அடிப்படையில் AWS console உள்நுழைவு அதிர்வெண்ணை பகுப்பாய்வு செய்கிறது, சாத்தியமான அங்கீகரிக்கப்படாத அணுகலை கண்டறிய உதவுகிறது. இந்த வினவல்கள் தனிப்பயன் வினவல்களுக்கான வார்ப்புருக்களாக செயல்படுகின்றன, குறிப்பிட்ட தேவைகளுக்கு ஆய்வுகளை தனிப்பயனாக்க குழுக்களை அனுமதிக்கின்றன. எளிதான அணுகல் மற்றும் செயல்படுத்தலுக்காக Athena console இன் Saved Queries பிரிவில் முன்வரையறுக்கப்பட்ட வினவல்களை சேமிக்கவும்.

சேமிக்கப்பட்ட பாதுகாப்பு வினவல்களை அணுகவும்

அங்கீகரிக்கப்படாத console அணுகலை கண்டறிதல் போன்ற பொதுவான பாதுகாப்பு சூழ்நிலைகளுக்கான முன்-கட்டப்பட்ட Athena வினவல்களை பயன்படுத்த GitHub இல் AWS CloudTrail Athena Demo Queries ஐ ஆராயுங்கள்.

பகிர்வு மற்றும் கண்காணிப்புடன் செலவுகளை மேம்படுத்தவும்​

CloudTrail லாக்களை பகிர்வு செய்வது Athena ஸ்கேன் செய்யும் தரவின் அளவை குறைக்கிறது, நேரடியாக வினவல் செலவுகளை குறைக்கிறது. கூடுதலாக, பின்வரும் செலவு மேலாண்மை நடைமுறைகளை செயல்படுத்தவும்:

  • Lambda செயல்பாட்டு செலவுகளை கண்காணிக்கவும்: தீர்வு ஒவ்வொரு நாளும் ஒரு முறை தூண்டப்படும் இரண்டு Lambda செயல்பாடுகளை பயன்படுத்துகிறது. AWS Lambda pricing page ஐப் பயன்படுத்தி செலவுகளை மதிப்பிட அவற்றின் இயக்க நேரத்தை கண்காணிக்கவும். செலவு மற்றும் புதுப்பிப்பு தேவைகளை சமநிலைப்படுத்த தேவைப்பட்டால் தூண்டுதல் அதிர்வெண்ணை சரிசெய்யவும்.
  • Athena வினவல் செலவுகளை கண்காணிக்கவும்: Athena ஒரு வினவலுக்கு ஸ்கேன் செய்யப்பட்ட தரவின் அளவின் அடிப்படையில் கட்டணம் வசூலிக்கிறது. பகிர்வு ஸ்கேன் செய்யப்பட்ட தரவை குறைக்கிறது, ஆனால் Amazon Athena pricing page ஐப் பயன்படுத்தி வினவல் செலவுகளை கண்காணிக்கவும். CloudTrail மற்றும் Athena செலவுகளுக்கான செலவு வரம்புகள் மற்றும் எச்சரிக்கைகளை அமைக்க AWS Budgets ஐ பயன்படுத்தவும்.
  • AWS Cost Anomaly Detection ஐ பயன்படுத்தவும்: CloudTrail மற்றும் Athena செலவுகளை கண்காணிக்க AWS Cost Anomaly Detection ஐ கட்டமைக்கவும். இந்த சேவை எதிர்பாராத செலவு உயர்வுகளை கண்டறிய இயந்திர கற்றலைப் பயன்படுத்துகிறது, முன்கூட்டிய செலவு மேலாண்மையை இயக்குகிறது.

தேவையற்ற செலவுகளை தவிர்க்க வளங்களை சுத்தம் செய்யவும்​

தொடர்ச்சியான கட்டணங்களைத் தடுக்க, தீர்வு இனி தேவையில்லை என்றால் CloudFormation stack ஐ நீக்கவும். இது Lambda செயல்பாடுகள், IAM பாத்திரங்கள், Glue தரவுத்தளம் மற்றும் Athena அட்டவணைகளை நீக்குகிறது, எஞ்சிய செலவுகள் ஏற்படாமல் உறுதிசெய்கிறது. தீர்வு தொடர்பான எதிர்பாராத செலவுகளை கண்டறிந்து தீர்க்க AWS Budgets மற்றும் Cost Anomaly Detection அறிக்கைகளை தொடர்ந்து மதிப்பாய்வு செய்யவும்.

முடிவுரை​

CloudTrail லாக்களுக்கான பகிர்வு செய்யப்பட்ட Athena அட்டவணைகளை தானியங்குபடுத்துவது வினவல் செயல்திறனை மேம்படுத்துகிறது, செலவுகளை குறைக்கிறது மற்றும் பாதுகாப்பு மற்றும் இணக்க ஆய்வுகளை மேம்படுத்துகிறது. கணக்கு-குறிப்பிட்ட மற்றும் நிறுவனம்-முழுவதும் அட்டவணைகளை நிலைநிறுத்தி, தினசரி புதுப்பிப்புகளை இயக்கி, S3 bucket ஐ பாதுகாப்பதன் மூலம், இந்த தீர்வு CloudTrail லாக் பகுப்பாய்விற்கு அளவிடக்கூடிய மற்றும் திறமையான அணுகுமுறையை வழங்குகிறது. CloudWatch Logs உடன் ஒருங்கிணைத்தல் மற்றும் முன்வரையறுக்கப்பட்ட வினவல்களை பயன்படுத்துதல் ஆய்வுகளை மேலும் எளிமைப்படுத்துகிறது, அதே நேரத்தில் செலவு மேலாண்மை நடைமுறைகள் மலிவு விலையை உறுதிசெய்கின்றன. உங்கள் AWS சூழலில் ஆளுமை, இணக்கம் மற்றும் செயல்பாட்டு சிறப்பை ஆதரிக்கும் வகையில் CloudTrail லாக்களின் விரைவான, செலவு-திறன்மிக்க மற்றும் பாதுகாப்பான பகுப்பாய்வை அடைய இந்த தீர்வை செயல்படுத்தவும்.