AI கேட்வே என்றால் என்ன? LLM மற்றும் ஏஜென்ட் டிராஃபிக்கிற்கான ரூட்டிங், செலவுக் கட்டுப்பாடு மற்றும் நிர்வாகம் குறித்த வழிகாட்டி

AI கேட்வே என்பது உங்கள் பயன்பாடுகள் அல்லது AI ஏஜென்ட்களுக்கும், அவை அழைக்கும் பெரிய மொழி மாதிரிகள் (LLM-கள்) மற்றும் கருவிகளுக்கும் இடையே உள்ள ஒரு மையப்படுத்தப்பட்ட ப்ராக்ஸி அடுக்கு ஆகும். இது கோரிக்கைகளை வழிநடத்துகிறது, AI செலவுகளைக் கட்டுப்படுத்துகிறது, பாதுகாப்பைச் செயல்படுத்துகிறது, பயன்பாட்டைக் கண்காணிக்கிறது. இதனால், ஒவ்வொரு பயன்பாட்டிலும் இந்தக் கட்டுப்பாடுகளைத் தனித்தனியாக உருவாக்க வேண்டியதில்லை. உங்கள் குழுக்கள் அதிக மாதிரிகளை இணைத்து, அதிக ஏஜென்ட்களைப் பயன்படுத்தத் தொடங்கும்போது, அப்படித் தனித்தனியாக உருவாக்குவது விரைவிலேயே நடைமுறைக்கு ஒவ்வாததாகிவிடும்.

AI கேட்வே என்ன செய்கிறது, பாரம்பரிய API கேட்வேயிலிருந்து (மற்றும் LLM, MCP கேட்வேகளிலிருந்து) அது எவ்வாறு வேறுபடுகிறது, அதன் திறன்களும் வரம்புகளும் என்ன, உங்களுக்கு அது தேவையா என்பதை எப்படி அறிவது என்பவற்றை இங்கே காணலாம்.

AI கேட்வே என்றால் என்ன?

AI கேட்வே என்பது உங்கள் பயன்பாடு அல்லது AI ஏஜென்டிலிருந்து பெரிய மொழி மாதிரிக்கு (LLM) செல்லும் ஒவ்வொரு அழைப்பையும் வழிநடத்தும் ஓர் இடைநிலை அடுக்கு ஆகும்.

இதன் மூலம், பல வேறுபட்ட மாதிரிகளையும் ஒற்றை மாதிரியாகவே கருதி அணுகலாம்.

ஒவ்வொரு வழங்குநருக்கும் (OpenAI, Anthropic, Google, ஓர் ஓப்பன் சோர்ஸ் மாதிரி அல்லது நீங்களே ஹோஸ்ட் செய்யும் எண்ட்பாயிண்ட்) அதற்கெனத் தனி SDK, API கீகள் மற்றும் கோரிக்கை வடிவம் உள்ளன. கேட்வே ஒரே நிலையான கோரிக்கையை ஏற்று, நீங்கள் அழைக்கும் வழங்குநருக்கு ஏற்ப அதை மாற்றி, பதிலைத் திருப்பி அனுப்புகிறது.

பயன்பாட்டுக் குறியீட்டை அல்ல, கேட்வே உள்ளமைவை மாற்றுவதன் மூலமே மாதிரிகளைச் சேர்க்கலாம், மாற்றலாம் அல்லது நீக்கலாம்.

மேலும், ஒவ்வொரு கோரிக்கையும் AI கேட்வே வழியாகவே செல்வதால், ஒவ்வொரு மாதிரிக்குமான செலவு, பாதுகாப்பு மற்றும் பதிவுக் கட்டுப்பாடுகளை ஒரே இடத்தில் செயல்படுத்தலாம்.

AI கேட்வே எவ்வாறு செயல்படுகிறது

உங்கள் பயன்பாட்டை அல்லது AI ஏஜென்டை AI கேட்வேயின் அடிப்படை URL-க்குத் திருப்பும்போது, ஒவ்வொரு கோரிக்கையும் ஒரே வரிசைமுறையில் செல்கிறது:

• அங்கீகரித்தல் மற்றும் அனுமதித்தல்: அழைப்பவரின் கீ மற்றும் பங்கை கேட்வே சரிபார்க்கிறது.
• கொள்கையைச் செயல்படுத்துதல்: இது டோக்கன் வரம்புகளையும் பட்ஜெட்களையும் செயல்படுத்துகிறது, PII மறைத்தல் போன்ற பாதுகாப்பு வரம்புகளை இயக்குகிறது.
• வழிநடத்துதல்: செலவு, தாமதம் அல்லது கிடைக்கும்தன்மையின் அடிப்படையில் மாதிரியையோ வழங்குநரையோ இது தேர்ந்தெடுக்கிறது; முதலாவது செயலிழந்திருந்தால், மாற்று வழங்குநருக்குத் தானாக மாறுகிறது. கோரிக்கையை இலக்கு வழங்குநரின் வடிவத்திற்கும் இது மாற்றுகிறது.
• பதிவுசெய்தல்: AI செலவைக் கண்காணிக்கவும் பிழைதிருத்தவும், மாதிரி, டோக்கன் எண்ணிக்கை, தாமதம் மற்றும் விளைவை இது பதிவுசெய்கிறது.

எனவே, நேரடியாக AI வழங்குநரிடம் சென்றிருக்கக்கூடிய ஒரு கோரிக்கை இப்போது கேட்வே வழியாகச் செல்கிறது. அது LLM-ஐ அடைவதற்கு முன்பே, கேட்வே அதன் டோக்கன்களுக்கு வரம்பிடலாம், மலிவான மாதிரிக்கு மாற்றலாம் அல்லது கேச் செய்யப்பட்ட பதிலைத் திருப்பி அனுப்பலாம்.

AI கேட்வேயின் திறன்கள்

AI கேட்வே மாதிரி டிராஃபிக்கை வழிநடத்துகிறது, செலவைக் கட்டுப்படுத்துகிறது, அதைப் பாதுகாத்துப் பதிவுசெய்கிறது, யார் எதைப் பயன்படுத்தலாம் என்பதை நிர்வகிக்கிறது.

விரிவாக்கு

வழிநடத்துதல் மற்றும் ஃபெயில்ஓவர்

செலவு, தாமதம் அல்லது திறனின் அடிப்படையில், ஒவ்வொரு கோரிக்கையையும் எந்த AI மாதிரி கையாள வேண்டும் என்பதை AI கேட்வே தேர்ந்தெடுக்கிறது.

தேர்ந்தெடுக்கப்பட்ட வழங்குநர் செயலிழந்திருந்தாலோ விகித வரம்பை எட்டியிருந்தாலோ, கேட்வே அந்தக் கோரிக்கையைத் தானாகவே வேறொரு மாதிரிக்கு அனுப்புகிறது.

இதனால், செயலிழப்பின்போதும் உங்கள் பயன்பாடு தொடர்ந்து இயங்குகிறது; பணிச்சுமையை ஒரே நேரத்தில் பல வழங்குநர்களிடையே பகிர்ந்தளிக்கவும் முடியும்.

டோக்கன் அடிப்படையிலான விகித வரம்புகள் மற்றும் பட்ஜெட்கள்

குழு, திட்டம் அல்லது பயனர் அளவில் வரம்புகளை அமைக்க AI கேட்வே உதவுகிறது; ஒதுக்கப்பட்ட டோக்கன் வரம்பை எட்டியதும் கேட்வே கோரிக்கைகளை நிராகரிக்கிறது.

இதனால், செலவு பட்ஜெட்டுக்குள் இருக்கிறது; எந்தவொரு குழுவோ திட்டமோ தனியாக முழு பட்ஜெட்டையும் தீர்த்துவிட முடியாது.

சொற்பொருள் கேச்சிங்

AI கேட்வேகளின் சொற்பொருள் கேச்கள் முந்தைய பதில்களைச் சேமித்து, புதிய ப்ராம்ப்ட்களை அவற்றின் பொருளின் அடிப்படையில் பொருத்துகின்றன. கேட்வே ஏற்கெனவே பதிலளித்த ஒரு ப்ராம்ப்ட்டுக்குப் புதிய ப்ராம்ப்ட் போதுமான அளவு நெருக்கமாக இருக்கும்போது, மாதிரியை அழைக்காமலேயே சேமித்த பதிலைத் திருப்பி அனுப்புகிறது.

ஒத்த கோரிக்கைகள் அதிகம் வரும் AI பணிச்சுமைகளில், இது செலவையும் பதில் நேரத்தையும் குறைக்கிறது.

பாதுகாப்பு வரம்புகள் மற்றும் தரவுப் பாதுகாப்பு

தன் வழியாகச் செல்லும் ஒவ்வொரு ப்ராம்ப்ட்டையும் பதிலையும் AI கேட்வே ஆய்வு செய்கிறது.

கோரிக்கை மாதிரி வழங்குநரை அடைவதற்கு முன்பே தனிப்பட்ட அல்லது முக்கியமான தரவை இது நீக்குகிறது, ப்ராம்ப்ட் இன்ஜெக்ஷன் அபாயத்தைக் குறைக்கிறது, நீங்கள் அனுப்பவோ பெறவோ விரும்பாத உள்ளடக்கத்தை வடிகட்டுகிறது.

இந்தச் சரிபார்ப்புகள் ஒவ்வொரு கோரிக்கைக்கும் பொருந்துவதால், ஒவ்வொரு AI பயன்பாடும் இதைச் சரியாகக் கையாள்வதைப் பாதுகாப்பு சார்ந்திருப்பதில்லை.

கண்காணிப்புத்திறன்

AI கேட்வே ஒவ்வொரு கோரிக்கையையும் பதிவுசெய்கிறது: எந்த மாதிரி இயங்கியது, அது எத்தனை டோக்கன்களைப் பயன்படுத்தியது, எவ்வளவு நேரம் எடுத்தது, அது தோல்வியடைந்ததா என்பவற்றை.

ஒவ்வொரு AI தொடர்புக்குமான அந்தப் பதிவின் மூலம், செலவை ஒரு குழுவுக்கு ஒதுக்கலாம், மெதுவாக இயங்கும் அல்லது தோல்வியடையும் மாதிரியைப் பிழைதிருத்தலாம், அனைத்து வழங்குநர்களிலும் உள்ள பயன்பாட்டைப் பார்க்கலாம்.

AI நிர்வாகம் மற்றும் அணுகல் கட்டுப்பாடு

உங்கள் நிறுவனம் முழுவதும் AI-க்கான அணுகலை AI கேட்வே கட்டுப்படுத்துகிறது. உங்கள் பங்கு அமைப்புகளின்படி மாதிரி அணுகலை வழங்குகிறது, அழைப்பவர்கள் அனைவரையும் அங்கீகரிக்கிறது, ஒவ்வொரு அழைப்பையும் தணிக்கைப் பதிவில் பதிவுசெய்கிறது. இதனால், AI பயன்பாட்டை நீங்கள் மதிப்பாய்வு செய்யலாம்.

AI கேட்வேயின் வரம்புகள்: தாமதமும் அது செய்யாதவையும்

AI கேட்வே சிறிதளவு தாமதத்தைச் சேர்க்கிறது. மேலும், அது வெளியீட்டின் தரத்தை மதிப்பிடுவதில்லை; அது உங்கள் பொறுப்பாகவே இருக்கிறது.

கேட்வே எவ்வளவு தாமதத்தைச் சேர்க்கிறது

AI கேட்வே தாமதத்தை (அதாவது, ஒரு கோரிக்கையை அனுப்புவதற்கும் பதிலைத் திரும்பப் பெறுவதற்கும் இடையிலான கால இடைவெளியை) அதிகரிக்கிறது. ஆனால் LLM டிராஃபிக்கைப் பொறுத்தவரை இது ஒப்பீட்டளவில் குறைவுதான்.

ஜூன் 2026-இல் Broadcom-இன் VMware Cloud Foundation குழு நடத்திய ஒரு சுயாதீன பெஞ்ச்மார்க்கில், வழிநடத்துதல் மற்றும் விகித வரம்பிடுதலுடன், ஆனால் உள்ளடக்க ஆய்வு இல்லாமல், டியூன் செய்யப்பட்ட Envoy AI Gateway, 224 ஒரே நேரப் பயனர்கள் வரை ஒவ்வொரு கோரிக்கைக்கும் சுமார் 2 ms தாமதத்தைச் சேர்த்தது (பாதுகாப்பு வரம்புகளும் சொற்பொருள் கேச்சிங்கும் பத்துக்கணக்கான மில்லிவினாடிகள் முதல் நூற்றுக்கணக்கான மில்லிவினாடிகள் வரை கூடுதல் தாமதத்தைச் சேர்க்கக்கூடும்).

AI கேட்வே ப்ராம்ப்ட் அல்லது வெளியீட்டின் தரத்தைக் கட்டுப்படுத்துவதில்லை

AI கேட்வே டிராஃபிக்கை நிர்வகிக்கிறது; மாதிரியின் வெளியீட்டையோ அதைச் சுற்றியுள்ள பயன்பாட்டு லாஜிக்கையோ அல்ல.

ஒரு மாதிரியிடம் என்ன கேட்க வேண்டும் என்பதை AI கேட்வேகள் முடிவு செய்வதில்லை; உங்கள் உரையாடலையோ ஒரு பணி எங்கே நின்றது என்பதையோ நினைவில் வைத்திருப்பதில்லை; ஏஜென்டின் படிப்படியான லாஜிக்கை இயக்குவதுமில்லை.

மேலும், அவை பதிலின் தரத்தை மதிப்பிடுவதில்லை. எனவே, ஒரு பதில் சரியானது அல்லது பாதுகாப்பானது என்று அவற்றால் உத்தரவாதம் அளிக்க முடியாது.

உண்மையில், சில சூழ்நிலைகளில் AI கேட்வேகளைச் செயல்படுத்துவது தரத்தைக் குறைக்கவும் கூடும். எடுத்துக்காட்டாக, செலவைச் சேமிக்க கேட்வே ஒரு கோரிக்கையை மலிவான மாதிரிக்கு அனுப்பினால், அந்த மாதிரி தரம் குறைந்த பதிலைத் தரக்கூடும்.

எனவே, வெளியீட்டின் தரத்தைச் சரிபார்ப்பது இன்னும் உங்கள் பணிதான்.

AI கேட்வே vs. API கேட்வே

AI கேட்வேயும் API கேட்வேயும் ஒத்த முறையில் செயல்பட்டாலும், வெவ்வேறு வகையான டிராஃபிக்கை நிர்வகிக்கின்றன. API கேட்வே பொதுவான API அழைப்புகளைக் (உங்கள் கிளையன்ட்களுக்கும் பேக்எண்ட் சேவைகளுக்கும் இடையிலான REST அல்லது GraphQL) கையாள்கிறது; அங்கு ஒவ்வொரு கோரிக்கையும் கணிக்கக்கூடியது. AI கேட்வே மொழி மாதிரிக்கான அழைப்புகளைக் கையாள்கிறது; அவை டோக்கன்களில் அளவிடப்படுகின்றன, கட்டற்ற வடிவிலான ப்ராம்ப்ட்களைக் கொண்டுள்ளன.

AI கேட்வேகளுக்கும் API கேட்வேகளுக்கும் இடையிலான முக்கிய வேறுபாடுகள் இதோ:

• API கேட்வே கோரிக்கைகளை பேக்எண்ட் சேவைக்கு வழிநடத்துகிறது; AI கேட்வே அவற்றை LLM-களுக்கு வழிநடத்துகிறது.
• API கேட்வே நீங்கள் எத்தனை கோரிக்கைகளைச் செய்யலாம் என்பதை வரம்பிட்டு, பேண்ட்வித்தை அளவிடுகிறது; AI கேட்வேயோ டோக்கன்களை அளவிடுகிறது. ஓர் அழைப்பு சில டோக்கன்களையோ நூறாயிரக்கணக்கான டோக்கன்களையோ பயன்படுத்தக்கூடும் என்பதால், AI மாதிரிப் பயன்பாட்டைக் கண்காணிப்பதற்குக் கோரிக்கைகளின் எண்ணிக்கை பொருத்தமற்றது.
• API கேட்வே சரியாகப் பொருந்தும்போது மட்டுமே கேச் செய்யப்பட்ட பதிலை வழங்குகிறது; AI கேட்வே பொருளின் அடிப்படையிலும் கேச் செய்ய முடியும், மேலும் புதிய ப்ராம்ப்ட் முந்தைய ஒன்றுக்குப் போதுமான அளவு நெருக்கமாக இருக்கும்போது சேமித்த பதிலைத் திருப்பி அனுப்ப முடியும். ப்ராம்ப்ட்கள் அரிதாகவே ஒன்றுபோல இருக்கும்; எனவே இது இல்லையென்றால், அதே கேள்விகளுக்கு மீண்டும் மீண்டும் பதிலளிக்க மாதிரி அழைப்புகளுக்குக் கட்டணம் செலுத்த வேண்டியிருக்கும்.
• API கேட்வே அழைப்பவர்களை அங்கீகரித்துக் கீகளைச் சரிபார்க்க மட்டுமே செய்கிறது; AI கேட்வே முக்கியமான தரவு மற்றும் மறைக்கப்பட்ட அறிவுறுத்தல்கள் உள்ளனவா என ப்ராம்ப்ட்களையும் ஆய்வு செய்கிறது. இது முக்கியமான தரவு உங்கள் நெட்வொர்க்கை விட்டு வெளியேறுவதைத் தடுக்கிறது, ப்ராம்ப்ட் இன்ஜெக்ஷன்களை முறியடிக்கிறது.

"LLM கேட்வே", "MCP கேட்வே" ஆகிய சொற்கள் "AI கேட்வே" என்பதுடன் சேர்த்துப் பயன்படுத்தப்படுகின்றன, ஆனால் அவை குறுகிய அடுக்குகளைக் குறிக்கின்றன:

• LLM கேட்வே மாதிரி அழைப்பையே கையாள்கிறது (டோக்கன் அளவீடு, வழிநடத்துதல், ப்ராம்ப்ட் வடிகட்டுதல்).
• மாதிரி செயல்பட முடிவு செய்தவுடன், ஒரு ஏஜென்ட் எந்தக் கருவிகளையும் தரவு மூலங்களையும் அணுகலாம் என்பதை Model Context Protocol (MCP) மூலம் MCP கேட்வே நிர்வகிக்கிறது.

நடைமுறையில், இவை ஒன்றுக்கொன்று மேற்பொருந்துகின்றன. LiteLLM, Portkey, Azure API Management, Envoy AI Gateway உள்ளிட்ட பல AI கேட்வேகள் இப்போது MCP நிர்வாகத்தையும் சேர்க்கின்றன; எனவே இந்தச் சொற்கள் கட்டுப்பாட்டின் வெவ்வேறு அடுக்குகளை விவரிக்கின்றன.

AI கேட்வேகள் AI ஏஜென்ட்களையும் MCP டிராஃபிக்கையும் எவ்வாறு நிர்வகிக்கின்றன

Model Context Protocol (MCP) மூலம் AI ஏஜென்ட் அணுகும் கருவிகள் மற்றும் தரவைக் கொண்டு அது மேற்கொள்ளக்கூடிய செயல்களை AI கேட்வே கட்டுப்படுத்துகிறது.

AI ஏஜென்ட்கள் சுழற்சிகளில் செயல்படுகின்றன: ஒரு மாதிரியை அழைத்தல், ஒரு கருவியைப் பயன்படுத்துதல், முடிவைத் திரும்ப உள்ளிடுதல், பணி முடியும் வரை மீண்டும் அழைத்தல். வெளிப்புறக் கருவிகளையும் வளங்களையும் அணுக, அவை MCP-ஐப் பயன்படுத்துகின்றன; இது AI சேவைகள் மூன்றாம் தரப்புக் கருவிகளுடன் இணைய உதவும் ஒரு நிலையான நெறிமுறையாகும்.

இந்தச் செயல்முறையின் ஒவ்வொரு படியையும் AI கேட்வே கண்காணிக்கிறது. ஏஜென்ட் தொடங்கும் அனைத்து டிராஃபிக்கையும் இது கட்டுப்படுத்திக் கண்காணிக்கிறது, ஏஜென்ட் எந்தக் கருவிகளையும் தரவு மூலங்களையும் அணுகலாம் என்பதை அங்கீகரிக்கிறது, அனைத்து மாதிரி மற்றும் கருவி அழைப்புகளையும் தணிக்கைப் பதிவில் பதிவுசெய்கிறது.

பணிகளை முடிக்க AI ஏஜென்ட்கள் பல கருவிகளையும் மாதிரிகளையும் அழைப்பதால், கேட்வே பட்ஜெட் செய்ய வேண்டிய டோக்கன்களும், கண்காணிக்க வேண்டிய தாமதமும், மேற்பார்வையிட வேண்டிய பாதுகாப்புப் பரப்பும் அதிகரிக்கின்றன.

AI கேட்வேகள் இப்போது ஏன் முக்கியமானவை

500-க்கும் மேற்பட்ட ஊழியர்களைக் கொண்ட நிறுவனங்களின் 8,039 மூத்த வணிகத் தலைவர்களிடம் நடத்தப்பட்ட கணக்கெடுப்பில், 83% பேர் AI ஏஜென்ட்களை உருவாக்க அல்லது பயன்படுத்தத் திட்டமிட்டுள்ளதாகத் தெரிவித்தனர் (Cisco AI Readiness Index 2025). மேலும், 2025-இல் 5%-க்கும் குறைவாக இருந்த நிலையிலிருந்து, 2026-இன் இறுதிக்குள் 40% நிறுவனப் பயன்பாடுகளில் பணி சார்ந்த ஏஜென்ட்கள் இடம்பெறும் என்று Gartner எதிர்பார்க்கிறது.

ஏஜென்டிக் AI பயன்பாடு அதிகரித்து வருவது பழைய பிரச்சினைகளை மோசமாக்குவதுடன் புதியவற்றையும் உருவாக்குகிறது; அவற்றில் சிலவற்றைக் கட்டுப்படுத்த AI கேட்வேகள் உதவுகின்றன:

• AI செலவுகள் வரம்பை மீறுகின்றன. DoiT/Sapio 2026 கணக்கெடுப்பில் பங்கேற்ற நிதித் தலைவர்களில் 79% பேர் கடந்த ஆண்டில் தங்கள் AI பட்ஜெட்டை மீறியுள்ளனர். அதைவிட மோசமானது, பல நிறுவனங்களிடம் AI செலவைக் கண்காணிக்க நம்பகமான வழிகள் இல்லாததால், இது பெரும்பாலும் கவனிக்கப்படாமலேயே போகிறது.
• நிறுவனங்கள் ஒன்றுக்கும் மேற்பட்ட AI மாதிரிகளைப் பயன்படுத்துகின்றன. Dataiku மற்றும் Harris Poll (2026) கணக்கெடுத்த நிறுவன CIO-க்களில் 93% பேர், வெவ்வேறு பயன்பாட்டுச் சூழல்களுக்கு வெவ்வேறு மாதிரிகள் சிறப்பாகச் செயல்படுவதாகக் கூறுகின்றனர். 81% நிறுவனங்கள் இரண்டு அல்லது அதற்கு மேற்பட்ட மாதிரி வழங்குநர்களைப் பயன்படுத்த எதிர்பார்க்கின்றன; 55% நிறுவனங்கள் ஏற்கெனவே குறைந்தது ஒரு முறையாவது LLM வழங்குநரை மாற்றியுள்ளன.
• வழங்குநர் செயலிழப்புகள் அதிகச் செலவை ஏற்படுத்துகின்றன. முன்னணி LLM வழங்குநர்கள் நம்பகமானவை என்று சுயாதீனக் கண்காணிப்பு காட்டுகிறது: சுமார் 99.85-99.9% இயக்க நேரம் (மே 2026) என்பது ஆண்டுக்குத் தோராயமாக 9-13 மணிநேரச் செயலிழப்புக்குச் சமம். ஆனால் செயலிழப்புகள் ஏற்படும்போது, அவை பெரும் செலவை ஏற்படுத்துகின்றன: 1,125 மூத்த உள்கட்டமைப்புத் தலைவர்களில் மூன்றில் இரண்டு பங்கினர், ஒரு மணிநேர AI செயலிழப்பு தங்கள் நிறுவனத்திற்கு $100,000-க்கும் மேல் செலவை ஏற்படுத்தும் என்று மதிப்பிட்டுள்ளனர் (Cockroach Labs 2026).
• ப்ராம்ப்ட்கள் தரவைக் கசியவிட்டு, நிறுவனங்களைத் தாக்குதல்களுக்கு ஆளாக்குகின்றன. ப்ராம்ப்ட் இன்ஜெக்ஷன்தான் முதன்மையான LLM பாதுகாப்பு அபாயம் (OWASP, 2025); AI கருவிகளுக்குச் செல்லும் முக்கியமான தரவும் வேகமாக அதிகரித்து வருகிறது: AI பயன்பாடுகளுக்கு அனுப்பப்படும் நிறுவனத் தரவு ஒரே ஆண்டில் 93% உயர்ந்துள்ளது; ChatGPT மட்டுமே 410 மில்லியன் தரவு இழப்புத் தடுப்பு மீறல்களைத் தூண்டியுள்ளது (Zscaler ThreatLabz).

உங்களுக்கு AI கேட்வே தேவையா, அதை எப்படித் தேர்ந்தெடுப்பது?

உங்கள் நிறுவனம் AI தயாரிப்புப் பயன்பாடுகளை விரிவுபடுத்தும்போது, AI ஏஜென்ட்களைப் பயன்படுத்தத் தொடங்கும்போது அல்லது பல்வேறு துறைகளில் உள்ள வெவ்வேறு குழுக்கள் பல AI மாதிரிகளைப் பயன்படுத்த வழிசெய்யும்போது, AI கேட்வே இன்றியமையாததாகிறது.

அந்த நிலையை எட்டிவிட்டீர்கள் என்பதைப் பல அறிகுறிகள் உணர்த்துகின்றன:

• வழங்குநர் கீகள், எண்ட்பாயிண்ட்கள், மறுமுயற்சி லாஜிக் ஆகியவை பல பயன்பாட்டுக் குறியீட்டுத் தளங்களில் நகலெடுக்கப்பட்டுள்ளன அல்லது ஹார்ட்கோட் செய்யப்பட்டுள்ளன.
• மாதாந்திர மாதிரிக் கட்டணங்கள் கணிக்க முடியாத வகையில் திடீரென உயர்கின்றன, அல்லது செலவை ஒரு குழுவுக்கோ திட்டத்துக்கோ நிதித் துறையால் ஒதுக்க முடியவில்லை.
• ஏதேனும் ஒரு வழங்குநர் சிக்கலில் இருக்கும்போதெல்லாம், வாடிக்கையாளர்கள் பயன்படுத்தும் அம்சங்கள் விகித வரம்பு அல்லது செயலிழப்புப் பிழைகளைச் சந்திக்கின்றன.
• தனிப்பட்ட தரவு, மூலக் குறியீடு அல்லது பிற முக்கியமான தகவல்களைக் கொண்டிருக்கக்கூடிய, ஆய்வு செய்யப்படாத ப்ராம்ப்ட்களைப் பயன்பாடுகள் வெளிப்புற மாதிரிகளுக்கு அனுப்புகின்றன.
• வெவ்வேறு குழுக்கள் போட்டி வழங்குநர்களை (OpenAI, Anthropic, Google அல்லது சுயமாக ஹோஸ்ட் செய்யப்பட்ட மாதிரிகள்) பயன்படுத்துகின்றன; ஒவ்வொன்றுக்கும் அதற்கெனத் தனி ஒருங்கிணைப்புக் குறியீடு உள்ளது.
• உள் அமைப்புகளில் பல படிநிலை அழைப்புகளை மேற்கொள்ளும் தன்னாட்சி ஏஜென்ட்களை அல்லது MCP கருவி ஒருங்கிணைப்புகளை நீங்கள் பயன்பாட்டுக்குக் கொண்டுவருகிறீர்கள்.
• எந்த மாடல்கள் இயங்குகின்றன, அவற்றை யார் அழைக்கிறார்கள், வெளியீடுகள் ஒழுங்குமுறைத் தேவைகளைப் பூர்த்தி செய்கின்றனவா என்பது குறித்துப் பாதுகாப்பு, IT அல்லது இணக்கக் குழுக்களுக்கு எந்த ஒட்டுமொத்தப் பார்வையும் இல்லை.

மறுபுறம், ஒரே ஒரு முன்மாதிரியை உருவாக்கும்போது, குறைந்த அளவிலான பக்கத் திட்டத்தை இயக்கும்போது, அல்லது குறைந்தபட்சப் பாதுகாப்புத் தேவைகளுடன் ஒரே ஒரு மாடல் எண்ட்பாயிண்ட்டை மட்டும் அழைக்கும்போது AI கேட்வே தேவையில்லை.

சுயமாக ஹோஸ்ட் செய்வதா அல்லது நிர்வகிக்கப்படும் AI கேட்வேயை வாங்குவதா

AI கேட்வேயைப் பயன்பாட்டுக்குக் கொண்டுவரும்போது, சுயமாக ஹோஸ்ட் செய்யப்படும் தீர்வு அல்லது நிர்வகிக்கப்படும் தீர்வு ஆகியவற்றில் ஒன்றை நீங்கள் தேர்வுசெய்யலாம்.

சுயமாக ஹோஸ்ட் செய்யும் முறையில், LiteLLM, Portkey அல்லது Apache APISIX போன்ற திறந்த மூல கேட்வேயை உங்கள் சொந்த உள்கட்டமைப்பில் இயக்குவீர்கள்; அது தனியார் கிளவுட், Kubernetes கிளஸ்டர் அல்லது ஆன்-பிரைமிசஸ் சூழல் என எதுவாகவும் இருக்கலாம்.

பின்வரும் சூழல்களில் சுயமாக ஹோஸ்ட் செய்யப்படும் AI கேட்வேக்கள் சிறந்த தேர்வாகும்:

• தரவு இருப்பிடம் அல்லது இணக்கத் தேவைகள் கடுமையாக உள்ளன. கேட்வே, அதன் பதிவுகள் மற்றும் அதன் விசைகள் நீங்கள் சொந்தமாக வைத்திருக்கும் உள்கட்டமைப்புக்குள்ளேயே இருக்கும்.
• உங்களுக்கு ஆழமான தனிப்பயனாக்கம் தேவை. நிர்வகிக்கப்படும் சேவை வழங்குவதைத் தாண்டி, தனிப்பயன் செருகுநிரல்கள், ரூட்டிங் தர்க்கம் அல்லது விசை மற்றும் பட்ஜெட் உள்ளமைவுகளை உங்கள் குழு விரும்புகிறது.
• உங்களிடம் போதுமான DevOps வளம் உள்ளது. கேட்வேயையும், PostgreSQL, Redis அல்லது etcd போன்ற அதன் நிலைச் சேமிப்பகங்களையும் பேட்ச் செய்யவும், தேவைக்கேற்ப விரிவாக்கவும், இயக்கவும் உங்கள் குழுவால் முடியும்.

Cloudflare AI Gateway, Azure API Management அல்லது Amazon Bedrock AgentCore Gateway போன்ற நிர்வகிக்கப்படும் தீர்வுகளில், வழங்குநரே கேட்வேயை ஒரு சேவையாக இயக்குகிறார்.

பின்வரும் சூழல்களில் முழுமையாக நிர்வகிக்கப்படும் AI கேட்வேக்கள் மிகவும் பொருத்தமானவை:

• குறைந்த பராமரிப்புடன் கேட்வேயை விரைவாக இயக்கத் தொடங்க விரும்புகிறீர்கள். விரிவாக்கம், பேட்ச் செய்தல் மற்றும் இயக்க நேரம் ஆகியவற்றை வழங்குநர் கவனித்துக்கொள்கிறார்.
• உங்கள் தொழில்நுட்பக் கட்டமைப்பு ஒரே கிளவுடில் உள்ளது. AWS அல்லது Azure வழங்கும் உள்ளமைந்த அடையாளம் மற்றும் அணுகல் மேலாண்மை, பதிவுசெய்தல் மற்றும் பாதுகாப்பு ஆகியவை கூடுதல் அமைப்பு இன்றி உடனடியாகக் கிடைக்கும்.
• உங்கள் பொறியாளர்கள் தயாரிப்பில் கவனம் செலுத்த வேண்டும் என்று விரும்புகிறீர்கள். அவர்களின் நேரம் ப்ராக்ஸி உள்கட்டமைப்பை இயக்குவதற்கு அல்ல, AI அம்சங்களை உருவாக்குவதற்கே செலவாகிறது.

அடிக்கடி கேட்கப்படும் கேள்விகள்

ஜெனரேட்டிவ் AI கேட்வே என்றால் என்ன?

ஜெனரேட்டிவ் AI கேட்வேயும் AI கேட்வேயும் ஒன்றுதான்; இந்தப் பெயர் ஜெனரேட்டிவ் AI மாடல்களுக்குச் செல்லும் டிராஃபிக்கை வலியுறுத்துகிறது, அவ்வளவுதான். பயன்பாடுகள் பெரிய மொழி மாடல்களை எவ்வாறு பயன்படுத்துகின்றன என்பதை நிர்வகிக்கும் கட்டுப்பாட்டு அடுக்கைக் குறிக்க, AWS போன்ற சில விற்பனையாளர்கள் “ஜெனரேட்டிவ் AI கேட்வே” என்ற சொல்லைப் பயன்படுத்துகின்றனர்.

இந்த இரண்டு சொற்களையும் ஒன்றுக்கொன்று மாற்றாகப் பயன்படுத்தலாம்.

AI மாடல் ரூட்டிங் என்றால் என்ன?

AI மாடல் ரூட்டிங் என்பது, செலவு, தாமதம் அல்லது திறன் ஆகியவற்றின் அடிப்படையில் ஒவ்வொரு கோரிக்கையையும் மிகவும் பொருத்தமான மாடலுக்கு AI கேட்வே அனுப்பும் முறையாகும். பயன்பாட்டிற்குள்ளேயே எந்த ரூட்டிங் தர்க்கத்தையும் உருவாக்காமல், ஒரே எண்ட்பாயிண்ட் மூலம் பல வழங்குநர்களை ஒரு பயன்பாடு அணுக இது உதவுகிறது.

AI கேட்வேக்கும் MCP கேட்வேக்கும் உள்ள வேறுபாடு என்ன?

AI கேட்வே உங்கள் பயன்பாடுகளுக்கும் AI மாடல்களுக்கும் இடையிலான டிராஃபிக்கை நிர்வகிக்கிறது: ப்ராம்ப்ட்கள், டோக்கன்கள், ரூட்டிங் மற்றும் செலவு. Model Context Protocol மூலம் ஏஜென்ட் அல்லது கிளையன்ட் எந்தக் கருவிகளையும் தரவு மூலங்களையும் அணுக முடியும் என்பதை MCP கேட்வே நிர்வகிக்கிறது.

பல AI கேட்வேக்கள் MCP நிர்வாகத்தையும் உள்ளடக்கியுள்ளன, எனவே இவை இரண்டும் ஒரே தயாரிப்பில் இடம்பெறுகின்றன.

சிறந்த திறந்த மூல AI கேட்வே எது?

அனைத்திலும் சிறந்தது என்று சொல்லக்கூடிய ஒரே திறந்த மூல AI கேட்வே எதுவும் இல்லை. சரியானதைத் தேர்வுசெய்ய, உங்களுக்குத் தேவையான வழங்குநர்கள், செருகுநிரல்கள் மற்றும் கட்டுப்பாடுகளின் அடிப்படையில் அவற்றை ஒப்பிடுங்கள்.

LiteLLM என்பது பரந்த வழங்குநர் ஆதரவைக் கொண்ட, பரவலாகப் பயன்படுத்தப்படும் ப்ராக்ஸி ஆகும்; Kong AI Gateway ஏற்கெனவே Kong-ஐ இயக்கும் குழுக்களுக்குப் பொருந்தும், அதேவேளை API மற்றும் AI டிராஃபிக் இரண்டுக்கும் ஒரே திறந்த மூல கேட்வேயை விரும்பும் குழுக்களுக்கு Apache APISIX பொருத்தமானது.