డేటా సెంటర్ మీ మెషీన్‌కి కదులుతుంది

ప్రతి వినియోగదారునికి, వాట్టుకు అత్యధిక టోకెన్ విలువను అందించడమే AI సిస్టమ్‌కి సరైన లక్ష్యం. అది సులభంగా అనిపిస్తుంది. కానీ అది అంత సులభం కాదు, ఎందుకంటే మూడు అంశాలు ఒకదానికొకటి వ్యతిరేకంగా పనిచేస్తాయి.

ఖచ్చితత్వం అత్యంత శక్తివంతమైన మోడళ్లను కోరుకుంటుంది, ఇవిరన్ చేయడానికి ఖరీదైనవి. కొన్ని పనులు మీ యంత్రం నుండి ఎప్పటికీ వెళ్ళకూడదనిగోప్యత కోరుకుంటుంది. చిన్న మోడల్ నిర్వహించగల పనికి ఫ్రాంటియర్ మోడల్ యొక్క కంప్యూట్‌ను వెచ్చించవద్దని ఖర్చు మరియు శక్తి కోరుకుంటారు. మీరు మిగతావాటిని గౌరవించకుండా దేనినీ గరిష్టంగా పెంచలేరు.

ఈ మూడింటిని బ్యాలెన్స్ చేయడం అనేది ఒక ఆర్కెస్ట్రేషన్ సమస్య. మరియు ఆర్కెస్ట్రేషన్ అనేది Perplexity ఎల్లప్పుడూ చేసిన పని.

ఈరోజు మేము Personal Computer కోసం తదుపరి అడుగును ప్రకటించాము: మొట్టమొదటి హైబ్రిడ్ స్థానిక-సర్వర్ ఇన్‌ఫరెన్స్ ఆర్కెస్ట్రేటర్. ఇది మీ పరికరంలో ఏ పని రన్ కావాలి మరియు క్లౌడ్‌లోని ఏజెంట్లకు ఏ పని వెళ్ళాలి అనే దాని గురించి ఆలోచిస్తుంది మరియు ప్రతి పనిని స్వయంచాలకంగా సరైన స్థానానికి మళ్లిస్తుంది.

మోడల్స్ నుండి కంప్యూట్ వరకు

ఖచ్చితమైన, ఉల్లేఖించబడిన సమాధానాలను రూపొందించడానికి టూల్స్ మరియు సోర్సెస్‌లను ఆర్కెస్ట్రేట్ చేయడం ద్వారా Perplexity ప్రారంభమైంది. Computer దానిని వందలాది ఏజెంట్ల కోసం ఒక హార్నెస్‌గా విస్తరించింది, ఇవి ఇరవై కంటే ఎక్కువ ఫ్రాంటియర్ మోడళ్లలో రన్ అవుతాయి, ప్రతి పనికి సరైనదాన్ని ఎంచుకుంటాయి. ఇప్పుడు మనం అదే ఆలోచనను కంప్యూట్‌కే విస్తరించవచ్చు: ఏ మోడల్, అది ఎక్కడ రన్ అవుతుంది మరియు ఎందుకు.

సెన్సిటివ్ డేటాను కలిగి ఉండే కానీ శక్తివంతమైన AI అవసరమైన పని కోసం హైబ్రిడ్ ఏజెంటిక్ ఇన్‌ఫరెన్స్ ఉపయోగపడుతుంది. ఆర్థిక రికార్డులు, ఆరోగ్య సమాచారం మరియు వ్యక్తిగత ఫైల్‌ల వంటివి. సెన్సిటివ్ డేటా స్థానికంగా ఎక్కడ ఉంచాలో నిర్ణయించడానికి కాంపాక్ట్ మోడల్ మీ పరికరంలో స్థానికంగా రన్ అవుతుంది.

ఇంతలో, ఫ్రాంటియర్ మోడల్ యొక్క పూర్తి సామర్థ్యం అవసరమైన పని సర్వర్‌లో రన్ అవుతుంది. చాలా వాస్తవిక పనులు రెండింటి కలయిక, కాబట్టి Personal Computer వాటిని విభజించి భాగాలను సమన్వయం చేస్తుంది. స్థానిక లేదా క్లౌడ్‌ను ముందుగానే ఎంచుకోమని కోరే టూల్స్ కాకుండా, ఇది దానంతట అదే, ప్రతి పని వారీగా జరుగుతుంది.

పరికరమే డేటా సెంటర్

సంవత్సరాలుగా, మరింత శక్తివంతమైన సిలికాన్ అంటే ఎక్కువగా వేగవంతమైన యాప్‌లు మరియు ఎక్కువ బ్యాటరీ జీవితం. చిప్ నిజమైన ఇన్‌ఫరెన్స్‌ను రన్ చేయగలిగినప్పుడు అది మారుతుంది. స్థానిక హార్డ్‌వేర్ ఎంత మెరుగ్గా ఉంటే, ఆర్కెస్ట్రేటర్ మీ మెషీన్‌లో అంత ఎక్కువ ఉంచగలదు మరియు నిజంగా అవసరమైన పని కోసం సర్వర్‌ను అంత ఎక్కువగా రిజర్వ్ చేయగలదు.

మేము దీనిని Intelతో ఆవిష్కరించాము, మరియు అదే మోడల్-అగ్నాస్టిక్ హార్నెస్ NVIDIA యొక్క RTX స్పార్క్‌తో సహా ఇతర స్థానిక సిలికాన్‌లలో రన్ అవుతుంది. స్థానిక కంప్యూట్ కోసం రేసు ప్రారంభమైంది. చిప్‌లు అభివృద్ధి చెందుతున్న కొద్దీ, నిజంగా అతుకులు లేని ఆర్కెస్ట్రేషన్ కోసం Perplexity మాత్రమే ఏజెంటిక్ హార్నెస్ మరియు అప్లైడ్ ఇన్‌ఫరెన్స్ ఇంజనీరింగ్‌ను కలిగి ఉంది.

ఇది కంప్యూట్ కొరతను గమనిస్తున్న ప్రతి ఒక్కరికీ సమీకరణాన్ని కూడా మారుస్తుంది. సెన్సిటివ్ పని మరియు రొటీన్ పని ప్రజలు ఇప్పటికే స్వంతం చేసుకున్న పరికరాలకు మారినప్పుడు, దానికి సేవ చేయడానికి మీరు ఎక్కువ కేంద్రీకృత అవస్థాపనను నిర్మించాల్సిన అవసరం లేదు. ఇది సార్వభౌమత్వం ఎలా ఉంటుందో కూడా మారుస్తుంది: డేటా సెంటర్‌ను ఉంచడానికి ఒక దేశం దాన్ని నిర్మించకుండానే ముఖ్యమైన డేటా దాని స్వంత అధికార పరిధిలో ఉండగలదు.

ప్రజలు తాము నియంత్రించని డేటా సెంటర్‌లో నిర్మించడం కంటే తమ ల్యాప్‌టాప్‌లోనే డేటా సెంటర్‌ను కలిగి ఉండటానికి ఇష్టపడతారు.

సమర్థత కోసం సరైన ఆర్కిటెక్చర్

ఈ ఆర్కిటెక్చర్ Perplexityకి సరిపోవడానికి ఒక కారణం ఉంది. మా వ్యాపారం ఎల్లప్పుడూ ఖచ్చితమైన AI గురించే, మనం అమ్మే టోకెన్‌లను గరిష్టీకరించడం గురించి కాదు. వాట్టుకు విలువను ఆప్టిమైజ్ చేయడానికి ఇది సరైన ప్రోత్సాహం: సమాధానం సరైనదై మరియు పని పూర్తయినప్పుడు మేము గెలుస్తాము, అది ఎక్కువ కంప్యూట్‌ను వినియోగించినప్పుడు కాదు.

హైబ్రిడ్ AI చాలా కాలంగా పరిశ్రమ ఆశయం. జూలైలో రాబోయే స్థానిక ఇన్‌ఫరెన్స్‌తో కూడిన Personal Computer, దీనిని నిజం చేసే మొదటి ఉత్పత్తి, మరియు మీ మెషీన్ మరియు క్లౌడ్ అంతటా కంప్యూట్‌ను తెలివిగా ఆర్కెస్ట్రేట్ చేయడానికి మొదటిది.