ZetAI Vision के भीतर: 240 फ़्रेम प्रति सेकंड पर बैडमिंटन रैली को पढ़ना

स्मैश किया गया शटलकॉक रैकेट से 300 किलोमीटर प्रति घंटे से ज़्यादा की गति से निकलता है और खेल की लगभग किसी भी वस्तु से तेज़ी से धीमा पड़ता है। 30 फ़्रेम प्रति सेकंड पर वह दो फ़्रेमों में एक धुँधली लकीर भर होता है और फिर गायब हो जाता है। उससे कुछ भी काम का निकालना संभव नहीं।

इसीलिए ZetAI Vision 240fps पर चलता है, और इसीलिए फ़्रेम दर कोई स्पेसिफ़िकेशन का ब्योरा नहीं, बल्कि वह चीज़ है जिसके इर्द-गिर्द पूरा डिज़ाइन खड़ा है।

एक ही कोट में तीन समस्याएँ

"खेल के लिए कंप्यूटर विज़न" सुनने में एक ही क्षमता लगती है। असल में एक रैली को तीन ऐसे कामों में बाँटना पड़ता है जिनमें आपस में लगभग कुछ भी समान नहीं।

• डिटेक्शन और ट्रैकिंग — इस फ़्रेम में खिलाड़ी, रैकेट और शटल कहाँ हैं, और अलग-अलग फ़्रेमों में कौन-सा कौन है। स्थानिक, हर फ़्रेम पर, और विलंब के प्रति बेहद संवेदनशील।
• इवेंट वर्गीकरण — क्या वह स्मैश था, ड्रॉप, क्लियर या नेट शॉट? समय पर आधारित, फ़्रेमों की एक खिड़की चाहिए, और इरादा उतना ही शरीर की मुद्रा से समझना होता है जितना गेंद के पथ से।
• सेगमेंटेशन — एक रैली कहाँ ख़त्म होती है और अगली कहाँ शुरू? संरचनात्मक, और यही वह काम है जिस पर आगे का सब कुछ निर्भर है, क्योंकि रैली की सीमा ग़लत पकड़ी जाए तो उससे निकला हर आँकड़ा बिगड़ जाता है।

तीसरा काम वह है जो लोगों को चौंकाता है। सीमा को एक शॉट से भी ग़लत पकड़ने पर विश्लेषण थोड़ा नहीं बिगड़ता; इससे यह पूरा हिसाब खिसक जाता है कि कौन-सी रैली किसने जीती, और पैटर्न डेटा पूरी तरह बेकार हो जाता है।

एज इन्फ़रेंस, क्लाउड नहीं — क्यों

आठ कोर्ट का 240fps वीडियो क्लाउड GPU पर अपलोड करना ज़िला स्तर के किसी वेन्यू पर संभव नहीं है। उतनी बैंडविड्थ होती ही नहीं, और जहाँ होती भी है, वहाँ आने-जाने का समय उस विलंब-बजट को तबाह कर देता है जिसके सहारे लाइव ओवरले और ऑटो-स्कोरिंग संभव होते हैं।

इसलिए इन्फ़रेंस वेन्यू पर ही, कैमरों के पास लगे हार्डवेयर पर चलता है। मॉडलों को क्वांटाइज़ किया जाता है ताकि साधारण हार्डवेयर पर भी 10ms से कम का बजट पूरा हो, और वेन्यू से जो बाहर जाता है वह वीडियो नहीं, संरचित इवेंट होते हैं — कुछ सौ बाइट, जो बताते हैं कि क्या हुआ, न कि गीगाबाइट, जो बताते हैं कि वह कैसा दिखा।

इसका एक और महत्व है, जिसका इंजीनियरिंग से कोई लेना-देना नहीं: खेलते हुए नाबालिगों की रॉ फ़ुटेज ऐसा डेटा है जिसे बिना ज़रूरत स्कूल के जिम से बाहर नहीं जाना चाहिए। एज पर प्रोसेस करके और सिर्फ़ इवेंट भेजकर वीडियो को डिफ़ॉल्ट रूप से स्थानीय रखा जा सकता है।

यह क्या देता है

• शॉट-दर-शॉट रैली पुनर्निर्माण — हर स्ट्रोक, उसका प्रकार, उसकी गति और वह कहाँ गिरा।
• कोर्ट कवरेज हीट मैप — खिलाड़ी असल में कोर्ट के किस हिस्से में अपना समय बिताता है, बनाम वह जहाँ बिताने का सोचता है।
• मूवमेंट और रिकवरी पैटर्न — खिलाड़ी कितनी जल्दी अपनी बेस पोज़िशन पर लौटता है, और मैच बढ़ने के साथ यह कैसे बिगड़ता है।
• ऑटोमैटिक मुख्य क्षण — लंबी रैलियाँ और मोमेंटम के पलटाव, जिनसे हाइलाइट जनरेशन और मैच विश्लेषण, दोनों अपनी सामग्री लेते हैं।
• स्कोरिंग संकेत जिन्हें ZetAI Score अंपायर को पॉइंट सुझाने के लिए इस्तेमाल करता है।

ईमानदार सीमाएँ

विज़न की गुणवत्ता मॉडल की गुणवत्ता से ज़्यादा कैमरा लगाने की जगह पर निर्भर करती है। कोर्ट के एक सिरे पर लगा एक कैमरा रैली का इस्तेमाल लायक सेगमेंटेशन देता है पर स्थानिक डेटा कमज़ोर; विपरीत कोनों पर लगे दो कैमरे अच्छा स्थानिक डेटा देते हैं। हम यह पहले ही बता देना बेहतर समझते हैं, बजाय इसके कि कोई फ़ेडरेशन सिस्टम खरीदे और दूसरे महीने में यह खुद पता लगाए।

रोशनी का बहुत बड़ा असर पड़ता है — जिस हॉल में दिन की रोशनी और फ़्लोरोसेंट लाइट मिली हो, वहाँ ऊँची फ़्रेम दर पर फ़्लिकर होता है, जिसकी भरपाई करनी पड़ती है। और मॉडल रैकेट खेलों में सबसे मज़बूत हैं, जहाँ हमारे पास सबसे ज़्यादा लेबल किया हुआ डेटा है, और हाल में जोड़े गए खेलों में अपेक्षाकृत पतले हैं। यह अंतर इस्तेमाल के साथ घटता है, पर आज यह वास्तविक है।