أنظمة تحديد المسار ، INC.
الواقع المعزز
الواقع المعزز: تمكين المكون من أجل التكامل البناء الافتراضي المباشر الفعال
المؤلفون:
فرانك دين - الباحث الرئيسي
مركز تكنولوجيا المحاكاة والتدريب ، الجيش الأمريكي RDECOM
12423 Research Parkway
أورلاندو ، فلوريدا 32826-3276
Frank.Dean@us.army.mil
شيلا جاسليكس - رئيسة
ريتشارد ستيلسون - مهندس
سكوت ساندرز - مهندس
باثفايندر سيستمز ، إنك.
5525 West 56th Ave، Suite 400
ارفادا ، كولورادو 80002-2804
sheila@snakephotographer.com
rstilson@snakephotographer.com
ssanders@snakephotographer.com
الملخص
تصف هذه الورقة نتائج مشروع بحث RDECOM يسمى نظام التدريب على الواقع المعزز المنفصل (DARTS). يوفر نموذج DARTS الأولي الذي تم تطويره في إطار هذا الجهد بيانات مشجعة وثقة بأن الأدوات والتقنيات اللازمة لتنفيذ هذه التكنولوجيا ، في بيئة تدريب عسكرية حية ، ليست بعيدة. في نهاية المطاف ، فإن مفتاح التنفيذ والاستخدام الناجح لهذه التكنولوجيا الناشئة هو للمدربين لفهم استخداماتها المحتملة ووضع تركيز القيادة على مزيد من التطوير لاستخدامات عسكرية محددة.
مقدمة
تخيل أن لدى Warfighter قدرة مضمنة فعالة على التدريب في أي مكان وفي أي وقت دون الحاجة إلى إعداد مطول. بالنظر إلى مقدار الوقت والموارد المالية المستثمرة في أنواع مختلفة من أنظمة التدريب العسكري ، فإن إحدى أكثر الطرق فعالية للوصول إلى هذا الهدف هي دمج الأنظمة الحالية والمخطط لها ، في بيئة متكاملة أكبر. بعبارة أخرى ، قم بطمس الخطوط أو الحدود ، جسديًا وعقليًا ، التي تفصل تدريب Warfighter في بيئات التدريب الحية والافتراضية والبناءة المنفصلة التي نستخدمها اليوم.
مع هذه القدرة ، يمكن للمدربين المزج بين أو تشغيل الأنظمة المناسبة والمتاحة لتحقيق أهداف التدريب المناسبة. على هذا المنوال ، فإن أحد مجالات الاهتمام الرئيسية لمجتمع تدريب الجيش هو تنفيذ التكامل الحي والافتراضي والبناء. لسوء الحظ ، من منظور LVC-IA الحالي ، لا يوجد تدفق ثنائي الاتجاه وعرض بيانات التدريب بين مجال التدريب المباشر ومجالات التدريب الافتراضي البناء. تركز جهود البحث والاستحواذ المستمرة على LVC بشكل أساسي على نقل بيانات موقع المشاركين المباشرين إلى المجال الافتراضي للعرض والتفاعل. ومع ذلك ، لا يمكن للمشاركين المباشرين "رؤية" عرض الوقت الفعلي للأفراد والمركبات والنيران والتأثيرات وما إلى ذلك التي تنشأ من المجال الافتراضي. من أجل "تدريب القوة ، كيف وتقاتل بشكل فعال!" يجب أن يكون هناك تكرار كامل لبيئات التشغيل المعقدة. للحصول على صورة أدق لبيئات التشغيل المعقدة ، يجب أن يكون هناك تكامل كامل - طريق ذو اتجاهين لتدفق البيانات عبر مجالات التدريب. إذا كان تدفق البيانات والمعلومات في اتجاه واحد فقط ، فلن تكون البنية "متكاملة تمامًا" ولا يمكن إعلانها.
كونه النموذج الجديد للتحول في التدريب ، كيف ستبدو بيئة التدريب المعقدة المدمجة في LVC؟ تصور السيناريو التالي:
يشارك أعضاء وحدة صغيرة في تمرين تدريبي مباشر في Ft. Lewis أو WA أو Ft. هود ، تكساس. أثناء التمرين ، هناك دعوة للدعم الجوي القريب ، والتي يتم توفيرها من قبل طيار يتدرب في مدرب أسلحة طيران مشترك ، يقع في فورت. روكر ، AL أو Ft. براج ، نورث كارولاينا. في نهج توفير الدعم الجوي القريب ، توفر شاشات الطيار رؤية متكاملة لساحة المعركة ، بما في ذلك الرموز / الصور الرمزية التي تمثل المواقع المتعقبة لأعضاء الوحدة الصغيرة. أثناء العمل في البيئة الافتراضية ، يمكن للطيار رؤية أعضاء الوحدة الصغيرة ؛ ومع ذلك ، فإن الوحدة الصغيرة التي تعمل في البيئة الحية غير قادرة على رؤية أفعال الطيار والرد عليها ، دون تدخل ربما مراقب مراقب (OC). تسمح البيئة المعقدة المتكاملة حقًا للوحدة الصغيرة التي تعمل على الأرض بمراقبة الطائرة على الأقل وأي حريق وآثار ناتجة عن مهمة الطيار. حاليا هذا لا يحدث. ما هي التقنيات التي يمكن تطويرها والاستفادة منها ، من أجل توفير بيئة تدريب متكاملة أكثر فعالية وقدرة لهذا السيناريو والسيناريوهات المماثلة؟ هل هناك حل يمكن أن يكون متاحًا من شأنه أن يسمح لمقاتل حرب مُركب أو راجل ، والذي يعمل في البيئة الحية "لرؤية" و "التفاعل" مع أولئك الذين يعملون بشكل افتراضي أو بنّاء؟ الجواب نعم!" الحل هو الواقع المعزز.
الهندسة المعمارية الإنشائية الافتراضية المباشرة (LVC-IA)
(المعلومات مأخوذة من Project Manager for Future Force (Simulation))
مفهوم LVC-IA
تدمج LVC-IA أنظمة المحاكاة الحية والافتراضية والبناءة الحالية والمستقبلية من أجل تحفيز أنظمة قيادة المعركة لتخطيط المهمة والبروفات والتدريب. وبالتالي ، يوفر LVC-IA بيئة تدريب LVC متكاملة تعمل على توسيع مساحة المعركة المتاحة ، مع السماح لبيئة التدريب بتقريب البيئة التشغيلية بشكل أوثق. تتيح بيئة LVC المتكاملة ، عند الطلب ، وتخطيط المهام الموزعة ، والتدريبات ، والتدريب المطلوب لاكتساب الكفاءة في المهارة والحفاظ عليها في الوعي بساحة المعركة ، وتطبيق القوة ، واللوجستيات المركزة ، والحماية.
خطة LVC-IA
تنفيذ مجموعة موحدة من البروتوكولات والمواصفات والمعايير التي تسمح بالتشغيل البيني والتكامل بين مكونات الجيش والمشترك LVC.
توفير بيئة LVC متكاملة تضمن التوافق والتشغيل البيني لجميع TADSS وتدمج بالكامل في نظام قيادة معركة القوة المستقبلية ، مع ربط وتحفيز أنظمة القيادة والتحكم المشتركة (JC2).
توفير إمكانية التوصيل والتدريب لدعم العمليات ، وبروفات تخطيط المهمة ، عند الطلب ، وفي أي وقت وفي أي مكان ، أثناء التدريب في سياق مشترك.
يسمح بالتشغيل البيني والتكامل بين- أ. عائلة المحاكاة المشتركة (JFOM) و (جهود JNTC). ب. هندسة أجهزة التدريب المشتركة (CTIA). ج. البيئة الاصطناعية (SE) الأساسية. د. اتحاد التدريب البناء للجيش (ACTF). ه. اختبار وتدريب العمارة التمكينية (TENA). F. مكونات LVC المحتملة الأخرى (FCS FoS ، WIN-T؟). ز. يدمج ويحفز JC2.
الواقع المعزز
ما هو الواقع المعزز؟ تعمل تقنيات AR على تحسين عرض Warfighter المباشر لبيئة التدريب المعقدة ، من خلال توفير النصوص والرسومات والكائنات ثنائية وثلاثية الأبعاد وغيرها من المعلومات في الوقت الفعلي. وبالتالي ، فإن الواقع المعزز يزود Warfighter ، الذي يعمل في بيئة حية ، بوعي أكبر بالتأثيرات من تداخل عمليات محاكاة التدريب الافتراضية والبناءة. يمكن لهذه الوسيلة الحاسوبية المكثفة لدمج الكيانات الحية والافتراضية في عرض واحد متكامل بسلاسة لساحة المعركة أن توفر للقادة والمدربين القدرة على مزج مهام التدريب البناءة والافتراضية الحية ، وكذلك تنسيق ودمج تأثيرات التدريب المختلفة عبر بيئات مختلفة. إذا تم استخدامه بشكل مناسب ، يمكن للواقع المعزز زيادة واقعية وفعالية التدريب المباشر ، من كل من التوقعات المركبة والمترددة ، مع الاندماج مع مجالات التدريب الافتراضية والبناءة.
على الرغم من أن الجيش الأمريكي في الوقت الحالي ليس لديه متطلبات محددة لاستخدام الواقع المعزز ، إلا أن الأبحاث الحديثة التي أجريت في مركز تكنولوجيا المحاكاة والتدريب (STTC) والبحث والتطوير والقيادة الهندسية (RDECOM) ، أورلاندو ، فلوريدا تشير إلى ذلك يمكن استخدام الواقع المعزز في مجموعة متنوعة من تطبيقات تدريب الجيش. مفهوم البيئات الحية المعززة لديه القدرة على إنشاء بيئات تفاعلية متعددة الحواس وغير خطية توفر للمحاربين تدريبات حية لا مثيل لها وواقعية وتعلم تجريبي. من المحتمل أن تزود هذه القدرة القادة والمدربين بمجموعات حلول مبتكرة ومرنة للمهمات المتغيرة والمتغيرة باستمرار ومتطلبات التدريب الخاصة بـ Warfighter الحديثة.
ما هي التحديات التقنية التي تواجه توفير إمكانات الواقع المعزز إلى Warfighter؟ أفضل إجابة على هذا السؤال من خلال فحص بعض الأبحاث الحديثة. نظام التدريب على الواقع المعزز المنفصل (DARTS) هو مشروع ممول من RDECOM للجيش الأمريكي والذي سعى إلى البحث في قضايا تكنولوجيا الواقع المعزز. تم إطلاق DARTS في الأصل تحت بند الجنود المفصولين عن التكنولوجيا ، وهدف العلوم والتكنولوجيا (ETDS STO) ، والذي انتهى في خريف عام 2004. وتم تمويل واستمرار عمل DARTS الإضافي في إطار تدريب فريق الأسلحة المدمجة ، وهدف تكنولوجيا الجيش (ECATT ATO) وبلغ ذروته مع عرض تقني في ديسمبر 2005.
على الرغم من التمويل المحدود ، واجهت شركة Pathfinder Systems ، Inc مشكلة صعبة - تنفيذ الواقع المعزز في الوقت الفعلي ، بدون ربط ، ويمكن ارتداؤه بواسطة الإنسان - وقد صممت نموذجًا تنمويًا أوليًا ، والذي تم عرضه في ديسمبر 2005. على الرغم من أن قيود التمويل قد أخرت عمل إضافي في هذا المجال ، تم تحديد عدد من القضايا والمعلومات القيمة للتحليل والبحث في المستقبل. ما تبقى من هذه الورقة يصف نتائج هذا البحث.
نظام تدريب الواقع المعزز المنفصل (DARTS)
كان الهدف من جهود DARTS هو إثبات أنه من الممكن تطوير نظام واقع معزز فعال (AR) يمكن أن يعمل في الوقت الفعلي ، باستخدام مجموعة معدات مدمجة وغير تدخلية يرتديها مقاتل حرب. كان هدفنا هو جعل نظام AR الخاص بنا يعمل في بيئة لم يتم مسحها مسبقًا أو تجهيزها أو إعدادها مسبقًا من أجل التشغيل. لم تكن أنظمة الواقع المعزز السابقة قادرة على العمل في الوقت الفعلي ، أو أنها كانت تتطلب استخدام بنية تحتية غير متنقلة واسعة النطاق. تتطلب العديد من أنظمة الواقع المعزز استخدام شبكة معقدة من نقاط التحديد المقاسة مسبقًا للعمل. من الواضح أن الواقع المعزز الذي يتطلب مثل هذه المعالجة المسبقة الهامة للبيئة ليس هو الحل التكنولوجي المرغوب فيه لتطبيقات التدريب العسكري سريعة الخطى أو الحية أو المضمنة.
كان الهدف من نظام DARTS AR هو إدخال كائنات افتراضية (في هذه الحالة مركبة قتالية مشاة افتراضية أو ICV) في مجال رؤية المستخدم عن طريق شاشة عرض رأسية شفافة (HMD). يجب وضع الكائن الافتراضي في مجال رؤية المستخدم بحيث يظهر كما لو كان كائنًا حقيقيًا له موقع مادي في العالم الحقيقي. نظرًا لأن الكائن الافتراضي هو في الواقع مجرد إسقاط في HMD ، فإن الموضع المعروض للكائن الافتراضي يحتاج إلى التحرك أثناء تحريك المستخدم لرأسه ، بحيث يظهر الكائن الافتراضي وكأنه ثابت في موقع حقيقي. يجب أن يكون المستخدم قادرًا على السير نحو ICV ورؤيته يكبر كلما اقترب. وبالمثل ، يجب أن يكون المستخدم قادرًا على التجول في ICV ورؤية الجزء الأمامي والخلفي أو الجوانب من زوايا مختلفة. أخيرًا ، إذا حدث شيء حقيقي ، مثل شجيرة أو شخص آخر ، بين مستخدم الواقع المعزز والدبابة ، فلا ينبغي عرض جزء القيمة المحلية المضافة الذي سيتم حظره من العرض. تم تحقيق كل هذه الأهداف إلى حد ما من خلال جهود بحث سابقة للواقع المعزز ، لكن لم يتم إجراؤها في الوقت الفعلي ، باستخدام نظام يرتديه الإنسان ، ويعمل في بيئة غير مهيأة.
في جهودنا ، احتجنا أيضًا إلى إظهار القدرة على إدخال محتوى AR مفيد في مجال رؤية المستخدم ، بطريقة يمكن أن تسهم في التدريب والعمليات العسكرية. قد يشمل ذلك عرض بيانات الوعي بالموقف في شكل مخططات كائن ، أو رموز علامة. يمكن أن يسمح أيضًا لمستخدم نظام AR بالمشاركة في محاكاة ، بحيث يتم عرض الوحدات من تمرين تدريب المحاكاة ككائنات افتراضية يمكن للمستخدم التفاعل معها. أنشأنا مجموعة من المتطلبات للجهد الأساسي مع وضع هذه الأهداف العامة في الاعتبار. كانت الأهداف المحددة لهذا الجهد الأساسي هي:
أدخل كيانات افتراضية في مشهد حقيقي في الوقت الفعلي
استيعاب كائنات العالم الحقيقي التي تحجب عرض كائن افتراضي
دمج محاكاة مركبة مشاة قتالية (ICV) في عرض المستخدم
إظهار واجهة بروتوكول محاكاة تفاعلية موزعة ثنائية الاتجاه (DIS) مع اختبار مركبة المشاة القتالية التابعة للجيش الأمريكي
أظهر القدرة على تشغيل نظام AR الذي يرتديه الإنسان وغير المربوط
يتم عرض هذه الأهداف بيانياً أدناه:
إنجازات برنامج DARTS
كانت مظاهرة DARTS الخاصة بنا ، التي أجريت في ديسمبر 2005 ، ناجحة. لقد تمكنا من إثبات نظام الواقع المعزز الذي يرتديه الإنسان والذي سمح لمستخدم DARTS بالتفاعل مع ICV الظاهري الذي تم تقديمه في DARTS HMD. كان المستخدم قادرًا على عرض القيمة المحلية المضافة الافتراضية في بيئة العالم الواقعي والزمن الحقيقي من وجهات نظر مختلفة. كان مستخدم DARTS قادرًا أيضًا على مشاهدة حركة ICV الافتراضية في بيئة الوقت الحقيقي في العالم الحقيقي. نلخص هنا ملخصًا للمكونات التي ساعدتنا في تحقيق هذا الإنجاز:
واجهة DIS ثنائية الاتجاه: لقد طورنا برنامجًا لتلقي وحدات بيانات بروتوكول DIS (PDUs) وفك تشفيرها من اتصال شبكة ، وكذلك لتشفير وحدات PDU الخاصة بـ DIS وإرسالها. قمنا بتطوير رمز لتحويل موضع الكيان والاتجاه بين إطار إحداثيات العالم المستخدم بواسطة اختبار القيمة المحلية المضافة إلى إطار إحداثيات محلي يستخدمه DARTS.
التحكم في الكيان الافتراضي: لقد قمنا بدمج برنامج اتصالات DIS PDU الخاص بنا في DARTS حتى نتمكن من استخدام إحداثيات الموقع والتوجيه من PDU الواردة لتحديد موضع كائن افتراضي فيما يتعلق بكيان DARTS. قمنا أيضًا بتطوير رمز لتحويل الموقع المحلي لكيان DARTS إلى إحداثيات عالمية ، وإرسال هذه الإحداثيات في DIS PDU الصادرة. لقد طورنا وأظهرنا واجهة DIS أولية مع محاكي ICV الذي سمح للكيانات الافتراضية والحيوية بالتفاعل مع بعضها البعض وسمح للمستخدم المنفصل برؤية كيان افتراضي في عرض حقيقي في الوقت الفعلي.
تتبع الموضع اللاسلكي: قمنا بتطوير برنامج للوصول إلى نظام تتبع الموقع اللاسلكي Ubisense والحصول على تحديثات الموقع عدة مرات في الثانية. تُستخدم بيانات الموقع هذه للسماح لنظام DARTS بتحديد مكانها بالنسبة للعالم ، حتى نتمكن من تحديد كيفية عرض كيان افتراضي في نظام DARTS وكذلك كيفية عرض مستخدم DARTS في العالم الافتراضي لـ يعرض اختبار ICV. تم استخدام هذه الإمكانية للسماح بالعروض التوضيحية المبكرة ، حيث نقوم بتطوير تتبع النقاط الموضوعي ونضع خوارزميات الاسترداد التي لن تتطلب استخدام أي بنية تحتية إضافية بخلاف المعدات التي يرتديها الجندي. ستحل خوارزميات استعادة الوضعية الجديدة هذه في النهاية محل بيانات تحديد الموقع التي يوفرها نظام UbiSense (مع توفر الأموال لمواصلة هذا البحث). يستخدم نظام UbiSense أيضًا لاختبار نظام DARTS للتحقق من دقة خوارزميات استعادة الوضعيات الخاصة بنا.
HMD المستندة إلى OLED: قمنا بدمج HMD أحادي العين OLED-base في النظام للتحقق من فائدة شاشات OLED لدعم التدريب المنفصل. يوفر HMD الدقة الكافية في شاشة أحادية. تمكنا من العمل مع مصنعي HMD القائمة على OLED مثل Liteye و ICUITI لتطوير تصميم مفاهيمي لنظام مجهر. في هذا الوقت ، تقدم تقنية OLED أفضل الإمكانات لتطوير حلول HMD الكافية لدعم التدريب غير المكلف وغير المكلف بما يكفي ليتم شراؤها بكميات كبيرة ستكون ضرورية إذا تم اعتماد تقنية التدريب هذه من قبل الجيش الأمريكي.
نظام الإرسال التلفزيوني اللاسلكي لدعم العرض التوضيحي: قمنا بتقييم العديد من أنظمة نقل الصور ، وقمنا بتنفيذ العديد من الأنظمة الاختيارية لجعل العرض الذي تم إنتاجه لمستخدم DARTS متاحًا للمراقبين القريبين الآخرين.
تطوير خوارزمية تتبع النقاط واستعادة الوضع: قمنا بتنفيذ خوارزمية تتبع النقاط باستخدام بيئة برنامج MATLAB التي يمكنها تتبع النقاط من خلال سلسلة من الصور. تعثر هذه الخوارزمية على نقاط من مناطق مختلفة من صورة الفيديو ، باستخدام خوارزمية تحدد نقاط التتبع سهلة. بمجرد أن تحدد الخوارزمية هذه النقاط سهلة التتبع ، فإنها تبحث عن تطابق لكل نقطة من هذه النقاط في الصور المتتالية. تُستخدم هذه النقاط لتحديد موضع واتجاه مستخدم DARTS فيما يتعلق بأشياء العالم الحقيقي والكيانات الافتراضية في البيئة. كنا نأمل في دمج الخوارزمية المحسّنة في هذه المرحلة ، لكننا لم نتمكن من القيام بذلك بسبب مستوى الجهد الذي بذله لإنشاء الخوارزمية. ومع ذلك ، فقد تمكنا من إثبات والتحقق من صحة الخوارزمية باستخدام مقاطع فيديو تم الحصول عليها من موقع عرض STTC. تقدم الفقرات التالية نظرة عامة على خوارزمية تتبع الوضع التي تم تطويرها لهذا الجهد.
من أجل عرض كائن افتراضي بحيث يغطي العالم الحقيقي بشكل صحيح ، نحتاج إلى الحصول على تقدير دقيق للغاية للاتجاه الذي تشير إليه الخوذة. نحن بحاجة إلى تتبع هذا من لحظة إلى أخرى بينما يتحرك مستخدم DARTS ، والقيام بذلك بأكبر قدر ممكن من الدقة. إذا لم يتم تتبع رأس المستخدم بدقة أثناء تحركه ، فسيظهر الكائن الافتراضي وكأنه يتحول عكس العالم الحقيقي بطريقة غير واقعية. علاوة على ذلك ، يمكن أن تتراكم الأخطاء الصغيرة في الموضع حتى يتم فقد النظام تمامًا. على سبيل المثال ، إذا كان يجب أن يكون الكائن الافتراضي على بعد 10 أمتار بالضبط جنوب موضع المستخدم ، فيجب أن يتركز هذا الكائن في مجال رؤية المستخدم إذا نظر المستخدم إلى الجنوب. إذا فقد النظام مسار اتجاه المستخدم ، فلن يتمكن من عرض الكائن عندما ينظر المستخدم في الاتجاه الصحيح. بدلاً من ذلك ، قد يعرض الكائن إلى الشرق أو الغرب. قد يجعل الأمر يبدو كما لو كان الكائن الافتراضي يدور حول المستخدم.
لجهودنا الأساسية ، استخدمنا مستشعر موضع لاسلكي ومستشعر موضع بالقصور الذاتي لتتبع موضع واتجاه خوذة DARTS. توفر هذه المستشعرات بيانات دقيقة إلى حد ما ، ولكنها لا تتمتع بالدقة اللازمة للسماح بتحديد المواقع الواقعية للغاية للأشياء الافتراضية مقابل مشهد من العالم الحقيقي. بالإضافة إلى عدم الدقة ، كان لكل مستشعر نقاط ضعف قد تسمح له بتقديم بيانات خاطئة في بعض الظروف. هدفنا هو استخدام نظام الرؤية المجسمة لتوفير قدرة أفضل على تتبع موضع الخوذة ، من خلال قياس التغيير في صور الفيديو أثناء تحرك الخوذة ، ثم دمج بيانات تتبع الرؤية المجسمة مع بيانات المستشعر الأخرى للحصول على أفضل تقدير ممكن لوضع الخوذة.
يمكن للإنسان الذي يشاهد صورة فيديو أن يحدد بشكل بديهي حركة كاميرا الفيديو من الطريقة التي تتحرك بها صور الفيديو. على سبيل المثال ، إذا دارت الكاميرا إلى اليمين ، فإننا نتوقع أن تتحرك الكائنات في صورة الفيديو إلى اليسار. إذا تحركت الكاميرا للأمام ، فإن الكائنات الموجودة في منتصف الصورة ستكبر ، وستتحرك الكائنات الموجودة في أعلى الصورة أو أسفلها أو جانبيها بعيدًا عن المركز باتجاه حافة الصورة. إذا قلبنا الكاميرا رأسًا على عقب ، فستدور الصورة أيضًا رأسًا على عقب. إذا استخدمنا برنامج كمبيوتر لتتبع النقاط في تسلسل صور الفيديو ، واستخدمنا الرؤية المجسمة لحساب الموضع ثلاثي الأبعاد لهذه النقاط فيما يتعلق بالكاميرا المتحركة ، فيمكننا استخدام معلومات تتبع النقاط لحساب حركة الكاميرا ، تمامًا كما يفعل الإنسان بشكل حدسي. إذا تمكنا من متابعة نقاط التتبع هذه وتحديد موقعها بمستوى عالٍ من الدقة والدقة ، فيمكننا أيضًا تتبع موضع الخوذة بمستوى أعلى من الدقة والدقة مما هو ممكن من مستشعر القصور الذاتي أو مستشعر الوضع اللاسلكي الخاص بنا .
من أجل تتبع موضع نقطة فيما يتعلق بالكاميرا المتحركة ، نحتاج إلى استخدام زوج من الكاميرات الاستريو ، واتباع النقطة في كلتا صور الكاميرا. نحتاج أولاً إلى مطابقة النقطة بين الصورتين اليسرى واليمنى ، حتى نتمكن من تحديد موضع النقطة ، ثم نحتاج إلى متابعة هذه النقطة من خلال تسلسل الصور من الكاميرتين ، حتى نتمكن من تحديد حركة النقطة. بشكل عام ، ليس من السهل على برنامج الكمبيوتر العثور على نقاط مطابقة في زوج من الصور ، ولكن من السهل تتبع بعض النقاط أكثر من غيرها. من أجل تطوير أفضل خوارزمية لتتبع النقاط ، نحتاج إلى طريقة لتحديد النقاط التي يسهل تتبعها ، ونحتاج إلى طريقة للتخلص من التطابقات الخاطئة قدر الإمكان ، مع اتباع النقاط الجيدة لأطول فترة ممكنة.
نقوم بمطابقة النقاط من خلال مقارنة المنطقة حول نقطة في كل صورة وحساب التشابه بينهما. إذا كانت المنطقة المحيطة بنقطة في صورة واحدة متطابقة تقريبًا مع المنطقة المحيطة بالنقطة من الصورة الأخرى ، فيمكننا استنتاج تطابق النقاط. إذا أردنا التأكد من أننا نستخدم فقط أفضل التطابقات لتتبع النقاط ، فيمكننا فقط قبول المطابقات التي تحتوي على أفضل نقاط التشابه. ومع ذلك ، فإن هذا النهج لا يمنحنا القدرة على تتبع النقاط من خلال تسلسل طويل من الصور أثناء تحرك الكاميرا ، ولا يمنحنا قدرة جيدة على التعرف على النقاط التي تتبعناها بالفعل سابقًا. أثناء تحرك الكاميرا ، يتغير المظهر نقطة تتبع. قد تزداد المنطقة المحيطة بنقطة ما كلما تحركت الكاميرا نحوها ، أو قد تدور المنطقة المحيطة بنقطة ما أثناء تدوير الكاميرا. لا تستطيع خوارزميات مطابقة النقاط البسيطة أخذ هذه الأنواع من التغييرات في الاعتبار ، لذا فهي تظهر درجة تشابه أقل ، مما يؤدي إلى رفض النقطة. نحن بحاجة إلى طريقة للتعرف على نقطة كنا نتتبعها حتى لو رأيناها من زاوية مختلفة ، حتى نتمكن من تتبع النقاط الجيدة طالما ظلت مرئية ، والتعرف على النقاط المتعقبة مسبقًا إذا عادت للعرض. إذا تمكنا من تحقيق هذا المستوى من تتبع النقاط على المدى الطويل ، فسنكون قادرين على تتبع موضع خوذة DARTS بدقة لفترات طويلة من الوقت. هدفنا هو الجمع بين مجموعة متنوعة من تقنيات معالجة الصور المتقدمة لتحقيق هذا النوع من تتبع النقاط.
لقد قمنا بتطوير العديد من برامج الاختبار التي تدفعنا نحو هذا الهدف. الخطوة الأولى هي التعرف على النقاط عند النظر إليها من زوايا مختلفة. على سبيل المثال ، إذا بدأنا في تتبع نقطة ما ، وتتبعناها من خلال تسلسل متحرك من 100 صورة ، فنحن نريد أن نكون قادرين على مقارنة النقطة من الصورة الأخيرة ، ونرى أنها لا تزال تتطابق مع النقطة من الصورة الأولى. يمكن لتقنية معالجة الصور التي تسمى التحويل الأفيني نموذج التغيير في مظهر نقطة عند عرضها من زوايا مختلفة. إذا تمكنا من العثور على تحويل أفيني يغير نقطة البداية بحيث تظهر كما لو كانت من زاوية العرض النهائية ، فيجب أن تبدو النقاط كما هي. عندما نحسب التشابه بين النقطة الأولية المحولة والنقطة الأخيرة ، يجب أن نكون قادرين على الحصول على نتيجة مطابقة جيدة جدًا ، والتي لم نتمكن من الحصول عليها بدون تطبيق التحويل الأفيني. لقد قمنا بتطوير برنامج يطبق هذه التقنية ويستخدمها لتتبع عدد من النقاط من خلال سلسلة من الصور من كاميرا واحدة.
إلى جانب نقاط التتبع من خلال سلسلة من الصور ، نحتاج أيضًا إلى مطابقة النقاط بين الكاميرات اليمنى واليسرى. هذا يسمح لنا بتحديد المسافة والزاوية من الكاميرا إلى النقطة. أثناء تحرك الكاميرا ، ستتغير هذه المسافة والزاوية. بقياس التغير في المسافة والزاوية لعدد من النقاط ، يمكننا حساب حركة الكاميرا. لقد طورنا كودًا يطابق النقاط بين الكاميرا اليمنى واليسرى ، ثم يتتبع تلك النقاط من صورة إلى أخرى.
سنقوم بدمج وظائف برنامج تتبع الموقع مع وظائف البرنامج التي تعوض التغييرات في زاوية الرؤية. بمجرد دمج هذه البرامج ، سيكون لدينا قدرة أولية جيدة على تتبع النقاط عبر عدد من الإطارات. ستعمل الخطوة التالية على تطوير مرشحات كالمان التي ستعمل على تحسين البيانات الصاخبة التي نتلقاها من متتبع الموضع اللاسلكي ، ومتتبع الموضع بالقصور الذاتي ، ونظام تتبع النقاط. تميل كل قراءة من كل مصدر بيانات إلى احتواء بعض الأخطاء ، وسيختلف كل مصدر بيانات قليلاً مع مصادر البيانات الأخرى. مرشح كالمان هو تقنية لدمج البيانات الصاخبة من مصادر بيانات متعددة لتقديم تقدير أمثل للقيمة التي يتم قياسها. في حالتنا ، يوفر مرشح Kalman تقديرًا مثاليًا لموضع واتجاه خوذة DARTS ، مع تقديرات محدثة جديدة عند أخذ قراءة كل مستشعر جديد. سيوفر النظام المدمج ، مع تتبع النقاط المحسن من الرؤية المجسمة ، وفلترة كالمان لدمج مصادر البيانات المتعددة وتنعيمها ، تحسينًا كبيرًا في أداء نظام DARTS.
ملخص نتائج برنامج DARTS
هنا نلخص النتائج الرئيسية لهذا الجهد:
وجدنا أن إمكانية الارتداء والارتداء يمكن تحقيقها
تمكنا من الشعور بالبيئة المحيطة بمستخدم الواقع المعزز لجمع البيانات اللازمة لعرض الكائنات الافتراضية بشكل صحيح
أظهرنا إخفاء الوقت الحقيقي للأشياء الافتراضية (الافتراضية والديناميكية) بواسطة كائنات حقيقية
تمكنا من عرض كائن افتراضي بشكل صحيح أثناء تحرك المستخدم في الموضع والاتجاه حول الكائن الافتراضي
تمكنا من استيعاب احتياجات المعالجة والطاقة للنظام في تكوين يرتديه الإنسان
يمكن أن تسمح البرامج الفعالة للواقع المعزز بالعمل بنجاح مع متطلبات معالجة منخفضة لتمكين التشغيل في الوقت الفعلي دون الحاجة إلى متطلبات معدات مفرطة
يمكن استخدام بيانات الرؤية المجسمة لجمع البيانات البيئية الضرورية.
يمكن أن توفر تقنيات رؤية الكمبيوتر المتقدمة دقة متزايدة من بيانات الرؤية المجسمة
يعد تحسين تصميم الأجهزة لـ DARTS ضروريًا لزيادة سهولة استخدام النظام
ستكون DARTS قادرة على العمل على أنظمة الكمبيوتر القابلة للارتداء مثل Quantum 3D Thermite في المستقبل القريب
شاشات عرض مثبتة على الرأس ، ربما تستند إلى تقنية OLED ، ستوفر مستوى مقبولاً من الرؤية والتفاصيل في المستقبل القريب
يمكن تكييف بنية البرامج القابلة لإعادة الاستخدام وإعادة استخدامها مع مجموعات أجهزة استشعار مختلفة حسب فئة التطبيق (سلاح ، مركبة ، نظام يرتديه الإنسان)
الواقع المعزز في العمل للمحارب
ربما تكون الصور القليلة التالية هي أفضل طريقة لإظهار إمكانات الواقع المعزز لـ Warfighter:
إدخال كيانات افتراضية في العالم الحقيقي ، مشاهد الوقت الحقيقي
استيعاب كائنات العالم الحقيقي
اختبار مركبة المشاة القتالية (ICV)
قدرة الواقع المعزز غير المقيدة والتي يرتديها الإنسان
إنجازات برنامج DARTS
كانت مظاهرة DARTS الخاصة بنا ، التي أجريت في ديسمبر 2005 ، ناجحة. لقد تمكنا من إثبات نظام الواقع المعزز الذي يرتديه الإنسان والذي سمح لمستخدم DARTS بالتفاعل مع ICV الظاهري الذي تم تقديمه في DARTS HMD. كان المستخدم قادرًا على عرض القيمة المحلية المضافة الافتراضية في بيئة العالم الواقعي والزمن الحقيقي من وجهات نظر مختلفة. كان مستخدم DARTS قادرًا أيضًا على مشاهدة حركة ICV الافتراضية في بيئة الوقت الحقيقي في العالم الحقيقي. نلخص هنا ملخصًا للمكونات التي ساعدتنا في تحقيق هذا الإنجاز:
واجهة DIS ثنائية الاتجاه:لقد طورنا برنامجًا لتلقي وحدات بيانات بروتوكول DIS (PDUs) وفك تشفيرها من اتصال شبكة ، وكذلك لتشفير وإرسال وحدات بيانات بروتوكول DIS.س. لقد طورنا كودًا لتحويل موضع الكيان والتوجه بين إطار إحداثيات العالم المستخدم بواسطة اختبار القيمة المحلية المضافة إلى إطار إحداثيات محلي تستخدمه DARTS.
التحكم في الكيان الظاهري:لقد قمنا بدمج برنامج اتصالات DIS PDU الخاص بنا في DARTS حتى نتمكن من استخدام إحداثيات الموقع والتوجيه من PDU الواردة لتحديد موضع كائن افتراضي فيما يتعلق بكيان DARTS. قمنا أيضًا بتطوير رمز لتحويل الموقع المحلي لكيان DARTS إلى إحداثيات عالمية ، وإرسال هذه الإحداثيات في DIS PDU الصادرة. لقد طورنا وأظهرنا واجهة DIS أولية مع محاكي ICV الذي سمح للكيانات الافتراضية والحيوية بالتفاعل مع بعضها البعض وسمح لمستخدم غير مثبت برؤية كيان افتراضي في عرض حقيقي في الوقت الفعلي.
تتبع الموقع اللاسلكي:قمنا بتطوير برنامج للوصول إلى نظام تتبع الموقع اللاسلكي Ubisense والحصول على تحديثات الموقع عدة مرات في الثانية. تُستخدم بيانات الموقع هذه للسماح لنظام DARTS بتحديد مكانها بالنسبة للعالم ، حتى نتمكن من تحديد كيفية عرض كيان افتراضي في نظام DARTS وكذلك كيفية عرض مستخدم DARTS في العالم الافتراضي لـ يعرض اختبار ICV. تم استخدام هذه الإمكانية للسماح بالعروض التوضيحية المبكرة ، حيث نقوم بتطوير تتبع النقاط الموضوعي ونضع خوارزميات الاسترداد التي لن تتطلب استخدام أي بنية تحتية إضافية بخلاف المعدات التي يرتديها الجندي. ستحل خوارزميات استعادة الوضعية الجديدة هذه في النهاية محل بيانات تحديد الموقع التي يوفرها نظام UbiSense (مع توفر الأموال لمواصلة هذا البحث). يستخدم نظام UbiSense أيضًا لاختبار نظام DARTS للتحقق من دقة خوارزميات استعادة الوضعيات الخاصة بنا.
HMD المستندة إلى OLED:لقد قمنا بدمج HMD أحادي العين OLED-base في النظام للتحقق من فائدة شاشات OLED لدعم التدريب المنفصل. يوفر HMD الدقة الكافية في شاشة أحادية. تمكنا من العمل مع مصنعي HMD القائمة على OLED مثل Liteye و ICUITI لتطوير تصميم مفاهيمي لنظام مجهر. في هذا الوقت ، تقدم تقنية OLED أفضل الإمكانات لتطوير حلول HMD الكافية لدعم التدريب غير المكلف وغير المكلف بما يكفي ليتم شراؤها بكميات كبيرة ستكون ضرورية إذا تم اعتماد تقنية التدريب هذه من قبل الجيش الأمريكي.
نظام نقل التلفزيون اللاسلكي لدعم العرض التوضيحي:قمنا بتقييم العديد من أنظمة نقل الصور ، وقمنا بتنفيذ العديد من الأنظمة الاختيارية لجعل العرض الذي تم إنتاجه لمستخدم DARTS متاحًا للمراقبين القريبين الآخرين.
تطوير خوارزمية تتبع النقاط واستعادة الوضعيات:قمنا بتنفيذ خوارزمية تتبع النقاط باستخدام بيئة برنامج MATLAB التي يمكنها تتبع النقاط من خلال سلسلة من الصور. تعثر هذه الخوارزمية على نقاط من مناطق مختلفة من صورة الفيديو ، باستخدام خوارزمية تحدد نقاط التتبع سهلة. بمجرد أن تحدد الخوارزمية هذه النقاط سهلة التتبع ، فإنها تبحث عن تطابق لكل نقطة من هذه النقاط في الصور المتتالية. تُستخدم هذه النقاط لتحديد موضع واتجاه مستخدم DARTS فيما يتعلق بأشياء العالم الحقيقي والكيانات الافتراضية في البيئة. كنا نأمل في دمج الخوارزمية المحسّنة في هذه المرحلة ، لكننا لم نتمكن من القيام بذلك بسبب مستوى الجهد الذي بذلناه لإنشاء الخوارزمية. ومع ذلك ، فقد تمكنا من إثبات والتحقق من صحة الخوارزمية باستخدام مقاطع فيديو تم الحصول عليها من موقع عرض STTC. تقدم الفقرات التالية نظرة عامة على خوارزمية تتبع الوضع التي تم تطويرها لهذا الجهد.
من أجل عرض كائن افتراضي بحيث يغطي العالم الحقيقي بشكل صحيح ، نحتاج إلى الحصول على تقدير دقيق للغاية للاتجاه الذي تشير إليه الخوذة. نحتاج إلى تتبع هذا من لحظة إلى أخرى بينما يتحرك مستخدم DARTS ، والقيام بذلك بأكبر قدر ممكن من الدقة. إذا لم يتم تتبع رأس المستخدم بدقة أثناء تحركه ، فسيظهر الكائن الافتراضي وكأنه يتحول عكس العالم الحقيقي بطريقة غير واقعية. علاوة على ذلك ، يمكن أن تتراكم الأخطاء الصغيرة في الموضع حتى يتم فقد النظام تمامًا. على سبيل المثال ، إذا كان يجب أن يكون الكائن الافتراضي على بعد 10 أمتار بالضبط جنوب موضع المستخدم ، فيجب أن يتمركز هذا الكائن في مجال رؤية المستخدم إذا نظر المستخدم إلى الجنوب. إذا فقد النظام مسار اتجاه المستخدم ، فلن يتمكن من عرض الكائن عندما ينظر المستخدم في الاتجاه الصحيح. بدلاً من ذلك ، قد يعرض الكائن إلى الشرق أو الغرب. قد يجعل الأمر يبدو كما لو كان الكائن الافتراضي يدور حول المستخدم.
لجهودنا الأساسية ، استخدمنا مستشعر موضع لاسلكي ومستشعر موضع بالقصور الذاتي لتتبع موضع واتجاه خوذة DARTS. توفر هذه المستشعرات بيانات دقيقة إلى حد ما ، لكنها لا تتمتع بالدقة اللازمة للسماح بتحديد المواقع الواقعية للغاية للأشياء الافتراضية في مقابل مشهد من العالم الحقيقي. بالإضافة إلى عدم الدقة ، كان لكل مستشعر نقاط ضعف قد تسمح له بتقديم بيانات خاطئة في بعض الظروف. هدفنا هو استخدام نظام الرؤية المجسمة لتوفير قدرة أفضل على تتبع موضع الخوذة ، من خلال قياس التغيير في صور الفيديو أثناء تحرك الخوذة ، ثم دمج بيانات تتبع الرؤية المجسمة مع بيانات المستشعر الأخرى للحصول على أفضل تقدير ممكن لوضع الخوذة.
يمكن للإنسان الذي يشاهد صورة فيديو أن يحدد بشكل بديهي حركة كاميرا الفيديو من الطريقة التي تتحرك بها صور الفيديو. على سبيل المثال ، إذا دارت الكاميرا إلى اليمين ، فإننا نتوقع أن تتحرك الكائنات في صورة الفيديو إلى اليسار. إذا تحركت الكاميرا للأمام ، فإن الكائنات الموجودة في وسط الصورة ستكبر ، وستتحرك الكائنات الموجودة في أعلى الصورة أو أسفلها أو جانبيها بعيدًا عن المركز باتجاه حافة الصورة. إذا قلبنا الكاميرا رأسًا على عقب ، فستدور الصورة أيضًا رأسًا على عقب. إذا استخدمنا برنامج كمبيوتر لتتبع النقاط في تسلسل صور الفيديو ، واستخدمنا الرؤية المجسمة لحساب الموضع ثلاثي الأبعاد لهذه النقاط فيما يتعلق بالكاميرا المتحركة ، فيمكننا استخدام معلومات تتبع النقاط لحساب حركة الكاميرا ، تمامًا كما يفعل الإنسان بشكل حدسي. إذا تمكنا من متابعة نقاط التتبع هذه وتحديد موقعها بمستوى عالٍ من الدقة والدقة ، فيمكننا أيضًا تتبع موضع الخوذة بمستوى أعلى من الدقة والدقة مما هو ممكن من مستشعر القصور الذاتي أو مستشعر الوضع اللاسلكي الخاص بنا .
من أجل تتبع موضع نقطة فيما يتعلق بالكاميرا المتحركة ، نحتاج إلى استخدام زوج من الكاميرات الاستريو ، واتباع النقطة في كلتا صور الكاميرا. نحتاج أولاً إلى مطابقة النقطة بين الصورتين اليسرى واليمنى ، حتى نتمكن من تحديد موضع النقطة ، ثم نحتاج إلى متابعة هذه النقطة من خلال تسلسل الصور من الكاميرتين ، حتى نتمكن من تحديد حركة النقطة. بشكل عام ، ليس من السهل على برنامج كمبيوتر العثور على نقاط مطابقة في زوج من الصور ، ولكن من السهل تتبع بعض النقاط أكثر من غيرها. من أجل تطوير أفضل خوارزمية لتتبع النقاط ، نحتاج إلى طريقة لتحديد النقاط التي يسهل تتبعها ، ونحتاج إلى طريقة للقضاء على التطابقات الخاطئة قدر الإمكان ، مع اتباع النقاط الجيدة لأطول فترة ممكنة.
نقوم بمطابقة النقاط من خلال مقارنة المنطقة حول نقطة في كل صورة وحساب التشابه بينهما. إذا كانت المنطقة المحيطة بنقطة في صورة واحدة متطابقة تقريبًا مع المنطقة المحيطة بالنقطة من الصورة الأخرى ، فيمكننا استنتاج تطابق النقاط. إذا أردنا التأكد من أننا نستخدم فقط أفضل التطابقات لتتبع النقاط ، فيمكننا فقط قبول المطابقات التي تحتوي على أفضل نقاط التشابه. ومع ذلك ، فإن هذا النهج لا يمنحنا القدرة على تتبع النقاط من خلال تسلسل طويل من الصور أثناء تحرك الكاميرا ، ولا يمنحنا قدرة جيدة على التعرف على النقاط التي تتبعناها بالفعل سابقًا. أثناء تحرك الكاميرا ، يتغير المظهر نقطة تتبع. قد تزداد المنطقة المحيطة بنقطة ما كلما تحركت الكاميرا نحوها ، أو قد تدور المنطقة المحيطة بنقطة ما أثناء تدوير الكاميرا. لا تستطيع خوارزميات مطابقة النقاط البسيطة أخذ هذه الأنواع من التغييرات في الاعتبار ، لذا فهي تظهر درجة تشابه أقل ، مما يؤدي إلى رفض النقطة. نحن بحاجة إلى طريقة للتعرف على نقطة كنا نتتبعها حتى لو رأيناها من زاوية مختلفة ، حتى نتمكن من تتبع النقاط الجيدة طالما ظلت مرئية ، والتعرف على النقاط المتعقبة مسبقًا إذا عادت للعرض. إذا تمكنا من تحقيق هذا المستوى من تتبع النقاط على المدى الطويل ، فسنكون قادرين على تتبع موضع خوذة DARTS بدقة لفترات طويلة من الوقت. هدفنا هو الجمع بين مجموعة متنوعة من تقنيات معالجة الصور المتقدمة لتحقيق هذا النوع من تتبع النقاط.
لقد قمنا بتطوير العديد من برامج الاختبار التي تدفعنا نحو هذا الهدف. الخطوة الأولى هي التعرف على النقاط عند النظر إليها من زوايا مختلفة. على سبيل المثال ، إذا بدأنا في تتبع نقطة ما ، وتتبعناها من خلال تسلسل متحرك من 100 صورة ، فنحن نريد أن نكون قادرين على مقارنة النقطة من الصورة الأخيرة ، ونرى أنها لا تزال تتطابق مع النقطة من الصورة الأولى. يمكن لتقنية معالجة الصور التي تسمى التحويل الأفيني نموذج التغيير في مظهر نقطة عند عرضها من زوايا مختلفة. إذا تمكنا من العثور على تحويل أفيني يغير نقطة البداية بحيث تظهر كما لو كانت من زاوية العرض النهائية ، فيجب أن تبدو النقاط كما هي. عندما نحسب التشابه بين النقطة الأولية المحولة والنقطة الأخيرة ، يجب أن نكون قادرين على الحصول على نتيجة مطابقة جيدة جدًا ، والتي لم نتمكن من الحصول عليها دون تطبيق التحويل ذي الصلة. لقد قمنا بتطوير برنامج يطبق هذه التقنية ويستخدمها لتتبع عدد من النقاط من خلال سلسلة من الصور من كاميرا واحدة.
إلى جانب نقاط التتبع من خلال سلسلة من الصور ، نحتاج أيضًا إلى مطابقة النقاط بين الكاميرات اليمنى واليسرى. هذا يسمح لنا بتحديد المسافة والزاوية من الكاميرا إلى النقطة. أثناء تحرك الكاميرا ، ستتغير هذه المسافة والزاوية. بقياس التغير في المسافة والزاوية لعدد من النقاط ، يمكننا حساب حركة الكاميرا. لقد طورنا كودًا يطابق النقاط بين الكاميرا اليمنى واليسرى ، ثم يتتبع تلك النقاط من صورة إلى أخرى.
سنقوم بدمج وظائف برنامج تتبع الموقع مع وظائف البرنامج التي تعوض التغييرات في زاوية الرؤية. بمجرد دمج هذه البرامج ، سيكون لدينا قدرة أولية جيدة على تتبع النقاط عبر عدد من الإطارات. ستعمل الخطوة التالية على تطوير مرشحات كالمان التي ستعمل على تحسين البيانات الصاخبة التي نتلقاها من متتبع الموضع اللاسلكي ، ومتتبع الموضع بالقصور الذاتي ، ونظام تتبع النقاط. تميل كل قراءة من كل مصدر بيانات إلى احتواء بعض الأخطاء ، وسيختلف كل مصدر بيانات قليلاً مع مصادر البيانات الأخرى. مرشح كالمان هو تقنية لدمج البيانات الصاخبة من مصادر بيانات متعددة لتقديم تقدير أمثل للقيمة التي يتم قياسها. في حالتنا ، يوفر مرشح Kalman تقديرًا مثاليًا لموضع واتجاه خوذة DARTS ، مع تقديرات محدثة جديدة عند أخذ قراءة كل مستشعر جديد. سيوفر النظام المدمج ، مع تتبع النقاط المحسن من الرؤية المجسمة ، وفلترة كالمان لدمج مصادر البيانات المتعددة وتنعيمها ، تحسينًا كبيرًا في أداء نظام DARTS.
ملخص نتائج برنامج DARTS
هنا نلخص النتائج الرئيسية لهذا الجهد:
-
وجدنا أن إمكانية الارتداء والارتداء يمكن تحقيقها
-
تمكنا من الشعور بالبيئة المحيطة بمستخدم الواقع المعزز لجمع البيانات اللازمة لعرض الكائنات الافتراضية بشكل صحيح
-
أظهرنا إخفاء الوقت الحقيقي للأشياء الافتراضية (الافتراضية والديناميكية) بواسطة كائنات حقيقية
-
تمكنا من عرض كائن افتراضي بشكل صحيح أثناء تحرك المستخدم في الموضع والاتجاه حول الكائن الافتراضي
-
تمكنا من استيعاب احتياجات المعالجة والطاقة للنظام في تكوين يرتديه الإنسان
-
يمكن أن تسمح البرامج الفعالة للواقع المعزز بالعمل بنجاح مع متطلبات معالجة منخفضة لتمكين التشغيل في الوقت الفعلي دون الحاجة إلى متطلبات معدات مفرطة
-
يمكن استخدام بيانات الرؤية المجسمة لجمع البيانات البيئية الضرورية.
-
يمكن أن توفر تقنيات رؤية الكمبيوتر المتقدمة دقة متزايدة من بيانات الرؤية المجسمة
-
يعد تحسين تصميم الأجهزة لـ DARTS ضروريًا لزيادة سهولة استخدام النظام
-
ستكون DARTS قادرة على العمل على أنظمة الكمبيوتر القابلة للارتداء مثل Quantum 3D Thermite في المستقبل القريب
-
شاشات عرض مثبتة على الرأس ، ربما تستند إلى تقنية OLED ، ستوفر مستوى مقبولاً من الرؤية والتفاصيل في المستقبل القريب
-
يمكن تكييف بنية البرامج القابلة لإعادة الاستخدام وإعادة استخدامها مع مجموعات أجهزة استشعار مختلفة حسب فئة التطبيق (سلاح ، مركبة ، نظام يرتديه الإنسان)
الواقع المعزز في العمل للمحارب
ربما تكون الصور القليلة التالية هي أفضل طريقة لإظهار إمكانات الواقع المعزز لـ Warfighter:
في الصور أعلاه ، البند أ يُظهر دبابة عدو افتراضية مضمنة في مشهد من العالم الحقيقي. قدمنا أهدافًا مماثلة للواقع المعزز في نظام المدفعية الهدف الافتراضي الخاص بنا والذي يدعم الأسلحة ، مثل المدفع الرشاش Mark 38 (انظر العنصر أ الداخلي) مع القدرة على الاشتباك مع الأهداف الديناميكية إما بالنيران الحية أو بالنيران الجافة.
البند ب يوضح استخدام الواقع المعزز لتقديم رسومات القيادة والتحكم للمستخدم ، مدمجة في عرضهم الواقعي في الوقت الفعلي. يتم عرض هذا الانتهاك المرتبط بالألغام لسائق منصة عسكرية من خلال نظام يسمى Glass Turret Visualization System الذي طورته شركتنا من 2000-2003.
البند ج يقدم وجهة نظر لقوة معارضة افتراضية يتم حجبها ديناميكيًا بواسطة شخص يسير أمام الكيان الافتراضي. هذه طريقة عرض من نظام DARTS موصوفة في هذه الورقة.
المناطق التي تتطلب مجهودًا إضافيًا
في نهاية هذا الجهد ، قمنا بتقييم حالة نظام DARTS التوضيحي وحددنا العديد من العناصر التي يجب معالجتها في بحث DARTS في المستقبل:
تكامل Binocular HMD القائم على OLED: الآن بعد أن قررنا أن هناك بعض أنظمة HMD ذات الأسعار المعقولة في السوق والتي يمكن استخدامها لدعم AR المنفصل ، نود دمج أحد هذه الأنظمة في نظام DARTS الخاص بنا.
مجموعة مستشعرات الخوذة المتكاملة: جهد DARTS هو جهد بحث وتطوير صغير نسبيًا. لهذا السبب ، نحن نبذل قصارى جهدنا لإنفاق موارد العقد فقط على تلك الجهود التي تعزز أحدث ما توصلت إليه التكنولوجيا في الواقع المعزز. ومع ذلك ، فإن الحالة الحالية للخوذة ليست جذابة وقد تحتاج إلى تحسينها قبل استخدامها في مظاهرة عامة كبيرة.
المجالات التي تتطلب بحثًا إضافيًا
في جهدنا الأساسي ، حددنا ثلاثة مجالات تتطلب تحسينًا إضافيًا من أجل تحقيق هدفنا المتمثل في نظام AR يمكن تصديقه ويمكن ارتداؤه. هذه المناطق هي:
تحسين الغيوم في الوقت الحقيقي - في الجهد الأساسي ، تمكنا من تحسين الاختفاء لدينا من خلال استبدال نظام كاميرا المسح الخاص بنا بنظام كاميرا يلتقط صورة كاملة في لحظة واحدة. هذا يسمح لنا بإزالة ما سوف نسميه "تأثير القطار" في بيانات الإخفاء الخاصة بنا. عندما تجمع كاميرات المسح صورة أثناء قيام المستخدم بتحريك رأسه من جانب إلى آخر ، فإن الحركة من جانب إلى آخر تتسبب في التقاط وحدات بكسل في الجزء السفلي من الصورة في وقت لاحق عن تلك الموجودة في الجزء العلوي من الصورة. يمكن أن يتسبب هذا التأخير في التقاط وحدات البكسل في تشويه الكائنات ، بحيث يبدو أن الجزء السفلي من الكائن يبدو وكأنه يتدحرج إلى الجانب (يبدو التشويه مشابهًا للقطار الموجود في ثوب الزفاف أو أي فستان آخر رسمي للغاية - ومن هنا جاء اسمنا لـ تأثير). التأثير الثاني الذي يجب تصحيحه هو تأثير الهالة حول الكائنات. يحدث هذا لأن قيود وحدة المعالجة المركزية لا تسمح لنا بأخذ عينات من كل بكسل في زوج من الصور. لقد طورنا خوارزمية لتقليل (نأمل القضاء) بشكل كبير على هذا التأثير الذي نسميه "نهج النوافذ القابلة للتشوه". هذا موضح بإيجاز في القسم التالي.
المعالجة المتوازية الموزعة - دمج البحث عن المعالجة المتوازية على وحدات المعالجة الرسومية (GPUs) لتحسين استخدام وحدة المعالجة المركزية وتقليل متطلبات الأجهزة.
تحسين تتبع الموقف / استعادة الوضع - تقليل الاعتماد على تحديد المواقع لاسلكيًا أو القضاء عليه. دمج خوارزمية تتبع النقاط المحسّنة التي تم تطويرها في هذه المرحلة في نظام العرض التوضيحي.
نوافذ قابلة للتشوه من أجل إخفاء أفضل
باستخدام الرؤية المجسمة ، نجد المسافة إلى نقطة بإيجاد تلك النقطة في صورتين متجاورتين ، وقياس تحول النقطة من صورة إلى أخرى. من أجل العثور على أي بكسل في الصورة اليمنى يتطابق مع بكسل في الصورة اليسرى ، نأخذ نافذة من البكسل حول النقطة في الصورة اليسرى ، ونقارن قيم البكسل في تلك النافذة بالنوافذ حول مجموعة من بكسل من الصورة الصحيحة. نختار البكسل في الصورة اليمنى الذي تتطابق نافذته بشكل أفضل مع النافذة حول البكسل في الصورة اليسرى. لكي تعمل هذه التقنية بشكل جيد ، يجب أن يكون للنوافذ حول كل بكسل نسيج جيد ، ويجب أن تغطي مساحة لها نفس العمق في جميع أنحاء النافذة. عندما تمتد نافذة على مساحة من الصورة بعمقين مختلفين ، فإنها تميل إلى إنتاج نتيجة غامضة ، مما يجعل من الصعب على برنامج الرؤية المجسمة تحديد العمق بشكل صحيح. بسبب هذه المشكلة ، تقوم معظم أنظمة الرؤية المجسمة بعمل ضعيف في تحديد موقع الحواف بين كائن قريب وخلفيته بشكل صحيح.
أحد الأساليب التي تم تجربتها مؤخرًا بواسطة باحثين في مجال الرؤية المجسمة هو استخدام نوافذ مطابقة قابلة للتشوه. من المعتاد استخدام نوافذ المطابقة التي تتمحور حول وحدات البكسل التي تتم مقارنتها ، ولكن من الصالح نظريًا استخدام النوافذ التي لا تركز على وحدات البكسل الخاصة بها. الصور أدناه توضح هذا المفهوم. نبدأ بزوج من الصور من موقف سيارات UCF-IST. لاحظ الشاحنة البيضاء في المقدمة. يتم تغيير موضعه بين الصورة اليسرى والصورة اليمنى. يمكننا إيجاد المسافة إلى الشاحنة عن طريق مطابقة النقاط بين الصور. ومع ذلك ، إذا نظرنا إلى النوافذ المحددة في الجزء الخلفي من الشاحنة ، يمكننا أن نرى أن نصف كل نافذة فوق الشاحنة ، والنصف الآخر فوق منطقة خلفية أبعد. النقاط المحددة في مركز كل نافذة هي في الواقع جزء من الخلفية وليست جزءًا من الشاحنة ، لذلك يجب أن يحدد نظام الرؤية المجسمة أن هذه النقطة أبعد من الشاحنة. ومع ذلك ، فإن نظام الرؤية المجسمة الذي يستخدم نوافذ المقارنة مثل هذا قد يحسب أن هذه النقطة تقع على نفس المسافة مع الشاحنة.
إذا استخدمنا نظام رؤية ستريو نموذجيًا في هذا الزوج من الصور ، فمن المحتمل أن يجد المسافة الصحيحة للشاحنة ، ولكنه سيخلق أيضًا هالة مسافة خاطئة حول الشاحنة. في هالة المسافة الخاطئة هذه ، سيتم الإبلاغ بشكل خاطئ عن وحدات البكسل الخلفية البعيدة على أنها نفس المسافة التي تمتلكها الشاحنة الأقل بعدًا. سيكون عرض هذه الهالة نصف إلى ثلثي نافذة المقارنة. يمكننا محاولة استخدام نافذة مقارنة أصغر لتقليل هذا التأثير ، ولكن هذا يتسبب في المزيد من التطابقات الخاطئة لأن النافذة الصغيرة لا يمكنها التقاط أكبر قدر من نسيج الصورة. الحل الأفضل هو استخدام النوافذ التي لا تتجاوز حدود المسافة. في الصور أدناه ، نقارن النوافذ حول نفس النقطة كما كان من قبل ، ولكن الآن يتم إزاحة النوافذ إلى الجانب ، بحيث تغطي الخلفية في الغالب. من المرجح أن يحدد Windows مثل هذا أن هذه النقطة هي جزء من الخلفية وليست جزءًا من الشاحنة.
من أجل تطبيق هذا النهج في نظام الرؤية المجسمة ، نحتاج إلى طريقة لتحديد متى تكون نقطة قريبة من حافة تتغير فيها المسافات فجأة ، وعلينا أن نكون قادرين على تحديد طريقة تغيير النافذة بحيث تغطي المنطقة التي تقع في الغالب في الخلفية ، أو في الغالب على الكائن الأقرب. سنبدأ بمقارنة جميع وحدات البكسل في الصورة باستخدام النهج القياسي ، الذي يقارن النوافذ التي تتمحور حول وحدات البكسل المطابقة. ثم يقوم البرنامج بالبحث في الصورة عن المناطق التي تتغير فيها المسافة فجأة. في هذه المرحلة سنفترض أننا لم نعثر على الحافة الحقيقية حيث تتغير المسافة وسوف نقترب من تلك الحافة من أي جانب بنوافذ مقلوبة. يجب أن نكون قادرين على إيجاد مسافة صحيحة للعديد من وحدات البكسل التي كانت لها نتائج خاطئة في السابق. لن نتمكن من القضاء على التطابقات الخاطئة على طول الحواف باستخدام هذا النهج ، ولكن نأمل أن نحقق تحسنًا كبيرًا.
لقد جرب باحثو الرؤية الحاسوبية عددًا من التقنيات مثل هذه على مدار العشرين عامًا الماضية لمحاولة تحسين جودة نتائج الرؤية المجسمة. في معظم الحالات ، تمكنوا من إظهار بعض الفوائد ، لكنهم وجدوا أن تكلفة الحوسبة عالية جدًا. نظرًا لأن أجهزة الكمبيوتر تصبح أسرع وأسرع ، فإننا نصل إلى نقطة يمكن فيها استخدام العديد من خطوات التحسين لتصحيح الأخطاء التي تظهر مع أنواع مختلفة من الصور. هذا النهج باستخدام النوافذ القابلة للتشوه هو أحد الأساليب العديدة التي نخطط لتقييمها. نأمل في الجمع بين العديد من الأساليب الواعدة لتحقيق مستوى عالٍ من الدقة والمتانة بشكل عام.
دروس برنامج DARTS المستفادة
نقدم هنا الدروس التي تعلمناها خلال هذا الجهد البحثي.
وجدنا أن مجموعة المستشعرات الخاصة بنا ، والتي تشمل مستشعر الموضع اللاسلكي ، ومستشعر الموضع بالقصور الذاتي ، وكاميرات الرؤية المجسمة ، قادرة على تزويدنا بالبيانات الأولية التي نحتاجها لتحقيق الواقع المعزز الفعال. سيكون برنامجنا قادرًا على الأداء بنجاح دون الحاجة إلى أي مدخلات مستشعر أخرى.
وجدنا أن إضافة القدرة على التنقل باستخدام نظام DARTS والقدرة على الاتصال بأجهزة محاكاة أخرى باستخدام واجهة DIS قد أضاف تعقيدًا كبيرًا ، الأمر الذي تطلب جهدًا مكثفًا في اختبار التكامل.
وجدنا أننا بحاجة إلى أن نكون على دراية بتعريفات نظام الإحداثيات الفريدة. يحتوي نظام DARTS الأساسي الخاص بنا على نظام إحداثيات داخلي ، بحيث يمكن ربط موضع الكائنات الافتراضية بموقع مستخدم DARTS. نظرًا لأننا أضفنا ميزات وإمكانيات متنوعة إلى النظام ، فقد واجهنا مجموعة متنوعة من تعريفات نظام الإحداثيات الفريدة ، والتي تتطلب تنسيق التحويلات لتحقيق التوافق. يصعب تصور تحويلات الإحداثيات هذه استنادًا إلى الصيغ الرياضية وحدها ، لذلك لا يمكننا التأكد من أن تحويلنا كان صحيحًا حتى نتمكن من اختبار الإخراج المرئي لنظام DARTS لتأكيد عرض الكائنات الافتراضية وتحريكها كما هو متوقع. كانت إحدى المهام الرئيسية التي كان علينا إنجازها لدمج نظام DARTS مع ICV لعرضنا في STTC هي الاختبار البصري لمظهر كيان DARTS الخاص بنا على شاشات ICV ، وضبط معلمات التحويل حتى تحرك الكيان الافتراضي كما هو على الشاشة أثناء تحرك مستخدم DARTS في الواقع.
وجدنا أن مصداقية كائن افتراضي في الواقع المعزز تتأثر بشدة بجودة النماذج ثلاثية الأبعاد المستخدمة. من المهم استخدام نماذج مفصلة للغاية للأشياء الافتراضية ، وإضافة إشارات بصرية واقعية مثل الإضاءة والظلال لجعل الكائن الافتراضي يبدو وكأنه موجود في مكان ما في الفضاء الحقيقي. تميل النماذج المستخدمة في عمليات المحاكاة النموذجية إلى مستوى منخفض من التفاصيل. هذه النماذج جيدة بما فيه الكفاية في إعدادات المحاكاة ، لأنها تظهر عادةً بعيدًا على الشاشة ، ولأن كل المحاكاة لها مظهر اصطناعي. ومع ذلك ، عندما يتم عرض الكائنات الافتراضية مقابل مشهد حقيقي ، فإنها تحتاج إلى قدر أكبر من الواقعية لتحقيق مصداقية جيدة.
يجب أن تتضمن متطلبات الطاقة أجهزة لدعم العرض التوضيحي مقدمًا. في عملية التطوير ، احتجنا في البداية إلى الطاقة لجهاز الكمبيوتر المحمول وكاميرات الفيديو ومستشعر الموضع بالقصور الذاتي. نظرًا لأننا أضفنا مكونات إضافية لتمكيننا من إرسال صورة مخرجات لأغراض توضيحية ، وجدنا أنفسنا مضطرين لتوفير جهد كهربائي متعدد ، باستخدام حزم بطاريات متعددة. من أجل استيعاب جميع المكونات والأسلاك ، مررنا بالعديد من التكوينات حيث قمنا بتغيير الميزات المختلفة. لقد قررنا أننا بحاجة إلى التخطيط لجميع متطلبات النظام لدينا من البداية عند إجراء المزيد من التغييرات على النظام.
يجب أن تكون الأجهزة متينة لدعم التطوير. واجهنا عددًا من المشكلات أثناء تطوير النظام بسبب المكونات الحساسة التي تعمل باللمس والتي عملت جيدًا على منصة اختبار ولكنها عملت بشكل سيئ عند استخدام النظام في تكوين محمول يمكن ارتداؤه. وجدنا أنه من الضروري العمل مع موردي المكونات للعثور على مكونات متينة ، ثم التأكد من أن ترتيبات التركيب والأسلاك الخاصة بنا تسمح بأقصى قدر من الاستقرار أثناء تشغيل الهاتف المحمول.
العملية المبكرة من النهاية إلى النهاية ضرورية لدفع التنمية. تتطلب منا عملية التطوير لدينا تحقيق العديد من الإمكانات المنفصلة ، مثل واجهة DIS ، أو تكامل نظام تحديد المواقع اللاسلكي الخاص بنا. لم نتمكن من إجراء اختبار كامل للجوال حتى تم تنفيذ كل هذه الميزات أو الأنظمة الفرعية. لقد وجدنا أنه على الرغم من أن أنظمتنا الفرعية تعمل جميعها بشكل منفصل ، وعلى الرغم من أن النظام يعمل بشكل جيد على منصة الاختبار ، إلا أنه كانت هناك صعوبات غير متوقعة في تشغيل النظام في تكوين متنقل يرتديه الإنسان. لقد قررنا أنه من المهم تشغيل نظام شامل بأسرع ما يمكن ، للسماح باكتشاف المشكلات غير المتوقعة والتعامل معها.
وجدنا أن نظام تحديد المواقع اللاسلكي لدينا قادر على توفير بيانات الموقع بمعدل خطأ صغير نسبيًا ، ولكن عندما اختبرنا نظام DARTS الكامل في الهواء الطلق في تكوين الهاتف المحمول ، كانت هناك انقطاعات متكررة للإشارة اللاسلكية المستخدمة لتحديد الموقع. لقد خلصنا إلى أن مثل هذه الانقطاعات في الإشارة من المحتمل أن تكون شائعة في سيناريو تدريب نموذجي لـ DARTS ، لذلك سنعمل على تقليل اعتمادنا على بيانات تحديد المواقع الخارجية. على الأكثر ، نأمل في استخدام هذه البيانات كنقطة مرجعية عرضية لضمان أن يظل تقديرنا المستمر للموقع دقيقًا.
استيعاب حرية الحركة أمر يمكن تحقيقه ولكنه صعب. وجدنا أن تشغيل النظام على منضدة الاختبار كان أسهل بكثير من تشغيل النظام في تكوين متنقل يرتديه الرجال. تميل المكونات وتوصيلات الأسلاك التي عملت بشكل جيد على منضدة الاختبار إلى التسبب في تجميد جهاز الكمبيوتر الخاص بنا عندما حاولنا ارتداء النظام. كان علينا استبدال المكونات أو إعادة تركيبها أو إعادة توصيلها لتحسين استقرارها. وجدنا أيضًا أن بيانات المستشعر تكون أكثر غموضًا عند التنقل ، مما يتطلب منا ضبط برنامجنا بعناية لتقديم نتائج مقبولة. سيكون أحد الأهداف الرئيسية لجهود المتابعة لدينا هو تمكين النظام من تعويض التغييرات الصغيرة في تكوين أجهزة الاستشعار دون انخفاض في الأداء.
الفوائد المحتملة للواقع المعزز للمحارب
لقد حددنا الاستخدامات التالية للواقع المعزز في تلبية متطلبات التدريب العسكري:
الأهداف - تتطلب احتياجات المقاتل الحربي إنشاء جيل جديد من أهداف المدى. يجب أن يمثل هذا الجيل الجديد من الأهداف مجموعة كبيرة من المنصات / الأفراد الودودين والعدو والحياديين من أجل دعم الاستعدادات اللازمة للنجاح في بيئة العمليات المعقدة اليوم. يجب أن تكون الأهداف قادرة على الاستجابة لأفعال المتدرب وتقديم سلوكيات معقدة ذات مصداقية. بالإضافة إلى كل هذا ، يجب أن تكون الأهداف المستقبلية قابلة للرصد أثناء التشغيل في النهار والليل والظروف المظلمة ، بالإضافة إلى ملاحظتها بواسطة نظارات الرؤية الليلية أو أنظمة الاستشعار الأخرى. من الواضح أن الواقع المعزز هو مرشح معقول لتلبية هذه المتطلبات المستقبلية حيث يمكن استخدام أهداف الواقع المعزز لدعم الذخيرة الحية و FTXs وتمارين الحرائق الجافة دون الحاجة إلى بنية تحتية واسعة النطاق. يمكن تضمين أهداف AR في أنظمة ومعدات Warfighter.
إجراءات القيادة والتحكم والتحكم في التمرين - تطلب مراكز التدريب القتالي (CTCs) أن تنفذ الوحدات عمليات معقدة تحت المراقبة من قبل موظفي مركز مكافحة الإرهاب. في كثير من الأحيان ، يجب على موظفي مركز مكافحة الإرهاب إدخال أنفسهم بسرعة في بيئة التدريب لضمان أن الوحدات مدربة بشكل كاف وآمن. قد يتم إرسال نفس هؤلاء الموظفين في لجنة مكافحة الإرهاب في أي لحظة لمراقبة عمليات الوحدة. إن استخدام الواقع المعزز للمساعدة في التحكم في إجراء مناورات التدريب المعقدة وضمان سلامة التدريب هو تطبيق للواقع المعزز يجب تحسينه.
تشغيل سلس / افتراضي / إنشائي - اليوم ، لم تعد معظم التمارين واسعة النطاق تُجرى حصريًا على النطاقات الحية. عادة ما تحتوي التمارين الكبيرة على مكونات تدريب حية / افتراضية وبناءة يتم تنفيذها في وقت واحد. يتمثل أحد أوجه القصور الملحوظة في هذه التدريبات المجمعة في عدم قدرة القوة التدريبية العاملة في المكون الحي للتمرين على رؤية نظرائها الافتراضيين أو البناءين. يتم التعامل مع هذا النقص في التشغيل السلس اليوم من خلال إدخال المراقب / وحدات التحكم أو الحلول البديلة التي تقلل من هذا القصور. إن توفير القوى العاملة في المجال المباشر مع عرض الكيانات البناءة والظاهرية من شأنه أن يلغي الحاجة إلى هذه الحلول غير الواقعية. سيسمح حل الواقع المعزز هذا أيضًا لمخططي التمرين بضخ قوة معارضة أكبر أو مكونات قوة صديقة في التدريبات لتقديم تدريب أكثر تحديًا.
التعرف على النظام - تتطلب عمليات اليوم أن يتمكن المقاتلون من التعرف بسرعة على القوات الصديقة والعدو والمحايدة في غضون لحظات. يمكن استخدام الواقع المعزز في مواقع التدريب وأثناء وجوده في غرفة العمليات لصقل مهارات التعرف على النظام لتقليل أوقات دورة القرار وتقليل احتمالية قتل الأخوة.
بعد عمل استعراض الرسوم المتحركة - بعد أن تكمل الوحدة المناورة ، يمكن استخدام الواقع المعزز للسماح لأعضاء الوحدة بالسير خلال مناوراتهم وفحص قراراتهم وإجراءاتهم في النقاط الحرجة. يمكن استخدام هذه الرسوم المتحركة للمشهد مع الوحدات اللاحقة لإظهار كيف نفذت الوحدات السابقة المناورات. يمكن أن يكون هذا ذا قيمة خاصة في عمليات الوحدات الصغيرة المرتبطة بالقتال في المناطق الحضرية.
تقديم معلومات السلامة - عندما يتم إجراء تمارين بالذخيرة الحية ، هناك دائمًا احتمال إصابة شخص ما أو قتله. يمكن استخدام AR لتعزيز حدود النطاق اليمنى واليسرى ، وحدود النطاق ، والنطاقات الساخنة والنطاقات التي تم إغلاقها مؤقتًا حتى يتم حل عطل في السلاح أو مشكلة أخرى.
إعادة إحالة المهمة - يمكن استخدام الواقع المعزز لإنشاء عناصر التضاريس الرئيسية تقريبًا للعمليات القادمة. سيسمح هذا للوحدات بإجراء تدريبات مهمة أكثر واقعية لتحسين فرصهم في نجاح المهمة. يمكن أيضًا استخدام الواقع المعزز لتقديم مواقف "ماذا لو" المعقدة التي يمكن استخدامها لتنقيح الخطة النهائية أو المساعدة في تطوير حالات الطوارئ في حالة ظهور مشكلات.
عرض للقيادة والتحكم التشغيليين - الرسومات - في الماضي ، استخدمنا الواقع المعزز لتقديم الرسومات التشغيلية على التضاريس الفعلية في الوقت الفعلي لتعزيز الوعي بالموقف. يضمن استخدام الواقع المعزز في هذا السياق إمكانية تلبية الرسومات التشغيلية في جميع ظروف الإضاءة والطقس. كما أنه يقلل الوقت اللازم لاتخاذ القرارات لأنه يلغي الوقت المستخدم حاليًا لربط الرسومات التشغيلية المعروضة على الخرائط من خلال دمجها في عرض الجندي الواقعي في الوقت الفعلي.
الملاحة للعمليات والتدريب - مثل الوصف الوارد في الرمز النقطي السابق ، يمكن استخدام الواقع المعزز لتقديم معلومات الملاحة في الوقت الفعلي لسائقي المنصة والجنود المترجلين.
تعليم العوائق الافتراضية - إن مسارح العمليات اليوم مليئة بالعقبات والمخاطر التي يجب تجنبها. في كثير من الأحيان ، تُفقد العلامات التي تُظهر مسارات عبر هذه العوائق أو حولها. يمكن أن تجعل الأحوال الجوية هذه العلامات مستحيلة في كثير من الأحيان. يمكن أن يساعد استخدام AR لتحديد ممرات العوائق في إنقاذ الجنود من خلال توجيههم بأمان حول أو من خلال الحواجز والعقبات.
تدريب مراقب المستقبل - كان أحد التطبيقات الأولى للتدريب العسكري الذي حددناه هو استخدام AR لتدريب Forward Observer. في هذا التطبيق ، يمكن للمرء حقن أهداف وقوى افتراضية في عرض المراقب الأمامي (من خلال كتلة رؤية أو مشهد سلاح أو منظار أو أي جهاز آخر) والسماح لـ Forward Observer بتحديد ما إذا كان الكيان هدفًا ، وإذا كان الأمر كذلك ، أفضل طريقة لمقاضاته. سيكون مثل هذا النظام مفيدًا جدًا لوحدات المدفعية التي نادرًا ما ترى ثمار جهدها. يمكن تسجيل وجهة نظر المراقب الأمامي كهدف تمت مقاضاته ، أو حتى إعادته إلى المدفعية لمناقشتها لاحقًا في مراجعة ما بعد العمل (AAR).
استنتاج
كل يوم يمر ، يتقدم تكامل LVC للأمام بدون مكون رئيسي للتكامل الكامل عبر مجالات التدريب - قدرة اللاعب المباشر على الرؤية والتفاعل داخل ساحة المعركة المتكاملة LVC. مع استمرار التحسن والتقدم التكنولوجي ، يجب على قيادة الجيش أن تدرك إمكانية استخدام أدوات وتقنيات الواقع المعزز وقدرة هذه التكنولوجيا على استكمال أنظمة التدريب الحالية والمستقبلية.
ستوفر خارطة طريق التكنولوجيا المعززة التي سيتم نشرها قريبًا قيادة التدريب وإدارة التكنولوجيا مع خيارات لتنفيذ حلول الواقع المعزز والمختلط لمتطلبات التدريب والتشغيل الحالية والمستقبلية. على الرغم من أن مناهج الحلول التقنية واسعة ومتنوعة ، إلا أن هناك بعض الحلول "الجاهزة" التي يمكن الاستفادة منها بسرعة كبيرة. على سبيل المثال ، مع بعض التطوير الإضافي ، يمكن إعداد نظام DARTS لعرض توضيحي متزامن مع تجربة تدريب قادمة أو مخططة. من المحتمل أن يستخدم نظام DARTS في دور المراقب الأمامي ، حيث يوفر تدريب القيادة مع التعرض للواقع المعزز في بيئة ذات صلة. بالإضافة إلى ذلك ، ستتاح الفرصة للجنود للحصول على خبرة عملية ، مما يؤدي إلى تعليقات قيمة ومدخلات أخرى للتطوير المستقبلي.
مقدمة الطريق
تقديم المشورة لمجتمعات التدريب والاختبار والقيادة حول قدرات وإمكانات الواقع المعزز.
اطلب المساعدة والمصادقة من أصحاب المصلحة.
تضمين أبحاث الواقع المعزز في موضوعات أهداف تكنولوجيا الجيش المستقبلية (ATO) وأبحاث ابتكار الأعمال الصغيرة (SBIR) ؛ ومواصلة التطوير في ظل العديد من ATOs.
إظهار التكنولوجيا المفيدة للقيادة ومتطلبات المولدات.
تخطيط ونقل قدرات الواقع المعزز إلى برامج الاستحواذ الحالية والمخطط لها.
عن المؤلفين
فرانك دين يعمل حاليًا باحثًا رئيسيًا ومديرًا للعلوم والتكنولوجيا في مركز تكنولوجيا المحاكاة والتدريب (STTC) ، RDECOM ، أورلاندو ، فلوريدا. يدير السيد دين مشاريع البحث والتطوير المتعلقة بتعزيز التعلم التجريبي وتدريب المحاربين باستخدام تقنيات الواقع المعزز والمختلط. يتمتع السيد دين بخبرة تزيد عن عشرين عامًا في مختلف برامج اقتناء أنظمة الأسلحة العسكرية والتكنولوجيا. قبل تعيينه في RDECOM ، أدار السيد دين المشاريع الهندسية لمحاكاة PEO والتدريب والأجهزة (PEO STRI) ، بما في ذلك تشغيل وصيانة نظام أجهزة مركز التدريب الوطني (NTCIS) ، قدم. اروين ، كاليفورنيا. السيد دين حاصل على بكالوريوس العلوم في الهندسة الكهربائية (BSEE) من جامعة ميامي عام 1982 وماجستير في الإدارة الهندسية (MEM) من جامعة جورج واشنطن عام 1994.
شيلا جاسليكس هي رئيسة Pathfinder Systems، Inc. وتتابع الواقع المعزز للتدريب والعمليات العسكرية منذ عام 1991. وهي مؤلفة مشاركة لبراءة اختراع أمريكية تصف حقن الكيانات الافتراضية في الوقت الفعلي في مشاهد في الوقت الفعلي (براءة الاختراع الأمريكية 61666744).
سكوت ساندرز هو خريج جامعة شمال كولورادو. لقد عمل مع Pathfinder Systems، Inc. لعدة سنوات وكان مطورًا رئيسيًا لبرمجيات النظام الأساسي وواجهات الأجهزة المستخدمة في جميع أنظمة Pathfinder للواقع المعزز. بالإضافة إلى ذلك ، سكوت هو مبتكر مجموعة مستشعرات الارتفاع والسمت عالية الدقة المستخدمة في جميع أنظمة باثفايندر للواقع المعزز التي تدعم الذخيرة الحية للأسلحة التي يخدمها الطاقم. وهو أيضًا مطور لبرنامج مرشح Kalman الذي يستخدم لاستخراج وتسهيل البيانات التي نتلقاها من مجموعات أجهزة الاستشعار الهجينة التي نستخدمها في جميع أنظمتنا.
ريك ستيلسون تخرجت من كلية كولورادو للمناجم ومؤلفة الكثير من برامج استعادة الوضعيات التي تم تطويرها في ظل هذا الجهد. كما كان مسؤولاً عن الكثير من برامج نظام DARTS وأجهزة نظام التتبع. بصفته موظفًا في Pathfinder Systems ، فإنه يوفر الخبرة في جميع المجالات التقنية المرتبطة بخوارزميات الرؤية المجسمة. وهو المهندس المسؤول عن تطوير نهج "النوافذ القابلة للتشوه" لإيجاد الحافة والذي سنقوم بتنفيذه لتحسين جودة بيانات الاحتجاب في الوقت الفعلي.