Objectives

1. เพื่อพัฒนาระบบที่สามารถแจ้งเตือนความเสี่ยงในการชนกับสิ่งกีดขวางสำหรับผู้พิการทางสายตาได้
2. เพื่ออำนวยความสะดวกกับการดำเนินชีวิตประจำวันของผู้พิการทางสายตา
3. เพื่อศึกษาเทคนิคต่างๆ ทางด้าน Computer Vision โดยเฉพาะกลุ่ม Dynamic Vision

Theory & Technique

อัลกอริทึมของ HitAlert ดัดแปลงมาจาก (Pundlik'13) ซึ่งมีพื้นฐานจากการคำนวณ optical flow ในภาพ แล้วเปรียบเทียบระยะห่างของคู่จุดที่ใกล้เคียงกันในเฟรมก่อนหน้าและเฟรมหลัง เพื่อประเมินว่าวัตถุในภาพกำลังพุ่งเข้าหากล้องหรือไม่

ส่วนที่ดัดแปลงไปจากวิธีดังกล่าวคือวิธีการคำนวณค่าความเสี่ยง ซึ่งในระบบนี้ จะใช้การเปรียบเทียบพื้นที่ของสามเหลี่ยมที่ได้จาก Delaunay triangulation ของจุด features ที่พบในภาพ แทนที่จะเปรียบเทียบระยะห่างของแต่ละจุด และอีกส่วนที่เปลี่ยนไปจากงานดังกล่าวคือกระบวนการ post-processing ผลที่ได้จากขั้นก่อนหน้า โดยขั้นตอนการประมวลภาพของระบบ HitAlert ประกอบด้วยขั้นตอนหลักๆ ดังนี้

1. Features Detection

   เนื่องจากอัลกอริทึมนี้ใช้ประโยชน์จาก optical flow เป็นหลัก จึงต้องหาบริเวณ feature ในภาพที่เหมาะกับการ track เช่น มุม หรือขอบในภาพ ก่อนที่จะนำจุดเหล่านั้นไปคำนวณหา optical flow

2. Delaunay Triangulation

   ลากเส้นสร้างรูปสามเหลี่ยมจากชุดของจุดในพื้นที่ 2 มิติ เพื่อให้ทราบบริเวณ region ต่างๆ ของภาพได้อย่างคร่าวๆ และนำสามเหลี่ยมแต่ละชิ้นไปคำนวณต่อเพื่อดูความเสี่ยงในการชน

3. Sparse Optical Flow

   คำนวณว่าจุดแต่ละจุดที่สนใจในเฟรมที่แล้ว เคลื่อนที่ไปอย่างไรในเฟรมปัจจุบัน ขั้นตอนนี้เป็นขั้นตอนที่ทำให้ทราบการเปลี่ยนแปลงของภาพวิดีโอที่ได้จากสองเฟรม ทำให้สามารถคำนวณความเสี่ยงในการชนจากวิดีโอได้

4. Time-to-Collide and Risk Map Estimation

   ข้อมูลจาก Delaunay triangulation และ optical flow รวมกันได้เป็นตำแหน่งจุดยอดของสามเหลี่ยมแต่ละชิ้นในเฟรมก่อนหน้าและเฟรมปัจจุบัน นำสามเหลี่ยมทั้งสองมาประมาณค่าเวลาที่วัตถุจะเคลื่อนเข้ามาชน หรือ Time-to-Collide (TTC) ด้วยความสัมพันธ์
   $$TTC \propto {\sqrt{A_t} \over {\sqrt{A_t} - \sqrt{A_{t-1}}}}$$
   ซึ่งความสัมพันธ์นี้คำนวณมาจาก image geometry ของการเคลื่อนที่ของวัตถุในโลก 3 มิติ โดยที่ A_t คือพื้นที่ของสามเหลี่ยมบนภาพที่สนใจในเฟรมที่ t เมื่อได้ค่า TTC ของแต่ละสามเหลี่ยมแล้ว ก็นำมาวาดลงบน "ภาพความเสี่ยง" (Risk Map) (ในภาพตัวอย่างด้านล่าง ยิ่งสว่างมากคือเสี่ยงมาก)

5. Risk Map Post-Processing

   เมื่อได้ภาพความเสี่ยงในแต่ละเฟรมแล้ว ก็นำมา post-process เพื่อลดจำนวน False Positive ที่อาจะเกิดขึ้นลง โดยทำ

   • Gaussian Blur เพื่อเกลี่ยค่าความเสี่ยงในเชิงพื้นที่ของเฟรมหนึ่งๆ และ
   • Exponential Smoothing เกลี่ยค่าความเสี่ยงในเชิงเวลาจากภาพความเสี่ยงหลายๆ เฟรม
   เมื่อ post-process เรียบร้อยแล้ว ก็ทำ threshold เพื่อตัดสินว่าบริเวณใดที่มีความเสี่ยงสูง ควรจะเตือนผู้ใช้ว่าอาจเกิดการชน

สามารถดูผลที่ได้จากแต่ละขั้นตอนได้ในภาพด้านล่างนี้

1. Tracking Points

2. Delaunay Triangulation

3. Optical Flow

4. Time-to-Collide Calculation

5. Risk Map of a Frame

6. Post-processed Risk Map

7. Final Result

Demo

Experimental Results

Analysis & Discussions

จากผลการทดลองใช้อัลกอริทึม พบส่วนที่อาจนำไปพัฒนาต่อได้ คือ

• ลดความผิดพลาดในการแจ้งเตือนทั้ง false positive และ false negative
• เพิ่มความเร็วในการประมวลผล เพื่อรองรับ platform อื่นๆ นอกจากคอมพิวเตอร์ทั่วไป
• พัฒนาระบบ mobile application เพื่อเพิ่มความสะดวกกับการนำไปใช้งานจริง

References

1. S. Pundlik, M. Tomasi and G. Luo, "Collision Detection for Visually Impaired from a Body-Mounted Camera," in 2013 IEEE Conference on Computer Vision and Pattern Recognition Workshops, 2013. [available on IEEE Xplore]

The Team

ณัฐนัย อมรเทวภัทร
5631031521

ธนวิชญ์ ประสงค์พงษ์ชัย
5631045321

ภัทรเศก จิรบวรวิสุทธิ์
5630469621