বিশ্বজুড়ে প্রতিনিয়ত কোটি কোটি ওয়েবসাইটে তথ্য সংযুক্ত হতে থাকে। তাই স্পাইডার ও প্রতিনিয়ত ক্রলিং করতেই থাকে।
একটা নির্দিষ্ট পেইজ ক্রলিং করা শেষ হলে সেই তথ্য সার্ভারে ইনডেক্স করা হয়। ইনডেক্স এ শব্দ আর URL এর তালিকা থাকে। স্পাইডার যখন একটা পেইজ কে ক্রল করে তখন সেই পেইজের প্রতিটা শব্দকে সে আয়ত্ত করে। কোন শব্দ কতবার ব্যবহার করা হয়েছে এই সমস্ত কিছু সে নোট করে রাখে। এভাবেই সে একটা ইনডেক্স ( Index ) তৈরী করে।
