הפאזלים המוקדמים ביותר היו חידות מפות. בשנת 1762, סוחר המפות הצרפתי דיומא חתך מפה שלמה לחלקים רבים שאנשים יוכלו להרכיב, והפך למבשר לפאזל. בשנת 1767 יצר הקרטוגרף הבריטי ג'ון ספירסברי את "המפה האנטומית" להוראת גיאוגרפיה, הנחשבת לפאזל העץ הראשון בעולם.
לחלקי הפאזל המוקדמים היו קצוות חלקים, מה שגרם לפאזל שהורכב להתפרק בקלות. המצאת טכניקת ה"השתלבות" ב-1840 פתרה בעיה זו, שיפורה בהשראת מבנה החריצים והטונים באדריכלות הסינית. במאה ה-19, חומרי פאזל השתנו מעץ לדיקט או קרטון, וטכנולוגיית חיתוך מתים- החליפה את המסורים הידניים; חידושים אלה הניעו את הייצור ההמוני של פאזלים.
פאזלים הפכו בהדרגה מצעצוע חינוכי לצורה של בידור למבוגרים. היו כמה שיגעונות פאזל לאורך ההיסטוריה. הראשון נמשך בין 1907 ל-1911, פופולרי במיוחד בצפון מזרח ארצות הברית, והפך לסוג של בידור בקרב המעמד הגבוה. הגל השני של הפופולריות של פאזלים עלה בקנה אחד עם השפל הגדול של שנות ה-30. עלויות ייצור נמוכות יותר ואימוץ הקרטון הפכו את הפאזלים לצורת בידור זולה ופופולרית, מה שהוביל לזינוק בתחרויות פאזלים.
ביפן, המודעות לפאזלים התרחבה משמעותית לאחר "תערוכת המונה ליזה" ב-1974 במוזיאון הלאומי של טוקיו, שהגבירה את המכירות של פאזלים מיובאים. בשנת 2008, איגוד יצרני הפאזלים של יפן הגיש בקשה להכרה ב-3 במרץ כ"יום הפאזל". יפן פיתחה תרבות פאזל ייחודית, כאשר שחקנים ממסגרים לעתים קרובות את הפאזלים שהושלמו כקישוטים פנימיים.
מאז המאה ה-21, סוגי הפאזלים המשיכו להתרחב, והנושאים הפכו למגוונים יותר ויותר. פאזלים שולבו עם מוצרים תרבותיים ויצירתיים מוזיאליים וכתובות IP פופולריות, וכתוצאה מכך נוצרו צורות חדשות כגון פאזלים תלת מימדיים, חידות זוהרות-ב-חושך וחידות דיגיטליות.
