תורת האינפורמציה

מושגי יסוד של תורת הציג בשנות הארבעים של המאה העשרים, שאנון. תורת האינפורמציה - המדע של תהליך העברה, אחסון ואחזור נתונים במערכות טבעיות, טכניות וחברתיות. ביישומים רבים של תחומים מדעיים כגון מדעי המחשב, בלשנות, קריפטוגרפיה, תורת הבקרה, עיבוד תמונה, גנטיקה, פסיכולוגיה, כלכלה, ארגון ושיטות ייצור משמשים המדע הזה.

בתנאים מודרניים עם תורת האינפורמציה מאוד הדוק קשור תיאוריה קידוד, דן הבעיות הנפוצות ביותר של קונפורמיות בין אות ו הודעה, ואת התיאוריה של עיבוד אותות, שבה קוונטיזציה למד אותות ההתאוששות רפאים ניתוח קורלציה ממנו.

תורת האינפורמציה רואה את הרעיון הבסיסי של "מידע" על פי רוב באופן כמותי, מבלי להביא בחשבון הערך שלו, ולפעמים חסר משמעות. בגישה זו, דף של טקסט יכיל כ אותה כמות של נתונים נקבע על ידי מספר סימנים וסמלים, ואינו תלוי בעובדה, אם לדייק, יש מודפס, גם אם היא בהחלט סט חסר טעם כאוטי של סימנים מסוימים.

גישה זו מוצדקת, אך רק עבור סימולציה של מערכות תקשורת, שכן הם צריכים להעביר מידע מדויק על ערוצי התקשורת, אשר עשוי להיות כל סט תווים וסמלים. ואז, כאשר יש צורך לקחת בחשבון את הערך והמשמעות של נתונים, גישה כמותית אינה מקובלת. בנסיבות אלה להטיל מגבלות משמעותיות על המגרש של יישום אפשרי של התיאוריה הזאת.

יסודות תורת המידע כרוך דיון בנושאים שונים, כולל קשורה באופן ישיר שידור וקליטה של נתונים. תכנית התקשורת העיקרית, הנחשבת בהוראה היא כדלקמן. תורת וקידוד המידע הוא רואה כי אלה הם המקור של הודעות, שהיא מילה או קבוצת מילים בכתב אותיות מסוימות של האלפבית. מקור המסר יכול להיות טקסט כלשהו טבעי או שפה מלאכותית, שפה אנושית, מסד נתונים ועוד כמה מודלים מתמטיים, יצירת רצף של אותיות. המשדר ממיר את ההודעה לתוך אות המתאים לאופי הפיזי של ערוץ תקשורת - הבינוני עבור העברת אותות. במהלך המעבר של וככזה הוא כפוף התערבות, אשר מציגה עיוותים בשווי של פרמטרי המידע. המקלט משחזר את ההודעה המקורית מן האות המעווה קבלה. מסר בצורה מופחתת מגיע אל היעד - אדם מסוים או מכשיר טכני.

מקור מסר הוא סטטיסטי במהותו, כלומר את המראה של כל הודעה נקבע לפי הסתברות מסוימת. תורת האינפורמציה של שאנון מאמינה שאם ההסתברות של ההודעה שווה אחדות, כלומר, המראה שלו משמעותי ואי ודאויות לא מאמין שזה לא נושא כל מידע.

אחת הבעיות החשובות של תורת אינפורמציה רואה את התיאום של נכסי ערוץ ומידע תקשורת של מקור המסר. רוחב פס נקבע על ידי היחידה של 1 ביט לשנייה.

אחת הבעיות עם מערכות תקשורת הן הפרעה אל נתיב האות הרצויה. שאנון, לצערי, לא נותן לנו את השיטות הספציפיות להתמודדות עם אלה. השיטה להסרת ההקלה שחוזרת הודעות פעמים רבות אינה יעילה מאוד כי זה לוקח יותר זמן ועלויות עבור העברת המידע. הרבה יותר יעיל מאפשר שימוש קודים המאפשרים לך לזהות ולתקן שגיאות של העברת נתונים.