ASCII और Unicode क्या है?

आप जो भी अक्षर टाइप करते हैं उसके पीछे का सरल कोड, उससे Unicode और UTF-8 कैसे बने और टेक्स्ट कभी-कभी अजीब चिह्नों में क्यों बदल जाता है।

एन्कोडिंग 7 मिनट में पढ़ें

कंप्यूटर केवल संख्याएँ समझते हैं, इसलिए स्क्रीन पर दिखने वाला हर अक्षर, अंक और चिह्न एक संख्या के रूप में सहेजा जाता है। ASCII इस बात का क्लासिक समझौता है कि कौन-सी संख्या किस अक्षर को दर्शाती है, और यह आज भी लगभग हर टेक्स्ट फ़ाइल, वेब पेज और प्रोग्राम में छिपा है।

इस गाइड में आप जानेंगे कि ASCII क्या है, इसके कोड कैसे व्यवस्थित हैं, पहले एक्सेंट वाले अक्षर क्यों बिगड़ जाते थे, Unicode और UTF-8 ने इसे कैसे हल किया और किसी भी अक्षर का कोड सेकंडों में कैसे ढूँढें।

कोई भी ASCII कोड खोजें दशमलव, हेक्साडेसिमल, बाइनरी मान और अक्षर के साथ पूरी ASCII टेबल देखें। मुफ़्त, और सीधे आपके ब्राउज़र में चलती है। ASCII टेबल खोलें

ASCII क्या है?

ASCII का पूरा नाम American Standard Code for Information Interchange (सूचना आदान-प्रदान के लिए अमेरिकी मानक कोड) है। इसे 1960 के दशक में बनाया गया था ताकि अलग-अलग मशीनें बिना भ्रम के टेक्स्ट का आदान-प्रदान कर सकें, और यह हर अक्षर को एक संख्या देता है।

यह 7-बिट कोड है, यानी इसमें 0 से 127 तक कुल 128 संभावित मान हैं। यह अंग्रेज़ी वर्णमाला के बड़े और छोटे अक्षरों, 0 से 9 तक के अंकों, विराम चिह्नों और कुछ कंट्रोल कोड के लिए पर्याप्त है।

कंट्रोल कैरेक्टर और प्रिंट होने वाले कैरेक्टर

ये 128 कोड दो समूहों में बँटे हैं। 0 से 31 और 127 कंट्रोल कैरेक्टर हैं: ये कुछ दिखाते नहीं, बल्कि किसी डिवाइस को निर्देश देते हैं। 32 से 126 तक के 95 प्रिंट होने वाले कैरेक्टर हैं, जो आप वास्तव में देखते हैं।

कुछ मान जो जानने लायक हैं:

  • 32 स्पेस है।
  • 48 से 57 तक अंक 0 से 9 हैं (यानी "0" का कोड 48 है)।
  • 65 से 90 तक बड़े अक्षर A से Z हैं (यानी "A" का कोड 65 है)।
  • 97 से 122 तक छोटे अक्षर a से z हैं (यानी "a" का कोड 97 है)।
  • 10 न्यूलाइन (line feed) है, 13 कैरिज रिटर्न है और 9 टैब है।
  • 0 नल कैरेक्टर है, 27 Escape है और 127 Delete है।

बड़े और छोटे अक्षरों के बीच की ट्रिक

"A" (65) और "a" (97) को देखिए: दोनों में ठीक 32 का अंतर है। यह हर अक्षर-जोड़ी पर लागू होता है, "B" 66 है और "b" 98। बाइनरी में यह अंतर सिर्फ़ एक बिट का होता है, इसलिए कंप्यूटर के लिए बड़े-छोटे अक्षरों का रूपांतरण बहुत सस्ता है।

अंकों में भी एक पैटर्न है। चूँकि "0" का कोड 48 है, किसी अंक वाले कैरेक्टर का संख्यात्मक मान पाने के लिए उसके कोड से 48 घटा दें। यह प्रोग्रामिंग की क्लासिक ट्रिक है।

टिप: ASCII में किसी अक्षर को छोटा करने के लिए उसके कोड में 32 जोड़ें। बड़ा करने के लिए 32 घटाएँ।

एक्सटेंडेड ASCII और कोड पेज: एक्सेंट क्यों बिगड़ते थे

कंप्यूटर डेटा 8-बिट बाइट में रखते हैं, इसलिए 128 और मानों (128 से 255) की जगह बची थी। निर्माताओं और देशों ने इसे अलग-अलग तरह से भरा और "कोड पेज" बने, जैसे पश्चिमी यूरोपीय भाषाओं के लिए ISO-8859-1 या Windows-1252।

इन्हें अक्सर एक्सटेंडेड ASCII कहा जाता है, पर कोई एक मानक नहीं है: एक ही संख्या किसी कोड पेज में "é" हो सकती थी और दूसरे में बिलकुल अलग चिह्न। एक सिस्टम में लिखा टेक्स्ट दूसरे में गलत दिख सकता था, और हज़ारों अक्षरों वाली भाषाएँ तो इसमें समाती ही नहीं थीं।

Unicode: हर अक्षर के लिए एक संख्या

Unicode ने हर लिपि के हर अक्षर को एक अनोखी संख्या देकर इसे सुलझाया, जिसे कोड पॉइंट (code point) कहते हैं, जैसे "A" के लिए U+0041। यह लैटिन, सिरिलिक, चीनी, अरबी, देवनागरी, बांग्ला और कई अन्य लिपियों के साथ-साथ चिह्नों और इमोजी को भी शामिल करता है।

Unicode के पहले 128 कोड पॉइंट ASCII के समान हैं, इसलिए "A" दोनों में 65 है। Unicode अक्षरों की सूची है; ये संख्याएँ बाइट में कैसे सहेजी जाएँ, यह एन्कोडिंग तय करती है।

UTF-8: वह एन्कोडिंग जिसने वेब पर राज किया

UTF-8 Unicode को सहेजने का सबसे आम तरीका है। यह हर अक्षर के लिए 1 से 4 बाइट इस्तेमाल करता है: ASCII अक्षर केवल एक बाइट लेते हैं, पुराने ASCII जैसे ही, एक्सेंट वाले अक्षर आमतौर पर दो, देवनागरी और बांग्ला जैसी कई लिपियाँ तीन और इमोजी चार बाइट लेते हैं।

चूँकि सादा ASCII टेक्स्ट पहले से ही वैध UTF-8 है, पुरानी और नई फ़ाइलें साथ चल जाती हैं। यही संगतता UTF-8 के वेब पेज, सोर्स कोड और अधिकांश आधुनिक सिस्टम का डिफ़ॉल्ट बनने की मुख्य वजह है।

टेक्स्ट गड़बड़ क्यों दिखता है (mojibake)

Mojibake तब होता है जब टेक्स्ट एक एन्कोडिंग से सहेजा जाए और दूसरी से पढ़ा जाए। एक क्लासिक उदाहरण: शब्द "café" UTF-8 में सहेजा गया पर Windows-1252 की तरह खोला गया, तो वह "café" दिखता है, क्योंकि "é" के दो बाइट दो अलग अक्षरों की तरह पढ़ लिए जाते हैं।

समाधान लगभग हमेशा यही है कि दोनों पक्ष एक ही एन्कोडिंग पर सहमत हों। अपने वेब पेज में UTF-8 घोषित करें, फ़ाइलें UTF-8 में सहेजें और जाँच लें कि डेटाबेस और टूल भी वही एन्कोडिंग इस्तेमाल करते हैं।

ASCII आज भी कहाँ काम आता है

ASCII जानना रोज़मर्रा के तकनीकी काम में मदद करता है। डेवलपर कैरेक्टर कोड का उपयोग टेक्स्ट की तुलना और क्रमबद्धता, इनपुट की जाँच, पार्सर बनाने और एस्केप सीक्वेंस लिखने में करते हैं, जैसे नई लाइन के लिए \n या टैब के लिए \t।

  • HTTP हेडर, JSON और CSV जैसे प्रोटोकॉल और फ़ॉर्मैट अपनी संरचना के लिए ASCII अक्षरों पर निर्भर हैं।
  • टर्मिनल रंग और कर्सर कमांड शुरू करने के लिए Escape कैरेक्टर (27) का उपयोग करते हैं।
  • पासवर्ड, URL और आइडेंटिफ़ायर अक्सर संगतता की समस्या से बचने के लिए ASCII तक सीमित रखे जाते हैं।
  • डीबगिंग: किसी रहस्यमय कैरेक्टर का कोड देखने से पता चलता है कि वह स्पेस है, टैब है या अदृश्य चिह्न।

3 चरणों में कैरेक्टर कोड कैसे खोजें

  1. ब्राउज़र में मुफ़्त ASCII टेबल खोलें।
  2. मनचाहा कैरेक्टर ढूँढें, या उसके दशमलव, हेक्साडेसिमल या बाइनरी मान से खोजें।
  3. ज़रूरत के फ़ॉर्मैट में कोड कॉपी करें, जैसे प्रोग्रामिंग के लिए दशमलव या बाइट एडिटर के लिए हेक्साडेसिमल।

बचने योग्य आम गलतियाँ

  • "एक्सटेंडेड ASCII" को एक ही मानक समझ लेना। ऐसा नहीं है; यह कोड पेज पर निर्भर करता है।
  • फ़ाइल को एक एन्कोडिंग में सहेजना और दूसरी में खोलना।
  • कैरेक्टर और बाइट को एक समझ लेना: UTF-8 में एक कैरेक्टर 4 बाइट तक ले सकता है।
  • अंक "0" (कोड 48) को संख्या 0 या नल कैरेक्टर (कोड 0) से गड़बड़ा देना।
  • अलग-अलग सिस्टम का टेक्स्ट मिलाते समय कैरिज रिटर्न (13) और न्यूलाइन (10) जैसे अदृश्य कंट्रोल कैरेक्टर को भूल जाना।

निष्कर्ष

ASCII 128 अक्षरों का एक छोटा और सुंदर कोड है जो आज भी आधुनिक कंप्यूटिंग की नींव में है। Unicode ने इस विचार को हर भाषा और इमोजी तक फैलाया, और UTF-8 ने ASCII से संगत रहते हुए इसे व्यावहारिक बनाया। जब अजीब चिह्न दिखें या किसी कैरेक्टर का कोड चाहिए, तो याद रखें कि बात बस एन्कोडिंग मिलाने की है, और मुफ़्त टेबल एक क्लिक की दूरी पर है।

अक्सर पूछे जाने वाले सवाल

ASCII में कितने कैरेक्टर होते हैं?

मानक ASCII में 128 कैरेक्टर हैं, जिनकी संख्या 0 से 127 है: 33 कंट्रोल कोड (0 से 31 और 127) और स्पेस सहित 95 प्रिंट होने वाले कैरेक्टर।

ASCII और Unicode में क्या अंतर है?

ASCII केवल 128 कैरेक्टर को कवर करता है, जो मुख्यतः अंग्रेज़ी के लिए हैं। Unicode लगभग सभी लिपियों के अक्षरों, साथ ही चिह्नों और इमोजी को एक अनोखी संख्या देता है। Unicode के पहले 128 कोड पॉइंट ASCII के समान हैं।

क्या UTF-8 और Unicode एक ही चीज़ हैं?

नहीं। Unicode अक्षरों और उनकी संख्याओं की सूची है, जबकि UTF-8 उन संख्याओं को बाइट के रूप में सहेजने का एक तरीका है। UTF-16 जैसी अन्य एन्कोडिंग भी हैं, पर वेब पर UTF-8 सबसे ज़्यादा इस्तेमाल होती है।

अक्षर A का ASCII कोड क्या है?

बड़ा "A" दशमलव में 65 (हेक्साडेसिमल में 41) है और छोटा "a" 97 (हेक्साडेसिमल में 61)। दोनों का अंतर हमेशा 32 होता है।

अक्षर अजीब चिह्नों में क्यों बदल जाते हैं?

आमतौर पर इसलिए कि टेक्स्ट एक एन्कोडिंग, जैसे UTF-8, में सहेजा गया और दूसरी, जैसे Windows-1252, में खोला गया। दोनों तरफ़ एक ही एन्कोडिंग, बेहतर होगा UTF-8, इस्तेमाल करने से समस्या ठीक हो जाती है।

इस लेख में बताए गए मुफ़्त टूल

और पढ़ें

सभी लेख