ASCII ও Unicode কী?

আপনি যে অক্ষর টাইপ করেন তার পেছনের সহজ কোড, তা থেকে Unicode ও UTF-8 কীভাবে এল এবং লেখা কখনও কখনও অদ্ভুত চিহ্নে কেন বদলে যায়।

এনকোডিং 6 মিনিটে পড়ুন

কম্পিউটার শুধু সংখ্যা বোঝে, তাই স্ক্রিনে দেখা প্রতিটি অক্ষর, অঙ্ক ও চিহ্ন একটি সংখ্যা হিসেবে সংরক্ষিত হয়। কোন সংখ্যা কোন অক্ষর বোঝাবে, তা নিয়ে ক্লাসিক সমঝোতাই হলো ASCII, এবং আজও প্রায় প্রতিটি টেক্সট ফাইল, ওয়েব পেজ ও প্রোগ্রামে এটি লুকিয়ে আছে।

এই গাইডে আপনি জানবেন ASCII কী, এর কোডগুলো কীভাবে সাজানো, আগে অ্যাকসেন্টযুক্ত অক্ষর কেন ভেঙে যেত, Unicode ও UTF-8 কীভাবে তা সমাধান করল এবং যেকোনো অক্ষরের কোড কয়েক সেকেন্ডে কীভাবে খুঁজে পাবেন।

যেকোনো ASCII কোড খুঁজুন দশমিক, হেক্সাডেসিমাল, বাইনারি মান ও অক্ষরসহ সম্পূর্ণ ASCII টেবিল দেখুন। বিনামূল্যে, সরাসরি আপনার ব্রাউজারে চলে। ASCII টেবিল খুলুন

ASCII কী?

ASCII-এর পূর্ণরূপ American Standard Code for Information Interchange (তথ্য আদান-প্রদানের জন্য আমেরিকান স্ট্যান্ডার্ড কোড)। ১৯৬০-এর দশকে এটি তৈরি হয়েছিল, যাতে ভিন্ন ভিন্ন মেশিন বিভ্রান্তি ছাড়াই টেক্সট আদান-প্রদান করতে পারে, এবং এটি প্রতিটি অক্ষরকে একটি সংখ্যা দেয়।

এটি ৭-বিটের কোড, অর্থাৎ ০ থেকে ১২৭ পর্যন্ত মোট ১২৮টি সম্ভাব্য মান আছে। ইংরেজি বর্ণমালার বড় ও ছোট হাতের অক্ষর, ০ থেকে ৯ পর্যন্ত অঙ্ক, যতিচিহ্ন এবং কিছু কন্ট্রোল কোডের জন্য এটি যথেষ্ট।

কন্ট্রোল ক্যারেক্টার ও প্রিন্টযোগ্য ক্যারেক্টার

এই ১২৮টি কোড দুই ভাগে বিভক্ত। ০ থেকে ৩১ এবং ১২৭ হলো কন্ট্রোল ক্যারেক্টার: এগুলো কিছু আঁকে না, কোনো ডিভাইসকে নির্দেশ দেয়। ৩২ থেকে ১২৬ হলো ৯৫টি প্রিন্টযোগ্য ক্যারেক্টার, যেগুলো আপনি সত্যিই দেখতে পান।

কিছু মান জেনে রাখা ভালো:

  • ৩২ হলো স্পেস।
  • ৪৮ থেকে ৫৭ হলো ০ থেকে ৯ অঙ্ক (অর্থাৎ "0" হলো ৪৮)।
  • ৬৫ থেকে ৯০ হলো বড় হাতের A থেকে Z (অর্থাৎ "A" হলো ৬৫)।
  • ৯৭ থেকে ১২২ হলো ছোট হাতের a থেকে z (অর্থাৎ "a" হলো ৯৭)।
  • ১০ হলো নিউলাইন (line feed), ১৩ হলো ক্যারেজ রিটার্ন এবং ৯ হলো ট্যাব।
  • ০ হলো নাল ক্যারেক্টার, ২৭ হলো Escape এবং ১২৭ হলো Delete।

বড় ও ছোট হাতের অক্ষরের মধ্যে কৌশল

"A" (৬৫) ও "a" (৯৭) দেখুন: দুটোর পার্থক্য ঠিক ৩২। প্রতিটি অক্ষর-জোড়ার ক্ষেত্রেই এটি সত্য, "B" হলো ৬৬ আর "b" হলো ৯৮। বাইনারিতে এই পার্থক্য মাত্র একটি বিট, তাই কম্পিউটারের জন্য বড়-ছোট হাতের রূপান্তর খুবই সস্তা।

অঙ্কগুলোতেও একটি নিয়ম আছে। যেহেতু "0" হলো ৪৮, কোনো অঙ্ক-ক্যারেক্টারের কোড থেকে ৪৮ বিয়োগ করলেই তার সংখ্যামান পাওয়া যায়। এটি প্রোগ্রামিংয়ের একটি ক্লাসিক কৌশল।

টিপ: ASCII-তে কোনো অক্ষরকে ছোট হাতের করতে তার কোডের সাথে ৩২ যোগ করুন। বড় হাতের করতে ৩২ বিয়োগ করুন।

এক্সটেন্ডেড ASCII ও কোড পেজ: অ্যাকসেন্ট কেন ভেঙে যেত

কম্পিউটার ডেটা ৮-বিটের বাইটে রাখে, তাই আরও ১২৮টি মানের (১২৮ থেকে ২৫৫) জায়গা বাকি ছিল। নির্মাতা ও দেশগুলো এটি ভিন্ন ভিন্নভাবে ভরাট করল এবং তৈরি হলো "কোড পেজ", যেমন পশ্চিম ইউরোপীয় ভাষার জন্য ISO-8859-1 বা Windows-1252।

এগুলোকে প্রায়ই এক্সটেন্ডেড ASCII বলা হয়, কিন্তু কোনো একক মানদণ্ড নেই: একই সংখ্যা এক কোড পেজে "é" হতে পারত, আবার অন্যটিতে সম্পূর্ণ ভিন্ন চিহ্ন। এক সিস্টেমে লেখা টেক্সট অন্য সিস্টেমে ভুল দেখাত, আর হাজার হাজার অক্ষরের ভাষা তো এতে ধরতই না।

Unicode: প্রতিটি অক্ষরের জন্য একটি সংখ্যা

Unicode প্রতিটি লিপির প্রতিটি অক্ষরকে একটি অনন্য সংখ্যা দিয়ে এর সমাধান করেছে, যাকে বলে কোড পয়েন্ট (code point), যেমন "A"-এর জন্য U+0041। এতে লাতিন, সিরিলিক, চীনা, আরবি, দেবনাগরী, বাংলা এবং আরও অনেক লিপির পাশাপাশি চিহ্ন ও ইমোজি রয়েছে।

Unicode-এর প্রথম ১২৮টি কোড পয়েন্ট ASCII-এর সাথে অভিন্ন, তাই "A" দুটোতেই ৬৫। Unicode হলো অক্ষরের একটি তালিকা; এই সংখ্যাগুলো বাইট হিসেবে কীভাবে সংরক্ষিত হবে, তা এনকোডিং ঠিক করে।

UTF-8: যে এনকোডিং ওয়েব জয় করেছে

UTF-8 হলো Unicode সংরক্ষণের সবচেয়ে প্রচলিত উপায়। এটি প্রতিটি অক্ষরের জন্য ১ থেকে ৪ বাইট ব্যবহার করে: ASCII অক্ষর মাত্র এক বাইট নেয়, পুরোনো ASCII-র মতোই, অ্যাকসেন্টযুক্ত অক্ষর সাধারণত দুই, বাংলা ও দেবনাগরীর মতো অনেক লিপি তিন এবং ইমোজি চার বাইট নেয়।

সাধারণ ASCII টেক্সট ইতিমধ্যেই বৈধ UTF-8, তাই পুরোনো ও নতুন ফাইল একসাথে কাজ করে। এই সামঞ্জস্যই UTF-8 ওয়েব পেজ, সোর্স কোড ও অধিকাংশ আধুনিক সিস্টেমের ডিফল্ট হওয়ার প্রধান কারণ।

লেখা কেন এলোমেলো দেখায় (mojibake)

Mojibake দেখা দেয় যখন টেক্সট এক এনকোডিংয়ে সংরক্ষণ করে অন্য এনকোডিংয়ে পড়া হয়। একটি ক্লাসিক উদাহরণ: "café" শব্দটি UTF-8-এ সংরক্ষণ করে Windows-1252 হিসেবে খুললে "café" দেখায়, কারণ "é"-এর দুটি বাইট দুটি আলাদা অক্ষর হিসেবে পড়া হয়।

সমাধান প্রায় সবসময়ই দুই পক্ষকে একমত করানো। আপনার ওয়েব পেজে UTF-8 ঘোষণা করুন, ফাইল UTF-8-এ সংরক্ষণ করুন এবং ডাটাবেস ও টুলগুলোও একই এনকোডিং ব্যবহার করছে কি না নিশ্চিত করুন।

ASCII আজও কোথায় কাজে লাগে

ASCII জানা প্রযুক্তিগত দৈনন্দিন কাজে সাহায্য করে। ডেভেলপাররা ক্যারেক্টার কোড ব্যবহার করেন টেক্সট তুলনা ও সাজাতে, ইনপুট যাচাই করতে, পার্সার বানাতে এবং নতুন লাইনের জন্য \n বা ট্যাবের জন্য \t-এর মতো এস্কেপ সিকোয়েন্স লিখতে।

  • HTTP হেডার, JSON ও CSV-র মতো প্রোটোকল ও ফরম্যাট তাদের কাঠামোর জন্য ASCII অক্ষরের ওপর নির্ভর করে।
  • টার্মিনাল রং ও কার্সর কমান্ড শুরু করতে Escape ক্যারেক্টার (২৭) ব্যবহার করে।
  • পাসওয়ার্ড, URL ও আইডেন্টিফায়ার সামঞ্জস্যের সমস্যা এড়াতে প্রায়ই ASCII-তে সীমিত রাখা হয়।
  • ডিবাগিং: কোনো রহস্যময় ক্যারেক্টারের কোড দেখলে বোঝা যায় সেটি স্পেস, ট্যাব না অদৃশ্য চিহ্ন।

৩ ধাপে ক্যারেক্টার কোড খুঁজে পাওয়ার উপায়

  1. ব্রাউজারে বিনামূল্যের ASCII টেবিলটি খুলুন।
  2. পছন্দের ক্যারেক্টারটি খুঁজুন, অথবা এর দশমিক, হেক্সাডেসিমাল বা বাইনারি মান দিয়ে খুঁজুন।
  3. প্রয়োজনীয় ফরম্যাটে কোড কপি করুন, যেমন প্রোগ্রামিংয়ের জন্য দশমিক বা বাইট এডিটরের জন্য হেক্সাডেসিমাল।

এড়িয়ে চলার মতো সাধারণ ভুল

  • "এক্সটেন্ডেড ASCII"-কে একটি একক মানদণ্ড ভাবা। তা নয়; এটি কোড পেজের ওপর নির্ভর করে।
  • ফাইল এক এনকোডিংয়ে সংরক্ষণ করে অন্য এনকোডিংয়ে খোলা।
  • ক্যারেক্টার ও বাইট গুলিয়ে ফেলা: UTF-8-এ একটি ক্যারেক্টার ৪ বাইট পর্যন্ত নিতে পারে।
  • অঙ্ক "0" (কোড ৪৮), সংখ্যা ০ এবং নাল ক্যারেক্টার (কোড ০) গুলিয়ে ফেলা।
  • ভিন্ন সিস্টেমের টেক্সট তুলনা করার সময় ক্যারেজ রিটার্ন (১৩) ও নিউলাইনের (১০) মতো অদৃশ্য কন্ট্রোল ক্যারেক্টার ভুলে যাওয়া।

উপসংহার

ASCII হলো ১২৮ অক্ষরের একটি ছোট ও সুন্দর কোড, যা আজও আধুনিক কম্পিউটিংয়ের ভিত্তিতে রয়েছে। Unicode এই ধারণাকে সব ভাষা ও ইমোজিতে ছড়িয়ে দিয়েছে, আর UTF-8 ASCII-র সাথে সামঞ্জস্য রেখে একে ব্যবহারযোগ্য করেছে। অদ্ভুত চিহ্ন দেখলে বা কোনো ক্যারেক্টারের কোড দরকার হলে মনে রাখবেন, ব্যাপারটা শুধু এনকোডিং মেলানোর, আর বিনামূল্যের টেবিল মাত্র এক ক্লিকের দূরে।

সচরাচর জিজ্ঞাসা

ASCII-তে কয়টি ক্যারেক্টার আছে?

স্ট্যান্ডার্ড ASCII-তে ১২৮টি ক্যারেক্টার আছে, ০ থেকে ১২৭ পর্যন্ত সংখ্যায়িত: ৩৩টি কন্ট্রোল কোড (০ থেকে ৩১ এবং ১২৭) এবং স্পেসসহ ৯৫টি প্রিন্টযোগ্য ক্যারেক্টার।

ASCII ও Unicode-এর পার্থক্য কী?

ASCII শুধু ১২৮টি ক্যারেক্টার ধারণ করে, প্রধানত ইংরেজির জন্য। Unicode প্রায় সব লিপির অক্ষর এবং চিহ্ন ও ইমোজিকে অনন্য সংখ্যা দেয়। Unicode-এর প্রথম ১২৮টি কোড পয়েন্ট ASCII-এর সমান।

UTF-8 ও Unicode কি একই জিনিস?

না। Unicode হলো অক্ষর ও তাদের সংখ্যার তালিকা, আর UTF-8 হলো সেই সংখ্যাগুলো বাইট হিসেবে সংরক্ষণের একটি উপায়। UTF-16-এর মতো আরও এনকোডিং আছে, তবে ওয়েবে UTF-8-ই সবচেয়ে বেশি ব্যবহৃত।

অক্ষর A-এর ASCII কোড কত?

বড় হাতের "A" দশমিকে ৬৫ (হেক্সাডেসিমালে ৪১) এবং ছোট হাতের "a" ৯৭ (হেক্সাডেসিমালে ৬১)। দুটোর পার্থক্য সবসময় ৩২।

অক্ষর কেন অদ্ভুত চিহ্নে বদলে যায়?

সাধারণত কারণ টেক্সট এক এনকোডিংয়ে, যেমন UTF-8-এ, সংরক্ষণ করে অন্য এনকোডিংয়ে, যেমন Windows-1252-এ, খোলা হয়েছে। দুই দিকেই একই এনকোডিং, বিশেষত UTF-8, ব্যবহার করলে সমস্যা মেটে।

এই লেখায় উল্লেখ করা বিনামূল্যের টুল

আরও পড়ুন

সব লেখা