"Архиватор программаларында архивтеу қалай жүзеге асады?" сұрағына интернеттен жауап ізде.Маңызды деректерді дәптеріне жаз.

Түсінікті. Интернеттен нақты іздеу жасап беруге мүмкіндігім жоқ (егжей-тегжейлі іздеп, белгіленген сайттарды көрсетпей-ақ толық түсіндіруге дайынмын). Міне, архиваторларда архивтеу қалай жүзеге асатыны туралы түсінікті, қадамдық түсіндіру және маңызды ұғымдар. Бұл материалды дәптеріңе жазып алуға ыңғайлы болу үшін қысқа конспект нұсқасын да қоса бердім. Негізгі түсінік - Архиватор — бірнеше файлды бір файлға біріктіретін және кейде оларды ықшамдап сақтайтын программа. - Архивтеу мақсаты: сақтау орнын азайту (қоюланған деректерді конгестивті қайталануды тиімді пайдалану арқылы қысу), файлдарды тасымалдауды жеңілдету, файлдардың тізімін бір құжатта басқару. - Архивтер екі үлкен режимте жұмыс істей алады: архивтеу мен қысу (көбінесе қатар жүреді) және тек архивтеу (қысымсыз құрамдастарды біріктіреді). Архивтеу қалай жүзеге асады: стэп-анатомия (қадамдық түсінік) 1) Файлдарды жинау - Архиватор әр түрлі файлдарды бір орындайтын «қапшаға» (архивқа) жинайды. - Файлының аттары, өлшемі, өрістерге қатысты уақыт белгісі (modification time) секілді метадеректер де сақталуы мүмкін. 2) Әр файлды немесе файлдардың блоктарын ықшамдау жөнінде шешім қабылдау - Қайсылары қысуға жарамды (мысалы, мәтіндік файлдар, қайталана беретін жолдар бар файлдар) және қайсысын мүлде қысуға болмайды (қысу тиімді емес немесе already compressed сияқты файлдар). - Әр файлқа немесе архивтің ішіндегі блоктарға қолданылатын қысым әдісі таңдалады. 3) Қысу алгоритмімен өңдеу - Негізгі идея: қайталанатын үлгілерді қысу үшін кодтау, сонымен бірге деректер ағынының болуы мүмкін емес немесе сирек кездесетін бөліктерін қысу арқылы биттер санын азайту. - Түйіндес әдістер (ең жиі қолданылғандар): - LZ77/LZSS (словоның айналмалы "терезе" ішінде қайталанған жолдарды табу; қайталанатын серияларды бұйрықпен көрсету үшін қысқа өрескел сілтемелерді пайдалану). - Huffman кодтау ( frequencies негізінде әр символға әртүрлі ұзындықтағы код беру; жиі кездесетін символдарға қысқа кодтар). - Deflate (LZ77 + Huffman үйлесімі; әсіресе ZIP пен gzip-де кездеседі). - LZMA, Burrows–Wheeler трансформациясы және диапазон кодтауы сияқты күрделірек әдістер (7z форматында жиі қолданылады). - Қысу режимі: - Әр файл жеке қысылуы мүмкін (ZIP-тің кейбір режимі). - Solid (бір үлкен блоктың ішінде файлдар арасындағы dictionary-ті бөлісу) режимі бар архивтерде (мысалы, 7z, кейбір RAR параметрлерінде) жақсы қысу береді, бірақ кейде іздеу және жаңарту кезінде жаңасын қосқанда жылдамдықты төмендетеді. 4) Архивтің метадеректері мен индекстері жазылады - Көптеген форматтарда әр файлға метаақпарат (аты, ұзындығы, қысылған ұзындығы, CRC-32/хэш, modification time, атрибуттар) жазылады. - CRC-32 немесе басқа хэштар арқылы деректердің бүтіндігі тексеріледі. - Архивтің ішіндегі файлдардың ажыратылған тізімі мен олардың дереккөз орнын көрсету үшін «central directory» немесе файл картасы сияқты бөлімдер жасалады (ZIP-те әсіресе маңызды). Бұл көлемді файлдарды тез іздеуге мүмкіндік береді. - Соңында архивтің жалпы орналасу нүктесі белгіленеді (End of central directory- жазбасы сияқты). 5) Архивтің толық құрылымы - ZIP сияқты форматтарда: - Локалдық headers (әр файлға арнайы заголовоктар). - Қысылған деректер. - Орталық директория (central directory) — файлдардың индексі. - Архивтің соңғы жазбасы (End of Central Directory) — жалпы шифрлеу, санақ, ішкі адрес туралы ақпарат. - TAR-түрінде (архивтеу ғана: compression жоқ) файлдар бір жинаққа топтасады, ал кейін gzip/bzip2/7z сияқты қысу қосылады. - 7z және кейбір басқа форматтарда «solid» жазбалар, көп файлқа бірлескен сөздік пайдалану секілді қосымша мүмкіндіктер бар. 6) Қосымша мүмкіндіктер - Multi-threading: көп файлдар бір уақытта қысылуы мүмкін, шапшаңдық артады. - Solid режимдері: көп файл арасындағы деректерді бір жалпы словарьға негіздейді; кейде қысуды жақсартады, кейде архивті өңдеуді кешіктіреді. - Құжаттар/белгілерге арналған құқықтық белгілеу, шифрлау (құпиялылық) – кейде архивтерге кіру құпиясымен қорғалады. Қысқаша түсіндірме: неге кейбір архитектуралар осылай жұмыс істейді - Қысу нәтижесінде файлдың ұлғаюына көп үлес қосқан қайталанатын жолдар, биттер, қайталанған блоктар жеңілдетіліп, мөлшері азаяды. - Метадеректер файлды кімге, қай күні жасап, қандай форматта екенін ұмытпай сақтайды, сондықтан архивті кейін ашқанда файлдарды қайта қалпына келтіруге болады. - Архивтің индекстері арқылы іздеу жылдамдығы артады: файлды тез табуға болады, тіпті архив ішінде бірнеше гигабайт деректер болуы мүмкін. Қысқа үлгі (қарапайым түсіну үшін) - Сіздің қолыңызда төмендегідей жолдар бар делік: - "А" "Б" "А" "Б" "А" "В" - Қысу кезінде қайта-қайта кездесетін үлгілерді тауып, олардың орнына қысқа сілтемелер (мысалға “1” деп 1-ді көрсету) қояды. Соңында архивтің ішінде: - Қысылған деректер: "А Б A B A В" сияқты жолдар - Әр жолдың арасындағы сілтемелер: повторлардың қай жерден қай жерге екенін көрсететін нөмірлер - Метадеректер: файлдың аты, өлшемі, modification time, CRC Дәптеріңе жазуға арналған конспект (негізгі тезистер) - Архивтеу мақсаты: орынды үнемдеу + файлдарды бір файлға біріктіру. - Негізгі қысу әдістері: - LZ77/LZSS: қайталанатын блоктарды табу және оларды сілтемелермен алмастыру. - Huffman кодтау: жиі кездесетін символдарды қысқа кодпен көрсету. - Deflate: LZ77 + Huffman біріктірімі (ZIP-те кеңінен қолданылады). - LZMA/ Burrows–Wheeler + диапазон кодтау: жоғары қысу коэффициенттері үшін. - Архив форматының негізгі элементтері: - Файлдың атауы, өлшемі, қысылған өлшемі, CRC, modification time, атрибуттар. - Локалдық header-лер және орталық директория (ZIP сияқты). - End of Central Directory жазбасы (ZIP-те). - Solid vs не-solid архивтер: - Solid: файлдар арасында бір жалпы словарь қолданады, жоғары қысу коэффициентін береді. - Non-solid: файлдарды бөлек қысуға мүмкіндік береді, жаңарту жеңіл. - TAR/ZIP/7z сияқты форматтардың айырмасы: - TAR тек архивтеу (compression емес). - ZIP/7z әр файлты қысуы мүмкін, 7z-да solid режим, LZMA-ның жоғары қысу әлеуеті бар. Қандай тапсырмамен жұмыс жасайық? - Егер қажет болса, осы түсініктерді өз сөзіңмен түсініп, қысқа есептер немесе мысалдар жасауыңа көмектесемін: - Қысу коэффициентін есептеу тәсілдерін түсіндіремін. - Түсінікті диаграмма түрінде схема құрып бере аламын. - Құрылымдық сұрақтар дайындап берейін (мысалы, ZIP-тің локалдық заголовогы неге 필요, CRC не үшін керек т.б.). Егер сен нақты бір архиватор форматын (ZIP, 7z, RAR, TAR.GZ т.б.) немесе белгілі бір тапсырмаға арналған мысал керек болса, ата — соған нақтырақ баяндап отырамын.