perlunifaq - מקוון בענן

תָכְנִית:

שֵׁם

perlunifaq - שאלות נפוצות של Perl Unicode

Q ו A

זוהי רשימה של שאלות ותשובות על Unicode ב-Perl, המיועדת לקריאה לאחר מכן
perlunitut.

פרלוניטוט לא בֶּאֱמֶת a Unicode הדרכה, is את זה?
לא, וזו לא באמת שאלה נפוצה של Unicode.

לפרל יש ממשק מופשט לכל קידודי התווים הנתמכים, אז זהו
למעשה הדרכה כללית של "קידוד" ושאלות נפוצות על "קידוד". אבל אנשים רבים חושבים ש-Unicode
הוא מיוחד וקסום, ולא רציתי לאכזב אותם, אז החלטתי להתקשר ל-
לתעד הדרכה של Unicode.

מה אופי קידודים עושה פרל תמיכה?
כדי לגלות באילו קידודי תווים תומך Perl שלך, הרץ:

perl -MEncode -le "הדפס עבור Encode->encodings(':all')"

איזה גרסה of פרל צריך I להשתמש?
ובכן, אם אתה יכול, שדרג לגרסה העדכנית ביותר, אבל בהחלט 5.8.1 או חדש יותר. ההדרכה
ושאלות נפוצות מניחות את המהדורה האחרונה.

כדאי גם לבדוק את המודולים שלך ולשדרג אותם במידת הצורך. לדוגמה,
HTML::Entities דורש גרסה >= 1.32 כדי לתפקד כהלכה, למרות יומן השינויים
שותק על זה.

מה על בינרי נתונים, כמו תמונות?
ובכן, מלבד "binmode $fh" חשוף, אתה לא צריך להתייחס אליהם במיוחד. (מצב bin
נחוץ מכיוון שאם לא כן, Perl עשויה להמיר סיומת שורה במערכות Win32.)

היזהר, עם זאת, לעולם לא לשלב מחרוזות טקסט עם מחרוזות בינאריות. אם אתה צריך טקסט
זרם בינארי, קודד את מחרוזות הטקסט שלך תחילה באמצעות הקידוד המתאים, ולאחר מכן הצטרף
אותם עם מחרוזות בינאריות. ראה גם: "מה אם אני לא מקודד?".

מתי צריך I לְפַעֲנֵחַ or לְהַצְפִּין?
בכל פעם שאתה מתקשר טקסט עם כל דבר שהוא חיצוני לתהליך ה-perl שלך,
כמו מסד נתונים, קובץ טקסט, שקע או תוכנה אחרת. גם אם הדבר שאתה
לתקשר עם כתוב גם בפרל.

מה if I לא לְפַעֲנֵחַ?
בכל פעם שהמחרוזת הבינארית המקודדת שלך משמשת יחד עם מחרוזת טקסט, Perl יניח
שהמחרוזת הבינארית שלך קודדה עם ISO-8859-1, הידוע גם בשם לטינית-1. אם זה לא היה
latin-1, אז הנתונים שלך מומרים בצורה לא נעימה. לדוגמה, אם זה היה UTF-8, ה
בתים בודדים של תווים מרובים נתפסים כתווים נפרדים, ואז שוב
הומר ל-UTF-8. ניתן להשוות קידוד כפול כזה לקידוד HTML כפול
(">"), או קידוד URI כפול (%253E).

פענוח מרומז שקט זה ידוע בשם "שדרוג". זה אולי נשמע חיובי, אבל זה כן
הכי טוב להימנע מזה.

מה if I לא לְהַצְפִּין?
מחרוזת הטקסט שלך תישלח באמצעות הבתים בפורמט הפנימי של Perl. במקרים מסוימים,
פרל תזהיר אותך שאתה עושה משהו לא בסדר, עם אזהרה ידידותית:

תו רחב בהדפסה ב- example.pl שורה 2.

מכיוון שהפורמט הפנימי הוא לרוב UTF-8, קשה לזהות באגים אלה, מכיוון ש-UTF-8 כן
בדרך כלל הקידוד שרצית! אבל אל תתעצלו, ואל תשתמשו בעובדה של פרל
הפורמט הפנימי הוא UTF-8 לטובתך. מקודד במפורש כדי למנוע באגים מוזרים, וכן
להראות למתכנתי תחזוקה שחשבתם על זה.

Is שם a דרך ל באופן אוטומטי לְפַעֲנֵחַ or לְהַצְפִּין?
אם כל הנתונים שמגיעים מנקודת אחיזה מסוימת מקודדים בדיוק באותו אופן, אתה יכול
תגיד למערכת PerlIO לפענח הכל באופן אוטומטי, עם שכבת ה"קידוד". אם
אתה עושה את זה, אתה לא יכול לשכוח בטעות לפענח או לקודד יותר, על דברים שמשתמשים
הידית השכבתית.

אתה יכול לספק שכבה זו בעת "פתיחת" הקובץ:

פתח את $fh שלי, '>:encoding(UTF-8)', $filename; # קידוד אוטומטי בכתיבה
פתח את $fh שלי, '<:encoding(UTF-8)', $filename; # פענוח אוטומטי בקריאה

או אם כבר יש לך ידית קובץ פתוחה:

binmode $fh, ':encoding(UTF-8)';

מנהלי התקנים מסויימים של מסד נתונים עבור DBI יכולים גם לקודד ולפענח אוטומטית, אבל זהו
לפעמים מוגבל לקידוד UTF-8.

מה if I לא לדעת אשר הַצפָּנָה היה בשימוש?
עשה כל שביכולתך כדי לגלות, ואם אתה צריך: נחש. (אל תשכח לתעד את שלך
נחשו עם הערה.)

אתה יכול לפתוח את המסמך בדפדפן אינטרנט ולשנות את ערכת התווים או התווים
קידוד עד שתוכל לאשר חזותית שכל הדמויות נראות כמו שצריך.

אין דרך לזהות באופן אמין את הקידוד באופן אוטומטי, אז אם אנשים ממשיכים לשלוח
הנתונים שלך ללא חיווי ערכת תווים, ייתכן שיהיה עליך לחנך אותם.

פחית I להשתמש Unicode in my פרל מקורות?
כן אתה יכול! אם המקורות שלך מקודדים ב-UTF-8, תוכל לציין זאת באמצעות ה-"השתמש ב-utf8"
פרגמה.

השתמש ב-utf8;

זה לא עושה שום דבר לקלט שלך, או לפלט שלך. זה רק משפיע על הדרך שלך
קוראים מקורות. אתה יכול להשתמש ב-Unicode במילולי מחרוזת, במזהים (אבל הם עדיין
חייבים להיות "תווי מילים" לפי "\w"), ואפילו במפרידים מותאמים אישית.

נתונים :: Dumper לא לשחזר מה היא Utfxnumx דֶגֶל; is it שָׁבוּר?
לא, יכולות ה-Unicode של Data::Dumper הן כפי שהן צריכות להיות. היו כמה
תלונות שעליו לשחזר את דגל UTF8 כאשר הנתונים נקראים שוב עם "eval".
עם זאת, אתה באמת לא צריך להסתכל על הדגל, ושום דבר לא מצביע על כך Data::Dumper
צריך לשבור את הכלל הזה.

זה מה שקורה: כשפרל קורא במחרוזת מילולית, הוא נצמד לקידוד של 8 סיביות בתור
כל עוד זה יכול. (אבל אולי במקור זה היה מקודד פנימי כ-UTF-8, כאשר אתה
זרק אותו.) כאשר הוא צריך לוותר על זה כי תווים אחרים מתווספים לטקסט
מחרוזת, זה משדרג בשקט את המחרוזת ל-UTF-8.

אם אתה מקודד כראוי את המחרוזות שלך לפלט, כל זה לא נוגע לך ולך
יכול פשוט "לשלוח" נתונים זרוקים כמו תמיד.

למה do regex אופי כיתות לפעמים להתאים רק in מה היא ASCII טווח?
החל ב-Perl 5.14 (וחלקית ב-Perl 5.12), פשוט שים "תכונה שימוש"
'unicode_strings'" בסמוך לתחילת התוכנית שלך. בתוך ההיקף המילוני שלה אתה
לא אמורה להיות בעיה זו. זה גם מופעל אוטומטית תחת "השתמש בתכונה ':5.12'"
או "השתמש בגרסה 5.12" או באמצעות "-E" בשורת הפקודה עבור Perl 5.12 ומעלה.

הרציונל לדרוש זאת הוא לא לשבור תוכניות ישנות יותר המסתמכות על הדרך
דברים עבדו לפני ש-Unicode הגיע. התוכניות הישנות יותר ידעו רק על ה-ASCII
סט תווים, ולכן עשוי שלא לפעול כראוי עבור תווים נוספים. כאשר מחרוזת היא
מקודד ב-UTF-8, Perl מניח שהתוכנית מוכנה להתמודד עם Unicode, אך כאשר
המחרוזת לא, פרל מניחה שרצוי רק ASCII, ולכן הדמויות האלה
לא תווי ASCII אינם מזוהים לגבי מה שהם יהיו ב-Unicode. "השתמש בתכונה
'unicode_strings'" אומר לפרל להתייחס לכל התווים כאל Unicode, בין אם המחרוזת כן
מקודד ב-UTF-8 או לא, ובכך למנוע את הבעיה.

עם זאת, ב-Perls קודמים, או אם אתה מעביר מחרוזות לשגרות משנה מחוץ לתכונה
בהיקף, אתה יכול לכפות חוקי Unicode על ידי שינוי הקידוד ל-UTF-8 על ידי ביצוע
"utf8::upgrade($string)". ניתן להשתמש בזה בבטחה על כל מיתר, מכיוון שהוא בודק ולא עושה זאת
לשנות מחרוזות שכבר שודרגו.

לדיון מפורט יותר, ראה Unicode::Semantics על CPAN.

למה do כמה תווים לֹא באותיות רישיות or באותיות קטנות נכונה?
ראה את התשובה לשאלה הקודמת.

איך יכול I לקבוע if a מחרוזת is a טֶקסט מחרוזת or a בינרי חוּט?
אתה לא יכול. חלקם משתמשים בדגל UTF8 בשביל זה, אבל זה שימוש לרעה, וגורם להתנהגות טובה
מודולים כמו Data::Dumper נראים רע. הדגל חסר תועלת למטרה זו, כי הוא כבוי
כאשר נעשה שימוש בקידוד של 8 סיביות (כברירת מחדל ISO-8859-1) לאחסון המחרוזת.

זה משהו שאתה, המתכנת, צריך לעקוב אחריו; מצטער. אתה יכול לשקול
אימוץ מעין "סימן הונגרי" כדי לעזור בכך.

איך do I להמיר החל מ- הַצפָּנָה FOO ל הַצפָּנָה בָּר?
על ידי המרת תחילה את מחרוזת הביטים המקודדת ב-FOO למחרוזת טקסט, ולאחר מכן את מחרוזת הטקסט
למחרוזת בתים מקודדת BAR:

my $text_string = decode('FOO', $foo_string);
my $bar_string = encode('BAR', $text_string);

או על ידי דילוג על חלק מחרוזת הטקסט, ומעבר ישירות מקידוד בינארי אחד ל-
אַחֵר:

השתמש ב-Encode qw(from_to);
from_to($string, 'FOO', 'BAR'); # משנה את התוכן של $string

או על ידי מתן אפשרות לפענוח וקידוד אוטומטיים לעשות את כל העבודה:

פתח את $foofh שלי, '<:encoding(FOO)', 'example.foo.txt';
פתח את $barfh שלי, '>:encoding(BAR)', 'example.bar.txt';
הדפס { $barfh } $_ בעוד <$foofh>;

מה יש לו "decode_utf8" ו "encode_utf8"?
אלו הם תחבירים חלופיים עבור "decode('utf8', ...)" ו-"encode('utf8', ...)".

מה is a "רָחָב אופי"?
זהו מונח המשמש לתווים התופסים יותר מבייט אחד.

אזהרת פרל "דמות רחבה ב..." נגרמת על ידי דמות כזו. ללא צוין
שכבת הקידוד, Perl מנסה להתאים דברים לבייט בודד. כשהיא לא יכולה, היא פולטת את זה
אזהרה (אם אזהרות מופעלות), ומשתמש במקום זאת בנתונים מקודדים UTF-8.

כדי להימנע מהאזהרה זו ולהימנע מקידודי פלט שונים בזרם יחיד,
תמיד ציין קידוד באופן מפורש, למשל עם שכבת PerlIO:

binmode STDOUT, ": קידוד (UTF-8)";

פנימיות

מה is "ה Utfxnumx דֶגֶל"?
בבקשה, אלא אם כן אתה פורץ לחלקים הפנימיים, או מנפת באגים מוזרות, אל תחשוב על
דגל UTF8 בכלל. זה אומר שסביר להניח שלא כדאי להשתמש ב-"is_utf8", "_utf8_on" או
"_utf8_off" בכלל.

דגל UTF8, הנקרא גם SvUTF8, הוא דגל פנימי המציין כי הזרם
הייצוג הפנימי הוא UTF-8. ללא הדגל, ההנחה היא שהוא ISO-8859-1. פרל
ממיר בין אלה באופן אוטומטי. (למעשה פרל בדרך כלל מניחה את הייצוג
הוא ASCII; ראה "מדוע מחלקות תווים רגקס תואמות לפעמים רק בטווח ASCII?"
לעיל).

אחד הפורמטים הפנימיים של Perl הוא במקרה UTF-8. למרבה הצער, פרל לא יכול לשמור על א
סוד, אז כולם יודעים על זה. זה המקור לבלבול רב. עדיף ל
העמד פנים שהפורמט הפנימי הוא קידוד לא ידוע ושתמיד צריך לעשות זאת
לקודד ולפענח באופן מפורש.

מה על מה היא "להשתמש בתים" פרגמה?
אל תשתמש בו. זה לא הגיוני להתמודד עם בתים במחרוזת טקסט, וזה לא הגיוני
כדי להתמודד עם תווים במחרוזת בתים. בצע את ההמרות המתאימות (על ידי
פענוח/קידוד), והדברים יסתדרו היטב: אתה מקבל ספירת תווים לפענוח
נתונים וספירות בתים עבור נתונים מקודדים.

"השתמש בבתים" הוא בדרך כלל ניסיון כושל לעשות משהו מועיל. פשוט שכח מזה.

מה על מה היא "להשתמש הַצפָּנָה" פרגמה?
אל תשתמש בו. למרבה הצער, היא מניחה שהסביבה של המתכנת ושל ה
המשתמש ישתמש באותו קידוד. זה ישתמש באותו קידוד עבור קוד המקור ועבור
STDIN ו-STDOUT. כאשר תוכנית מועתקת למחשב אחר, קוד המקור לא
לשנות, אבל סביבת STDIO עשויה.

אם אתה צריך תווים שאינם ASCII בקוד המקור שלך, הפוך אותו לקובץ מקודד UTF-8 ו
"השתמש ב-utf8".

אם אתה צריך להגדיר את הקידוד עבור STDIN, STDOUT ו-STDERR, למשל בהתבסס על
המקום של המשתמש, "השתמש בפתוח".

מה is מה היא הבדל בֵּין ":הַצפָּנָה" ו ":utf8"?
מכיוון ש-UTF-8 הוא אחד מהפורמטים הפנימיים של Perl, לעתים קרובות אתה יכול פשוט לדלג על הקידוד או
שלב פענוח, ולתפעל ישירות את דגל UTF8.

במקום ":encoding(UTF-8)", אתה יכול פשוט להשתמש ב-":utf8", שמדלג על שלב הקידוד
אם הנתונים כבר מיוצגים כ-UTF8 באופן פנימי. זה מקובל באופן נרחב כטוב
התנהגות כשאתה כותב, אבל זה יכול להיות מסוכן בקריאה, כי זה גורם
חוסר עקביות פנימי כאשר יש לך רצפי בתים לא חוקיים. שימוש ב-":utf8" לקלט יכול
לפעמים גורמות לפרצות אבטחה, אז אנא השתמש ב-":encoding(UTF-8)" במקום זאת.

במקום "פענוח" ו"קידוד", אתה יכול להשתמש ב-"_utf8_on" ו-"_utf8_off", אבל זה
נחשב לסגנון גרוע. במיוחד "_utf8_on" יכול להיות מסוכן, מאותה סיבה
":utf8" יכול.

יש כמה קיצורי דרך לאונלינרים; ראה -C ב-perlrun.

מה זה מה היא הבדל בֵּין "UTF-8" ו "utf8"?
"UTF-8" הוא התקן הרשמי. "utf8" היא הדרך של פרל להיות ליברלי במה שהוא
מקבל. אם אתה צריך לתקשר עם דברים שהם לא כל כך ליברליים, אולי תרצה
שקול להשתמש ב-"UTF-8". אם אתה צריך לתקשר עם דברים ליברליים מדי, אתה
ייתכן שיהיה עליך להשתמש ב-"utf8". ההסבר המלא נמצא ב-Encode.

"UTF-8" ידוע באופן פנימי בשם "utf-8-strict". המדריך משתמש ב-UTF-8 באופן עקבי, אפילו
כאשר utf8 משמש למעשה באופן פנימי, מכיוון שההבחנה יכולה להיות קשה לביצוע, ו
לרוב לא רלוונטי.

לדוגמה, ניתן להשתמש ב-utf8 עבור נקודות קוד שאינן קיימות ב-Unicode, כמו 9999999,
אבל אם אתה מקודד את זה ל-UTF-8, אתה מקבל תו החלפה (כברירת מחדל; ראה
"טיפול בנתונים שגויים" ב-Encode לקבלת דרכים נוספות להתמודד עם זה.)

אוקיי, אם אתה מתעקש: "הפורמט הפנימי" הוא utf8, לא UTF-8. (כשזה לא משהו אחר
הַצפָּנָה.)

I אבוד מַסלוּל; מה הַצפָּנָה is מה היא פנימי פוּרמָט בֶּאֱמֶת?
זה טוב שאיבדת את הכיוון, כי אתה לא צריך להיות תלוי בפורמט הפנימי
כל קידוד ספציפי. אבל מכיוון ששאלת: כברירת מחדל, הפורמט הפנימי הוא או
ISO-8859-1 (latin-1), או utf8, תלוי בהיסטוריה של המחרוזת. על EBCDIC
פלטפורמות, זה עשוי להיות שונה אפילו.

פרל יודע איך הוא אחסן את המחרוזת באופן פנימי, ותשתמש בידע הזה כשאתה
"לְהַצְפִּין". במילים אחרות: אל תנסה לברר מה הקידוד הפנימי עבור מסוים
מחרוזת היא, אבל במקום זאת פשוט מקודד אותה לקידוד שאתה רוצה.

השתמש ב-perlunifaq באינטרנט באמצעות שירותי onworks.net