בפעם הראשונה ששורה כפולה עלתה לי בזמן אמת, התאמתי בין שתי עמודות CSV מיוצאות של כתובות דואל עבור אפליקציית Laravel ששלחתי. ברשימה אחת היו 4,200 שורות, בשנייה 3,900, ואיפשהו בחפיפה היו כמה מאות כתובות שהופיעו פעמיים. גיליון אלקטרוני יכול היה לבטל אותן, אבל הוא גם התעקש למיין את העמודה, והייתי צריך שהזמנת השליחה המקורית תישמר להשקה מבוימת. אז עשיתי את מה שרובנו עושים באותו שלב: פתחתי קובץ שריטה, הדבקתי את הרשימה והתחלתי למחוק שורות ביד. עשרים דקות לאחר מכן פספסתי שתיים והצגתי שגיאת הקלדה אחת.
זו הבעיה המדויקת של מסיר קו כפול קיים כדי לפתור הוא מסיר שורות חוזרות מגוש טקסט ומשאיר את כל השאר בדיוק איפה שהוא היה אין מיון, אין עיצוב מחדש, אין העלאת קובץ עם נתוני לקוחות לשרת שאינך שולט בו אתה מדביק, אתה בוחר כיצד יש לטפל בכפילויות, ואתה מעתיק תוצאה נקייה.
TL;DR: הדבק רשימה, בחר מצב וקבל טקסט משוכפל בחזרה בסדר המקורי. "שמור על ייחודי" מסיר עותקים נוספים של כל שורה. "הסר את כל הכפילויות" מוחק כל שורה שיש לה תאום, ומשאיר רק את השורות שכבר היו ייחודיות. " שמור רק כפילויות" מראה לך בדיוק מה חזר על עצמו. קיפול מארז, חיתוך והסרת שורה ריקה הם אופציונליים. הכל פועל בדפדפן שלך, כך שהרשימה לעולם לא עוזבת את המחשב שלך.
מדוע הסרת קווים כפולים מסתבכת?
על פני השטח, " הסר שורות כפולות" נשמע כמו פעולה בודדת. בפועל זה אומר לפחות שלושה דברים שונים בהתאם למה שאתה עושה, ורוב הכלים נותנים לך רק אחד מהם.
אם אתה מנקה רשימת תפוצה, אתה רוצה עותק אחד של כל כתובת ולא אכפת לך איזה עותק ישרוד. אם אתה מבקר קובץ תצורה, אולי תרצה למצוא רק את השורות ששוכפלו בטעות כדי שתוכל לחקור אותן. אם אתה משווה בין שני יצוא ממוזג, אולי תרצה להסיר כל שורה שמופיעה יותר מפעם אחת כדי שתישאר עם הערכים הייחודיים באמת. אלו תוצאות הפוכות מאותו קלט, והגעה לגיליון אלקטרוני's " הסר כפילויות" כפתור נותן לך בדיוק אחד מהם.
סדר הוא הסיבוך השני ברגע שכלי ממיין את הרשימה שלך כדי להקל על מניעת כפילויות, הוא הרס מידע שורות יומן הן כרונולוגיות רשומות מיוצאות נושאות לעתים קרובות רצף מרומז רשימת השמעה, סדר בנייה, רשימה של שלבי הגירה: כל אלה אומרים משהו בגלל הסדר שבו הם נמצאים. deduplicator ששומר על הסדר עושה אך ורק יותר עבודה מאשר אחד שממיין ראשון, כי הוא צריך לזכור לאן שייכת כל שורה ששרדה.
מהם שלושת מצבי ההסרה?
הכלי נותן לך שלושה מצבים כי אלו שלוש המשימות האמיתיות. הנה מה שכל אחד מחזיר עבור אותו קלט.
| מצב | מה זה שומר | שימוש אופייני |
|---|---|---|
| שמור ייחודי | עותק אחד מכל שורה | תכפיל רשימת תפוצה, תסדר רשימת מילים |
| הסר את כל הכפילויות | רק שורות שהופיעו בדיוק פעם אחת | בודד את השורות הייחודיות באמת על פני יצוא ממוזג |
| שמור רק כפילויות | עותק אחד של כל שורה שחוזרת על עצמה | בדוק אילו ערכים שוכפלו בטעות |
קח רשימה של תשע שורות: apple, Banana, cherry, apple, date, banana, cherry, apple, fig. במצב שמירה ייחודי עם התאמה תלוית רישיות שאתה מקבל apple, Banana, cherry, date, banana, cherry, fig, כי Banana ו banana האם מחרוזות שונות עד שאתה מקפל מקרה. במצב הסר הכל אתה מקבל Banana, date, banana, fig, מכיוון שאלו השורות היחידות שלעולם לא חוזרות. במצב שמירה-רק-כפולים אתה מקבל apple, cherry, שתי השורות שהופיעו יותר מפעם אחת.Same input, שלוש תשובות, ואתה בוחר איזו שאלה אתה שואל.
איך לשמור על עבודה ראשונה לעומת לשמור אחרונה?
במצב keep-unique ו-keep-only-duplicates, עותק אחד של כל שורה חוזרת שורד. The "keep first" ו-"keep last" toggle מחליט איזה מהם.
זה משנה יותר ממה שזה נראה תגיד כל שורה היא רשומה שבה ערכים מאוחרים יותר הם תיקונים של קודמים, וזה נפוץ ביומנים של נספחים בלבד ובזרמי אירועים אתה רוצה את הגרסה האחרונה, לא את הראשונה. Keep-last הולך ברשימה, מוצא את המיקום הסופי של כל שורה נפרדת, ופולט את השורה שם, כך שהעותקים ששרדו עדיין מופיעים בסדר התרחשותם האחרונה. Keep-first עושה את ההיפך ופולט כל שורה במיקום המוקדם ביותר שלה. עבור רוב עבודות הניקוי ההבדל אינו נראה מכיוון שהשורות המשוכפלות זהות בכל מקרה, אך כאשר המיקום נושא משמעות, הבחירה חוסכת ממך להפוך את הרשימה, לבטל את השכפול ולהחזיר אותה לאחור.
כיצד אוכל להשתמש במסיר הקו הכפול?
זרימת העבודה קצרה בכוונה.
- הדבק את הטקסט שלך בתיבת הקלט, ערך אחד בכל שורה הכלי סופר את השורות תוך כדי הקלדה.
- בחר מצב: שמור על ייחודיות, הסר את כל הכפילויות או שמור רק כפילויות אם אתה במצב ששומר עותק אחד, בחר אם ההתרחשות הראשונה או האחרונה שורדת.
- הגדר את אפשרויות ההתאמה. הפעל את " התעלם ממקרה" כך
Appleוappleקריסה יחד, " Trim whitespace" כך שקווים עם רווחים מובילים או נגררים תועים עדיין תואמים, ו-" הסר שורות ריקות" כדי להוריד שורות ריקות באותו מעבר. - קרא את הפלט הכותרת מראה כמה שורות יצאו וכמה הוסרו, כך שאתה יכול לבדוק את התוצאה לפני העתקתה בלחיצה אחת.
מכיוון שהפלט מתעדכן בשידור חי, אתה יכול להחליף את " התעלם ממקרה" הפעלה וכיבוי וצפה בשינוי הספירה שהוסר, שזו דרך מהירה לדעת אם הכפילויות שלך היו מדויקות או שונות רק באותיות רישיות.
מדוע התאמה צריכה אפשרויות מארז ורווח לבן?
שני קווים שנראים זהים לך לא תמיד זהים למחשב. [email protected] ו [email protected] האם אותה תיבת דואר בפועל, מכיוון שחלק הדומיין של כתובת דואר אלקטרוני אינו רגיש לרישיות ורוב הספקים מתייחסים לחלק המקומי גם כך. אבל כמחרוזות גולמיות הם שונים, אז מסיר שכפול מדויק שומר על שניהם. The " התעלם ממקרה" אפשרות מקפלת את שניהם לצורה נפוצה לפני ההשוואה, אז הם נחשבים כאחד.
Whitespace הוא המטרידן השקט האחר. כאשר אתה מעתיק שורות מטבלה, מסוף או PDF, לעתים קרובות אתה קולט רווחים נגררים או כרטיסייה תועה שאינך יכול לראות. cherry ו cherry האם קווים שונים עד שאתה לקצץ אותם. Turning on "Trim whitespace" strips the rounding blanks before matching, אשר תופס את כל המעמד הזה של כמעט-כפול שאחרת היה שורד ההשוואה עדיין מתייחסת למרווח פנימי כמשמעותי, אז New York ו NewYork הישאר נבדל, וזה מה שאתה רוצה.
זו גם הסיבה שהכלי אף פעם לא חותך או מקפל רישיות בשקט. לפעמים האותיות הגדולות או ההזחה הן הנקודה, למשל כשאתה מבטל שכפול של קטעי קוד מקור. האפשרויות כבויות כברירת מחדל, כך שהכלי עושה בדיוק מה שאתה רואה, ואתה מצטרף להתאמה רופפת יותר רק כאשר הנתונים דורשים זאת.
במה זה שונה ממיון או השוואת רשימות?
ה קוֹרֵא ה יכול גם להסיר כפילויות, אבל הוא עושה זאת כחלק ממיון הרשימה, והוא תמיד שומר על ההתרחשות הראשונה. זה מושלם כשאתה רוצה תוצאה בסדר אלפביתי, לא משוכפל. זה הכלי הלא נכון כשהסדר קדוש. מסיר השורות הכפול קיים בדיוק למקרה שבו אסור למיין.
ה רשימה השווה הכלי עונה שוב על שאלה אחרת: בהינתן שתי רשימות, מה יש בשתיהן, מה רק בראשונה ומה רק בשנייה. כלומר מוגדר אריתמטיקה על פני שתי כניסות. הסרת שורות כפולות עוסקת בחזרה בתוך קלט בודד. אם אתה מוצא את עצמך מדביק את אותה רשימה בשני החריצים של כלי השוואה כדי למצוא כפילויות פנימיות, ה-deduplicator הוא המכשיר הישיר יותר.
ואם מה שאתה צריך זה ספירה ולא רשימה נקייה, ה מונה מילים דוחות מסתכמים, בעוד שהמבטל מדווח על כמה שורות הוא הסיר. הגעה לאחד הנכון חוסכת שלב. בחירת הכלי הנכון לעבודה צרה היא נושא שכדאי להפנים; המקרה הרחב יותר לשמירה על קבוצה של כלי עזר קטנים וממוקדים בהישג יד מפורט במדריך זה ל כלי פרודוקטיביות למפתחים.
האם הנתונים נשארים פרטיים?
כן, וזה לא קו שיווקי כל הפעולה פועלת ב-JavaScript בתוך לשונית הדפדפן שלך אין שלב העלאה, אין שיחת API ואין עיבוד בצד השרת כאשר אתה מדביק רשימה של הודעות דואל של לקוחות, שמות מארח פנימיים או מפתחות רישיון, הטקסט הזה עובר מניפולציות בזיכרון במחשב שלך והוא נמחק כאשר אתה סוגר את הכרטיסייה. אתה יכול לאשר זאת על ידי פתיחת הדפדפן שלך 's לוח רשת וצפייה בו שותק בזמן שאתה עובד, או על ידי ניתוק מהאינטרנט לאחר טעינת הדף ולראות שהכלי ממשיך לעבוד.
עבור כל מי שמטפל בנתונים מוסדרים או רגישים, המאפיין הזה הוא כל הסיבה להעדיף כלי בצד הלקוח על פני כלי מתארח. deduplicator מקוון נוח שמפרסם בשקט את הרשימה שלך ל-backend הוא החלטה לטיפול בנתונים שלא קיבלת במודע. כדאי להבין את הפשרות בין כלי עזר מבוססי דפדפן לשרתים במלואם, ואת הסקירה הכללית הזו של פרטיות נתונים עם כלים מקוונים מכסה היכן נמצאים הסיכונים האמיתיים.
מהם הגבולות המעשיים?
בגלל שהעבודה מתרחשת בזיכרון, התקרה היא לשונית הדפדפן שלך ולא מכסה העלאה בפועל אתה יכול להדביק עשרות אלפי שורות ולקבל תוצאה מיידית רשימות במאות אלפי השורות עדיין עובדות אבל יתחילו להרגיש את לחץ הזיכרון של החזקת הקלט, הפלט ומבני החיפוש בבת אחת, שהיא מגבלה ברמת הכרטיסייה, לא ברמת הכלי לניקוי חד פעמי של קובץ עצום באמת, מעבר שורת פקודה עם משהו כמו awk '!seen[$0]++' האם הכלי הטוב יותר; עבור הרשימה היומיומית שחיה בלוח שלך, כלי הדפדפן מהיר יותר להגיע אליו.
הכלי משווה שורות שלמות, לא מחרוזות משנה או שדות אם הכפילויות שלך הן " אותה רשומה אבל עם עמודת חותמת זמן אחרת," השורות אינן זהות והכלי מתייחס אליהן בצורה נכונה כמובדלת. במצב זה היית מפשיט תחילה את העמודה המשתנה, ואז מבטל שכפול. הידיעה שההשוואה היא שורה שלמה היא מה שמאפשר לך לחזות את התוצאה בכל פעם.
מתי עלי להושיט יד לכלי הזה?
התשובה הכנה היא: בכל פעם שיש לך רשימה בלוח שלך עם חזרות שאתה רוצה נעלם וסדר שאתה רוצה לשמור רשימות תפוצה ויצוא דואל הם המקרה הברור ניקוי ערכת מילות מפתח לפני ייבוא זה לתוך כלי SEO הוא אחר, במיוחד מזווג עם ה ממיר אותיות רישיות וקטנות כאשר המקור ערבב אותיות רישיות. ביטול שכפול שורות יומן כדי למצוא הודעות שגיאה ברורות, סידור רשימה של תלות, קריסת עמודה מודבקת של תגים: כל אלה הן עבודות של חמש שניות שבעבר היו עבודות של חמש דקות.
הדפוס שקושר אותם יחד הוא שהנתונים הם טקסט, החזרות מדויקות או כמעט כך, והרצף חשוב. כאשר שלושתם מחזיקים, עריכה ידנית איטית ונוטה לשגיאות, גיליון אלקטרוני הורס את הסדר, ומבטל שכפול בצד הלקוח הוא בדיוק בגודל הכלי הנכון.
מהן הטעויות הנפוצות בעת ביטול שכפול רשימה?
הטעות שאני רואה לרוב היא ביטול כפילויות לפני הניקוי, כאשר זה צריך להיות הפוך. אם ברשימה שלך יש רווחים נגררים או אותיות רישיות מעורבות, מעבר התאמה מדויק משאיר כמעט כפילויות מאחור ואתה מסיק את הכלי " החמצת כמה." זה לא קרה; ביקשת ממנו להתאים בדיוק והקווים היו שונים באמת. הפעל את החיתוך והתעלם תחילה מהמקרה, לאחר מכן הסר, וספירת הקווים שהוסרו בדרך כלל קופצת באופן שמתאים לבסוף לאינטואיציה שלך הכלי מריץ את שני השלבים במעבר בודד בסדר הנכון, כך שהפעלת האפשרויות היא כל מה שאתה צריך.
הטעות השנייה היא שימוש במצב הלא נכון לשאלה. "אני רוצה למצוא את הכפילויות" ו "אני רוצה להסיר את הכפילויות" נשמע דומה אבל קורא למצבים הפוכים אם אתה עובר למצב remove-all בציפייה לראות מה חזר על עצמו, אתה מקבל את ההיפוך המדויק: השורות שהיו ייחודיות. קרא את תוויות המצב כמשפט שהם משלימים שמור על אמצעים ייחודיים שמור אחד מכל אחד הסר את כל הכפילויות פירושו מחק כל דבר עם תאום שמור רק כפילויות פירושו הראה לי את התאומים.
השלישי הוא לשכוח שההשוואה היא שלמה-קו שתי רשומות הנבדלות רק בחותמת זמן או בעמודת מזהה אינן כפילויות בכל הנוגע לכלי, מכיוון שהקווים אינם זהים. כאשר ה-"duplicate" אכפת לך הוא תת-קבוצה של השורה, הסר תחילה את החלק המשתנה ולאחר מכן הסר את התוצאה. להיות מפורש לגבי מה שנחשב כהתאמה הוא מה שהופך את הפלט לחיזוי, וצפוי הוא כל העניין של כלי קטן: אתה אמור להיות מסוגל להסתכל על הקלט שלך ועל ההגדרות שלך ולדעת בדיוק מה ייצא לפני שתלחץ.
שָׁוא
כיצד אוכל להסיר שורות כפולות מהטקסט?
הדבק את הטקסט שלך במסיר השורות הכפולות עם ערך אחד בכל שורה ושמור על מצב ברירת המחדל הייחודי הכלי שומר את העותק הראשון של כל שורה ומסיר את השאר באופן מיידי, ואז תוכל להעתיק את התוצאה המנוקה.
האם הוא שומר על הסדר המקורי של השורות?
כן. בניגוד לגישת מיון ודדופה, הכלי הזה מסיר כפילויות במקום ומשאיר את הקווים ששרדו בסדר המקורי שלהם. זה חשוב ליומנים, יצוא וכל רשימה שבה לרצף יש משמעות.
האם אני יכול לשמור רק את השורות ששוכפלו?
כן. עבור למצב שמירה-רק-כפולים והכלי מחזיר עותק בודד של כל שורה שהופיעה פעמיים או יותר, כך שתוכל לראות בדיוק אילו ערכים חזרו על עצמם.
מה ההבדל בין שלושת המצבים?
יוניק שומרת עותק אחד של כל שורה הסר-הכל מוחק כל שורה שיש בה שכפול כלשהו, ומשאיר רק שורות שכבר היו ייחודיות שמור-רק-משכפל מחזיר רק את השורות שחזרו על עצמן, עותק אחד כל אחת.
איך אני מתעלם ממקרה בעת מציאת כפילויות?
הפעל את האפשרות התעלם ממקרה. עם זה מופעל, שורות הנבדלות רק באותיות רישיות, כגון "Apple" ו-"apple", מטופלים כאל אותו קו ומתמוטטים לאחד.
מדוע לא מתייחסים לשני קווים שנראים זהים כאל כפילויות?
כברירת מחדל ההשוואה מדויקת, כך שרווחים נגררים או אותיות רישיות שונות מבדילות בין שני קווים. הפעל את החיתוך כדי להפשיט את הרווח הלבן שמסביב והתעלם ממקרה כדי לקפל את האותיות לפני ההתאמה.
האם זה יכול להסיר גם שורות ריקות?
כן. אפשר את האפשרות הסר שורות ריקות וכל השורות הריקות נשמטות באותו מעבר, לפני התאמה של כפילויות, כך שלפלט אין פערים שנשארו.
האם בטוח לנקות כאן רשימות רגישות?
כן כל העיבוד מתרחש כולו בדפדפן שלך עם JavaScript הטקסט שלך לעולם לא מועלה או מאוחסן, והכלי ממשיך לעבוד ללא חיבור לרשת לאחר טעינת הדף.
