ב-13 ביוני 1956, חודשים ספורים לפני פרוץ מלחמת סיני, הוקמה היאחזות נח"ל חדשה בחולות הנגב המערבי. היא הוקמה במקום שנודע בעבר כ'כרם אבו-סאלם' ונקראה תחילה 'כרם אבשלום', הן כאזכור לשם הקודם והן למען הנצחת אבשלום פיינברג, שהיה מייסד מחתרת ניל"י ונהרג סמוך למקום. בטקס ההיאחזות הרשמי, שהתקיים מספר חודשים לאחר ההקמה, הוחלט לשנות את שם המקום ל'כרם שלום'. בחודשים הראשונים ההיאחזות הוחזקה על ידי מספר גרעינים של הקיבוץ הארצי, תנועת המושבים והקיבוץ הדתי, והחל מנובמבר 1957 היא הוחזקה באופן קבוע על ידי גרעיני הקיבוץ הארצי בלבד.
הימים הראשונים בנגב היו רצופי אתגרים. ההיאחזות, בהיותה קרובה מאוד לגבול עם רצועת עזה, סבלה רבות מפלישות, גניבות, וירי ממוצבים בתוך הרצועה. לצבא המצרי הייתה אף תוכנית לכיבוש המקום שסוכלה בעקבות מלחמת סיני. בשנים הראשונות המקום היה מנותק לחלוטין ממערכת הכבישים הארצית, ורק בשנת 1959 נבנה כביש גישה שהגיע עד להיאחזות. על פי התכנית המקורית הישוב היה אמור להתאזרח כבר ב-1960, אך הדבר לא יצא לפועל והתכנית נדחתה.
מספר שנים לאחר מכן, בשנת 1966, החל להתגבש בקרב חברי קבוצת מעיין מקיבוץ מעברות הרעיון להקים גרעין של בני קיבוצים שיקים קיבוץ חדש. הם שלחו מכתבים בנושא לבני קיבוצים בגילם מכל רחבי הארץ וקיבלו תגובות רבות, ועד מהרה הנהגת השומר הצעיר נכנסה לתמונה והחלה לתמוך בתהליך הקמת גרעין הבנים. בינואר 1967 התקיים כנס הגרעין הראשון, ומאז הגרעין הלך והתגבש ונבחר שמו - גיל"ת (גרעין ילדי תנובה). חברי הגרעין עברו הכשרה משותפת בקיבוץ להב ולאחר מכן התגייסו יחד לנח"ל. בסוף שנת 1967 עמדו בפני חברי הגרעין שתי אפשרויות - להצטרף לקיבוץ אדמית או להתיישב בהיאחזות הנחל 'כרם שלום'. בהצבעה שנערכה בגרעין התקבלה ברוב מוחלט ההחלטה ליישב את כרם שלום, וב-16.5.1968 התקיים טקס אזרוח היאחזות הנח"ל והיא הועברה באופן רשמי לידיהם של גרעין גיל"ת.
האתגר הגדול עבור חברי הגרעין היה לצלוח את השנה הראשונה, שבה רבים מהם נכנסו לשירות סדיר בצה"ל. בעקבות כך נותרו בנקודה רק כ-35 חברים, והם לבדם היו צריכים לתחזק את הקיבוץ הצעיר. במאי 1969 חזרו מרבית החברים לקיבוץ ובעקבות זאת החלה בקיבוץ תקופה של צמיחה משמעותית - המשק התרחב ואוכלוסיית הקיבוץ גדלה. ביולי 1969 הגיעה לקיבוץ ההשלמה הראשונה - גרעין נוסף של בני קיבוצים שנקרא 'לביא'. בשנים שלאחר מכן הצטרפו לקיבוץ שתי השלמות נוספות - הגרעינים העירוניים שלום ואבשלום, שמאוחר יותר התפרסמו כחממה של אמנים ומובילי תרבות בארץ. בשנת 1969 איבד הקיבוץ לראשונה את אחד מחבריו, זאביק לביא, שנפל במהלך מלחמת ההתשה. בשנת 1970 נפל במלחמה חבר קיבוץ נוסף, אהוד אברמוביץ'.
כבר בשנת 1968, כשהיאחזות הנח"ל 'כרם שלום' אוזרחה, הוחלט כי חברי הקיבוץ יעברו בסופו של דבר לנקודת קבע אחרת שמיקומה נקבע ממש בסמוך לגבול עם רצועת עזה. הבנייה בנקודת הקבע החלה כבר אז, וכך עוד לפני שעברו אליה חברי כרם שלום כבר היו בה קו מים, כביש גישה ושטח נרחב עליו גידלו גידולי שלחין. בנוסף, נעשו כבר המדידות להקמת הבתים ובנייתם החלה. ב-25 באפריל 1971 התקיים טקס המעבר לנקודה החדשה.
השנים הבאות בקיבוץ היו שנים של ביסוס המשק והתשתיות והתייצבות הקהילה. המשק הלך וגדל ולבסוף התייצב והתקבע, כל חברי גיל"ת סיימו את שירותם הצבאי והצטרפו באופן רשמי לכוח העובד במשק, הבנייה בנקודה החדשה הושלמה כמעט לחלוטין, וחברי הקיבוץ התגבשו והחלו לייצר לעצמם שגרה קיבוצית שכללה בין השאר ערבי תרבות משותפים ופעילות פוליטית רבה.
עם פרוץ מלחמת יום כיפור באוקטובר 1973, רבים מחברי הקיבוץ גויסו מיד ללחימה ונסעו להשתתף בקרבות. נטל תחזוק הקיבוץ והמשק נפל על החברים שנותרו מאחור, שחיו בחשש מתמד לבטחונם מפאת קרבתם לגבול עם רצועת עזה ומצרים. רק באמצע חודש מרץ 1974 חזרו לקיבוץ כל החברים שגויסו, והקיבוץ החל להשתקם.
בשנת 1975 הגיע לקיבוץ גרעין 'דווקא', ובעקבות הגעתו החלה התרחבות כלכלית משמעותית בקיבוץ. הוקמו ענפי משק חדשים וקבוצת בניין, והקיבוץ נכנס לשותפות עם ניר-יצחק במפעל 'פולישק' לייצור יריעות פלסטיק.
קיבוץ כרם שלום נודע בכל הארץ כקיבוץ פעיל מאוד מבחינה פוליטית. חבריו היו ממובילי פעילות השמאל במדינה, ולא פעם עוררו שיח ציבורי בשל דעותיהם הלעיתים רדיקליות. בין ההתארגנויות הפוליטיות המרכזיות של הקיבוץ נמנו הפגנות נגד פינוי הבדואים מצפון סיני, מאבק נגד ההתיישבות ברמת הגולן, תמיכה בזכויותיהם של אסירים פלסטיניים ועוד. מרבית חברי הקיבוץ היו מצביעים נאמנים של מפלגת חד"ש, שייצגה את פלגי השמאל הרדיקלי בישראל, וחלקם אף היו מצביעי רק"ח - המפלגה הקומוניסטית הישראלית. דעותיהם של חברי הקיבוץ ופעילותם הפוליטית היוו לא אחת סיבה לעימות עם הנהגת התנועה בראשות מאיר יערי ויעקב חזן, שניסו להנהיג קו פוליטי אחיד בכל קיבוצי התנועה.
בשנת 1976 החל בקיבוץ תהליך איטי של התפוררות, שאת ניצניו הראשונים ניתן היה לראות בדמות ויכוחים ואי הסכמות בין החברים על נושאים בסיסיים בחיי הקיבוץ. בין השאר, התנהלו ויכוחים סוערים על הלינה המשותפת, על ההשתלמויות והיציאה ללימודים גבוהים, ועל האופי הפוליטי של הקיבוץ. לאורך שנת 1977 היו עזיבות רבות בקיבוץ כתוצאה מאותם חיכוכים. נוסף על כך, התגלה כי בבחירות שהתקיימו באותה השנה היו תשעה חברי קיבוץ שהצביעו לרק"ח. דבר זה לא היה מקובל על ידי הנהגת הקיבוץ הארצי, שהכריזה כי היא מתכוונת לערוך דיונים בנוגע להוצאת מצביעי רק"ח מהקיבוץ. בסופו של דבר התאגדו כל תשעת מצביעי רק"ח והחליטו לעזוב את הקיבוץ מיוזמתם. כמות העזיבות הגדולה פגעה קשות בכרם שלום, שהיה קיבוץ קטן וצעיר והתקשה להשתקם.
חברי גרעין 'דווקא' היו הסיבה שבזכותה הצליח הקיבוץ לשרוד באותה התקופה. לאחר עזיבות רבות של חברי גרעינים וותיקים יותר, חברי 'דווקא' הרגישו כי גורל הקיבוץ נמצא בידיהם והחלו לעבוד במרץ על מילוי החוסרים בענפים ועל שיקום המשק. הוקמה מזכירות חדשה בקיבוץ וגל העזיבות נבלם. המצב הכלכלי בקיבוץ התייצב, ואף יותר מכך - התאפשרה צמיחה כלכלית ותרבותית. גם המצב הפוליטי בקיבוץ התייצב, וחברי הקיבוץ, שהיו תמיד מעורבים מבחינה פוליטית בכל הנעשה במדינה, החלו להתאגד שוב עבור מטרות משותפות כגון הפגנות נגד אזרוח 'נאות' בסיני ופרסום מסמך פוליטי הקורא להכיר בזכותו של העם הפלסטיני להגדרה עצמית.
לאחר תקופה יציבה בקיבוץ שנמשכה כשנתיים, החלו שוב רחשי עזיבה בקרב החברים, ובפברואר 1978 פרץ שוב גל עזיבות משמעותי. חברי הקיבוץ שנותרו החלו לקיים שיחות שעסקו בצורך לצמצם את המשק מפאת המחסור בכוח אדם. על אף הקשיים, היו כאלה שנאחזו בכרם שלום ובחרו להישאר ולהילחם על קיומו. המצב הכלכלי נשאר עדיין יציב הודות למשק שהניב יבול רב ולענפי החי הרווחיים. גם בתחום הפוליטי המשיך הקיבוץ בפעילות שמאל מתמדת שאפיינה אותו.
לאורך השנים הקיבוץ חווה טלטלות ומשברים רבים, כולם נבעו מאותן הסיבות - עזיבות רבות וויכוחים פנימיים על נושאים פוליטיים וחברתיים. המצב בקיבוץ נע בין תקופות שפל לתקופות של יציבות במשך זמן רב, עד שבשנת 1995, לאחר סכסוך מתוקשר של חברי הקיבוץ הוותיקים עם מוסדות התנועה הקיבוצית, הוחלט לפרק את הקיבוץ וחבריו התפזרו ברחבי הארץ, מלבד מעטים שנותרו לגור במקום.
שש שנים לאחר מכן, בשנת 2001, הוחלט בתנועה הקיבוצית להקים את כרם שלום מחדש. קיבוץ ניר יצחק הוותיק אימץ את כרם שלום בשנים הראשונות וסייע בשיקום המשק. הקהילה החלה להתחזק מחדש, אך בשל הקרבה לרצועה והסכנה הביטחונית מעטים הסכימו לבוא להתגורר במקום, והקיבוץ נתקל שוב במחסום צמיחה כשהממשלה סירבה לסייע במיגון הבתים שנועדו לקלוט חברים חדשים. חברי הקיבוץ נאלצו להתמודד עם איום בטחוני מתמד בדמות ירי פצמ"רים וקאסמים מכיוון רצועת עזה, שהגיע לשיאו במבצעים עופרת יצוקה (2008), עמוד ענן (2012) וצוק איתן (2014). בגבול הקיבוץ עם רצועת עזה הוקמה חומת בטון גבוהה שמטרתה להגן על תושביו. בשנת 2017, בשיתוף פעולה של התנועה הקיבוצית עם הקיבוץ הדתי, החלה בקיבוץ קליטה של משפחות דתיות, דבר שהוביל שוב לצמיחה ולייצוב הקיבוץ, שכעת מונה כ-70 חברים.
במתקפת הטרור של החמאס ב-7 באוקטובר 2023, חדרו המחבלים לשטח ישראל דרך מעבר כרם שלום הסמוך לקיבוץ. במהלך היום ניסו המחבלים לחדור לקיבוץ מספר פעמים, אך בכל פעם נבלמו ע"י כוחות הנח"ל שנכחו במקום מבעוד מועד. כיתת הכוננות של הקיבוץ ניהלה קרב הירואי שנמשך כ-6 שעות והרגה עשרות מחבלים, ושניים מחבריה נפלו בקרב - עמיחי ויצן וידידיה רזיאל. עד שעות הערב הצליחו חברי כיתת הכוננות בעזרתם של כוחות צה"ל להשתלט חזרה על שטח הקיבוץ ולמנוע את חדירת המחבלים לבתים, כפי שקרה בקיבוצים סמוכים. לאחר מכן פונו חברי הקיבוץ ליישוב אשלים, שם הם נמצאים עד עכשיו, מחכים ליום שבו יוכלו לשוב לבתיהם ולחיות בשלום בקיבוצם האהוב.