נולד ביז'יורי שבפלך גרודנו של האימפריה הרוסית, ברוסיה הלבנה (כיום בבלארוס), ליוסף ומרים רביקוב. התגורר בעיירה סקידל. בצעירותו למד עם המקובל רבי שלמה אלישיב, בעל ה"לשם שבו ואחלמה". באלול תרע"ג (1913) עלה לארץ ישראל והתיישב בכפר אוריה. הרב קוק, שהיה אז רבן של יפו והמושבות, שכנע אותו לעבור לעיר יפו. הוא פתח סנדלריה ברחוב שבזי, בגבול שבין שכונת שבזי לשכונת נווה צדק, והתגורר ברחוב רב אשי פינת השחר' בגבול שבין שכונת נווה צדק לשכונת כרם ישראל.

תחילת פרסומו בארץ היה על ידי הרב קוק שהעיד עליו כי הוא מל"ו הצדיקים הנסתרים שבדור. בעקבות זאת החלו לפקוד את ביתו יהודים שביקשו את ברכתו, בעיקר בענייני רפואה, עקרות ושידוכים. השתייך לקבוצת מקובלים שלמדו יחד בשנות ה-60 וכונו על שם המקצוע שממנו התפרנסו

על פי המסופר בתולדותיו שבראש הספר "לקוטי רבי משה יעקב", החזון איש והבית ישראל נהגו לפקוד את ביתו.

עוד מסופר שערב מבצע סיני צפה את המלחמה והודיע על כך למקורביו, והוסיף כי "היהודים ינצחו". לפני מותו הותיר בקבוק יין סגור והורה לפותחו רק לאחר הניצחון עלגמאל עבדול נאצר. חצי שנה לאחר פטירתו נערכה מלחמת ששת הימים ולאחריה נפתח בקבוק היין שלגימה ממנו נחשבה לסגולה.

מדי שבת נהג לדרוש ברבים ואת ראשי הפרקים היה מעלה על הכתב. הרשימות יצאו בתשכ"ט בספר "ליקוטי רבי משה יעקב".

נפטר בשמחת תורה תשכ"ז ונקבר בבית הקברות שומרי שבת בבני ברק.

היה נשוי לרבקה לאה. בנם יוסף רביקוב היה סופר ומתרגם. יוסף ושלוש מאחיותיו - רחל, זהבה ורוחמה רביקוב לא נישאו מעולם.