他在杭州電子學院教了五年英文，1994年開了一家翻譯社。由於他的英文出色，1995年陪同一個官方代表團出訪了美國西雅圖，與美國投資商談判一條高速公路的建設項目。馬雲這時認識了因特網，他用“啤酒“和”中國“在網上搜查無果。

回到杭州之后，他相信中國人不可能不使用因特網。馬雲1993年碰到的朋友張紅回憶道，“我並不明白他說的是什麼。他相信因特網代表社會的未來，對所有的朋友都這樣講。”張紅當時還在念大學，后來接下了這個翻譯社。馬雲於是開始網上黃頁的工作並且獲得預期的成功。他在1997年放棄網上黃頁，商貿部建議他參加便利做生意的網站的建設工作，他於是來到北京。

1999年，他在浙江省創建了聯系企業與相關供應商的阿裡巴巴網站。這個網站是在一個小小的公寓裡面創建的，當時一共有十七名合作者。阿裡巴巴集團人力資源副總裁戴珊就是原創班組的成員。他回憶阿裡巴巴企業受到使命的引導，參加創建的小組的成員擁有同一個夢想。這個集團現在共有24000名員工。

阿裡巴巴在中國進入世貿組織的推動下獲得了成功。但是馬雲已經有了另一項計劃，即為個人消費者服務。他回憶當時所有人都很驚訝：天啊，你要進入eBay的地盤嗎？他認為沒有什麼不行。結果，淘寶網站以及名牌產品交易網站天貓網站每天的訂購數量達到了一千六百萬人次。

馬雲知道中國人並不尋求在拍賣場上拍到商品，而是喜歡淘寶。為他寫傳記的劉世英認為，中國人喜歡他不斷滿足大眾需求的創新精神。馬雲為擔心網上付款失竊的網民創建了阻止向第三方賬戶匯款的支付系統。

如今，這個從底層堀起的英雄在將eBay和PayPal趕出中國、並自詡支持五千多萬中小企業之后打算激流勇退。2012年，他大部分時間呆在美國，用於思考和放鬆。謝爾透露，馬雲雖然代表中國夢，但是他有著自己的美國夢。他向往美國這種激勵走向成功的開放社會。他認為馬雲今后會對事物的意義進行思考，總是在尋求發明生活當中的下一個篇章。而正如這些不斷探索的人士，他的目標並不明確，也可能不一定會成功。