由四川过湖南去，靠东有一条官路。这官路将近湘西边境到了一个地方名为“茶峒”的小山城时，有一小溪，溪边有座白色小塔，塔下住了一户单独的人家。这人家只一个老人，一个女孩子，一只黄狗。
小溪流下去，绕山岨流，约三里便汇入茶峒的大河。人若过溪越小山走去，则只一里路就到了茶峒城边。溪流如弓背，山路如弓弦，故远近有了小小差异。小溪宽约二十丈，河床为大片石头作成。静静的水即或深到一篙不能落底，却依然清澈透明，河中游鱼来去皆可以计数。小溪既为川湘来往孔道，水常有涨落，限于财力不能搭桥，就安排了一只方头渡船。这渡船一次连人带马，约可以载二十位搭客过河，人数多时则反复来去。渡船头竖了一枝小小竹竿，挂着一个可以活动的铁环，溪岸两端水槽牵了一段废缆，有人过渡时，把铁环挂在废缆上，船上人就引手攀缘那条缆索，慢慢的牵船过对岸去。船将拢岸了，管理这渡船的，一面口中嚷着“慢点慢点”，自己霍的跃上了岸，拉着铁环，于是人货牛马全上了岸，翻过小山不见了。渡头为公家所有，故过渡人不必出钱。有人心中不安，抓了一把钱掷到船板上时，管渡船的必为一一拾起，依然塞到那人手心里去，俨然吵嘴时的认真神气：“我有了口量，三斗米，七百钱，够了。谁要这个！”
但不成，凡事求个心安理得，出气力不受酬谁好意思，不管如何还是有人把钱的。管船人却情不过，也为了心安起见，便把这些钱托人到茶峒去买茶叶和草烟，将茶峒出产的上等草烟，一扎一扎挂在自己腰带边，过渡的谁需要这东西必慷慨奉赠。有时从神气上估计那远路人对于身边草烟引起了相当的注意时，便把一小束草烟扎到那人包袱上去，一面说，“不吸这个吗，这好的，这妙的，味道蛮好，送人也合式！”茶叶则在六月里放进大缸里去，用开水泡好，给过路人解渴。
管理这渡船的，就是住在塔下的那个老人。活了七十年，从二十岁起便守在这小溪边，五十年来不知把船来去渡了若干人。年纪虽那么老了。本来应当休息了，但天不许他休息，他仿佛便不能够同这一分生活离开。他从不思索自己的职务对于本人的意义，只是静静的很忠实的在那里活下去。代替了天，使他在日头升起时，感到生活的力量，当日头落下时，又不至于思量与日头同时死去的，是那个伴在他身旁的女孩子。他唯一的朋友为一只渡船与一只黄狗，唯一的亲人便只那个女孩子。
女孩子的母亲，老船夫的独生女，十五年前同一个茶峒军人，很秘密的背着那忠厚爸爸发生了暧昧关系。有了小孩子后，这屯戍军士便想约了她一同向下游逃去。但从逃走的行为上看来，一个违悖了军人的责任，一个却必得离开孤独的父亲。经过一番考虑后，军人见她无远走勇气自己也不便毁去作军人的名誉，就心想：一同去生既无法聚首，一同去死当无人可以阻拦，首先服了毒。女的却关心腹中的一块肉，不忍心，拿不出主张。事情业已为作渡船夫的父亲知道，父亲却不加上一个有分量的字眼儿，只作为并不听到过这事情一样，仍然把日子很平静的过下去。女儿一面怀了羞惭一面却怀了怜悯，仍守在父亲身边，待到腹中小孩生下后，却到溪边吃了许多冷水死去了。在一种近于奇迹中，这遗孤居然已长大成人，一转眼间便十三岁了。为了住处两山多篁竹，翠色逼人而来，老船夫随便为这可怜的孤雏拾取了一个近身的名字，叫作“翠翠”。
翠翠在风日里长养着，把皮肤变得黑黑的，触目为青山绿水，一对眸子清明如水晶。自然既长养她且教育她，为人天真活泼，处处俨然如一只小兽物。人又那么乖，如山头黄麂一样，从不想到残忍事情，从不发愁，从不动气。平时在渡船上遇陌生人对她有所注意时，便把光光的眼睛瞅着那陌生人，作成随时皆可举步逃入深山的神气，但明白了人无机心后，就又从从容容的在水边玩耍了。
老船夫不论晴雨，必守在船头。有人过渡时，便略弯着腰，两手缘引了竹缆，把船横渡过小溪。有时疲倦了，躺在临溪大石上睡着了，人在隔岸招手喊过渡，翠翠不让祖父起身，就跳下船去，很敏捷的替祖父把路人渡过溪，一切皆溜刷在行，从不误事。有时又和祖父黄狗一同在船上，过渡时和祖父一同动手，船将近岸边，祖父正向客人招呼：“慢点，慢点”时，那只黄狗便口衔绳子，最先一跃而上，且俨然懂得如何方为尽职似的，把船绳紧衔着拖船拢岸。
风日清和的天气，无人过渡，镇日长闲，祖父同翠翠便坐在门前大岩石上晒太阳。或把一段木头从高处向水中抛去，嗾使身边黄狗自岩石高处跃下，把木头衔回来。或翠翠与黄狗皆张着耳朵，听祖父说些城中多年以前的战争故事。或祖父同翠翠两人，各把小竹作成的竖笛，逗在嘴边吹着迎亲送女的曲子。过渡人来了，老船夫放下了竹管，独自跟到船边去，横溪渡人，在岩上的一个，见船开动时，于是锐声喊着：
“爷爷，爷爷，你听我吹，你唱！”
爷爷到溪中央便很快乐的唱起来，哑哑的声音同竹管声振荡在寂静空气里，溪中仿佛也热闹了一些。（实则歌声的来复，反而使一切更寂静一些了。）
有时过渡的是从川东过茶峒的小牛，是羊群，是新娘子的花轿，翠翠必争看作渡船夫，站在船头，懒懒的攀引缆索，让船缓缓的过去。牛羊花轿上岸后，翠翠必跟着走，站到小山头，目送这些东西走去很远了，方回转船上，把船牵靠近家的岸边。且独自低低的学小羊叫着，学母牛叫着，或采一把野花缚在头上，独自装扮新娘子。
茶峒山城只隔渡头一里路，买油买盐时，逢年过节祖父得喝一杯酒时，祖父不上城，黄狗就伴同翠翠入城里去备办东西。到了卖杂货的铺子里，有大把的粉条，大缸的白糖，有炮仗，有红蜡烛，莫不给翠翠很深的印象，回到祖父身边，总把这些东西说个半天。那里河边还有许多上行船，百十船夫忙着起卸百货。这种船只比起渡船来全大得多，有趣味得多，翠翠也不容易忘记。