คนไทยนิยมเรียกชื่อนายโรเบิร์ต ฮันเตอร์ ว่า นายหันแตร เรียกห้างของนายฮันเตอร์ว่า ห้างหันแตร พ่อค้าต่างชาติเรียกห้างของนายฮันเตอร์ว่า โรงสินค้าอังกฤษ (The British Factory) นับได้ว่าเป็นห้างสรรพสินค้าแห่งแรกในเมืองไทย ซึ่งนับได้ว่านายฮันเตอร์เป็นบุคคลที่นำสินค้าหรือความแปลกใหม่หลายอย่างที่คนไทยไม่เคยเห็นมาก่อน เข้ามาสู่ประเทศ
นอกจากนี้แล้ว นายฮันเตอร์ยังได้เป็นบุคคลที่นำตัวอิน-จัน แฝดสยามชาวไทยเดินไปแสดงตัวที่สหรัฐอเมริกา จนทำให้สากลได้รู้จักกับแฝดสยามเป็นครั้งแรก และทั้งคู่ก็ได้กลายมามีชื่อเสียงโด่งดังในเวลาต่อมา
โรเบิร์ต ฮันเตอร์ นับได้ว่าเป็นชาวตะวันตกที่สามารถพูดภาษาไทยและเข้าใจคนไทยได้เป็นอย่างดี และมีความรู้จักกับขุนนางในราชสำนักคนสำคัญหลายคน ชีวิตส่วนตัวได้สมรสกับหญิงไทยเชื้อสายโปรตุเกสที่บ้านกุฎีจีน มีชื่อว่า แองเจลิน่า โดยมีชื่อภาษาไทยว่าทรัพย์ เชื่อว่าสืบเชื้อสายมาจากเจ้าพระยาวิชาเยนทร์รุ่นที่สี่ เรียกกันอย่างยกย่องว่า ท่านผู้หญิงทรัพย์ เธอเป็นผู้นำชุมชนกระดีจีน(กุฎีจีน) โดยฮันเตอร์ตั้งใจไว้ว่าจะใช้ชีวิตทั้งหมดอยู่ในประเทศไทย
แต่นายฮันเตอร์มีพฤติกรรมที่ไม่ชอบมาพากลหลายอย่าง เช่น เคยเสนอขายพรมให้แก่ราชสำนัก โดยที่ไม่ได้สั่ง แต่ราชสำนักไม่ซื้อก็เกิดความไม่พอใจ หรือมักลักลอบค้าฝิ่นจากอังกฤษโดยซ่อนมากับสินค้าประเภทอื่น ทั้งที่กฎหมายไทยในเวลานั้นประกาศห้ามสูบฝิ่น เพื่อส่งเสริมศีลธรรมที่ดีงาม หลายครั้งเมื่อถูกตรวจพบ นายฮันเตอร์ก็มักอ้างเพื่อให้เห็นแก่ความสัมพันธ์ระหว่างชาติ หรือไม่ก็ขู่ว่าจะนำเรื่องไปฟ้องต่อทางการอังกฤษให้นำเรือรบมาปิดปากอ่าวไทย เป็นต้น
ต่อมา สหายชาวต่างชาติของนายฮันเตอร์คนหนึ่งได้ทดลองยิงปืนคาบศิลา ในบริเวณที่วัด พระสงฆ์ที่จำพรรษาอยู่ไม่พอใจ ได้เข้าไปห้ามปรามแต่ก็ไม่ฟัง พระสงฆ์จึงทำร้ายสหายของนายฮันเตอร์ด้วยการตีที่ศีรษะจนแตก ทางการไทยสอบสวน โดยมีองค์ประธานคือ พระบาทสมเด็จพระจอมเกล้าเจ้าอยู่หัว (ในขณะนั้นดำรงพระอิสริยยศ เจ้าฟ้ามงกุฎ สมมติเทวาวงศ์พงษ์อิศรกษัตริย์) ผลการสอบสวนพบว่า พระสงฆ์ไทยผิด จึงโปรดฯ ให้ลงโทษด้วยการให้นั่งสมาธิกลางแดดครึ่งวัน ยังความไม่พอใจแก่นายฮันเตอร์เพราะต้องการให้ลงโทษถึงขั้นประหารชีวิต
ความสัมพันธ์ระหว่างนายฮันเตอร์กับทางการไทยขาดสะบั้นลง เมื่อทางไทยจะทำการรบกับโครชินไชน่า (เวียดนาม) นายฮันเตอร์ได้เสนอขายปืนคาบศิลาจำนวน 200 กระบอก และต้องการให้ทางไทยซื้อให้หมด ทั้งที่ทางการไทยต้องการเพียง 100 กระบอกเท่านั้น และยังยัดเยียดขายเรือกลไฟที่ขึ้นสนิมอีกลำหนึ่ง ที่ชื่อ เอ็กเพรส (Express) โดยเรือลำนี้แล่นมาจากเมืองท่าลิเวอร์พูลพร้อมกัปตันชื่อ พี.บราวน์ แม้คนไทยในเวลานั้นจะฮือฮาเพราะไม่เคยเห็น "เหล็กลอยน้ำได้" อย่างเช่นเรือกลไฟมาก่อน แต่นายฮันเตอร์ได้เสนอขายในราคา 50,000ดอลลาร์สหรัฐ ซึ่งทางไทยมองว่าเป็นการขายที่ไม่ชอบธรรม ประกอบกับพฤติกรรมของนายฮันเตอร์ในระยะหลังที่มักแสดงออกถึงการไม่แสดงความเคารพต่อไทยซึ่งเป็นเจ้าของประเทศ เช่น เมื่อขายเรือกลไฟไม่ได้ นายฮันเตอร์ได้ประกาศว่าจะนำไปขายให้โครชินไชน่าซึ่งเป็นคู่กรณีของไทยแทน จึงได้เนรเทศนายฮันเตอร์พร้อมกับภรรยาให้ออกนอกราชอาณาจักรและห้ามกลับเข้ามาอีกตลอดชีวิตไปในปี พ.ศ. 2387 โดยได้เดินทางไปที่สิงคโปร์ด้วยเรือเอ็กเพรสนี่เอง รวมระยะเวลาที่นายฮันเตอร์อยู่ในเมืองไทยทั้งหมด 18 ปี
แต่ก็ได้มีบันทึกโดยชาวตะวันตกด้วยกันเอง ที่บันทึกไว้ว่า นายฮันเตอร์ก็ยังได้กลับมาที่เมืองไทยมากกว่า 1 ครั้ง แต่เป็นการเข้ามาเพื่อสะสางสัมภาระของตนที่เหลืออยู่และจัดแจงธุระต่าง ๆ ก่อนที่จะจากไปโดยถาวรในที่สุด