MarkuprPlus: การบันทึกหน้าจอท้องถิ่นและ Markdown ที่มีการทำเครื่องหมายสำหรับ AI
MarkuprPlus จาก Hashfunction แปลงเซสชันหน้าจอที่บรรยายและการทำเครื่องหมายบนหน้าจอให้เป็น Markdown ที่มีโครงสร้างและพร้อมใช้งานสำหรับตัวแทน เพื่อเชื่อมช่องว่างในระดับพิกเซลระหว่างนักพัฒนาและตัวแทนการเขียนโค้ด AI แอปพลิเคชันนี้จับปัญหาของ UI ด้วยการบรรยายด้วยเสียงและเครื่องหมายภาพ จากนั้นบรรจุภาพที่ทำเครื่องหมายไว้ บทถอดเสียง และข้อมูลเมตาของเซสชันสำหรับการบริโภคโดยเครื่อง ระบบออกแบบเน้นการถอดเสียงบนอุปกรณ์ จุดสิ้นสุดเซิร์ฟเวอร์ MCP และการประมวลผลแบบท้องถิ่น ผู้ใช้เป้าหมายรวมถึงนักพัฒนาซอฟต์แวร์ นักออกแบบ UI/UX และวิศวกร QA ที่ต้องการบริบทภาพที่แม่นยำสำหรับการแก้ไขข้อบกพร่องที่ช่วยโดยตัวแทน.
แอปมีเป้าหมายในการแปลงข้อบกพร่องทางภาพให้เป็นหลักฐานที่เครื่องอ่านได้
แอปทำหน้าที่เป็น ท่อส่งข้อมูลจากภาพไปยังตัวแทน ที่มุ่งเป้าไปที่การเปลี่ยนภาพหน้าจอที่ไม่ชัดเจนให้เป็นรายงานที่ตัวแทนสามารถใช้ได้ มันมุ่งเน้นไปที่การนำเสนอผลลัพธ์ที่แม่นยำและมีการบันทึกเวลา สำหรับงานต่างๆ เช่น การดีบัก UI และการแปลการออกแบบเป็นโค้ด กระบวนการทำงานจะผลิตผลลัพธ์ที่มุ่งเน้นไปที่เครื่องจักรแทนที่จะเป็นบันทึกที่มีเพียงมนุษย์ ซึ่งช่วยเมื่อมีความจำเป็นที่ตัวแทนต้องอ้างอิงพิกเซลที่แน่นอนหรือตำแหน่งขององค์ประกอบแทนที่จะอนุมานเจตนาจากภาพแบนๆ
ผลลัพธ์ในท้องถิ่นที่กำหนดได้ลดการสูญเสียหลักฐานแต่ต้องการการตรวจสอบ
การบันทึก, ถอดความ, และภาพที่มีการอธิบายจะถูกเก็บรักษาในท้องถิ่นเพื่อให้ชุดหลักฐานยังคงสมบูรณ์แม้ว่าตัวแทนภายนอกจะล้มเหลว ซึ่งสนับสนุนการตรวจสอบ การบรรยายด้วยเสียงจะถูกถอดความในอุปกรณ์เพื่อลดการเปิดเผยภายนอก Markdown ที่เกิดขึ้นจะช่วยปรับปรุงสัญญาณสำหรับตัวแทนที่ยอมรับ MCP หรือ Markdown อย่างไรก็ตามการตีความโมเดลของเจตนาพิกเซลนั้นไม่รับประกัน ดังนั้นการตรวจสอบโดยมนุษย์ยังคงจำเป็นสำหรับการแก้ไขที่สำคัญ
การตั้งค่าที่ไม่มีอุปสรรคสำหรับกระบวนการทำงานบนเดสก์ท็อป โดยมีข้อจำกัดของแพลตฟอร์มและตัวแทน
การตั้งค่าเหมาะกับกระบวนการทำงานของนักพัฒนา: เครื่องมือทำงานเป็นแอปพลิเคชันเดสก์ท็อปสำหรับ macOS และ Windows, เสนอสายคำสั่ง CLI และสามารถเปิดเซิร์ฟเวอร์ MCP ด้วยคำสั่ง npx เพียงคำสั่งเดียว การทำเครื่องหมายด้วยท่าทางใช้ Cmd หรือ Ctrl บวกกับการลากเพื่อบันทึกผลลัพธ์ที่มีการบันทึกเวลาและฝังข้อมูลเมตาที่เกี่ยวข้องโดยอัตโนมัติ สถาปัตยกรรมที่มุ่งเน้นในท้องถิ่นเหมาะสำหรับทีมที่ชอบการประมวลผลในอุปกรณ์ ในขณะที่ทีมที่ต้องการการจับภาพบนมือถือหรือตัวแทนที่ขาดการสนับสนุน Markdown/MCP จะเห็นประโยชน์ที่จำกัด
คู่มือที่ใช้งานได้จริงสำหรับทีมที่ทำการรายงานข้อบกพร่องในรูปแบบภาพ
แอปทำงานได้ดีเป็นคู่มือสำหรับทีมที่รวมการช่วยเหลือโค้ดแบบตัวแทน เนื่องจากชุมชนนักพัฒนารายงานการประหยัดเวลาและชื่นชมแนวทางที่เน้นการทำงานในเครื่องท้องถิ่น คาดว่าจะใช้ผลลัพธ์ของมันเป็นหลักฐานที่อ่านได้โดยเครื่องควบคู่กับการตรวจสอบด้วยมือ เนื่องจากปัญหา UI ที่ไม่ชัดเจนหรือมีความเสี่ยงสูงยังคงต้องการการตัดสินใจของมนุษย์ก่อนที่จะทำการเปลี่ยนแปลงโค้ด.
