ตัวเปิดใช้งานที่ขับเคลื่อนด้วยแป้นพิมพ์สำหรับ LLMs ท้องถิ่นและการจัดการเวลาทำงาน
สัมผัสประสบการณ์การทำงานแบบคีย์บอร์ดแรกด้วย llml (LLM Launcher) จาก Flying Nobita ซึ่งเป็นยูทิลิตี้ Windows ที่จัดการโมเดลภาษาใหญ่และรันไทม์ในท้องถิ่น เครื่องมือนี้จะสแกนไฟล์ระบบในท้องถิ่นเพื่อค้นหาโมเดล GGUF และ safetensors ตรวจจับรันไทม์ต่างๆ เช่น llama.cpp, vLLM และ Ollama และเก็บพารามิเตอร์การเปิดตัวที่ตั้งชื่อไว้ในรูปแบบ TOML ด้วยการดำเนินการด้วยปุ่มเดียว แถบสถานะที่คงอยู่ และ TUI ที่แสดงคำสั่งทั้งหมดก่อนการเปิดตัว มันมุ่งเป้าไปที่นักพัฒนาและนักวิจัยที่ต้องการการรันโมเดลในท้องถิ่นที่ทำซ้ำได้
แทนที่ธงคำสั่งยาวด้วยโปรไฟล์ที่ตั้งชื่อและนำกลับมาใช้ใหม่
llml ค้นหาไฟล์ GGUF และไดเรกทอรี safetensors แบบ Hugging Face โดยอัตโนมัติและแมพไปยังรันไทม์ที่เข้ากันได้รวมถึง llama.cpp, vLLM, Ollama, และ KoboldCpp แอปจะบันทึกพารามิเตอร์การเริ่มต้นเป็นโปรไฟล์ TOML ที่ตั้งชื่อ ดังนั้นการรวมธงที่ซับซ้อนจึงกลายเป็นการกำหนดค่าที่เลือกได้เพียงอย่างเดียว วิธีนี้ช่วยขจัดความจำเป็นในการค้นหาประวัติ shell สำหรับคำสั่งก่อนหน้าและทำให้การเก็บพรีเซ็ตแยกสำหรับความเร็วกับคุณภาพเป็นเรื่องง่าย
ควบคุมได้ในท้องถิ่นด้วยอินเทอร์เฟซที่กะทัดรัดและขับเคลื่อนด้วยคีย์บอร์ด
เครื่องมือนี้มีส่วนติดต่อผู้ใช้ Terminal ที่อยู่ระหว่างเทอร์มินัลเปล่าและ UI ของเบราว์เซอร์ ทำให้สามารถเริ่มต้นด้วยการกดปุ่ม R และมีสถานะบรรทัดที่คงอยู่สำหรับงานพื้นหลังเช่นการโหลดล่วงหน้าของ Ollama มันแสดงคำสั่งที่สร้างขึ้นทั้งหมดก่อนการดำเนินการ ซึ่งช่วยให้ผู้ใช้ยืนยันพารามิเตอร์ได้ ไบนารีมีให้บริการในแพลตฟอร์มเดสก์ท็อปและติดตั้งบน Windows ผ่าน Windows Package Manager ทำให้ควบคุมได้ในเครื่องท้องถิ่น
สนับสนุนเส้นทางที่กำหนดค่าได้และการกำหนดค่าที่พกพาได้และแชร์ได้
สำหรับการจัดเก็บที่ไม่เป็นมาตรฐาน คุณสามารถตั้งค่า LLML_MODEL_PATHS หรือแก้ไข config.toml เพื่อชี้ไปยังตำแหน่งโมเดลที่กำหนดเอง ซึ่งแอปจะสแกน โปรไฟล์ใช้รูปแบบ TOML ที่พกพาได้ดังนั้นการตั้งค่าที่ปรับให้เหมาะสมสามารถนำเข้าได้หรือแชร์ระหว่างเครื่องได้ การรวมกันของการกำหนดค่าตัวแปรสภาพแวดล้อมและโปรไฟล์ข้อความธรรมดานั้นเหมาะสำหรับนักพัฒนา นักวิจัย และผู้ที่ชื่นชอบที่ต้องการการตั้งค่าการปรับใช้ที่สามารถทำซ้ำได้และอิงตามข้อความโดยไม่ต้องมีชั้นการจัดการเพิ่มเติม
ตัวเลือกที่เน้นที่เทอร์มินัลซึ่งเน้นความสามารถในการทำซ้ำมากกว่าการใช้เครื่องมือกราฟิก
แอปนี้เป็นตัวเลือกที่เหมาะสมสำหรับนักพัฒนาและนักวิจัยที่รัน LLMs ในเครื่องและต้องการการเริ่มต้นที่สม่ำเสมอและสามารถทำซ้ำได้; โปรไฟล์ TOML ที่ตั้งชื่อและการตรวจจับการทำงานช่วยให้พารามิเตอร์ชัดเจน ข้อควรระวังหลักคือการมุ่งเน้นที่เทอร์มินัล ซึ่งอาจไม่ตรงกับผู้ใช้ที่ต้องการอินเทอร์เฟซกราฟิกแบบเบราว์เซอร์เต็มรูปแบบ เคล็ดลับ: ตั้งค่า LLML_MODEL_PATHS สำหรับไดเรกทอรีที่ไม่เป็นมาตรฐานและบันทึกโปรไฟล์ TOML ก่อนรันโมเดลเพื่อให้แน่ใจว่าการเริ่มต้นสามารถทำซ้ำได้.
