ModelTC / LightLLM

Model Quantization Benchmark

United Perception

大模型Grok-1开源

#大语言模型#vLLM 是一个高效的开源库，用于加速大语言模型推理，通过优化内存管理和分布式处理实现高吞吐量和低延迟。

Open-Sora： 完全开源的高效复现类Sora视频生成方案

#大语言模型#本地化搭建和运行 Llama2 和其他大模型

#大语言模型#🙌 OpenHands: Code Less, Make More

Devika is now Opcode

小红书笔记 | 评论爬虫、抖音视频 | 评论爬虫、快手视频 | 评论爬虫、B 站视频 ｜ 评论爬虫、微博帖子 ｜ 评论爬虫、百度贴吧帖子 ｜ 百度贴吧评论回复爬虫 | 知乎问答文章｜评论爬虫

#自然语言处理#Unified Efficient Fine-Tuning of 100+ LLMs & VLMs (ACL 2024)

TensorRT LLM provides users with an easy-to-use Python API to define Large Language Models (LLMs) and support state-of-the-art optimizations to perform inference efficiently on NVIDIA GPUs. TensorRT L...

This project aim to reproduce Sora (Open AI T2V model), we wish the open source community contribute to this project.

#大语言模型#Python SDK, Proxy Server (LLM Gateway) to call 100+ LLM APIs in OpenAI format - [Bedrock, Azure, OpenAI, VertexAI, Cohere, Anthropic, Sagemaker, HuggingFace, Replicate, Groq]

#自然语言处理#Large Language Model Text Generation Inference

#大语言模型#Automate browser-based workflows with LLMs and Computer Vision

#大语言模型#本项目旨在分享大模型相关技术原理以及实战经验（大模型工程化、大模型应用落地）

#大语言模型#MetaGPT：为 GPT 分配不同的角色，协作处理更复杂的任务。MetaGPT输入一句话的老板需求，输出用户故事 / 竞品分析 / 需求 / 数据结构 / APIs / 文件等

#大语言模型#Universal LLM Deployment Engine with ML Compilation

#大语言模型#SGLang is a fast serving framework for large language models and vision language models.

#大语言模型#利用AI大模型，一键生成高清短视频 Generate short videos with one click using AI LLM.

Development repository for the Triton language and compiler

Fast and memory-efficient exact attention