Затем начинается основной фильм
Добавленные вручную зависимости:
Унифицируйте и инкапсулируйте возвращаемые результаты
Начинаем сушить:
1. Константы, необходимые для создания хорошего робота:
В следующей части хранятся URL-адрес, Serverid и секретный ключ соответствующей модели. Они изменяются в зависимости от модели, которую вы хотите выбрать.
Как сохранить записи истории и записи истории запросов:
Ниже приводится часть для получения содержания ответа разговора ИИ (это обрабатывается с помощью оптимизации потока).
Этот код реализует асинхронную систему вопросов и ответов на основе Spring и WebSocket. Основная логика следующая:
В параллельных сценариях преимущества такой оптимизации заключаются в следующем:
Этот фрагмент кода можно применить к другим компаниям, которые используют WebSocket для подключения к ИИ.
Это функция вопросов и ответов на основе WebSocket с удаленными сервисами. Основная логика следующая:
И последнее, это метод аутентификации. Нам, как вызывающим API, это не нужно (это не влияет на использование). Конечно, если вас интересуют сетевые протоколы и шифрование, вы можете посмотреть поближе. посмотрите, и я выложу это напрямую, потому что у каждой компании методы аутентификации разные, и метод аутентификации будет указан непосредственно в документе и может быть напрямую скопирован в код.
добиться эффекта
Если ваши друзья заинтересованы в проекте направленного слова-подсказки, вы можете опубликовать блог на этом модуле.
Основные преимущества Prompt Word Project заключаются в следующем:
java -version
чтобы убедиться, что он установленJava,И убедитесь, что версия соответствует требованиям Spring к компонентам.Установочную часть демонстрировать не буду. По умолчанию все уже установили и настроили среду.
Создайте новый проект Springboot.
Здесь я выбрал Springboot версии 2.6.13. Это не будет большой проблемой. Просто настройте его под свой проект.
Если вам нужны те, которые зависят от вас, просто добавьте их. Если я не буду использовать вещи здесь, я не буду их выбирать.
Затем он вышел и помог нам построить эти зависимости и фреймворки, которые можно увидеть в pom-файле.
Введите в Maven:
<!-- Hutool -->
<dependency>
<groupId>cn.hutool</groupId>
<artifactId>hutool-json</artifactId>
<version>5.7.10</version>
</dependency>
<!-- Alibaba FastJSON -->
<dependency>
<groupId>com.alibaba</groupId>
<artifactId>fastjson</artifactId>
<version>1.2.78</version>
</dependency>
<!-- Google Gson -->
<dependency>
<groupId>com.google.code.gson</groupId>
<artifactId>gson</artifactId>
<version>2.8.9</version>
</dependency>
<!-- OkHttp -->
<dependency>
<groupId>com.squareup.okhttp3</groupId>
<artifactId>okhttp</artifactId>
<version>4.9.1</version>
</dependency>
<!-- Spring Data Redis -->
<dependency>
<groupId>org.springframework.boot</groupId>
<artifactId>spring-boot-starter-data-redis</artifactId>
<version>2.5.4</version>
</dependency>
<!-- Spring Web -->
<dependency>
<groupId>org.springframework.boot</groupId>
<artifactId>spring-boot-starter-web</artifactId>
<version>2.5.4</version>
</dependency>
Затем мы создаем новый файл класса Добавьте пакет руководства внутрь:
import cn.hutool.json.JSONUtil;
import com.alibaba.fastjson.JSON;
import com.alibaba.fastjson.JSONArray;
import com.alibaba.fastjson.JSONObject;
import com.google.gson.Gson;
import okhttp3.*;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.beans.factory.annotation.Value;
import org.springframework.data.redis.core.StringRedisTemplate;
import org.springframework.web.bind.annotation.CrossOrigin;
import org.springframework.web.bind.annotation.RequestBody;
import org.springframework.web.bind.annotation.RequestMapping;
import org.springframework.web.bind.annotation.RequestParam;
import org.springframework.web.bind.annotation.RestController;
import org.springframework.web.context.request.async.DeferredResult;
Существует так много конфигураций. Наконец-то пришло время начать проект...
import lombok.AllArgsConstructor;
import lombok.Data;
import lombok.NoArgsConstructor;
import java.util.List;
/*/**
*@author suze
*@date 2023-10-25
*@time 15:19
**/
@Data
@NoArgsConstructor
@AllArgsConstructor
public class Result {
private Boolean success;
private String errorMsg;
private Object data;
private Long total;
public static Result ok(){
return new Result(true, null, null, null);
}
public static Result ok(Object data){
return new Result(true, null, data, null);
}
public static Result ok(List<?> data, Long total){
return new Result(true, null, data, total);
}
public static Result fail(String errorMsg){
return new Result(false, errorMsg, null, null);
}
// public static Result fail(int errorCode, String errorMsg){
// return new Result(false, errorMsg, null, null);
// }
}
Затем просто импортируйте пакет Result везде, где он используется.
import TopOne.dto.Result;
Для удобства демонстрации я поместил Контроллер и Сервер в один файл. Вы можете настроить его под свои нужды.
public static final Gson gson = new Gson();
// Параметры персонализации
private String userId;
private Boolean wsCloseFlag;
private static Boolean totalFlag=true; // Укажите, следует ли запрашивать у пользователя ввод данных.
public List<RoleContent> historyList=new ArrayList<>(); // Это временно Каждый раз, когда вы его используете, вам придется выходить из системы нить
//Напишем структуру специально для хранения ответа машины
public static class BotText{
String content=" ";
}
public static BotText botText=new BotText();
//Сообщаем контроллеру, завершен ли вывод
public static Boolean outputFlag=true;
private String botContent = "";
//Разлагаем возвращенный результат json
class JsonParse {
Header header;
Payload payload;
}
class Header {
int code;
int status;
String sid;
}
class Payload {
Choices choices;
}
class Choices {
List<Text> text;
}
class Text {
String role;
String content;
}
class RoleContent{
String role;
String content;
public String getRole() {
return role;
}
public void setRole(String role) {
this.role = role;
}
public String getContent() {
return content;
}
public void setContent(String content) {
this.content = content;
}
}
public static final String hostUrl = "";
public static final String appid = "";
public static final String apiSecret = "";
public static final String apiKey = "";
Кэш, который я здесь делаю, составляет 2 часа, и я использую Redis. Когда вы впервые создаете проект, вы можете использовать простую карту вместо Redis и заменить часть кода Redis самостоятельно.
// Сохранить историю разговоров в Redis
public void saveHistory(String history,String id) {
// Установите срок действия 2 Час
stringRedisTemplate.opsForValue().set("id:" + id + ":history", history, 2, TimeUnit.HOURS);
}
@RequestMapping("/SaveHistory")
public Result SaveHistory(@RequestParam("userId") String id, @RequestBody String history) {
saveHistory(history,id);
return Result.ok("Сохранять Сохранить история Успешное время действия: 2 часа");
}
// от Redis Получить историю разговоров в
public List<RoleContent> getHistory(String userId) {
String historyStr = stringRedisTemplate.opsForValue().get("id:" + userId + ":history");
if (historyStr==null){
return null;
}
return JSONUtil.toList(JSONUtil.parseArray(historyStr), RoleContent.class);
}
//Используется для получения исторических записей чата
@RequestMapping("/history")
public Result history(@RequestParam("userId") String id) {
String history = stringRedisTemplate.opsForValue().get("id:" + id + ":history");
if (history == null) {
return Result.fail("Запись истории не найдена");
}
JSONArray jsonObject = JSON.parseArray(history);
// String jsonString = JSON.toJSONString(jsonObject);
return Result.ok(jsonObject);
}
public static String totalAnswer=""; // Сводка ответов от Большой Модели
// Вы можете написать оригинальный вопрос
public static String NewQuestion = "";
public WordUtils wordUtils=new WordUtils();
//нитьбассейн public ThreadPoolExecutor pool = new ThreadPoolExecutor(13, 13, 1,
TimeUnit.MINUTES, new ArrayBlockingQueue<>(6),
Executors.defaultThreadFactory(), new ThreadPoolExecutor.AbortPolicy());
@RequestMapping("/get")
public DeferredResult<Result> get(@RequestParam("question") String question, @RequestParam("id") String id) {
//СоздалDeferredResult<Result>объект,и верните его на передний конец. После выполнения асинхронной задачи,// Устанавливаем результат в объект DeferredResult, вызывая метод deferredResult.setResult(result),оти Реализуйте асинхронный возврат результатов во внешний интерфейс. DeferredResult<Result> deferredResult = new DeferredResult<>();
CompletableFuture.supplyAsync(() -> {
try {
callable callable = new callable(question, id);
String answer = callable.call();
Result result = Result.ok(answer);
return result;
} catch (Exception e) {
Result result = Result.fail(e.getMessage());
return result;
}
}, pool).whenComplete((result, throwable) -> {
if (throwable != null) {
result = Result.fail(throwable.getMessage());
deferredResult.setResult(result);
} else {
deferredResult.setResult(result);
}
});
return deferredResult;
}
public class callable implements Callable<String>{
private String id;
private String question;
public callable(String question,String id) {
//Здесь мы имеем дело с длиной userId Потому что у iFlytek есть ограничения
if (id.length() >= 30) {
id= id.substring(0, 30);
}
this.question = question;
this.id=id;
}
@Override
public String call() throws Exception {
String answer =main(question,id);
//System.out.println(answer);
answer = JSONUtil.toJsonStr(answer);
System.out.println("call");
botText.content="";//Очистить
//Кешируем исторические разговоры Ограничение по времени
//String historyStr = JSONUtil.toJsonStr();
//stringRedisTemplate.opsForValue().set("id:"+id+":history", historyStr,2,TimeUnit.HOURS);
return answer;
}
}
// основная функция
public String main(String newQuestion,String userid) throws Exception {
// Параметры персонализации Вход,Если использовать одновременно,Можно смоделировать здесь
System.out.println(totalFlag);
if(totalFlag){
totalFlag=false;
NewQuestion=newQuestion;
// Создать URL-адрес аутентификации
String authUrl = getAuthUrl(hostUrl, apiKey, apiSecret);
OkHttpClient client = new OkHttpClient.Builder().build();
String url = authUrl.toString().replace("http://", "ws://").replace("https://", "wss://");
Request request = new Request.Builder().url(url).build();
totalAnswer="";
// WebSocket webSocket = client.newWebSocket(request, new BigModelNew(i + "",false));
//Здесь создается новый объект большой Модели Фактически все операции отправки запросов для получения ответов выполняются в этом нит
BigModelNew bigModelNew = null;
if (getHistory(userid)!=null){
bigModelNew=new BigModelNew(userid, false,getHistory(userid),stringRedisTemplate);
}
else {
bigModelNew=new BigModelNew(userid, false,historyList,stringRedisTemplate);
}
// ждать WebSocket из run() Выполнение метода завершено
int maxWaitTime = 10000; // максимумждатьвремя,единица:миллисекунда
int currentWaitTime = 0; // В настоящее время ждуизвремя,единица:миллисекунда
int waitInterval = 1000;// Каждый интервал ожидания,единица:миллисекунда
WebSocket webSocket = client.newWebSocket(request, bigModelNew);
System.out.println(maxWaitTime);
while (currentWaitTime < maxWaitTime) {
if (bigModelNew.getBotContent().equals("")) {
// run() Метод еще не выполнен,Может выполнять какие-то другие операции или время ожидания абзаца
Thread.sleep(waitInterval);
System.out.println("Выполнение нити"+Thread.currentThread().getName()+"...ждать оставшееся время: "+(maxWaitTime-currentWaitTime));
currentWaitTime += waitInterval;
} else {
// run() Метод был выполнен и получен bot.content оценить и выполнить последующие операции
//System.out.println("выполнение запуска завершено");
return bigModelNew.getBotContent();
//System.out.println(botText.content);
// ...
}
}
}
totalFlag=true;
return «Сеть немного не работает. Попробуйте отправить сообщение еще раз";
}
// Конструктор
public BigModelNew(@Value("${userId}") String userId
,@Value("${wsCloseFlag}") Boolean wsCloseFlag
,@Value("${HistoryList}")List<RoleContent> HistoryList
,@Value("${stringRedisTemplate}") StringRedisTemplate stringRedisTemplate) {
this.userId = userId;
this.wsCloseFlag = wsCloseFlag;
this.historyList=HistoryList;
this.stringRedisTemplate = stringRedisTemplate;
}
get()
в методе,Получите входной проход из параметров вопроса и идентификатора.,и создатьDeferredResult<Result>
объект,Используется для асинхронного возврата результатов во внешний интерфейс.CompletableFuture.supplyAsync()
Метод создания асинхронной задачи,Задача будет выполнена в пуле нит.callable
добрыйизcall()
в методевыполнить。существовать Долженв методе,вызовmain()
Методы ответа на вопросы,и преобразовать результат в формат JSON.deferredResult.setResult(result)
метод устанавливает результат вDeferredResult
объектсередина,Реализуйте асинхронный возврат результатов во внешний интерфейс.main()
в методе,Определите, является ли это параллельным сценариемизпервый запрос。в случаепервый запрос,Затем создайте соединение WebSocket.,иждатьrun()
Выполнение метода завершено。
run()
в методе,Связь с удаленным сервисом через WebSocket,Получите вопросы и ответы.
totalAnswer
。
DeferredResult
объект可以выполнить异步返回результатна передний план。Каждый запрос получит отдельныйизDeferredResult
объект,Устанавливая результат в объект,Можно добиться асинхронного возврата во внешний интерфейс.Затем мы создали функцию внешнего вызова. Далее идет конкретный метод перезаписи внутри WebSocket. Вот метод перезаписи части:
//Очень важныйизфункция Используется для получения содержимого бота
public String getBotContent() {
return botContent;
}
public boolean canAddHistory(){ // Поскольку максимальное количество исторических записей в сети составляет около 1,2 Вт, необходимо оценить, можно ли их добавить в историю.
int history_length=0;
for(RoleContent temp:historyList){
history_length=history_length+temp.content.length();
}
if(history_length>12000){
historyList=new ArrayList<>();
return false;
}else{
return true;
}
}
// нить для отправки аудио и параметров
class MyThread extends Thread {
private WebSocket webSocket;
private String newAnswer;
public MyThread(WebSocket webSocket) {
this.webSocket = webSocket;
}
public void run() {
try {
JSONObject requestJson=new JSONObject();
JSONObject header=new JSONObject(); // параметры заголовка
header.put("app_id",appid);
header.put("uid",userId);//поместите сюда идентификатор пользователя
JSONObject parameter=new JSONObject(); // параметр параметр
JSONObject chat=new JSONObject();
chat.put("domain","generalv3");
chat.put("temperature",0.6);
chat.put("max_tokens",8192);
parameter.put("chat",chat);
JSONObject payload=new JSONObject(); // параметры полезной нагрузки
JSONObject message=new JSONObject();
JSONArray text=new JSONArray();
// Получите исторические выпуски
if(historyList.size()>0){
for(RoleContent tempRoleContent:historyList){
text.add(JSON.toJSON(tempRoleContent));
}
}
// Последние вопросы
RoleContent roleContent=new RoleContent();
roleContent.role="user";
roleContent.content=NewQuestion;
text.add(JSON.toJSON(roleContent));
// System.err.println("text:");
historyList.add(roleContent);
// historyList.forEach(System.out::println);
//saveHistory(historyList);//Сохраняем историю в Redis здесь Вы можете очистить список истории нитиз.
//historyList.clear();
message.put("text",text);
payload.put("message",message);
requestJson.put("header",header);
requestJson.put("parameter",parameter);
requestJson.put("payload",payload);
// System.err.println(requestJson); // Вы можете распечатать и просмотреть подробную информацию о каждой передаче параметров.
webSocket.send(requestJson.toString());
// ждать Сервер закрывается после возвращения
while (true) {
// System.err.println(wsCloseFlag + "---");
Thread.sleep(200);
if (wsCloseFlag) {
break;
}
}
webSocket.close(1000, "");
// System.out.println("answer"+botText.content);
} catch (Exception e) {
e.printStackTrace();
}finally {
botContent=botText.content;
}
}
}
@Override
public void onOpen(WebSocket webSocket, Response response) {
super.onOpen(webSocket, response);
//System.out.print("AI:");
MyThread myThread = new MyThread(webSocket);
myThread.start();
}
@Override
public void onMessage(WebSocket webSocket, String text) {
// System.out.println(userId + «Используется для определения того, какой пользователь из результатов» + text);
JsonParse myJsonParse = gson.fromJson(text, JsonParse.class);
//System.out.println("AI:" + gson.toJson(myJsonParse.payload));
if (myJsonParse.header.code != 0) {
System.out.println("Произошла ошибка, код ошибки:" + myJsonParse.header.code);
System.out.println("Этот запрос изsid:" + myJsonParse.header.sid);
webSocket.close(1000, "");
}
List<Text> textList = myJsonParse.payload.choices.text;
for (Text temp : textList) {
//System.out.println("Здесь хранятся машинные слова"+temp.content);
botText.content=botText.content+temp.content;//Сохраняем здесь машинный текст
totalAnswer=totalAnswer+temp.content;
}
//System.out.println("ответаааа:"+botText.content);//Здесь можно распечатать Но печать его много раз означает, что он называл его много раз.
// botText.content=totalAnswer;
if (myJsonParse.header.status == 2) {
// Может закрыть соединение и освободить ресурсы
// System.out.println();
// System.out.println("*************************************************************************************");
if(canAddHistory()){
RoleContent roleContent=new RoleContent();
roleContent.setRole("assistant");
roleContent.setContent(totalAnswer);
historyList.add(roleContent);
//System.out.println("OnMessage:"+historyList.toString());
//String jsonString = JSON.toJSONString(historyList, SerializerFeature.PrettyFormat);
//history.text=jsonString;//Здесь сохранена история
//Ответ здесь выведен, он должен быть выведенFinished = true;
// output=botText.content;
// myHistory=history.text;
outputFlag=true;
System.out.println("AI:answer"+botText.content);
}else{
RoleContent roleContent=new RoleContent();
roleContent.setRole("assistant");
roleContent.setContent(totalAnswer);
historyList.add(roleContent);
}
//saveHistory(historyList);//Сохраняем историю в Redis здесь Вы можете очистить список истории нитиз.
historyList.clear();
wsCloseFlag = true;//Только ждем прихода сообщения чтобы иметь возможность закончить
totalFlag=true;
}
}
@Override
public void onFailure(WebSocket webSocket, Throwable t, Response response) {
super.onFailure(webSocket, t, response);
if (null != response) {
int code = response.code();
System.out.println("onFailure code:" + code);
try {
System.out.println("onFailure body:" + response.body().string());
} catch (IOException e) {
throw new RuntimeException(e);
}
if (101 != code) {
System.out.println("connection failed");
System.exit(0);
}
}
}
MyThread
добрыйявляется унаследованным отThread
изнитьдобрый,Используется для отправки запросов на вопросы и ответы.иперениматьотвечать。существоватьrun()
в методе,Сначала создайте запросизJSONобъект,Включая параметры головки, параметры и параметры нагрузки. Затем отправьте этот объект JSON через WebSocket. затем,существоватьпетлясерединаждать Сервер возвращает результаты,ивернетсяизрезультат СращиваниеприезжатьbotText.content
иtotalAnswer
середина。наконец,Закрыть соединение WebSocket,и ВоляbotText.content
назначен наbotContent
。
onOpen()
методсуществоватьWebSocketКогда соединение будет установлено,вызов。существовать Долженв методе,СоздайтеMyThread
объектизапускатьнить。
onMessage()
методсуществоватьперениматьприезжатьWebSocketинформациякогда былвызов。Долженметод首先解析收приезжатьизинформация,и определить, есть ли ошибки. если нет ошибок,则Воляотвечатьтекст СращиваниеприезжатьbotText.content
иtotalAnswer
середина,и По данным возвратаиз Код состояния для ответаизиметь дело с。Если код состояния2,Указывает, что ответ возвращен полностью,На этом этапе вы можете закрыть соединение и выполнить некоторую последующую обработку.,Например, добавление текста ответа в историю.onFailure()
методсуществоватьWebSocket连接失败когда былвызов。существовать Долженв методе,Может быть основано на неудачеиз Ответьте на причиныизиметь дело с。
// Метод аутентификации
public static String getAuthUrl(String hostUrl, String apiKey, String apiSecret) throws Exception {
URL url = new URL(hostUrl);
// время
SimpleDateFormat format = new SimpleDateFormat("EEE, dd MMM yyyy HH:mm:ss z", Locale.US);
format.setTimeZone(TimeZone.getTimeZone("GMT"));
String date = format.format(new Date());
// Сращивание
String preStr = "host: " + url.getHost() + "\n" +
"date: " + date + "\n" +
"GET " + url.getPath() + " HTTP/1.1";
// System.err.println(preStr);
// Шифрование SHA256
Mac mac = Mac.getInstance("hmacsha256");
SecretKeySpec spec = new SecretKeySpec(apiSecret.getBytes(StandardCharsets.UTF_8), "hmacsha256");
mac.init(spec);
byte[] hexDigits = mac.doFinal(preStr.getBytes(StandardCharsets.UTF_8));
// Шифрование Base64
String sha = Base64.getEncoder().encodeToString(hexDigits);
// System.err.println(sha);
// Сращивание
String authorization = String.format("api_key=\"%s\", algorithm=\"%s\", headers=\"%s\", signature=\"%s\"", apiKey, "hmac-sha256", "host date request-line", sha);
// Сращивание адрес
HttpUrl httpUrl = Objects.requireNonNull(HttpUrl.parse("https://" + url.getHost() + url.getPath())).newBuilder().//
addQueryParameter("authorization", Base64.getEncoder().encodeToString(authorization.getBytes(StandardCharsets.UTF_8))).//
addQueryParameter("date", date).//
addQueryParameter("host", url.getHost()).//
build();
// System.err.println(httpUrl.toString());
return httpUrl.toString();
}
Я позаимствовал шаблон у друга, который занимается небольшими программами, и применил его во фронтенде. Теперь я реализовал его на стороне небольшой программы.
Содержание ответа:
Это ответ для получения истории чата:
Я также сделал проект подсказки для конкретного дела, чтобы ИИ имел тенденцию ориентировать сцену, как показано ниже.
Особый эффект реакции на снимок экрана компании
Друзья, которым интересно, могут сначала подписаться на меня. Я пришлю объявление для фанатов, когда выйдет следующий выпуск.