sepia kann nun rechnen und fragen beantworten dank wolframalpha

[royrogermcfreely]

Hey,

hier eine kleine Anleitung um Sepia rechnen lassen zu können und allgemeine Fragen von WolframAlpha zu beantworten.

wolfram alpha kann rechnen, gleichungen lösen, distanzen abfragen, wechselkurse umrechnen, personen infos und vieles mehr.
leider ist es derzeit nur in englisch verfügbar. deswegen habe ich mir einen api key von Deepl.com geholt um meine fragen ins englische zu übersetzen und die antwort von englisch ins deutsche zu übersetzen.
in der gratis version stehen pro Monat 500.000 Zeichen zu verfügung. man muss bei der regestrierung trotzdem seine kreditkarte hinterlegen.
damit sepia mit wolframalpha kommunizieren kann und die fragen / antworten in deutsch gesprochen werden, müssen ein paar vorrausetzungen erfüllt sein:

• wolfram alpha api key
• deepl translator api key

man muss nur den ganzen code im Code-Editor von Sepia rein kopieren und die Api-Keys anpassen.

Die Api-Keys zum anpassen sind in den Zeilen
167 (Deppl für Deutsch -> Englisch),
187 (Wolframalpha),
203 (Deppl für Englisch -> Deutsch)

um den skill zu aktivieren muss man das wort "frage" sagen, nach einem kurzen "ja?" stellt man die frage welche man beantwortet haben will

package net.b07z.sepia.sdk.services.uid1007;

import java.util.TreeSet;

import net.b07z.sepia.server.assist.answers.ServiceAnswers;
import net.b07z.sepia.server.assist.assistant.LANGUAGES;
import net.b07z.sepia.server.assist.data.Parameter;
import net.b07z.sepia.server.assist.interpreters.NluResult;
import net.b07z.sepia.server.assist.interviews.InterviewData;
import net.b07z.sepia.server.assist.parameters.CustomParameter;
import net.b07z.sepia.server.assist.services.ServiceBuilder;
import net.b07z.sepia.server.assist.services.ServiceInfo;
import net.b07z.sepia.server.assist.services.ServiceInterface;
import net.b07z.sepia.server.assist.services.ServiceResult;
import net.b07z.sepia.server.assist.services.ServiceInfo.Content;
import net.b07z.sepia.server.assist.services.ServiceInfo.Type;
import net.b07z.sepia.server.core.data.Language;
import net.b07z.sepia.server.core.tools.Is;
import net.b07z.sepia.server.core.tools.Sdk;

import java.net.URLEncoder;
import org.json.simple.JSONObject;
import net.b07z.sepia.server.core.tools.Connectors;
import net.b07z.sepia.server.core.tools.Debugger;
import net.b07z.sepia.server.core.tools.JSON;
import java.net.URLEncoder;
import net.b07z.sepia.server.core.tools.Connectors;
import net.b07z.sepia.server.core.tools.Connectors.HttpClientResult;
import net.b07z.sepia.server.core.tools.Debugger;
import java.io.File;  // Import the File class
import java.io.IOException;
import org.json.simple.JSONArray;


public class wolframalpha implements ServiceInterface {
	
	//Command name of your service (will be combined with userId to be unique, e.g. 'uid1007.question_answer')
	private static final String CMD_NAME = "wolframalpha";
	
	//Define some sentences for testing:
	
	@Override
	public TreeSet<String> getSampleSentences(String lang) {
		TreeSet<String> samples = new TreeSet<>();
		//GERMAN
		if (lang.equals(Language.DE.toValue())){
			samples.add("Ich habe eine spezielle Frage.");
		//OTHER
		}else{
			samples.add("I have a special question.");
		}
		return samples;
	}
	
	//Basic service setup:
	
	//Overriding the 'getAnswersPool' methods enables you to define custom answers with more complex features..

	@Override
	public ServiceAnswers getAnswersPool(String language) {
		ServiceAnswers answerPool = new ServiceAnswers(language);
		
		//Build English answers
		if (language.equals(LANGUAGES.EN)){
			answerPool
				//the default answer
				.addAnswer(successAnswer, 0, "Here is what I found: <1>")
				//ask what the users wants to know				
				.addAnswer(askForInput, 0, "What do you want to know?")
				.addAnswer(askForInput, 1, "Say again please.")		//used on 2nd consecutive try...
				//found no answer
				.addAnswer(noAnswerFound, 0, "Sorry but it seems I have no answer to that yet.")
			;
			return answerPool;
		
		//Other languages not yet supported
		}else{
			answerPool
				//the default answer
				.addAnswer(successAnswer, 0, " <1>")
				//ask what the users wants to know				
				.addAnswer(askForInput, 0, "Ja?")
				.addAnswer(askForInput, 1, "Sag noch mal bitte.")
				//found no answer
				.addAnswer(noAnswerFound, 0, "Sorry, aber das kann ich wohl noch nicht beantworten.")
			;
			return answerPool;
		}
	}
	//We keep a reference here for easy access in getResult - Note that custom answers need to start with a certain prefix
	private static final String failAnswer = "error_0a";
	private static final String successAnswer = ServiceAnswers.ANS_PREFIX + CMD_NAME + "_success_0a";
	private static final String noAnswerFound = ServiceAnswers.ANS_PREFIX + CMD_NAME + "_no_answer_0a";
	private static final String askForInput = ServiceAnswers.ANS_PREFIX + CMD_NAME + "_ask_input_0a";
	

	@Override
	public ServiceInfo getInfo(String language) {
		//Type of service (for descriptions, choose what you think fits best)
		ServiceInfo info = new ServiceInfo(Type.plain, Content.data, false);
		
		//Should be available publicly or only for the developer? Set this when you are done with testing and want to release
		//info.makePublic();
		
		//Command
		info.setIntendedCommand(Sdk.getMyCommandName(this, CMD_NAME));
		
		//Direct-match trigger sentences in different languages
		String EN = Language.EN.toValue();
		info.addCustomTriggerSentence("Question", EN);
		String DE = Language.DE.toValue();
		info.addCustomTriggerSentence("Frage", DE);
		
		//Add some regular expression triggers if you like ...
		//info.setCustomTriggerRegX(".*\\b(a special question)\\b.*", EN);
		//info.setCustomTriggerRegXscoreBoost(4);		//boost service a bit to increase priority over similar ones
		
		//Parameters:
		
		//This service has no required parameter because the question is generated dynamically inside the result handler.
		//We define the custom parameter as optional though to extract it properly later (or in regular expression trigger):
		Parameter p1 = new Parameter(new SpecialQuestion());
		info.addParameter(p1);
		
		//Answers (these are the default answers, you can trigger a custom answer at any point in the module 
		//with serviceBuilder.setCustomAnswer(..)):
		info.addSuccessAnswer(successAnswer)
			.addFailAnswer(failAnswer)
			.addOkayAnswer(noAnswerFound)
			.addCustomAnswer("askForInput", askForInput);
		
		//Add answer parameters that are used to replace <1>, <2>, ... in your answers.
		//The name is arbitrary but you need to use the same one in getResult(...) later for api.resultInfoPut(...)
		info.addAnswerParameters("answer"); 	//<1>=answer text
		
		return info;
	}
	
	@Override
	public ServiceResult getResult(NluResult nluResult) {
		//initialize result
		ServiceBuilder api = new ServiceBuilder(nluResult, 
				getInfoFreshOrCache(nluResult.input, this.getClass().getCanonicalName()),
				getAnswersPool(nluResult.language));
		
		//we haven't defined anything specific but we will ask for our custom parameter and the result will be stored here in the 2nd stage of the dialog
		Parameter questionParameter = nluResult.getOptionalParameter(SpecialQuestion.class.getName(), "");
		String qNormalized = questionParameter.getValueAsString();
		String qRaw = (String) questionParameter.getDataFieldOrDefault(InterviewData.INPUT_RAW);	//raw input (before normalization)
	String antwort ="";
      //String q = nluResult.getParameter(PARAMETERS.ANY_ANSWER);		//alternative way for "ad-hoc" parameters (not recommended)
		
		//in the 1st stage of the dialog our input will be empty because no parameter was defined, so we need to ask manually:
		if (Is.nullOrEmpty(qNormalized)){
			//ask and ...
			api.setIncompleteAndAsk(SpecialQuestion.class.getName(), askForInput);
			//api.setIncompleteAndAsk(PARAMETERS.ANY_ANSWER, askForInput);		//define a parameter "ad-hoc" (never registered in 'getInfo')
			//.. return
			ServiceResult result = api.buildResult();
			return result;
			
		}else{

			String questionResponse = "";

try {
  String url1 = "https://api-free.deepl.com/v2/translate?auth_key=[Deepl-API-Key]&text="+ URLEncoder.encode(qRaw, "UTF-8") +"&target_lang=EN";
  String contentType1 = "text/plain";
  
  HttpClientResult result = Connectors.apacheHttpGET(url1, contentType1);
  if (result.statusCode == 200){
	  //the string content
	  Debugger.println("DynamicQuestionAnswering - API response: " + result.content, 3);

    antwort = result.content;
    antwort = antwort.substring(58, antwort.length() - 4);

     
  }else{
	  //error
	  Debugger.println("DynamicQuestionAnswering - failed to call API - Error: " + result.statusCode + " - " + result.statusLine, 1);
  }
  
  
  
  
  String url2 = "https://api.wolframalpha.com/v1/spoken?i=" + URLEncoder.encode(antwort, "UTF-8") + "%3F&appid=[WolframAlpha-Api-Key]";
  String contentType2 = "text/plain";
  
  HttpClientResult result2 = Connectors.apacheHttpGET(url2, contentType2);
  if (result.statusCode == 200){
	  //the string content
	  Debugger.println("DynamicQuestionAnswering - API response: " + result2.content, 3);

    antwort = result2.content;
    //qRaw = result.content;
     
  }else{
	  //error
	  Debugger.println("DynamicQuestionAnswering - failed to call API - Error: " + result.statusCode + " - " + result.statusLine, 1);
  }
  
     String url3 = "https://api-free.deepl.com/v2/translate?auth_key=[Deepl-API-Key]&text="+ URLEncoder.encode(antwort, "UTF-8") +"&target_lang=DE";
  String contentType3 = "text/plain";
  
  HttpClientResult result3 = Connectors.apacheHttpGET(url3, contentType3);
  if (result.statusCode == 200){
	  //the string content
	  Debugger.println("DynamicQuestionAnswering - API response: " + result3.content, 3);

    antwort = result3.content;
    antwort = antwort.substring(58, antwort.length() - 4);

     
  }else{
	  //error
	  Debugger.println("DynamicQuestionAnswering - failed to call API - Error: " + result.statusCode + " - " + result.statusLine, 1);
  } 
 
}catch (Exception e){
  Debugger.println("DynamicQuestionAnswering - failed to call API - Error: " + e.getMessage(), 1);
}
			
			//JUST FOR TESTING: return answer from wolframalpha
			questionResponse = antwort;

			boolean answeredSuccessfully = Is.notNullOrEmpty(questionResponse);
						
			//success or no answer?
			if (!answeredSuccessfully){
				//no error but also no answer
				api.setStatusOkay();
			}else{
				//Set answer parameters as defined in getInfo():
				api.resultInfoPut("answer", questionResponse);
				
				//all good
				api.setStatusSuccess();
			}
			
			//build the API_Result
			ServiceResult result = api.buildResult();
			return result;
		}
	}
	
	//----------------- custom parameters -------------------
	
	/**
	 * Custom parameter that tries to extract the question from first input or response.
	 * It will contain the normalized and full raw input by default.
	 */
	public static class SpecialQuestion extends CustomParameter {
		
		@Override
		public String extract(String input){
			//If you use regular expression triggers in 'getInfo' you could try to extract
			//the question here. For now we just return nothing and get the input during
			//response phase (after "what do you want to know?")
			return "";
		}
	}
}

/roy

[fquirin]

Nice 😎 👍.
Sobald ich etwas Zeit habe, teste ich es mal und dann könnte man es vielleicht ins extensions repo übernehmen 😀.

[royrogermcfreely]

mir ist nur aufgefallen, dass sepia nach meiner frage die antwort spricht, aber gleichzeitig auch wieder zuhört auf einen neuen befehl.
dann kommt nach der antwort immer "tut mir leid, ich kann dir das noch nicht beantworten"
habe ich da im script einen fehler?

bzgl. extension repo: klingt gut, aber whs will nicht jeder seine kreditkartendaten dafür hergeben. für englische user ist das ohne umwege zu bewerkstelligen.

ps: irgendwie habe ich es geschafft den thread doppelt zu erstellen, weiß nicht wie ich den andren löschen kann. vl darfst das auch nur du ;)

[fquirin]

mir ist nur aufgefallen, dass sepia nach meiner frage die antwort spricht, aber gleichzeitig auch wieder zuhört auf einen neuen befehl

Komisch, ist währenddessen der Mikrofon-Button noch im "speaking"-mode (default blaue Farbe)? Wenn die Antwort über den normalen Kanal kommt müsste der Client eigentlich warten, bis der TTS Output fertig ist.

bzgl. extension repo: klingt gut, aber whs will nicht jeder seine kreditkartendaten dafür hergeben. für englische user ist das ohne umwege zu bewerkstelligen.

Kriegt man den API Key nur mit Kreditkarte? Naja im Endeffekt muss das jeder User selbst wissen ^^, die Google-Maps API ist mittlerweile auch nur noch mit Kreditkarte möglich :-/.

ps: irgendwie habe ich es geschafft den thread doppelt zu erstellen, weiß nicht wie ich den andren löschen kann. vl darfst das auch nur du ;)

Ist der noch da? ^^ (Link?)

[royrogermcfreely]

hey,

Komisch, ist währenddessen der Mikrofon-Button noch im "speaking"-mode (default blaue Farbe)? Wenn die Antwort über den normalen Kanal kommt müsste der Client eigentlich warten, bis der TTS Output fertig ist.

ja. mir ist aufgefallen dass nachdem ich die frage für den skill stelle, die leds kurz rot blinken bevor er auf blau wechselt und mir das ergebnis ansagt.

Kriegt man den API Key nur mit Kreditkarte? Naja im Endeffekt muss das jeder User selbst wissen ^^, die Google-Maps API ist mittlerweile auch nur noch mit Kreditkarte möglich :-/.

stimmt auch. habe mit mir auch ewig gehadert ob ichs tun soll oder nicht.

Ist der noch da? ^^ (Link?)

hier der falsche

wie hast du beim wikipedia skill das geschafft, dass du das wakeword sagst und dann gleich "wikipedia Elvis Presley" sagst und sepia antwortet dir. das finde ich wesentlich schöner als zuerst den skill mit einem wort/phrase aktivieren zu müssen.

[fquirin]

ja. mir ist aufgefallen dass nachdem ich die frage für den skill stelle, die leds kurz rot blinken bevor er auf blau wechselt und mir das ergebnis ansagt.

Und obwohl das noch blau erkennt er schon wieder neuen Text als Eingabe? :-| (das wäre ein fieser Bug 😑).

stimmt auch. habe mit mir auch ewig gehadert ob ichs tun soll oder nicht.

Für Google-Maps gibt es immerhin Graphhopper als Alternative. Man muss aber schon sagen, dass Google immer noch besser funktioniert :-/ (wobei ich schon länger keinen direkten Vergleich mehr gemacht habe ^^)

hier der falsche

Sollte jetzt gelöscht sein.

wie hast du beim wikipedia skill das geschafft, dass du das wakeword sagst und dann gleich "wikipedia Elvis Presley" sagst und sepia antwortet dir. das finde ich wesentlich schöner als zuerst den skill mit einem wort/phrase aktivieren zu müssen.

Das würde man in diesem Fall über den info.setCustomTriggerRegX Befehl "erlauben", z.B. so wie es da schon auskommentiert ist: info.setCustomTriggerRegX(".*\\b(a special question)\\b.*", EN);. Dann wäre schon mal möglich zu sagen "I have a special question, what is 1 + 1 ?"
Und dann muss man im SpecialQuestion Parameter noch die extract Methode anpassen, so dass die Frage "extrahiert wird". In etwa so (ungetestet aus dem Kopf geschrieben):

@Override
public String extract(String input){
	//simple extraction of the question from input
	if (language.equals(LANGUAGES.EN)){
		return input.replaceFirst(".*?\\b(special question)", "");
	} else if (language.equals(LANGUAGES.DE)){
		return input.replaceFirst(".*?\\b(spezielle frage)", "");
	}else{
		return "";
	}
}

Ich hoffe, dass ich bald dazu komme, den Service selbst mal live zu testen, dann kann ich auch besseres Feedback geben :-).

[royrogermcfreely]

Und obwohl das noch blau erkennt er schon wieder neuen Text als Eingabe? :-| (das wäre ein fieser Bug 😑).

jap. tritt leider beim rpi-client, android app und webbrowser auf.

glaub warte mal mit dem customtrigger. blick da irgendwies nicht durch. lass dich da mal zuerst drüber testen ;)